JP5572120B2 - Composition data generating apparatus and composition data generating program - Google Patents
Composition data generating apparatus and composition data generating program Download PDFInfo
- Publication number
- JP5572120B2 JP5572120B2 JP2011102951A JP2011102951A JP5572120B2 JP 5572120 B2 JP5572120 B2 JP 5572120B2 JP 2011102951 A JP2011102951 A JP 2011102951A JP 2011102951 A JP2011102951 A JP 2011102951A JP 5572120 B2 JP5572120 B2 JP 5572120B2
- Authority
- JP
- Japan
- Prior art keywords
- composition
- composition data
- image
- data generation
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000203 mixture Substances 0.000 title claims description 271
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000012935 Averaging Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 52
- 238000012545 processing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、構図データ生成装置及び構図データ生成プログラムに係り、特に画像検索等に用いられる画像の構図データを効率的かつ高精度に生成するための構図データ生成装置及び構図データ生成プログラムに関する。 The present invention relates to a composition data generation device and a composition data generation program, and more particularly to a composition data generation device and a composition data generation program for efficiently and highly accurately generating composition data of an image used for image retrieval or the like.
従来では、マルチメディア技術の発展に伴い、画像処理に対する要求も高まっている。例えば、複数の画像から所定の画像に類似する画像を検索する場合には、大量の画像にアクセスし、類似性を判断する処理が必要になる。このため、画像検索技術においては、正確性及び高速性が重要なポイントになっている。 Conventionally, with the development of multimedia technology, the demand for image processing has increased. For example, when searching for an image similar to a predetermined image from a plurality of images, it is necessary to access a large number of images and determine the similarity. For this reason, accuracy and high speed are important points in the image search technology.
このような画像検索技術としては、様々な装置及び方法が提案されている。例えば、従来では、既に格納されている複数の画像から、入力画像に類似する画像を概念的に検索する手法が提案されている（例えば、特許文献１参照）。特許文献１に示されている装置は、ベクトル作成辞書を用いて、検索対象の複数の画像から検索対象図面ベクトル群を作成すると共に、入力画像から入力図面ベクトルを作成し、検索対象図面ベクトル群と入力図面ベクトルとの間のベクトル演算値を計算し、ベクトル演算値に基づいて検索対象の複数の画像を検索し、入力画像に類似する画像を抽出する。 Various apparatuses and methods have been proposed as such an image search technique. For example, conventionally, a method for conceptually searching for an image similar to an input image from a plurality of already stored images has been proposed (see, for example, Patent Document 1). The apparatus disclosed in Patent Document 1 uses a vector creation dictionary to create a search target drawing vector group from a plurality of search target images, and to create an input drawing vector from the input image. A vector operation value between the input image vector and the input drawing vector is calculated, a plurality of images to be searched are searched based on the vector operation value, and an image similar to the input image is extracted.
また、従来では、入力画像の自己相関波形を抽出し、その自己相関波形の傾向が変化する接合点を抽出し、接合点によって分割される自己相関波形の各区分領域を関数で近似し、関数の種類を示す符号、及び区分領域の形状を示すパラメータを用いて、入力画像の特徴情報を生成し、入力画像の特徴情報、及び検索対象の画像の特徴情報に基づいて類似度を計算し、類似度に従って類似画像を抽出する装置が提案されている（例えば、特許文献２参照）。 In addition, conventionally, the autocorrelation waveform of the input image is extracted, the junction point where the tendency of the autocorrelation waveform changes is extracted, each segment area of the autocorrelation waveform divided by the junction point is approximated by a function, Generating the feature information of the input image using the code indicating the type of the image and the parameter indicating the shape of the segmented region, calculating the similarity based on the feature information of the input image and the feature information of the image to be searched, An apparatus for extracting a similar image according to the degree of similarity has been proposed (see, for example, Patent Document 2).
上述した特許文献１及び２に示す画像検索装置では、検索対象の画像と入力画像との間で、ベクトル演算値等の類似度を計算し、検索対象の画像毎の計算結果に基づいて、複数の画像から入力画像に類似する画像を抽出する。 In the image search devices shown in Patent Documents 1 and 2 described above, a similarity such as a vector operation value is calculated between the search target image and the input image, and a plurality of values are calculated based on the calculation result for each search target image. An image similar to the input image is extracted from these images.
しかしながら、検索対象の画像は、大容量であるのが通常である。このため、上述した特許文献１及び２の画像検索装置では、大容量の画像毎に、ベクトル演算値等の類似度の計算を行う必要が生じる。そのため、従来の画像検索装置では、類似画像を検索するのに時間がかかり、計算コストが膨大になるという問題があった。 However, the image to be searched usually has a large capacity. For this reason, in the above-described image retrieval apparatuses of Patent Documents 1 and 2, it is necessary to calculate a similarity such as a vector operation value for each large-capacity image. Therefore, the conventional image search apparatus has a problem that it takes time to search for a similar image and the calculation cost becomes enormous.
したがって、例えば、画像検索装置等に利用される検索対象である複数の画像から、入力画像に類似する画像を検索する場合には、複数の画像に対して予め所定の条件で分類しておき、入力画像と同一又は類似（関連）する１又は複数の分類に属する画像のみを用いて検索するが好ましい。これにより、入力画像に類似する画像を検索する場合には、計算コストを削減して高速検索を実現することができるからである。 Therefore, for example, when searching for an image similar to an input image from a plurality of images that are search targets used in an image search device or the like, the plurality of images are classified in advance under a predetermined condition, It is preferable to search using only images belonging to one or a plurality of categories that are the same as or similar to (related to) the input image. Thereby, when searching for an image similar to the input image, it is possible to reduce the calculation cost and realize a high-speed search.
本発明は、上述した問題点に鑑みなされたものであり、画像検索等に用いられる画像の構図データを効率的かつ高精度に生成するための構図データ生成装置及び構図データ生成プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and provides a composition data generation apparatus and a composition data generation program for efficiently and highly accurately generating composition data of an image used for image search or the like. With the goal.
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。 In order to solve the above problems, the present invention employs means for solving the problems having the following characteristics.
本発明は、入力画像に対する構図データを生成する構図データ生成装置であって、前記入力画像を所定のブロック数に分割し、分割された全ブロックを、各ブロックの画像特徴に基づいて複数のクラスタに分類し、分類された各クラスタに含まれる各ブロックに対して、各クラスタ単位に同一のフラグを付与するクラスタ分類手段と、前記クラスタ分類手段により分類された各クラスタの画像特徴を平均した中心特徴と、前記各ブロックの画像特徴との類似度を算出する類似度算出手段と、前記クラスタ分類手段により得られたフラグと、前記類似度算出手段により得られた類似度とに基づいて、前記各ブロックに実数値を割り当て、前記構図データを生成する構図データ生成手段とを有することを特徴とする。 The present invention is a composition data generation device for generating composition data for an input image, wherein the input image is divided into a predetermined number of blocks, and all the divided blocks are divided into a plurality of clusters based on the image characteristics of each block. Cluster classification means for assigning the same flag to each cluster unit for each block included in each classified cluster, and an average of image features of each cluster classified by the cluster classification means Based on the similarity and the similarity obtained by the cluster classification means, the similarity obtained by the similarity calculation means, the similarity calculation means for calculating the similarity between the feature and the image feature of each block, Composition data generating means for assigning a real value to each block and generating the composition data is provided.
また本発明は、コンピュータを、上述した構図データ生成装置として機能させることを特徴とする構図データ生成プログラムである。 The present invention also provides a composition data generation program that causes a computer to function as the composition data generation apparatus described above.
本発明によれば、画像検索等に用いられる画像の構図データを効率的かつ高精度に生成することができる。 According to the present invention, composition data of an image used for image search or the like can be generated efficiently and with high accuracy.
＜本発明について＞
本発明は、例えば予め取得した大量の画像データに対し、画像データ毎に所定のブロック領域単位で表現された構図データを抽出する。
<About the present invention>
The present invention extracts composition data expressed in units of a predetermined block area for each image data, for example, for a large amount of image data acquired in advance.
具体的には、本発明は、例えば１枚の画像データを所定のブロック数に分割し、画像上の全ブロックを、各ブロックの画像特徴に基づき複数のクラスタに分類し、各クラスタ単位の画像特徴と各ブロックの画像特徴との類似度等に基づいて、各ブロックに実数値を割り当て、画像の構図データを生成する。 Specifically, the present invention divides, for example, one piece of image data into a predetermined number of blocks, classifies all blocks on the image into a plurality of clusters based on the image characteristics of each block, Based on the similarity between the feature and the image feature of each block, a real value is assigned to each block to generate image composition data.
なお、本発明は、上述した構図データ集合をクラスタリングして構図グループを生成し、生成された構図グループから主要構図（構図テンプレート）を生成する機能を有していてもよい。更に、本発明は、構図テンプレートや構図グループを用いて検索対象画像に対する類似画像を検索する機能を有していてもよい。 Note that the present invention may have a function of generating a composition group by clustering the composition data set described above and generating a main composition (composition template) from the generated composition group. Furthermore, the present invention may have a function of searching for a similar image for a search target image using a composition template or a composition group.
以下に、上述したような特徴を有する本発明における構図データ生成装置及び構図データ生成プログラムを好適に実施した形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments in which a composition data generation apparatus and a composition data generation program according to the present invention having the above-described features are suitably implemented will be described in detail with reference to the drawings.
＜構図データ生成装置：機能構成例＞
図１は、本実施形態における構図データ生成装置の機能構成の一例を示す図である。図１に示す構図データ生成装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、クラスタ分類手段１４と、類似度算出手段１５と、構図データ生成手段１６と、構図データクラスタリング手段１７と、主要構図データ生成手段１８と、検索手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。
<Composition data generation device: functional configuration example>
FIG. 1 is a diagram illustrating an example of a functional configuration of a composition data generation apparatus according to the present embodiment. The composition data generation apparatus 10 shown in FIG. 1 includes an input means 11, an output means 12, a storage means 13, a cluster classification means 14, a similarity calculation means 15, a composition data generation means 16, and a composition data clustering means. 17, main composition data generation means 18, search means 19, transmission / reception means 20, and control means 21.
入力手段１１は、例えばユーザ等からのクラスタ分類指示、類似度算出指示、構図データ生成指示、構図データクラスタリング指示、主要構図データ生成指示、検索指示、送受信指示等の構図データ生成における各入力を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力機能等を有する。 The input unit 11 accepts each input in composition data generation, such as a cluster classification instruction, a similarity calculation instruction, a composition data generation instruction, a composition data clustering instruction, a main composition data generation instruction, a search instruction, and a transmission / reception instruction from a user, for example. . The input unit 11 has a keyboard, a pointing device such as a mouse, a voice input function such as a microphone, and the like.
出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや構図データ生成結果や検索結果、各種処理経過等の内容を表示したり、音声等を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。 The output means 12 displays the contents of instructions input by the input means 11, control data generated based on the contents of each instruction, composition data generation results and search results, contents of various processes, etc. Output. The output unit 12 has a screen display function such as a display, a sound output function such as a speaker, and the like.
蓄積手段１３は、本実施形態における構図データ生成を行うための基となる画像データや、クラスタリングされた画像データ、類似度を算出するための数式等の各種パラメータ、構図データ、構図データをクラスタリングするための各種パラメータ、構図グループ、主要構図データ（構図テンプレート）、検索対象画像、検索結果等、本実施形態における構図データ生成において必要な各種情報等を蓄積する。 The storage unit 13 clusters image data serving as a basis for generating composition data in the present embodiment, clustered image data, various parameters such as mathematical formulas for calculating similarity, composition data, and composition data. Various information necessary for generating composition data in the present embodiment, such as various parameters, composition group, main composition data (composition template), search target image, search result, and the like are stored.
なお、蓄積手段１３は、送受信手段２０を介して通信ネットワーク等に接続される外部装置等から取得される本実施形態で使用可能な画像データや構図データ、各種パラメータ等を蓄積する。また、蓄積手段３３は、本実施形態における構図データ生成処理等において、上述した各種データを読み出したり、書き込んだりすることができる。 The storage unit 13 stores image data, composition data, various parameters, and the like that can be used in the present embodiment, which are acquired from an external device connected to a communication network or the like via the transmission / reception unit 20. In addition, the storage unit 33 can read and write the various data described above in the composition data generation process and the like in the present embodiment.
クラスタ分類手段１４は、構図データ生成を行う基となる複数の画像を、所定の数又は大きさのブロック毎に分類し、その分類した領域の画像特徴から１又は複数のクラスタに分類する。また、クラスタ分類手段１４は、分類された画像に対し、同一のクラスタに属するブロック領域に同一のフラグ（例えば、−１，０，１等）を付与する。 The cluster classification unit 14 classifies a plurality of images that are the basis for generating composition data into blocks of a predetermined number or size, and classifies the images into one or a plurality of clusters based on the image features of the classified areas. Further, the cluster classification unit 14 assigns the same flag (for example, -1, 0, 1 or the like) to the block areas belonging to the same cluster with respect to the classified images.
なお、フラグは、例えば整数であることが好ましいが、自然数や小数点を含む数値等であってもよい。更にフラグは、例えば、各ブロックに含まれる各画素のＲＧＢ値に基づいて設定されてもよいが、本発明においてはこれに限定されるものではない。クラスタ分類手段１４における具体的な分類手法については、後述する。 The flag is preferably an integer, for example, but may be a natural number or a numerical value including a decimal point. Further, the flag may be set based on, for example, the RGB value of each pixel included in each block, but is not limited to this in the present invention. A specific classification method in the cluster classification unit 14 will be described later.
類似度算出手段１５は、各クラスタにおいて、所属するブロック領域の画像特徴を平均し、クラスタの中心特徴を求める。また、類似度算出手段１５は、求めた中心特徴と、クラスタの分類結果とに基づいて、予め設定された算出手法等を用いて類似度を算出する。なお、類似度算出手段１５における具体的な類似度算出手法については、後述する。 The similarity calculation means 15 averages the image features of the block area to which each cluster belongs, and obtains the center feature of the cluster. The similarity calculation unit 15 calculates the similarity using a preset calculation method or the like based on the obtained central feature and the cluster classification result. Note that a specific similarity calculation method in the similarity calculation means 15 will be described later.
構図データ生成手段１６は、各ブロックに付与されているフラグと、類似度算出手段１５において算出された類似度とに基づいて各ブロックにおけるフラグの値を実数値に変換する。なお、実数値への変換手法としては、例えば、フラグの値と類似度の値を乗算してもよく、また他の四則を用いて算出したり、所定の数式の変数部にフラグの値と類似度を代入して算出してもよく、また実数値が−１〜１の範囲内になるように値を調整してもよいが、本発明においてはこれに限定されるものではない。 The composition data generation means 16 converts the flag value in each block into a real value based on the flag given to each block and the similarity calculated by the similarity calculation means 15. In addition, as a conversion method to a real value, for example, the value of the flag may be multiplied by the value of the similarity, or may be calculated using other four rules, or the flag value may be added to the variable part of a predetermined mathematical expression. The degree of similarity may be substituted and calculated, or the value may be adjusted so that the real value falls within the range of −1 to 1, but the present invention is not limited to this.
また、構図データ生成手段１６は、各ブロック領域に割り当てられた実数値を含む画像の構図データを出力する。なお、構図データ生成手段１６における具体的な構図データ生成例については、後述する。 The composition data generation means 16 outputs image composition data including real values assigned to the respective block areas. A specific example of composition data generation in the composition data generation means 16 will be described later.
構図データクラスタリング手段１７は、構図データ生成手段１６により生成された構図データの各画像の集合を、構図データの類似度に基づいてクラスタリングして構図グループを生成する。なお、構図データクラスタリング手段１７における具体的な構図データのクラスタリング手法については、後述する。 The composition data clustering unit 17 generates a composition group by clustering a set of images of the composition data generated by the composition data generation unit 16 based on the similarity of the composition data. Note that a specific composition data clustering method in the composition data clustering means 17 will be described later.
主要構図データ生成手段１８は、構図データクラスタリング手段１７で得られたクラスタリング結果（構図グループ）のうち、要素数（例えば、画像数等）が予め設定された値以下の構図グループを切り捨てる。なお、切り捨てる条件としては、上述した要素数に限定されるものではなく、例えば構図グループの数により設定してもよい。この場合には、例えばグループ毎に含まれる要素数の多い順に構図グループを並べ、上位の所定数の構図グループ（例えば、１０グループ）よりも下位の構図グループを切り捨てる等の処理を行うことができる。 The main composition data generation means 18 truncates composition groups in which the number of elements (for example, the number of images, etc.) is less than or equal to a preset value from the clustering result (composition group) obtained by the composition data clustering means 17. The truncation condition is not limited to the number of elements described above, and may be set according to the number of composition groups, for example. In this case, for example, it is possible to perform processing such as arranging composition groups in descending order of the number of elements included in each group, and truncating lower composition groups than a predetermined upper number of composition groups (for example, 10 groups). .
また、主要構図データ生成手段１８は、切り捨てられずに残った各構図グループにおいて、所属するグループに含まれる要素（例えば、画像）の平均構図データを求める。更に、主要構図データ生成手段１８は、各構図グループの平均構図データを主要構図データ（構図テンプレート）として出力する。 Further, the main composition data generation means 18 obtains average composition data of elements (for example, images) included in the group to which the composition group remains without being discarded. Further, the main composition data generation means 18 outputs the average composition data of each composition group as main composition data (composition template).
検索手段１９は、上述した構図テンプレートや構図グループを用いて検索対象画像に対する類似画像を検索する。具体的には、検索手段１９は、入力される検索対象画像に対して、上述したようにクラスタ分類やフラグを付与し、既に生成されている各構図テンプレートと比較して、類似性の高い１又は複数の構図テンプレートを選択する。その後、検索手段１９は、検索対象画像と、選択された構図テンプレートに対応する構図グループに含まれる１又は複数の画像群との比較を行い、類似性の高い１又は複数の画像を検索結果として出力する。なお、検索手段１９は、構図データ生成装置１０内に構成されていなくてもよく、例えば外部装置（画像検索装置）として設けられていてもよい。 The search means 19 searches for a similar image with respect to the search target image using the composition template or composition group described above. Specifically, the search unit 19 assigns a cluster classification and a flag to the input search target image as described above, and is highly similar to each of the already generated composition templates. Alternatively, a plurality of composition templates are selected. Thereafter, the search unit 19 compares the search target image with one or more image groups included in the composition group corresponding to the selected composition template, and uses one or more images having high similarity as the search result. Output. Note that the search unit 19 may not be configured in the composition data generation device 10, and may be provided as an external device (image search device), for example.
送受信手段２０は、インターネット等に代表される通信ネットワークを介して構図データ生成装置１０内の各種画像や主要構図データ、検索結果等を外部装置等に送信する。また、送受信手段２０は、通信ネットワークに接続された外部装置等から、構図データを生成する複数の画像データは、検索対象画像、その他の各種データ等を受信する。つまり、送受信手段２０は、送受信可能な各種データを、他の装置に送信したり、他の装置から各種データを受信するための通信インタフェースである。 The transmission / reception means 20 transmits various images, main composition data, search results, and the like in the composition data generation device 10 to an external device or the like via a communication network represented by the Internet or the like. The transmission / reception means 20 receives a plurality of image data for generating composition data, an image to be searched, and other various data from an external device connected to the communication network. That is, the transmission / reception means 20 is a communication interface for transmitting various data that can be transmitted and received to other devices and receiving various data from other devices.
制御手段２１は、構図データ生成装置１０における各機能構成全体の制御を行う。具体的には、制御手段２１は、入力手段１１により入力されたユーザ等からの入力情報に基づいて、基となる複数の画像データ（原画像データ）のクラスタ分類を行ったり、類似度算出を行ったり、構図データを生成したり、構図データクラスタリングを行ったり、主要構図データを生成したり、類似画像を検索する等、本実施形態における構図データ生成において必要となる各種を制御する。 The control unit 21 controls the entire functional configuration in the composition data generation apparatus 10. Specifically, the control unit 21 performs cluster classification of a plurality of image data (original image data) as a basis, or calculates similarity based on input information from a user or the like input by the input unit 11. Various kinds of operations necessary for composition data generation in the present embodiment are controlled such as performing composition, composition data generation, composition data clustering, main composition data generation, and similar image retrieval.
上述したように本実施形態によれば、画像の構図に基づいて効率的に高精度な構図データ生成を実現することができる。 As described above, according to the present embodiment, it is possible to efficiently generate highly accurate composition data based on the composition of an image.
＜クラスタ分類手段１４における具体的な分類手法＞
ここで、上述したクラスタ分類手段１４における具体的な分類手法について説明する。クラスタ分類手段１４では、上述したように構図データ生成を行う基となる複数の画像を、所定の数又は大きさのブロック毎に分類する。
<Specific Classification Method in Cluster Classification Unit 14>
Here, a specific classification method in the cluster classification means 14 described above will be described. As described above, the cluster classification unit 14 classifies a plurality of images, which are the basis for generating composition data, into blocks of a predetermined number or size.
本実施形態では、各画像に対して、例えばＭ×Ｎ個のブロックに分類する。なお、分類する個数については、これに限定されるものではなく、例えば画像中の解像度や画像サイズ、装置の処理性能等に応じて任意に設定することができる。 In the present embodiment, each image is classified into, for example, M × N blocks. The number to be classified is not limited to this, and can be arbitrarily set according to the resolution and image size in the image, the processing performance of the apparatus, and the like.
次に、クラスタ分類手段１４は、分類したブロック領域毎に画像特徴を取得する。なお、本実施形態における画像特徴の例としては、例えば、色特徴やモノクロ特徴（テクスチャ特徴）等を用いることができるが、本発明においてはこれに限定されるものではない。 Next, the cluster classification unit 14 acquires an image feature for each classified block region. In addition, as an example of the image feature in this embodiment, for example, a color feature, a monochrome feature (texture feature), or the like can be used, but the present invention is not limited to this.
ここで、上述した色特徴の例としては、例えば各ブロックにより得られるＲＧＢ平均値ベクトル（ｒ，ｇ，ｂ）や色相ヒストグラム（ｈ１，ｈ２，・・・，ｈＫ）（なお、Ｋはブロック数を示し、ｈ１〜ｈＫは各ブロックの色相を示す）等を用いることができる。 Here, as an example of the color feature described above, for example, an RGB average value vector (r, g, b) or a hue histogram (h1, h2,..., HK) obtained by each block (K is the number of blocks) H1 to hK indicate the hue of each block).
また、モノクロ特徴（テクスチャ特徴）の例としては、例えば各ブロックにより得られる平均輝度値（ｍ）やエッジ量（ｅ）、エッジ方向ヒストグラム（ｄ１，ｄ２，・・・，ｄＬ）（なお、Ｌはブロック数を示し、ｄ１〜ｄＬは各ブロックのエッジ方向を示す）等を用いることができる。 Examples of monochrome features (texture features) include, for example, an average luminance value (m) and edge amount (e) obtained by each block, edge direction histograms (d1, d2,..., DL) (L Indicates the number of blocks, and d1 to dL indicate the edge direction of each block).
更に、本実施形態では、上述した例に限定されるものではなく、例えば複数の画像特徴を組み合わせることもできる。例えば、色特徴とテクスチャ特徴とを組み合せた場合には、例えばＲＧＢ平均値ベクトルとエッジ量とを組み合わせて（ｒ，ｇ，ｂ，ｅ）としたり、色相ヒストグラムとエッジ方向ヒストグラムとを組み合わせて（ｈ１，ｈ２，・・・，ｈＫ，ｄ１，ｄ２，・・・，ｄＬ）とし、得られた画像特徴に基づいて、１又は複数のクラスタに分類することができる。 Furthermore, in this embodiment, it is not limited to the example mentioned above, For example, a some image feature can also be combined. For example, when the color feature and the texture feature are combined, for example, the RGB average vector and the edge amount are combined to (r, g, b, e), or the hue histogram and the edge direction histogram are combined ( h1, h2,..., hK, d1, d2,..., dL), and can be classified into one or a plurality of clusters based on the obtained image features.
また、クラスタ分類手段１４は、上述したように同一のクラスタに属するブロック領域に同一のフラグを付与する。ここで、図２は、分類したクラスタ例を示す図である。 Moreover, the cluster classification means 14 gives the same flag to the block areas belonging to the same cluster as described above. Here, FIG. 2 is a diagram illustrating an example of classified clusters.
図２に示す例において、クラスタ分類手段１４は、基となる画像（原画像）３０を、例えば４×４（Ｍ＝Ｎ＝４）個のブロック３１に分割する。なお、この分割数は、本実施形態において分類される複数の画像の全てにおいて同一であることが好ましいが、本発明においてはこの限りではなく、例えば、相対的に比例関係にある分割数（例えば、２×２、４×４、１６×１６等）であってもよい。その場合には、全てのブロックは、複数の画像のうち最も分割数の少ないブロックに分割されたブロック数（例えば、２×２、４×４、１６×１６の３つの画像が存在する場合には、２×２）に合わせて画像特徴を抽出する。 In the example illustrated in FIG. 2, the cluster classification unit 14 divides a base image (original image) 30 into, for example, 4 × 4 (M = N = 4) blocks 31. Note that the number of divisions is preferably the same in all of the plurality of images classified in the present embodiment, but is not limited to this in the present invention. For example, the number of divisions having a relatively proportional relationship (for example, 2 × 2, 4 × 4, 16 × 16, etc.). In that case, all the blocks are divided into blocks having the smallest number of divisions among a plurality of images (for example, when there are three images of 2 × 2, 4 × 4, and 16 × 16). Extracts image features in accordance with 2 × 2).
図２の例では、各ブロック３１に対して、色特徴を取得し、その色特徴から２つのクラスタ３２−１，３２−２に分類されている（なお、図２において、模様が異なるブロック領域が、それぞれ同一のクラスタを意味するものとし、以降の図についても同様とする）。 In the example of FIG. 2, a color feature is acquired for each block 31, and is classified into two clusters 32-1 and 32-2 based on the color feature (in FIG. 2, block regions having different patterns). Means the same cluster, and the same applies to the following figures).
クラスタ分類手段１４では、各クラスタ（ブロック領域）に対して、それぞれ異なるフラグを付与する。なお、フラグの値として、図２の例では、クラスタ３２−１の各ブロックには「１」を付与し、クラスタ３２−２に各ブロックには「−１」を付与する。なお、本発明においてはこれに限定されるものではなく、例えば、上述とは逆にクラスタ３２−１には「−１」、クラスタ３２−２には「１」をそれぞれ付与してもよい。また、本発明におけるフラグの値については、これに限定されるものではない。つまり、クラスタ分類手段１４では、同一のクラスタに属する各ブロックでは同一で、各クラスタ間では異なるフラグが付与される。 The cluster classification unit 14 assigns a different flag to each cluster (block region). As the flag value, in the example of FIG. 2, “1” is assigned to each block of the cluster 32-1, and “−1” is assigned to each block of the cluster 32-2. Note that the present invention is not limited to this, and for example, “−1” may be assigned to the cluster 32-1 and “1” may be assigned to the cluster 32-2, respectively, contrary to the above. Further, the value of the flag in the present invention is not limited to this. That is, in the cluster classification unit 14, flags that are the same in each block belonging to the same cluster and are different between the clusters are given.
＜類似度算出手段１５における具体的な類似度算出手法＞
次に、上述した類似算出手段１５における具体的な類似算出手法について説明する。類似度算出手段１５は、上述したクラスタ分類手段１４により得られる複数の画像に対する各クラスタにおいて、所属するブロック領域の画像特徴を平均し、クラスタの中心特徴を求める。なお、中心特徴とは、例えば同一のクラスタに含まれる各ブロックの色特徴等を平均したものであるが、本発明においてはこれに限定されるものではない。
<Specific Similarity Calculation Method in Similarity Calculation Unit 15>
Next, a specific similarity calculation method in the similarity calculation unit 15 described above will be described. The similarity calculation means 15 averages the image features of the block area to which it belongs in each cluster for a plurality of images obtained by the cluster classification means 14 described above, and obtains the center feature of the cluster. The central feature is, for example, an average of color features of blocks included in the same cluster, but is not limited to this in the present invention.
ここで、類似度算出手段１５は、クラスタ分類手段１４によるクラスタ分類の結果、クラスタ数が１である場合に、各ブロック領域に対して、各ブロックの画像特徴と、当該クラスタの中心特徴との距離Ｄを求め、例えば以下に示す式（１）で与えられる類似度Ｓを計算する。
Ｓ＝１−（Ｄ／Ｄｍａｘ） ・・・（１）
なお、上述した式（１）において、ＤｍａｘはＤの取り得る最大値を示す。
Here, when the number of clusters is 1 as a result of cluster classification by the cluster classification unit 14, the similarity calculation unit 15 calculates, for each block region, the image feature of each block and the center feature of the cluster. The distance D is obtained and, for example, the similarity S given by the following equation (1) is calculated.
S = 1- (D / D max ) (1)
In the above formula (1), D max indicates the maximum value that D can take.
また、類似度算出手段１５は、クラスタ分類手段１４によるクラスタ分類の結果、クラスタ数が２である場合に、各ブロック領域について、自分が属するクラスタの中心特徴との距離Ｄ１と、属さない方のクラスタの中心特徴との距離Ｄ２を計算し、例えば以下に示す式（２）で与えられる類似度Ｓを計算する。
Ｓ＝１−（Ｄ１／Ｄ２） ・・・（２）
なお、上述の例では、クラスタが１又は２の場合について説明したが、本発明においてはこれに限定されるものではなく、例えばクラスタが３つ以上の場合にも上述と同様にクラスタ数に応じて予め設定された数式等を用いて類似度を計算することができる。なお上述した数式については、これに限定されるものではない。
In addition, when the number of clusters is 2 as a result of the cluster classification by the cluster classification unit 14, the similarity calculation unit 15 determines the distance D1 from the central feature of the cluster to which each block region belongs and the one that does not belong the distance D 2 between the center feature of the cluster is calculated, and calculates the similarity S given in equation (2) shown below, for example.
S = 1− (D 1 / D 2 ) (2)
In the above example, the case where the number of clusters is 1 or 2 has been described. However, the present invention is not limited to this. For example, when there are three or more clusters, the number of clusters depends on the number of clusters as described above. Thus, the degree of similarity can be calculated using a mathematical formula set in advance. Note that the mathematical formulas described above are not limited to this.
＜構図データ生成手段１６における具体的な構図データ生成例＞
次に、上述した構図データ生成手段１６における具体的な構図データ生成例について説明する。構図データ生成手段１６は、例えば、各ブロックに付与されているフラグ（例えば、整数フラグ「１」、「−１」）に、計算済みの類似度Ｓを乗算して実数値に変換する。
<Specific Composition Data Generation Example in Composition Data Generation Unit 16>
Next, a specific composition data generation example in the composition data generation means 16 described above will be described. For example, the composition data generation unit 16 multiplies the flag (for example, integer flags “1” and “−1”) given to each block by the calculated similarity S and converts it to a real value.
ここで、図３は、本実施形態における実数値の設定方法を示す図である。なお、説明の便宜上、図３に示すクラスタ構成は、上述した図２と同様のものとする。 Here, FIG. 3 is a diagram illustrating a method of setting a real value in the present embodiment. For convenience of explanation, the cluster configuration shown in FIG. 3 is the same as that in FIG.
本実施形態では、図３（ａ）に示すように、クラスタ３２−１及びクラスタ３２−２が存在する場合、まず上述したように類似度算出手段１５が、クラスタ３２−１に対してフラグ「１」のブロック群の中心特徴Ｃ１、及び、クラスタ３２−２に対してフラグ「−１」のブロック群の中心特徴Ｃ−１を算出する。また、類似度算出手段１５は、各ブロックの画像特徴Ｃ１からの距離、及びＣ−１からの距離に基づいて、類似度Ｓを算出する。 In the present embodiment, as shown in FIG. 3A, when the cluster 32-1 and the cluster 32-2 exist, first, as described above, the similarity calculation unit 15 sets the flag “ The central feature C 1 of the block group of “1” and the central feature C −1 of the block group of the flag “−1” are calculated for the cluster 32-2. Further, the similarity calculation unit 15, distance from the image feature C 1 of each block, and based on the distance from C -1, calculates the similarity S.
次に、構図データ生成手段１６は、フラグの数値に上述した類似度Ｓを乗算して、図３（ｂ）に示すように各ブロックを実数値に変換する。構図データ生成手段１６は、このようにして各ブロック領域に割り当てられた実数値を含む画像の構図データを出力する。なお、これらのデータは、蓄積手段１３に蓄積されてもよく、外部装置に出力してもよい。 Next, the composition data generating means 16 multiplies the numerical value of the flag by the similarity S described above, and converts each block into a real numerical value as shown in FIG. The composition data generation means 16 outputs composition data of an image including the real value assigned to each block area in this way. These data may be stored in the storage means 13 or output to an external device.
＜構図データクラスタリング手段１７における具体的な構図データのクラスタリング手法＞
次に、構図データクラスタリング手段１７における具体的な構図データのクラスタリング手法について説明する。図４は、構図データクラスタリングの一例を示す図である。
<Specific Composition Data Clustering Method in Composition Data Clustering Means 17>
Next, a specific composition data clustering method in the composition data clustering means 17 will be described. FIG. 4 is a diagram illustrating an example of composition data clustering.
本実施形態では、蓄積手段１３に蓄積されている基となる複数の画像（原画像）に上述した処理を施し、構図データを生成する。次に、構図データクラスタリング手段１７は、生成した構図データの集合を構図データ毎の類似度ＳＳの値に基づいて、類似性の高い構図データを有する画像がグループ化されるようにをクラスタリングし、１又は複数の構図グループを生成する。 In the present embodiment, composition data is generated by performing the above-described processing on a plurality of images (original images) that are stored in the storage unit 13. Next, the composition data clustering unit 17 based on the set of generated composition data on the value of the similarity S S of each composition data, an image having a high similarity composition data by clustering so are grouped One or a plurality of composition groups are generated.
ここで、例えば、２つの構図データであるＢ１＝（ｂ１（１，１），・・・，ｂ１（Ｍ，Ｎ））と、Ｂ２＝（ｂ２（１，１），・・・，ｂ２（Ｍ，Ｎ））（なお、（ｉ，ｊ）はブロック位置を示し、各ｂ１（ｉ，ｊ），ｂ２（ｉ，ｊ）は実数値を示す）との類似度ＳＳ（Ｂ１，Ｂ２）は、例えば以下に示す式（３）のように定義することができる。 Here, for example, two composition data B 1 = (b 1 (1,1),..., B 1 (M, N)) and B 2 = (b 2 (1,1),. .., b 2 (M, N)) (where (i, j) indicates a block position, and each b 1 (i, j), b 2 (i, j) indicates a real value) The degree S S (B 1 , B 2 ) can be defined as, for example, the following equation (3).
ここで、図５は、構図グループと、主要構図データとの関係を説明するための図である。図５の例では、構図グループ４１−１〜４１−５等を有し、更に構図グループ４１−１〜４１−５に対応する構図テンプレート４２−１〜４２−５が示されているが、本発明におけるグループ数についてはこれに限定されるものではない。 Here, FIG. 5 is a diagram for explaining the relationship between the composition group and the main composition data. In the example of FIG. 5, composition templates 41-1 to 41-5 are included, and composition templates 42-1 to 42-5 corresponding to the composition groups 41-1 to 41-5 are shown. The number of groups in the invention is not limited to this.
なお、図５の例において、構図テンプレート４２−１は、クラスタ数が１の場合を示し、構図テンプレート４２−２〜４２−５は、クラスタ数が２の場合を示しているが、本発明においてはこれに限定されるものではなく、例えばクラスタ数が３つ以上存在する構図テンプレートがあってもよい。 In the example of FIG. 5, the composition template 42-1 shows the case where the number of clusters is 1, and the composition templates 42-2 to 42-5 show the case where the number of clusters is 2, but in the present invention, Is not limited to this. For example, there may be a composition template having three or more clusters.
更に、本実施形態では、例えば１つの構図グループの中でも更に細分化した構図サブグループを生成してもよい。図６は、構図サブグループの一例を示す図である。 Furthermore, in the present embodiment, for example, a composition subgroup that is further subdivided in one composition group may be generated. FIG. 6 is a diagram illustrating an example of the composition subgroup.
図６に示すように、１つの構図グループ４１の中に複数の構図サブグループ（図６の例では、構図サブグループ４３−１，４３−２）を形成しておく。これらの構図サブグループは、例えば、構図テンプレートに含まれるクラスタ毎の画像特徴のばらつき度合いやクラスタ同士の分離度合い等によって、構図グループを細分化して構図サブグループを生成することができる。なお、細分化される構図サブグループは、各構図サブグループ間の関連性に基づいて、ツリー状に構成されていてもよい。これにより、検索に用いられる構図グループをサブグループ単位に細分化し、更にツリーに対応させて優先度等を設定することで、より効率的な検索を実現することができる。 As shown in FIG. 6, a plurality of composition subgroups (composition subgroups 43-1 and 43-2 in the example of FIG. 6) are formed in one composition group 41. These composition subgroups can be generated by subdividing the composition group based on, for example, the degree of variation in image features for each cluster included in the composition template or the degree of separation between clusters. Note that the composition subgroups to be subdivided may be configured in a tree shape based on the relationship between the composition subgroups. As a result, the composition group used for the search is subdivided into subgroup units, and the priority is set in correspondence with the tree, whereby a more efficient search can be realized.
上述したように、本実施形態では、構図データや構図テンプレートを生成しておくことで、実際に画像検索を行う際、画像の構図に基づいて効率的に高精度な構図データ生成を実現することができる。具体的には、本実施形態によれば、例えば、ウェブ上や画像サーバ等の大容量記憶媒体内等に存在する大量の画像データを、構図データや典型的な構図データ（構図テンプレート）に基づいて事前分類することにより、検索対象である画像の枚数を制限することができるため、検索を高速化することができる。 As described above, in the present embodiment, by generating composition data and a composition template, it is possible to efficiently generate highly accurate composition data based on the composition of an image when actually performing an image search. Can do. Specifically, according to the present embodiment, for example, a large amount of image data existing on a web or in a large-capacity storage medium such as an image server is converted based on composition data or typical composition data (composition template). By classifying in advance, the number of images to be searched can be limited, so that the search can be speeded up.
また、本実施形態では、このような検索装置に適用される構図テンプレートを人手でなく、構図データ生成装置により自動でセットすることが可能となり、更に構図テンプレートに含まれる各領域（各クラスタ）の画像特徴のばらつき度合いや領域同士の分離度合いを検索等に反映させることが可能となる。 Further, in the present embodiment, a composition template applied to such a search device can be automatically set by a composition data generation device, not manually, and each region (each cluster) included in the composition template can be set. It is possible to reflect the degree of variation in image characteristics and the degree of separation between regions in a search or the like.
＜検索手段１９における検索例＞
次に、検索手段１９における検索例について説明する。図７は、本実施形態における検索例を示す図である。図７に示す例において、検索手段１９は、検索対象画像５０を入力すると、蓄積手段１３に蓄積されている複数の画像の中から、検索対象画像５０に類似する画像を検索するため、まず上述したように所定の数又は大きさのブロックに分割する。なお、ブロック数は、例えば構図テンプレート４２に含まれるブロック数であることが好ましい。また、検索手段１９は、分割したブロックに対して所定のブロック数に基づいて、構図データを生成する。
<Search example in the search means 19>
Next, a search example in the search means 19 will be described. FIG. 7 is a diagram showing a search example in the present embodiment. In the example illustrated in FIG. 7, when the search unit 19 inputs the search target image 50, the search unit 19 searches for a similar image to the search target image 50 from the plurality of images stored in the storage unit 13. As described above, it is divided into blocks having a predetermined number or size. The number of blocks is preferably the number of blocks included in the composition template 42, for example. Further, the search means 19 generates composition data based on a predetermined number of blocks for the divided blocks.
なお、これらの処理は、上述するクラスタ分類手段１４や構図データ生成手段１６における処理と同様である。そのため、検索手段１９は、クラスタ分類手段１４や構図データ生成手段１６を用いて、検索対象画像５０から構図データ５１を生成してもよい。つまり、クラスタ分類手段１４は、検索手段１９から得られる検索対象画像に対してクラスタ分類を行う機能等を有し、構図データ生成手段１６は、検索対象画像に対する構図データを生成し、検索手段１９に出力する機能等を有する。 These processes are the same as the processes in the cluster classification unit 14 and the composition data generation unit 16 described above. Therefore, the search unit 19 may generate the composition data 51 from the search target image 50 using the cluster classification unit 14 or the composition data generation unit 16. That is, the cluster classification unit 14 has a function of performing cluster classification on the search target image obtained from the search unit 19, and the composition data generation unit 16 generates composition data for the search target image. Have a function to output to
次に、検索手段１９は、検索対象画像の構図データと、各構図テンプレートとに基づいて類似度（構図類似度）を計算する。なお、ここでの類似度の計算手法については、例えば、クラスタに含まれる全てのブロックのうち、フラグ（実数値）が同じ値となるブロック領域の割合を用いて類似度を算出することができる。 Next, the search means 19 calculates the similarity (composition similarity) based on the composition data of the search target image and each composition template. As for the similarity calculation method here, for example, the similarity can be calculated by using the ratio of the block areas having the same flag (real value) among all the blocks included in the cluster. .
また、検索手段１９は、類似度が最大になる構図テンプレートを特定する（例えば、図７の例では、構図テンプレート４２−４）。なお、類似度に基づくテンプレートの特定方法については、これに限定されるものではなく、例えば計算した類似度が閾値以上となる複数の構図テンプレートを特定してもよい（例えば、図７の例では、構図テンプレート４２−４，４２−２等）。 In addition, the search unit 19 specifies a composition template that maximizes the degree of similarity (for example, the composition template 42-4 in the example of FIG. 7). The template specifying method based on the similarity is not limited to this. For example, a plurality of composition templates whose calculated similarity is equal to or greater than a threshold may be specified (for example, in the example of FIG. 7). , Composition templates 42-4, 42-2, etc.).
次に、検索手段１９は、上述にて得られた構図テンプレートに対応する構図グループ（例えば、図７の例では、構図グループ４１−４）に含まれる画像（構図データ）群を用いて、検索対象画像と色特徴等による類似度検索を行い、類似度の高い所定数の画像を検索結果として出力する。なお、構図グループに含まれる各画像との類似度検索については、例えば上述したように、画像中の各ブロックに設定した実数値等を含む構図データに基づいて類似度を判断することができる。 Next, the search means 19 uses the image (composition data) group included in the composition group (for example, composition group 41-4 in the example of FIG. 7) corresponding to the composition template obtained above. A similarity search is performed based on the target image and color features, and a predetermined number of images having a high similarity are output as search results. As for the similarity search with each image included in the composition group, for example, as described above, the similarity can be determined based on composition data including real values set for each block in the image.
つまり、本実施形態では、例えば、検索対象画像についても各ブロックに付与したフラグを実数値に変換し、変換した実数値と、構図テンプレートや構図グループに含まれる各画像に付与された各ブロックにおける実数値とを比較することで、値の近いブロックの数に応じて類似構図テンプレートや類似画像を取得することができる。これにより、構図テンプレートに含まれる各領域（各クラスタ）の画像特徴のばらつき度合いや領域同士の分離度合いを検索等に反映させることが可能となる。 In other words, in the present embodiment, for example, the flag assigned to each block for the search target image is converted into a real value, and the converted real value and the block assigned to each image included in the composition template or composition group By comparing with real values, similar composition templates and similar images can be acquired according to the number of blocks having similar values. As a result, it is possible to reflect the degree of variation in image characteristics of each region (each cluster) included in the composition template and the degree of separation between regions in a search or the like.
なお、上述した検索手段１９は、構図データ生成装置１０に設けられていなくてもよく別体に設けられていてもよい。また、上述した検索手段１９における検索手法は、例えば、本出願人により出願された特願２０１０−１８３７９１号（出願日：平成２２年８月１９日）に示されている技術を用いることもできる。 Note that the search unit 19 described above may not be provided in the composition data generation apparatus 10 but may be provided separately. In addition, for example, the technique shown in Japanese Patent Application No. 2010-183791 (filing date: August 19, 2010) filed by the applicant of the present application can be used as the retrieval technique in the retrieval means 19 described above. .
＜実行プログラム＞
ここで、上述した構図データ生成装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
<Execution program>
Here, the composition data generation device 10 described above includes, for example, a CPU (Central Processing Unit), a volatile storage medium such as a RAM (Random Access Memory), a nonvolatile storage medium such as a ROM (Read Only Memory), a mouse, It can be constituted by a computer including an input device such as a keyboard and a pointing device, a display device for displaying images and data, and an interface device for communicating with the outside.
したがって、構図データ生成装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（Ｃ，Ｄ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。 Accordingly, the above-described functions of the composition data generation apparatus 10 can be realized by causing the CPU to execute a program describing these functions. These programs can also be stored and distributed in a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (C, D-ROM, DVD, etc.), semiconductor memory, or the like.
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（構図データ生成プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、構図データ生成処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。 In other words, composition data generation processing is realized by generating an execution program (composition data generation program) for causing a computer to execute the processing in each configuration described above, and installing the program in, for example, a general-purpose personal computer or server can do. In addition, about the process by the execution program in this invention, each process mentioned above is realizable, for example.
＜構図データ生成処理：構図データ生成＞
次に、上述した実行プログラム（構図データ生成プログラム）により実行される構図データ生成処理の具体例についてフローチャートを用いて説明する。
<Composition data generation processing: Composition data generation>
Next, a specific example of composition data generation processing executed by the above-described execution program (composition data generation program) will be described using a flowchart.
図８は、本実施形態における構図データ生成処理の一例を示すフローチャート（その１）である。なお、図８の例では、本実施形態における構図データの生成処理を示している。図８において、まず、入力される画像Ｉを所定数（例えば、Ｍ×Ｎ）のブロックに分割し（Ｓ０１）、Ｍ×Ｎに分割した全ブロック領域をその領域の画像特徴の類似度に基づいて、例えば、１クラスタ又は２クラスタに分類する（Ｓ０２）。 FIG. 8 is a flowchart (part 1) illustrating an example of composition data generation processing in the present embodiment. In the example of FIG. 8, composition data generation processing in the present embodiment is shown. In FIG. 8, first, an input image I is divided into a predetermined number (for example, M × N) of blocks (S01), and all block regions divided into M × N are based on the similarity of image features of the region. For example, the data is classified into one cluster or two clusters (S02).
次に、同一のクラスタに属するブロック領域に同一のフラグ（例えば、−１又は１）を設定する（Ｓ０３）。なお、Ｓ０２の処理において、１クラスタに分類された場合、Ｓ０３の処理では後段の処理の容易性の観点から「１」を設定することが好ましい。 Next, the same flag (for example, -1 or 1) is set in block areas belonging to the same cluster (S03). Note that when the processing is classified into one cluster in the processing of S02, it is preferable to set “1” in the processing of S03 from the viewpoint of the ease of the subsequent processing.
次に、クラスタ毎に、自分が属するブロック領域の画像特徴を平均し、クラスタの中心特徴を求める（Ｓ０４）。次に、クラスタ数が１であるか否かを判断し、（Ｓ０５）、クラスタ数が１である場合（Ｓ０５において、ＹＥＳ）、各ブロック領域に対して、その画像特徴とクラスタ中心特徴との距離Ｄを求め、所定の数式等により類似度Ｓを取得する（Ｓ０６）。なお、Ｓ０６の処理で取得する類似度Ｓは、例えば上述した式（１）を用いて算出することができる。 Next, for each cluster, the image features of the block area to which the user belongs are averaged to obtain the central feature of the cluster (S04). Next, it is determined whether or not the number of clusters is 1 (S05). If the number of clusters is 1 (YES in S05), for each block area, the image feature and the cluster center feature are The distance D is obtained, and the similarity S is obtained by a predetermined mathematical formula (S06). Note that the similarity S acquired in the process of S06 can be calculated using, for example, the above-described equation (1).
また、Ｓ０５の処理において、クラスタ数が１でない場合（Ｓ０５において、ＮＯ）、クラスタ数が２と判断し、各ブロック領域に対して、自分が属するクラスタの中心特徴との距離Ｄ１と、属さない方のクラスタの中心特徴との距離Ｄ２とを計算し、所定の数式等により類似度Ｓを取得する（Ｓ０７）。なお、Ｓ０７の処理で取得する類似度Ｓは、例えば上述した式（２）を用いて算出することができる。 In the process of S05, if the number of clusters is not 1 (NO in S05), it is determined that the number of clusters is 2, and the distance D1 from the central feature of the cluster to which the block belongs is not included in each block area. The distance D2 from the central feature of the other cluster is calculated, and the similarity S is obtained by a predetermined mathematical formula (S07). Note that the similarity S acquired in the process of S07 can be calculated using, for example, the above-described equation (2).
Ｓ０６又はＳ０７の処理の終了後、各ブロック領域に対して、Ｓ０３の処理により既に設定されているフラグ（例えば、整数フラグ「１」又は「−１」）に、Ｓ０６又はＳ０７の処理により取得済みの類似度Ｓを乗算して実数値に変換する（Ｓ０８）。また、上述したＳ０８の処理により得られた結果から各ブロック領域に割り当てられた実数値を含む画像の構図データを出力する（Ｓ０９）。なお、この構図データは、蓄積手段１３等に蓄積される。また、上述の処理は、学習データとして複数の画像に対して実施される。 After completion of the processing of S06 or S07, the flag already set by the processing of S03 (for example, the integer flag “1” or “−1”) is acquired by the processing of S06 or S07 for each block area. Are converted into real values (S08). Further, composition data of an image including a real value assigned to each block area is output from the result obtained by the above-described processing of S08 (S09). This composition data is stored in the storage means 13 or the like. The above-described processing is performed on a plurality of images as learning data.
＜構図データ生成処理：構図テンプレート生成処理＞
図９は、本実施形態における構図データ生成処理の一例を示すフローチャート（その２）である。なお、図９の例では、上述した図９に示す処理により生成された構図データから、更に構図テンプレートを生成するまでの処理を示している。
<Composition data generation processing: Composition template generation processing>
FIG. 9 is a flowchart (part 2) illustrating an example of the composition data generation process in the present embodiment. In the example of FIG. 9, the process from the composition data generated by the process shown in FIG. 9 to the generation of a composition template is shown.
図９において、まず、蓄積手段１３等から構図データの集合を類似度ＳＳに基づいてクラスタリングし、構図グループを生成する（Ｓ１１）。なお、Ｓ１１の処理では、例えば２つの構図データであるＢ１とＢ２との類似度ＳＳ（Ｂ１，Ｂ２）について、上述した式（３）等を用いて算出され、全ての構図データにおいて、上述の手法で得られた類似度が近い構図データ同士をグループ化して構図グループを生成する。 In FIG. 9, first, a set of composition data from the storage means 13 and the like is clustered based on the similarity S S to generate a composition group (S11). In the process of S11, for example, the similarity S S (B 1 , B 2 ) between two composition data B 1 and B 2 is calculated using the above-described equation (3), etc. In the data, composition data having similarities obtained by the above-described method are grouped to generate a composition group.
次に、Ｓ１１で生成した構図グループのうち、要素数（例えば、画像数）の少ない設定値以下の構図グループを切り捨てる（Ｓ１２）。これにより、構図テンプレートの枚数を制限することができ、検索処理における検索対象画像と構図テンプレートとの比較を迅速に行うことができる。 Next, among the composition groups generated in S11, composition groups having a smaller number of elements (for example, the number of images) and less than a set value are discarded (S12). Thereby, the number of composition templates can be limited, and the search target image and the composition template can be quickly compared in the search process.
また、Ｓ１２の処理の後、残った構図グループに対して、自分が属する要素の平均構図データを取得し（Ｓ１３）、各クラスタの平均構図データを本データベースの構図テンプレート（主要構図データ）として出力する（Ｓ１４）。 In addition, after the process of S12, the average composition data of the elements to which it belongs is obtained for the remaining composition groups (S13), and the average composition data of each cluster is output as a composition template (main composition data) of this database. (S14).
＜構図データ生成処理：検索処理＞
次に、検索処理について説明する。なお、検索処理は、本実施形態における構図データ生成処理に含めてもよく、また独立したシステム又はソフトウェアとして構成されていてもよい。
<Composition data generation processing: search processing>
Next, the search process will be described. The search process may be included in the composition data generation process in the present embodiment, or may be configured as an independent system or software.
図１０は、本実施形態における検索処理の一例を示すフローチャートである。図１０に示す例において、検索処理では、複数の構図テンプレートを読み出す（Ｓ２１）。次に、検索処理では、検索対象画像である画像Ｑを入力し（Ｓ２２）、画像ＱをＭ×Ｎに分割した各ブロックにフラグを付与する（Ｓ２３）。 FIG. 10 is a flowchart illustrating an example of search processing in the present embodiment. In the example shown in FIG. 10, in the search process, a plurality of composition templates are read (S21). Next, in the search process, an image Q that is a search target image is input (S22), and a flag is assigned to each block obtained by dividing the image Q into M × N (S23).
次に、検索処理では、画像Ｑのフラグと、Ｓ２１の処理により読み出した構図テンプレートのフラグとを用いて、画像Ｑと各構図テンプレートとの間の類似度（構図類似度）を算出し（Ｓ２４）、例えば、類似度が予め設定された閾値以上となる構図テンプレートを特定する（Ｓ２５）。 Next, in the search process, the similarity (composition similarity) between the image Q and each composition template is calculated using the flag of the image Q and the composition template flag read out in the process of S21 (S24). For example, a composition template whose similarity is equal to or higher than a preset threshold is specified (S25).
また、検索処理では、画像Ｑを入力すると共に、Ｓ２５の処理により特定された構図テンプレートに含まれる構図グループに属する複数の画像Ｉを抽出する（Ｓ２６）。次に、検索処理では、画像ＱとＳ２６の処理により得られた複数の画像Ｉとの間の類似度を計算する（Ｓ２７）。このとき、検索処理では、例えば画像Ｑ及び複数の画像Ｉに対し、各画像を構成する所定画素毎のＲＧＢ値に基づいて、特徴量をそれぞれ計算し、両特徴量に基づいて類似度を計算することができるが、本発明においてはこれに限定されるものではない。 In the search process, the image Q is input, and a plurality of images I belonging to the composition group included in the composition template specified by the process of S25 are extracted (S26). Next, in the search process, the similarity between the image Q and the plurality of images I obtained by the process of S26 is calculated (S27). At this time, in the search process, for example, for the image Q and the plurality of images I, feature amounts are calculated based on RGB values for each predetermined pixel constituting each image, and similarity is calculated based on both feature amounts. However, the present invention is not limited to this.
次に、検索処理では、構図グループに属する全ての画像Ｉについて、処理が完了したか否かを判断し（Ｓ２８）、処理が完了していないと判断した場合（Ｓ２８において、ＮＯ）、Ｓ２７に戻り、次の画像について処理を行って、類似度を計算する。また、検索処理では、Ｓ２８の処理において、処理が完了したと判断した場合（Ｓ２８において、ＹＥＳ）、類似度が高い所定数の画像を検索結果として出力する（Ｓ２９）。 Next, in the search process, it is determined whether or not the process has been completed for all the images I belonging to the composition group (S28). If it is determined that the process has not been completed (NO in S28), the process proceeds to S27. Returning, the next image is processed and the similarity is calculated. In the search process, when it is determined that the process is completed in S28 (YES in S28), a predetermined number of images with high similarity are output as search results (S29).
上述したように本発明によれば、画像の構図に基づいて効率的に高精度な構図データ生成を実現することができる。具体的には、本発明によれば、例えば、ウェブ上や大容量記憶媒体内等に存在する大量の画像データを、典型的な構図データ（構図テンプレート）に基づいて事前分類することにより検索を高速化することができる。また、構図テンプレートを人手でなく自動でセットすることが可能となり、更に構図テンプレートに含まれる各領域（各クラスタ）の画像特徴のばらつき度合いや領域同士の分離度合いを検索等に反映させることが可能となる。 As described above, according to the present invention, it is possible to efficiently generate highly accurate composition data based on the composition of an image. Specifically, according to the present invention, for example, a large amount of image data existing on the web or in a large-capacity storage medium can be searched by pre-classifying based on typical composition data (composition template). The speed can be increased. In addition, composition templates can be set automatically instead of by hand, and the degree of variation in image characteristics and the degree of separation between regions in each region (each cluster) included in the composition template can be reflected in searches and the like. It becomes.
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and various modifications, within the scope of the gist of the present invention described in the claims, It can be changed.
１０ 構図データ生成装置
１１ 入力手段
１２ 出力手段
１３ 蓄積手段
１４ クラスタ分類手段
１５ 類似度算出手段
１６ 構図データ生成手段
１７ 構図データクラスタリング手段
１８ 主要構図データ生成手段
１９ 検索手段
２０ 送受信手段
２１ 制御手段
３０ 画像（原画像）
３１ ブロック
３２ クラスタ
４０ 集合
４１ 構図グループ
４２ 主要構図データ（構図テンプレート）
５０ 検索対象画像
５１ 構図データ
DESCRIPTION OF SYMBOLS 10 Composition data generation apparatus 11 Input means 12 Output means 13 Accumulation means 14 Cluster classification means 15 Similarity calculation means 16 Composition data generation means 17 Composition data clustering means 18 Main composition data generation means 19 Search means 20 Transmission / reception means 21 Control means 30 Image (Original image)
31 blocks 32 clusters 40 set 41 composition group 42 main composition data (composition template)
50 Search target image 51 Composition data
Claims (5)
前記入力画像を所定のブロック数に分割し、分割された全ブロックを、各ブロックの画像特徴に基づいて複数のクラスタに分類し、分類された各クラスタに含まれる各ブロックに対して、各クラスタ単位に同一のフラグを付与するクラスタ分類手段と、
前記クラスタ分類手段により分類された各クラスタの画像特徴を平均した中心特徴と、前記各ブロックの画像特徴との類似度を算出する類似度算出手段と、
前記クラスタ分類手段により得られたフラグと、前記類似度算出手段により得られた類似度とに基づいて、前記各ブロックに実数値を割り当て、前記構図データを生成する構図データ生成手段とを有することを特徴とする構図データ生成装置。 A composition data generation device for generating composition data for an input image,
The input image is divided into a predetermined number of blocks, all divided blocks are classified into a plurality of clusters based on the image characteristics of each block, and each cluster is included in each classified cluster. Cluster classification means for assigning the same flag to units,
Similarity calculation means for calculating the similarity between the central feature obtained by averaging the image features of each cluster classified by the cluster classification means and the image feature of each block;
Composition data generating means for generating composition data by assigning a real value to each block based on the flag obtained by the cluster classification means and the similarity obtained by the similarity calculation means. A composition data generation device characterized by the above.
前記構図データクラスタリング手段により得られる構図グループに含まれる構図データに基づいて主要構図データを生成する主要構図データ生成手段とを有することを特徴とする請求項１に記載の構図データ生成装置。 Composition data clustering means for clustering a set of composition data obtained by the composition data generation means based on the similarity of the composition data;
2. The composition data generation apparatus according to claim 1, further comprising main composition data generation means for generating main composition data based on composition data included in a composition group obtained by the composition data clustering means.
前記クラスタリングにより得られる複数の構図グループのうち、各構図グループに含まれる要素数が予め設定された値以下の構図グループを切り捨てることを特徴とする請求項２に記載の構図データ生成装置。 The composition data clustering means includes:
3. The composition data generation apparatus according to claim 2, wherein among the plurality of composition groups obtained by the clustering, composition groups whose number of elements included in each composition group is equal to or less than a preset value are discarded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011102951A JP5572120B2 (en) | 2011-05-02 | 2011-05-02 | Composition data generating apparatus and composition data generating program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011102951A JP5572120B2 (en) | 2011-05-02 | 2011-05-02 | Composition data generating apparatus and composition data generating program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012234395A JP2012234395A (en) | 2012-11-29 |
| JP5572120B2 true JP5572120B2 (en) | 2014-08-13 |
Family
ID=47434650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011102951A Active JP5572120B2 (en) | 2011-05-02 | 2011-05-02 | Composition data generating apparatus and composition data generating program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5572120B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6220179B2 (en) * | 2013-07-25 | 2017-10-25 | 日本放送協会 | Program search device and program search program |
| JP6194260B2 (en) * | 2014-02-21 | 2017-09-06 | 日本電信電話株式会社 | Image classification apparatus, image classification method, and image classification program |
| WO2020132693A1 (en) * | 2018-12-21 | 2020-06-25 | Waymo Llc | Searching an autonomous vehicle sensor data repository |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003216649A (en) * | 2002-01-25 | 2003-07-31 | Nippon Hoso Kyokai <Nhk> | Image retrieval device and program |
| GB2454213A (en) * | 2007-10-31 | 2009-05-06 | Sony Corp | Analyzing a Plurality of Stored Images to Allow Searching |
| JP2010219674A (en) * | 2009-03-13 | 2010-09-30 | Casio Computer Co Ltd | Image compression apparatus, image decoding apparatus, image compression and decoding system, image compression program, and image decoding program |
-
2011
- 2011-05-02 JP JP2011102951A patent/JP5572120B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012234395A (en) | 2012-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5344715B2 (en) | Content search apparatus and content search program | |
| JP4859025B2 (en) | Similar image search device, similar image search processing method, program, and information recording medium | |
| US9519660B2 (en) | Information processing apparatus, clustering method, and recording medium storing clustering program | |
| JP2009251850A (en) | Commodity recommendation system using similar image search | |
| CN109885796B (en) | Network news matching detection method based on deep learning | |
| KR101432429B1 (en) | Malware analysis system and the methods using the visual data generation | |
| JP2017146840A (en) | Image processing device and program | |
| US20100231995A1 (en) | Image processing apparatus, image processing apparatus control method, and storage medium storing program | |
| EP2674881A1 (en) | Privacy preserving method for querying a remote public service | |
| JP2003141540A (en) | Similarity determining device, method and program | |
| JP2000311246A (en) | Similar image display method and recording medium storing similar image display processing program | |
| JP5572120B2 (en) | Composition data generating apparatus and composition data generating program | |
| JP2018206252A (en) | Image processing system, evaluation model construction method, image processing method, and program | |
| JP2014211730A (en) | Image searching system, image searching device, and image searching method | |
| CN109697722B (en) | Method and device for generating trisection graph | |
| KR100312331B1 (en) | System and method for searching image based on contents | |
| JP4407272B2 (en) | Document classification method, document classification apparatus, and document classification program | |
| JP2020087165A (en) | Learning data generation program, learning data generation device, and learning data generation method | |
| WO2020170803A1 (en) | Augmentation device, augmentation method, and augmentation program | |
| JP2015001968A (en) | Machine learning device, machine learning method and program | |
| KR20200134813A (en) | Apparatus and method for image processing for machine learning | |
| JP6478301B2 (en) | Image discrimination device, image discrimination method, and program | |
| JP6924450B2 (en) | Search needs evaluation device, search needs evaluation system, and search needs evaluation method | |
| JP2015130041A (en) | Image processing apparatus and image processing program | |
| JP6254771B2 (en) | Image processing apparatus and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140627 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5572120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |