JP2004361987A - Image retrieval system, image classification system, image retrieval program, image classification program, image retrieval method, and image classification method - Google Patents

Image retrieval system, image classification system, image retrieval program, image classification program, image retrieval method, and image classification method

Info

Publication number
JP2004361987A
JP2004361987A JP2003155886A JP2003155886A JP2004361987A JP 2004361987 A JP2004361987 A JP 2004361987A JP 2003155886 A JP2003155886 A JP 2003155886A JP 2003155886 A JP2003155886 A JP 2003155886A JP 2004361987 A JP2004361987 A JP 2004361987A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
retrieval
classification
lt
system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003155886A
Other languages
Japanese (ja)
Inventor
Takashi Hiuga
Toshinori Nagahashi
崇 日向
敏則 長橋
Original Assignee
Seiko Epson Corp
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4642Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • G06K9/4647Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms summing image-intensity values; Projection and histogram analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/30244Information retrieval; Database structures therefor ; File system structures therefor in image databases
    • G06F17/30247Information retrieval; Database structures therefor ; File system structures therefor in image databases based on features automatically derived from the image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image retrieval system suitable for acquiring a retrieval result or classification result according to the desire of a user. <P>SOLUTION: With respect to a retrieval key image and each retrieval object image, an area under consideration is extracted from those images and the feature vector V of the images is generated on the basis of the extracted area under consideration. Then, an image similar to the retrieval key image is retrieved from a retrieval object image registration DB10 on the basis of the generated feature vector V. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、複数の画像のなかから検索キー画像に適合する画像を検索しまたは複数の画像を分類するシステムおよびプログラム、並びに方法に係り、特に、利用者の希望に添う検索結果または分類結果を得るのに好適な画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法に関する。 The present invention is a system and a program for classifying the retrieved or more images that match the image to the search key image from among a plurality of images, and more particularly to a method, particularly, live up to the desired user search results or the classification result suitable image retrieval system to obtain an image classification system, an image search program, and an image classification program, and an image retrieval method and an image classification method.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来、与えられた検索キー画像をもとに、複数の検索対象画像のなかから検索キー画像に類似する画像を検索する技術としては、例えば、特許文献1に開示されている画像検索装置があった。 Conventionally, based on the retrieval key image given as a technique for searching for images similar to the search key image from among a plurality of search target image, for example, there is an image retrieval apparatus disclosed in Patent Document 1 It was.
特許文献1記載の画像検索装置は、獲得された対象画像データまたは参照画像データより、複数の特徴量を抽出して特徴べクトルを生成する特徴ベクトル抽出部と、獲得された複数の参照画像データに対して、各参照画像データごとに特徴ベクトル抽出部で抽出された特徴べクトルとこの参照画像のアドレス情報を統合して参照ベクトルをつくり、参照べクトル群を生成する参照ベクトル群処理部と、獲得された対象画像データより特徴ベクトル抽出部で抽出された特徴べクトルと、参照ベクトル群より選択された参照画像データの特徴べクトルとの類似度を計算する類似度計算部と、計算された類似度を所定の基準と比較する類似度判定部と、類似していると判断された画像のアドレス情報を、参照ベクトル群より取出部とを備える。 Image retrieval apparatus described in Patent Document 1, from the acquired target image data or the reference image data, the feature vector extraction unit for generating feature base vector by extracting a plurality of feature amounts, acquired plurality of reference image data respect, each reference image data each to be extracted by the feature vector extraction unit features base vector and make reference vector by integrating the address information of the reference image, a reference vector group processor for generating a reference base vector group a feature base vector extracted by the feature vector extraction unit from the acquired target image data, a similarity calculator for calculating the similarity between the feature base vector of the reference image data selected from the reference vector group is calculated and includes a similarity determination unit for comparing the similarity with a predetermined reference, the address information of the image determined to be similar, and from the take-out unit reference vector group.
【0003】 [0003]
ここで、画像の特徴量としては、色、テクスチャー、構造的特徴、時間的特徴を用いている。 Here, the feature amount of the image, color, texture, structural features, and using temporal characteristics. テクスチャーに関しては、濃度ヒストグラム、同時生起行列、差分統計量等の計算により、またエッジや線、輪郭等の構造的特徴に関しては、ラプラシアンフィルターのコンボルーションやハフ変換等により、さらに色に関しては、RGB空間やHSV空間、あるいはスペクトルへの変換等により、時間的特徴に関してはオプティカルフローの計算やウェーブレットへの変換により、それぞれ、特徴量が求められている。 With respect to texture, density histogram, co-occurrence matrix, the calculation of the difference statistics, etc., also the edge or line, with respect to the structural features of the contour, etc., by convolution and Hough transform or the like of the Laplacian filter, for further colors, RGB space or HSV space or by conversion, etc. into spectrum, conversion to calculation and wavelet optical flow regarding temporal characteristics, respectively, the feature amount has been demanded.
【0004】 [0004]
【特許文献1】 [Patent Document 1]
特開2001−52175号公報【0005】 Japanese Unexamined Patent Publication No. 2001-52175 Publication [0005]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
類似の概念は、人の主観に依存するところが大きいので、ある人にとっては類似していると感じる画像でも、他の人にとっては類似していないと感じる場合がある。 A similar concept, because largely depends on the subjectivity of people, even in the image feel are similar for some people, there is a case in which feel not to be similar for the other person. そのため、画像の類似検索を行う場合、類似の概念をどのように定義するかが重要である。 Therefore, when performing similarity search of images, how to define the notion of similarity is important.
【0006】 [0006]
画像の全体および部分について検討すれば、検索キー画像に対して、例えば、全体的に類似しているが特徴的な部分については類似していない画像や、逆に特徴的な部分については類似しているが全体的に類似していない画像が存在するが、それらの画像についてはそれぞれ類似度を適切に評価する必要がある。 When considered for the entire and partial images, the search key image, for example, whole images or not similar for similar to that but characteristic portion, similar for characteristic portion in the opposite and which is not generally similar image exists, but it is necessary to properly evaluate each similarity for those images. 利用者が画像を見る場合、利用者は、画像のなかで特徴的な部分(花が主体的に写っている画像であれば花の部分)に注目している。 If the user sees the image, the user, characteristic portions are looking at (the flowers part of the case of an image that is reflected in the initiative) among the image. そのため、全体的に類似しているが特徴的な部分については類似していない画像よりは、特徴的な部分については類似しているが全体的に類似していない画像の方が類似していると感じるはずである。 Therefore, for more images not similar is generally similar but characteristic portion, towards the image that is not similar to manner whole is similar is similar for the characteristic portions You should feel. したがって、画像全体をとらえて類似度を評価するよりは、画像のうち特徴的な部分については類似度を重視し、そうでない部分については類似度を軽視するようにして画像の類似度を評価する方が実情に沿うことになる。 Therefore, from capturing the entire image to evaluate the similarity, emphasizes the similarity for the characteristic portion of the image, parts otherwise assessing the similarity of the image so as to discount the similarity it is will be along the actual situation.
【0007】 [0007]
しかしながら、特許文献1記載の画像検索装置にあっては、画像データ全体から複数の特徴量を抽出して特徴ベクトルを生成し、生成した特徴ベクトルに基づいて画像の類似検索を行うようになっているため、利用者が注目する箇所を考慮して画像の類似度を評価してない。 However, in the image retrieval apparatus described in Patent Document 1, by extracting a plurality of features from the entire image data to generate a feature vector, so as to perform similarity search of images based on the generated feature vector because you are, not to evaluate the degree of similarity of the image taking into account the location where user attention. したがって、検索結果に利用者の主観を十分に反映できず、利用者の希望に添う検索結果を得にくいという問題があった。 Therefore, the search results can not be sufficiently reflect the subjectivity of the user, there is a problem that is difficult to obtain the accompany search results to the desired user.
【0008】 [0008]
このことは、画像の類似検索を行う場合に限らず、複数の画像をその類似度に応じて分類する場合についても同様の問題が想定される。 This is not limited to the case of performing similarity search of images, similar problems are assumed also when classified according to a plurality of images on the degree of similarity.
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、利用者の希望に添う検索結果または分類結果を得るのに好適な画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法を提供することを目的としている。 Accordingly, the present invention is such which has been made in view of the unsolved problems of the prior art, a suitable image retrieval system to obtain a search result or classification results live up to the desired user, It is intended image classification system, an image search program, and an image classification program, as well as to provide an image search method, and an image classification method.
【0009】 [0009]
【課題を解決するための手段】 In order to solve the problems]
〔発明1〕 [Invention 1]
上記目的を達成するために、発明1の画像検索システムは、 To achieve the above object, the present invention first image retrieval system,
与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、 Based on the retrieval key image given, a system for searching for matching image on the retrieval key image from among a plurality of retrieval target image,
前記検索キー画像および前記各検索対象画像について、当該画像から注目領域を抽出し、抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成し、 The search key image and each search target image, and extracts a region of interest from the image, and generates a feature vector indicating the feature of the image based on the extracted region of interest,
生成した特徴ベクトルに基づいて、前記複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するようになっていることを特徴とする。 Based on the generated feature vectors, characterized in that is adapted to search for matching images on the retrieval key image from among the plurality of retrieval target image.
【0010】 [0010]
このような構成であれば、検索キー画像が与えられると、検索キー画像から注目領域が抽出され、抽出された注目領域に基づいて検索キー画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, the search when the key image is given, the region of interest is extracted from the search key image, feature vector indicating the feature of the key image on the basis of the extracted region of interest is generated. また同様に、各検索対象画像ごとに、その検索対象画像から注目領域が抽出され、抽出された注目領域に基づいてその検索対象画像の特徴を示す特徴ベクトルが生成される。 Similarly, for each search target image, the region of interest is extracted from the search target image, a feature vector indicating the feature of the search target image is generated based on the extracted region of interest. そして、生成された特徴ベクトルに基づいて、複数の検索対象画像のなかから検索キー画像に適合する画像が検索される。 Then, based on the generated feature vector, matching image retrieval key image from among a plurality of retrieval target image is searched.
【0011】 [0011]
これにより、利用者が注目する箇所を考慮して検索が行われるので、利用者の主観が検索結果に反映しやすくなる。 As a result, the search taking into account the location where user attention is carried out, the subjectivity of the user is likely to be reflected in the search results. したがって、従来に比して、利用者の希望に比較的添った検索結果を得ることができるという効果が得られる。 Therefore, in comparison with the conventional, there is an advantage that it is possible to obtain a search result relatively along with the desired user.
ここで、注目領域とは、検索キー画像または検索対象画像のなかで利用者が注目すると思われる領域をいう。 Here, the region of interest, refers to a region where the user is likely to attention among the search key image or the search target image. 以下、発明2の画像検索システム、発明8および9の画像分類システム、発明14の画像検索プログラム、発明15の画像分類プログラム、発明16の画像検索方法、並びに発明17の画像分類方法において同じである。 Hereinafter, the second aspect of the image retrieval system, the invention 8 and 9 the image classification system, the invention 14 image retrieval program, invention 15 image classification program, image retrieval method of the invention 16, and is the same in image classification method of the present invention 17 .
【0012】 [0012]
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。 The system also single device, the terminal may be realized as other equipment, a plurality of devices may be implemented as a network system that communicably connecting terminal other equipment. 後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。 In the latter case, each component, if they are communicably connected, may belong to any of such multiple devices. 以下、発明2の画像検索システム、並びに発明8および9の画像分類システムにおいて同じである。 Hereinafter, the second aspect of the image retrieval system, and the same in the image classifying system of aspect 8 and 9.
〔発明2〕 [Invention 2]
さらに、発明2の画像検索システムは、 Further, the image search system of the present invention 2,
与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、 Based on the retrieval key image given, a system for searching for matching image on the retrieval key image from among a plurality of retrieval target image,
前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段と、前記検索キー画像入力手段で入力した検索キー画像および前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段と、前記検索キー画像および前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段とを備えることを特徴とする。 And the search target image storing means for storing the plurality of search target image, the search and retrieval key image input means for inputting a key image, the key image inputted by the input means search key image and the search target image storing a region of interest extraction means for extracting a region of interest from the image for each search target image means, the characteristics of the image on the basis of the search key image and the target area extracted by the attention area extraction means for each retrieval target image a feature vector generating means for generating a feature vector indicating the image retrieval means for retrieving image suitable to the retrieval key image from among the search target image storing means based on the feature vector generated by the feature vector generation means characterized in that it comprises.
【0013】 [0013]
このような構成であれば、検索キー画像入力手段から検索キー画像が入力されると、注目領域抽出手段により、入力された検索キー画像から注目領域が抽出され、特徴ベクトル生成手段により、抽出された注目領域に基づいて検索キー画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, when the retrieval key image from the retrieval key image input means is input, the target region extracting means, the region of interest from the input search key image is extracted by the feature vector generation means, is extracted feature vector indicating a feature of a retrieval key image on the basis of the region of interest is generated. また同様に、検索対象画像記憶手段の各検索対象画像ごとに、注目領域抽出手段により、その検索対象画像から注目領域が抽出され、特徴ベクトル生成手段により、抽出された注目領域に基づいてその検索対象画像の特徴を示す特徴ベクトルが生成される。 Similarly, each retrieving object image of retrieval target image storage means, the target region extracting means, the region of interest is extracted from the search target image, the feature vector generating unit, the search based on the extracted region of interest feature vector indicating a feature of the target image is generated. そして、画像検索手段により、生成された特徴ベクトルに基づいて、検索対象画像記憶手段のなかから検索キー画像に適合する画像が検索される。 Then, the image retrieval means, based on the generated feature vector, fits the image in the retrieval key image from among the search target image storing means is searched.
【0014】 [0014]
これにより、利用者が注目する箇所を考慮して検索が行われるので、利用者の主観が検索結果に反映しやすくなる。 As a result, the search taking into account the location where user attention is carried out, the subjectivity of the user is likely to be reflected in the search results. したがって、従来に比して、利用者の希望に比較的添った検索結果を得ることができるという効果が得られる。 Therefore, in comparison with the conventional, there is an advantage that it is possible to obtain a search result relatively along with the desired user.
ここで、注目領域抽出手段は、検索キー画像および各検索対象画像についてその画像から注目領域を抽出するようになっていればよい。 Here, the attention area extraction means, it is sufficient that from the image search key image and the search target image so as to extract a region of interest. 例えば、検索キー画像または検索対象画像に基づいて誘目度を算出し、算出した誘目度に基づいて注目領域を抽出することができる。 For example, it is possible to search key image or based on the search target image to calculate a conspicuous degree, and extracts a region of interest based on the calculated conspicuous degree. 以下、発明9の画像分類システム、発明14の画像検索プログラム、および発明15の画像分類プログラムにおいて同じである。 Hereinafter, the invention 9 image classification system, the invention 14 image search program, and the invention is the same in 15 image classification program.
【0015】 [0015]
また、検索キー画像入力手段は、検索キー画像を入力するようになっていればどのような構成であってもよく、例えば、検索対象画像記憶手段のなかから選択した検索対象画像を検索キー画像として入力するようになっていてもよいし、画像記憶媒体、ネットワークまたは他の画像記憶手段から検索キー画像を入力するようになっていてもよい。 Furthermore, the retrieval key image input means, the search key image may be any structure as long adapted to input, for example, searches the search target image selected from among the search target image storing unit key image may be adapted to the input as an image storage medium may be made from a network or other image storage means so as to enter a key image. 以下、発明9の画像分類システム、発明14の画像検索プログラム、および発明15の画像分類プログラムにおいて同じである。 Hereinafter, the invention 9 image classification system, the invention 14 image search program, and the invention is the same in 15 image classification program.
【0016】 [0016]
また、検索対象画像記憶手段は、検索対象画像をあらゆる手段でかつあらゆる時期に記憶するものであり、検索対象画像をあらかじめ記憶してあるものであってもよいし、検索対象画像をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって検索対象画像を記憶するようになっていてもよい。 Further, the search target image storing means is for storing the search target image and every time any means, it may be those that are stored in advance retrieval target image, which previously stores search target image it not, it may be adapted to store the search target image by an input from outside during the operation of the system. 〔発明3〕 [Invention 3]
さらに、発明3の画像検索システムは、発明2の画像検索システムにおいて、さらに、前記検索キー画像および前記各検索対象画像について当該画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、 Further, the image search system of the present invention 3, the invention in a second image retrieval system, further comprising determining face information judging means face information of a person image included in the image for the search key image and each retrieving object image ,
前記特徴ベクトル生成手段は、前記検索キー画像および前記各検索対象画像について、前記顔情報判定手段で判定した顔情報に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。 The feature vector generation means, for the search key image and each search target image, on the basis of the determined by the face information judging means has face information, that is adapted to generate a feature vector indicating the feature of the image the features.
【0017】 [0017]
このような構成であれば、顔情報判定手段により、検索キー画像に含まれる人物画像の顔情報が判定され、特徴ベクトル生成手段により、判定された顔情報に基づいて、検索キー画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, the face information judging means, face information of a person image included in the search key image is determined, the feature vector generating unit, on the basis of the determined face information, the characteristics of the key image feature vectors shown is generated. また同様に、各検索対象画像ごとに、顔情報判定手段により、その検索対象画像に含まれる人物画像の顔情報が判定され、特徴ベクトル生成手段により、判定された顔情報に基づいて、その検索対象画像の特徴を示す特徴ベクトルが生成される。 Similarly, for each search target image, the face information judging means, the face information of a person image included in the search target image is determined, the feature vector generating unit, on the basis of the determined face information, the search feature vector indicating a feature of the target image is generated.
【0018】 [0018]
これにより、人物画像の顔情報を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に適合する検索結果を得ることができるという効果も得られる。 Thus, the search taking into account the face information of a person image is performed, so that it is possible to obtain a matching search results to a person's face image included in the search key image.
〔発明4〕 [Invention 4]
さらに、発明4の画像検索システムは、発明2および3のいずれかの画像検索システムにおいて、 Further, the image search system of the present invention 4, in any one of the image retrieval system of the invention 2 and 3,
さらに、前記各検索対象画像ごとに当該検索対象画像に含まれる人物画像の顔と前記検索キー画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、 Further comprising a similarity determination means for determining a similarity between the face of the person image included in the search key image and the face of the person image included in the search target image for each of the respective search target image,
前記特徴ベクトル生成手段は、前記検索キー画像および前記各検索対象画像について、前記類似度判定手段の判定結果に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。 The feature vector generation means, characterized in that the said search key image and each search target image, on the basis of the determination result of the similarity determination unit is adapted to generate a feature vector indicating the feature of the image to.
【0019】 [0019]
このような構成であれば、類似度判定手段により、各検索対象画像ごとに、その検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度が判定され、特徴ベクトル生成手段により、その判定結果に基づいて、検索キー画像の特徴を示す特徴ベクトルおよび各検索対象画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, by the similarity determining means, for each search target image, the similarity between the face of the person image included in the face and the search key image of the person image included in the search target image is determined , the feature vector generating unit, on the basis of the determination result, the feature vector indicating the feature of the feature vector and the search target image indicating characteristics of the search key image is generated.
【0020】 [0020]
これにより、人物画像の顔同士の類似度を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に類似する検索結果を得ることができるという効果も得られる。 Thus, since the search in consideration of the similarity of the face between the person image is performed, so that it is possible to obtain the search results that are similar to a person's face image included in the search key image.
〔発明5〕 [Invention 5]
さらに、発明5の画像検索システムは、発明2ないし4のいずれかの画像検索システムにおいて、 Further, the image search system of the present invention 5, in any one of the image search system of the invention 2 to 4,
前記画像検索手段は、前記検索キー画像の特徴ベクトルとのベクトル間距離が最も小さい特徴ベクトルに対応する検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする。 Wherein the image retrieval means, characterized by being adapted to searches out from among the search key image the search target image storing means search target image distance between vectors corresponding to the smallest feature vector and the feature vector of to.
【0021】 [0021]
このような構成であれば、画像検索手段により、検索キー画像の特徴ベクトルとのベクトル間距離が最も小さい特徴ベクトルに対応する検索対象画像が検索対象画像記憶手段のなかから索出される。 With such a configuration, the image retrieval means, the retrieval target image vector distance between the feature vector of the retrieval key image corresponding to the smallest feature vectors are searched out from among the search target image storage means.
これにより、利用者の希望に最も添うと思われる検索結果を得ることができるという効果も得られる。 Thus, there is also an effect of being able to obtain a search result that seems most comply with the wishes of the user.
〔発明6〕 [Invention 6]
さらに、発明6の画像検索システムは、発明2ないし4のいずれかの画像検索システムにおいて、 Further, the image search system of the present invention 6, in any of the image retrieval system of the invention 2 to 4,
前記画像検索手段は、前記検索対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各検索対象画像を複数のグループに分類し、前記複数のグループのうち前記検索キー画像が属するもののすべての検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする。 Wherein the image retrieval means, each of said search target image based on the distance between vectors of feature vectors between the search target image into a plurality of groups, all search of the search key image belongs ones of said plurality of groups characterized in that it adapted to searches out the target image from among the search target image storing means.
【0022】 [0022]
このような構成であれば、画像検索手段により、検索対象画像の特徴ベクトル同士のベクトル間距離に基づいて各検索対象画像が複数のグループに分類され、複数のグループのうち検索キー画像が属するもののすべての検索対象画像が検索対象画像記憶手段のなかから索出される。 With such a configuration, the image retrieval means, search target image feature vectors each retrieval target image based on the inter-vector distance between the are classified into a plurality of groups, although the key image from among the plurality of groups belong all retrieval target image is searched out from among the search target image storage means.
これにより、利用者の希望に添うと思われるいくつかの検索結果を得ることができるという効果が得られる。 Thus, there is an advantage that it is possible to get some of the search results appear to live up to the desired user.
〔発明7〕 [Invention 7]
さらに、発明7の画像検索システムは、発明2ないし6のいずれかの画像検索システムにおいて、 Further, the image search system of the present invention 7, in the invention 2 to 6 or the image search system,
前記特徴ベクトル生成手段は、前記検索キー画像と前記検索対象画像とのアスペクト比、または前記検索対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第1画像および第2画像を重ね合わせ、前記第1画像のうち重複領域について前記第1画像の特徴ベクトルを生成し、前記第2画像のうち重複領域について前記第2画像の特徴ベクトルを生成するようになっていることを特徴とする。 The feature vector generation means, the aspect ratio of the search key image and the search target image, or when the aspect ratio of the image to be searched each other are different, superimposed the first image and the second image aspect ratios are different, generates a feature vector of the first image the overlapping area of ​​the first image, characterized in that is adapted to generate a feature vector of said second image for overlapping area of ​​the second image.
【0023】 [0023]
このような構成であれば、検索キー画像と検索対象画像とのアスペクト比、または検索対象画像同士のアスペクト比が異なると、特徴ベクトル生成手段により、アスペクト比が異なる第1画像および第2画像を重ね合わせ、第1画像のうち重複領域について第1画像の特徴ベクトルが生成され、第2画像のうち重複領域について第2画像の特徴ベクトルが生成される。 With such a configuration, the aspect ratio of the search key image and the search target image, or the aspect ratio of the image to be searched each other are different, the feature vector generating unit, the first image and the second image aspect ratios are different superposition, the overlapping region of the first image feature vector of the first image is generated, the feature vector of the second image is generated for overlapping area of ​​the second image.
【0024】 [0024]
これにより、アスペクト比が異なる画像同士であっても、比較的正確に類否を判定することができるので、利用者の希望にさらに添った検索結果を得ることができるという効果も得られる。 Accordingly, even between images aspect ratios are different, it is possible to determine relatively accurately similarity, so that it is possible to obtain the search results further along the desired user.
〔発明8〕 [Invention 8]
一方、上記目的を達成するために、発明8の画像分類システムは、 Meanwhile, in order to achieve the above object, an image classification system of the present invention 8,
複数の分類対象画像を分類するシステムであって、 A system for classifying a plurality of grouping target image,
前記各分類対象画像ごとに、当該分類対象画像から注目領域を抽出し、抽出した注目領域に基づいて当該分類対象画像の特徴を示す特徴ベクトルを生成し、 Wherein each grouping target image, and extracts a region of interest from the grouping target image to generate a feature vector indicating the feature of the grouping target image based on the extracted region of interest,
生成した特徴ベクトルに基づいて、前記各分類対象画像を複数のグループに分類するようになっていることを特徴とする。 Based on the generated feature vectors, characterized in that is adapted to classify each grouping target image into a plurality of groups.
【0025】 [0025]
このような構成であれば、各分類対象画像ごとに、その分類対象画像から注目領域が抽出され、抽出された注目領域に基づいてその分類対象画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, for each grouping target image, is the region of interest extracted from the grouping target image, a feature vector indicating the feature of the grouping target image is generated based on the extracted region of interest. そして、生成された特徴ベクトルに基づいて、各分類対象画像が複数のグループに分類される。 Then, based on the generated feature vector, each grouping target image is classified into a plurality of groups.
これにより、利用者が注目する箇所を考慮して分類が行われるので、利用者の主観が分類結果に反映しやすくなる。 As a result, the classification is carried out taking into account the location where the user pays attention, it is easy to reflect on subjective classification result of the user. したがって、従来に比して、利用者の希望に比較的添った分類結果を得ることができるという効果が得られる。 Therefore, in comparison with the conventional, there is an advantage that it is possible to obtain a classification result relatively along with the desired user.
〔発明9〕 [Invention 9]
さらに、発明9の画像分類システムは、 Further, an image classification system of the present invention 9,
複数の分類対象画像を分類するシステムであって、 A system for classifying a plurality of grouping target image,
前記複数の分類対象画像を記憶するための分類対象画像記憶手段と、前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段と、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段とを備えることを特徴とする。 And classifying object image storage means for storing the plurality of grouping target image, and target area extracting means for extracting a region of interest from the grouping target image for each grouping target image of the grouping target image storing means, the region of interest a feature vector generating means for generating a feature vector indicating the feature of the grouping target image to each of said grouping target image based on the extracted attention area extraction means, on the basis of the feature vector generated by the feature vector generation means characterized in that it comprises an image classification unit that classifies each grouping target image into a plurality of groups.
【0026】 [0026]
このような構成であれば、分類対象画像記憶手段の各分類対象画像ごとに、注目領域抽出手段により、その分類対象画像から注目領域が抽出され、特徴ベクトル生成手段により、抽出された注目領域に基づいてその分類対象画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, for each grouping target image of the grouping target image memory means, the target region extracting means, the region of interest is extracted from the grouping target image, the feature vector generating unit, the extracted region of interest feature vector indicating the feature of the grouping target image is generated on the basis. そして、画像分類手段により、生成された特徴ベクトルに基づいて各分類対象画像が複数のグループに分類される。 Then, the image classifying means, the grouping target image is classified into a plurality of groups based on the generated feature vector.
【0027】 [0027]
これにより、利用者が注目する箇所を考慮して分類が行われるので、利用者の主観が分類結果に反映しやすくなる。 As a result, the classification is carried out taking into account the location where the user pays attention, it is easy to reflect on subjective classification result of the user. したがって、従来に比して、利用者の希望に比較的添った分類結果を得ることができるという効果が得られる。 Therefore, in comparison with the conventional, there is an advantage that it is possible to obtain a classification result relatively along with the desired user.
ここで、分類対象画像記憶手段は、分類対象画像をあらゆる手段でかつあらゆる時期に記憶するものであり、分類対象画像をあらかじめ記憶してあるものであってもよいし、分類対象画像をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって分類対象画像を記憶するようになっていてもよい。 Here, grouping target image storing means, grouping target image is intended to be stored in a and any time any means, grouping target image may be one that is previously stored, in advance stores the grouping target image it may not, be adapted to store the grouping target image by an input from outside during the operation of the system to.
〔発明10〕 [Invention 10]
さらに、発明10の画像分類システムは、発明9の画像分類システムにおいて、 Further, an image classification system of the present invention 10, in the image classification system of the present invention 9,
さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、 Further comprising determining face information judging means face information of a person image included the in the grouping target image for each grouping target image,
前記特徴ベクトル生成手段は、前記顔情報判定手段で判定した顔情報に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。 The feature vector generation means, characterized in that on the basis of the face information determined by the face information determination unit, wherein for each grouping target image, and generates a feature vector indicating the feature of the grouping target image to.
【0028】 [0028]
このような構成であれば、各分類対象画像ごとに、顔情報判定手段により、その分類対象画像に含まれる人物画像の顔情報が判定され、特徴ベクトル生成手段により、判定された顔情報に基づいて、その分類対象画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, for each grouping target image, the face information judging means, the face information of a person image included in the classification target image is determined, the feature vector generating unit, based on the determined face information Te, feature vector indicating the feature of the grouping target image is generated.
これにより、人物画像の顔情報を考慮して分類が行われるので、人物画像の顔が適合する画像同士が同一グループに属するような分類結果を得ることができるという効果も得られる。 Thus, the classification in view of the face information of a person image is performed, there is also an effect that the face fits between images of the portrait image can be obtained classification result as belonging to the same group.
〔発明11〕 [Invention 11]
さらに、発明11の画像分類システムは、発明9および10のいずれかの画像分類システムにおいて、 Further, an image classification system of the present invention 11, in any one of image classification system of the invention 9 and 10,
さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔と特定画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、 Further comprising a similarity determination means for determining a similarity between the face of the person image included in the specific image and the face of the person image included in the grouping target image to each of said grouping target image,
前記特徴ベクトル生成手段は、前記類似度判定手段の判定結果に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする。 The feature vector generating unit, on the basis of the determination result of the similarity determination unit, wherein for each grouping target image, characterized in that is adapted to generate a feature vector indicating the feature of the grouping target image .
【0029】 [0029]
このような構成であれば、各分類対象画像ごとに、類似度判定手段により、その分類対象画像に含まれる人物画像の顔と特定画像に含まれる人物画像の顔との類似度が判定され、特徴ベクトル生成手段により、その判定結果に基づいて、その分類対象画像の特徴を示す特徴ベクトルが生成される。 With such a configuration, for each grouping target image, the similarity determination unit, the similarity between the face of the person image included in the face with a particular image of the person image included in the grouping target image is determined, the feature vector generating unit, on the basis of the determination result, the feature vector indicating the feature of the grouping target image is generated.
これにより、人物画像の顔同士の類似度を考慮して分類が行われるので、人物画像の顔が類似する画像同士が同一グループに属するような分類結果を得ることができるという効果も得られる。 Thus, the classification in view of the similarity of the face between the person image is performed, so that it is possible to image between the face of the person image is similar to obtain a classification result as belonging to the same group.
〔発明12〕 [Invention 12]
さらに、発明12の画像分類システムは、発明9ないし11のいずれかの画像分類システムにおいて、 Further, an image classification system of the present invention 12, in the invention 9 to 11 or of an image classification system,
前記画像分類手段は、前記分類対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各分類対象画像を複数のグループに分類し、前記各グループごとに所定数の分類対象画像を前記分類対象画像記憶手段のなかから索出するようになっていることを特徴とする。 The image classification unit, the classifying the respective grouping target image based on the distance between vectors of feature vectors between the target image into a plurality of groups, said grouping target image of a predetermined number per each group grouping target image characterized in that it adapted to searches out from among the storage means.
【0030】 [0030]
このような構成であれば、画像分類手段により、分類対象画像の特徴ベクトル同士のベクトル間距離に基づいて各分類対象画像が複数のグループに分類され、各グループごとに所定数の分類対象画像が分類対象画像記憶手段のなかから索出される。 With such a configuration, the image classifying means, the grouping target image based on the distance between vectors of the feature vector between the grouping target image is classified into a plurality of groups, the grouping target image a predetermined number for each group It is searched out from among classifying object image storage means.
これにより、異なるグループから所定数の分類対象画像が索出されるので、多様な検索結果を得ることができるという効果も得られる。 Accordingly, since a predetermined number of grouping target image from different groups is searched out, so that it is possible to obtain a variety of search results.
〔発明13〕 [Invention 13]
さらに、発明13の画像分類システムは、発明9ないし12のいずれかの画像分類システムにおいて、 Further, an image classification system of the present invention 13, in any one of image classification system of the present invention 9-12,
前記特徴ベクトル生成手段は、前記分類対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第1画像および第2画像を重ね合わせ、前記第1画像のうち重複領域について前記第1画像の特徴ベクトルを生成し、前記第2画像のうち重複領域について前記第2画像の特徴ベクトルを生成するようになっていることを特徴とする。 The feature vector generation means, when the aspect ratio of the grouping target image to each other are different, superimposed the first image and the second image aspect ratios are different, characterized the first image the overlapping area of ​​the first image generates a vector, characterized in that is adapted to generate a feature vector of said second image for overlapping area of ​​the second image.
【0031】 [0031]
このような構成であれば、分類対象画像同士のアスペクト比が異なると、特徴ベクトル生成手段により、アスペクト比が異なる第1画像および第2画像を重ね合わせ、第1画像のうち重複領域について第1画像の特徴ベクトルが生成され、第2画像のうち重複領域について第2画像の特徴ベクトルが生成される。 With such a configuration, grouping target the image aspect ratio of each other different, the feature vector generating unit, superposing the first image and the second image aspect ratios are different, first the overlapping region of the first image image feature vector is generated, the feature vector of the second image is generated for overlapping area of ​​the second image.
これにより、アスペクト比が異なる画像同士であっても、比較的正確に類否を判定することができるので、利用者の希望にさらに添った分類結果を得ることができるという効果も得られる。 Accordingly, even between images aspect ratios are different, it is possible to determine relatively accurately similarity, so that it is possible to obtain a classification result that further along the desired user.
〔発明14〕 [Invention 14]
一方、上記目的を達成するために、発明14の画像検索プログラムは、 Meanwhile, in order to achieve the above object, an image search program of the present invention 14,
与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するプログラムであって、 Based on the retrieval key image given, a program to search for matching images on the retrieval key image from among a plurality of retrieval target image,
前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段とを利用可能なコンピュータに対して、 To the plurality of search target image and search target image storing means for storing, retrieving key image inputting means and the available computer for inputting the search key image,
前記検索キー画像入力手段で入力した検索キー画像および前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段、前記検索キー画像および前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、並びに前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段として実現される処理を実行させるためのプログラムであることを特徴とする。 The key image region of interest extracting means for extracting a region of interest for the corresponding image each search target image of the search key image and the search target image storing means is input by the input means, said about the retrieval key image and each retrieving object image feature vector generating means for generating a feature vector indicating the feature of the image on the basis of the target region extracted by the attention area extraction unit, as well as among the search target image storing means based on the feature vector generated by the feature vector generation means characterized in that it is a program for executing a process to be achieved by the image retrieval means for retrieving the image suitable to the retrieval key image from.
【0032】 [0032]
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明2の画像検索システムと同等の作用および効果が得られる。 With such a configuration, the program is read by the computer, the computer in accordance with the read program, to execute the processing, the image retrieval system the same operation and effects of the invention 2 is obtained.
〔発明15〕 [Invention 15]
一方、上記目的を達成するために、発明15の画像分類プログラムは、 Meanwhile, in order to achieve the above object, an image classification program of invention 15,
複数の分類対象画像を分類するプログラムであって、 A program for classifying a plurality of grouping target image,
前記複数の分類対象画像を記憶するための分類対象画像記憶手段を利用可能なコンピュータに対して、 Against grouping target image storing means available computer for storing the plurality of grouping target image,
前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、および前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段として実現される処理を実行させるためのプログラムであることを特徴とする。 Attention area extraction means for extracting a region of interest from the grouping target image for each grouping target image of the grouping target image storing means, the classification for each of the respective grouping target image on the basis of the region of interest extracted by the attention area extraction means feature vector generating means for generating a feature vector indicating a feature of the target image, and the feature vector processing realized the respective grouping target image based on the generated feature vector generation means as an image classifying means for classifying a plurality of groups characterized in that it is a program for executing.
【0033】 [0033]
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明9の画像分類システムと同等の作用および効果が得られる。 With such a configuration, the program is read by the computer, the computer in accordance with the read program, to execute the processing, an image classification system the same operation and effects of the invention 9 is obtained.
〔発明16〕 [Invention 16]
一方、上記目的を達成するために、発明16の画像検索方法は、 Meanwhile, in order to achieve the above object, an image search method of the invention 16,
与えられた検索キー画像をもとに、複数の検索対象画像を記憶した検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する方法であって、 Based on the retrieval key image given to a method of searching for matching image on the retrieval key image from among the search target image storing means for storing a plurality of retrieval target image,
前記検索キー画像を入力する検索キー画像入力ステップと、 A retrieval key image input step of inputting the retrieval key image,
前記検索キー画像入力ステップで入力した検索キー画像から注目領域を抽出する第1注目領域抽出ステップと、 A first target region extraction step of extracting a region of interest from the search key image input in the retrieval key image input step,
前記第1注目領域抽出ステップで抽出した注目領域に基づいて前記検索キー画像の特徴を示す特徴ベクトルを生成する第1特徴ベクトル生成ステップと、 A first feature vector generation step of generating a feature vector indicating a feature of said key image on the basis of the target region extracted by the first target region extraction step,
前記検索対象画像から注目領域を抽出する第2注目領域抽出ステップと、 A second target area extracting step of extracting a region of interest from the search target image,
前記第2注目領域抽出ステップで抽出した注目領域に基づいて前記検索対象画像の特徴を示す特徴ベクトルを生成する第2特徴ベクトル生成ステップと、 A second feature vector generation step of generating a feature vector indicating the feature of the search target image based on the region of interest extracted by the second target region extraction step,
前記第2注目領域抽出ステップおよび前記第2特徴ベクトル生成ステップを前記検索対象画像記憶手段の各検索対象画像ごとに繰り返し行う繰返ステップと、前記第1特徴ベクトル生成ステップおよび前記第2特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索ステップとを含むことを特徴とする。 And repeating the step of repeating the second target area extracting step and the second feature vector generation step for each search target image of the search target image storing means, the first feature vector generation step and the second feature vector generation based on the feature vectors generated in step, characterized in that it comprises an image retrieval step of retrieving a matching image in the retrieval key image from among the search target image storing means.
【0034】 [0034]
これにより、発明2の画像検索システムと同等の効果が得られる。 Thus, the image retrieval system and an effect equivalent to the invention 2 is obtained.
ここで、注目領域抽出ステップは、検索キー画像および各検索対象画像についてその画像から注目領域を抽出すればよい。 Here, the attention area extraction step may be extracted region of interest from the image search key image and the search target image. 例えば、検索キー画像または検索対象画像に基づいて誘目度を算出し、算出した誘目度に基づいて注目領域を抽出することができる。 For example, it is possible to search key image or based on the search target image to calculate a conspicuous degree, and extracts a region of interest based on the calculated conspicuous degree. 以下、発明17の画像分類方法において同じである。 The above operation is the same as image classification method of the present invention 17.
【0035】 [0035]
また、検索キー画像入力ステップは、検索キー画像を入力すればどのような方法であってもよく、例えば、検索対象画像記憶手段のなかから選択した検索対象画像を検索キー画像として入力してもよいし、画像記憶媒体、ネットワークまたは他の画像記憶手段から検索キー画像を入力してもよい。 Also, the search key image input step may be any method by entering the key image, for example, entering a search target image selected from among the search target image storage means as a retrieval key image good to the image storage medium from a network or other image storage means may input the key image.
〔発明17〕 [Invention 17]
一方、上記目的を達成するために、発明17の画像分類方法は、 Meanwhile, in order to achieve the above object, an image classification method of the present invention 17,
複数の分類対象画像を分類する方法であって、 A method of classifying a plurality of grouping target image,
前記分類対象画像から注目領域を抽出する注目領域抽出ステップと、 And attention area extraction step of extracting a region of interest from the grouping target image,
前記注目領域抽出ステップで抽出した注目領域に基づいて前記分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、 A feature vector generating step of generating a feature vector indicating the feature of the grouping target image on the basis of the region of interest extracted by the attention area extraction step,
前記注目領域抽出ステップおよび前記特徴ベクトル生成ステップを前記各分類対象画像ごとに繰り返し行う繰返ステップと、 And repeating the step of repeating performing the attention area extraction step and the feature vector generating step for each of the respective grouping target image,
前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類ステップとを含むことを特徴とする。 Characterized in that it comprises an image classification step of classifying into a plurality of groups each of said grouping target image based on the feature vector generated by the feature vector generation step.
【0036】 [0036]
これにより、発明9の画像分類システムと同等の効果が得られる。 Thus, an image classification system effect equivalent to that of the invention 9 is obtained.
【0037】 [0037]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、本発明の実施の形態を図面を参照しながら説明する。 It will be described with the embodiment of the present invention with reference to the drawings. 図1ないし図7は、本発明に係る画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法の実施の形態を示す図である。 1 to 7 are views illustrating an image retrieval system according to the present invention, an image classification system, an image search program, and an image classification program, as well as the embodiment of the image retrieval method, and an image classification method.
【0038】 [0038]
本実施の形態は、本発明に係る画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法を、利用者が注目する箇所を考慮して画像の類似検索を行う場合について適用したものである。 This embodiment, an image retrieval system according to the present invention, an image classification system, an image search program, and an image classification program, and an image retrieval method and an image classification method, similarity search of images in consideration of the location where the user pays attention it is obtained by applying the case to perform.
本実施の形態では、画像のなかで利用者が注目すると思われる箇所(以下、注目領域という。)の抽出基準として「誘目度」という概念を用いる。 In this embodiment, portions the user among the images appear to interest (hereinafter, referred to as the region of interest.) Using the concept of "attractiveness" as the extraction criteria. 誘目度の算出方法は、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)に詳細に開示されている。 The method of calculating the attractiveness, for example, is disclosed in detail in "JP 2001-126070 JP (attention region extractor and automatic composition determining apparatus using it).
【0039】 [0039]
誘目度について簡単に説明する。 It will be briefly described attractiveness.
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。 For the extraction of the region of interest, assessing the attractiveness according to the physical characteristics of the original image. ここで、誘目度とは、人間の主観に合ったパラメータをいう。 Here, the conspicuous degree, refers to meet the man of subjective parameters. 注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。 Extraction of the region of interest, to extract the most prominent area from the evaluation results as a region of interest. つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。 In other words, the evaluation of the region of interest, since the evaluation suited to human subjectivity according to the physical characteristics, can be extracted attention region adapted to the human subjectivity.
【0040】 [0040]
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。 For example, if the physical characteristics including heterogeneity in color, it is possible to evaluate the attractiveness based on differences in the color of each region.
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ(模様)の異質度をさらに含むので、この4つの異質度の少なくとも1つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。 Moreover, physical characteristics, in addition to the color of the heterogeneity, heterogeneity of forms, since heterogeneity of the area and further comprising a heterogeneity of texture (pattern), based on at least one heterogeneity of the four heterogeneity if evaluated conspicuity Te, can be evaluated accurately conspicuity according to the characteristics of the original image.
【0041】 [0041]
また、色の3要素(色相、彩度、明度)についても評価する場合であれば、人間の主観による目立つ色(赤色)に近い領域を最も目立つ領域と評価することができる。 The color of the three elements (hue, saturation, brightness) in the case also evaluated can be evaluated as the most prominent areas of regions close to the color (red) that stands out due to human subjectivity.
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判定することができる。 Further, if also evaluated the area of ​​each region in the spatial frequency and the original image, it is possible to more accurately determine the evaluation of the most prominent areas.
【0042】 [0042]
また、誘目度の評価は、以下の手順により行う。 In addition, evaluation of the attractiveness is carried out by the following procedure.
(1)最初に原画像を領域分割する。 (1) First the original image to the area division. この場合、原画像を図領域と絵領域に分割する。 In this case, it divides the original image in FIG region and a picture region. 領域分割の方法には、1997IEEEにおいてW. The method of area division, W. in 1997IEEE Y. Y. MaやB. Ma and B. S. S. Manjunathらが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した”edge flow”に基づく境界検出方法が適用される。 Manjunath et al., "Edge Flow: A Framework of Boundary Detection and Image Segmentation" boundary detection method based on the "edge flow" described is applied.
(2)次に、分割した図領域を抽出し、領域の誘目度を評価する。 (2) Next, extract the divided graphic area, to assess the attractiveness of a region.
【0043】 [0043]
誘目度の評価は、概略以下のようにして行う。 Evaluation of attractiveness is performed as follows schematic.
最初に、各領域の異質性誘目度を求める。 First, determine the heterogeneity conspicuity of each region. この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。 In this case, the color of the heterogeneity, determined each heterogeneity of texture, the heterogeneity of the heterogeneity and the area of ​​the shape, by linearly combining by applying a weighting factor to each determined heterogeneity conspicuity of each region.
次に、各領域における特徴誘目度を求める。 Next, determine the characteristics conspicuity in each area. この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。 In this case, the color conspicuity of seeking conspicuity, conspicuity of the area of ​​the spatial frequencies, by linearly combining by applying a weighting factor to each, determine the characteristics conspicuity of each region.
【0044】 [0044]
次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、特徴量統合値を所定のベータ関数により評価して、誘目度を算出する。 Then, by adding the heterogeneity conspicuity and features conspicuity of each region, determine the characteristic quantity integration value, the feature amount integrated value is evaluated by a predetermined beta function, calculates a conspicuous degree.
(3)また、原画像から誘目度を評価したパターン図を生成する。 (3) Further, to generate a pattern diagram showing an evaluation of the attractiveness from the original image.
次に、本発明に係る画像検索装置100の構成を図1を参照しながら説明する。 Next, a configuration of an image retrieval apparatus 100 according to the present invention will be described with reference to FIG.
【0045】 [0045]
図1は、本発明に係る画像検索装置100の構成を示す機能ブロック図である。 Figure 1 is a functional block diagram showing a configuration of an image retrieval apparatus 100 according to the present invention.
画像検索装置100は、図1に示すように、複数の検索対象画像を登録した検索対象画像登録データベース(以下、データベースのことを単にDBと略記する。)10と、検索キー画像を指定する検索キー画像指定部12と、検索キー画像指定部12で指定された検索対象画像を検索キー画像として検索対象画像登録DB10から読み出す検索キー画像読出部14とを有して構成されている。 Image retrieval apparatus 100, as shown in FIG. 1, the search target image registration database having registered the plurality of retrieval target image (hereinafter, simply referred to as DB to a database.) And 10, specifying the search key image search a key image specifying section 12 is configured by including a key image reading unit 14 to read from the search image registration DB10 search target image specified by the retrieval key image specifying section 12 as a key image. さらに、検索キー画像読出部14で読み出した検索キー画像および検索対象画像登録DB10の各検索対象画像についてその画像から注目領域を抽出する注目領域抽出部16と、検索キー画像読出部14で読み出した検索キー画像および検索対象画像登録DB10の各検索対象画像について顔情報および類似度を判定する顔画像処理部18と、注目領域抽出部16で抽出した注目領域および顔画像処理部18の判定結果に基づいて画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成部20とを有して構成されている。 Moreover, the attention area extraction unit 16 for extracting a region of interest from the image for each search target image of the retrieval key image read unit 14 reads out the search key image and the search target image registration DB 10, read out in the search key image read unit 14 the search key image and the search for the search object image of the target image registration DB10 determines face information and similarity face image processing section 18, the determination result of the region of interest extracted with attention area extraction unit 16 and the face image processing unit 18 It is configured to include a feature vector generating unit 20 for generating a feature vector indicating the feature of an image based. さらに、検索条件を指定する検索条件指定部22と、検索条件指定部22で指定された検索条件および特徴ベクトル生成部20で生成した特徴ベクトルに基づいて検索対象画像登録DB10のなかから画像を検索する画像検索部24と、検索結果の表示形態を指定する表示形態指定部26と、表示形態指定部26で指定された表示形態で検索結果の画像を表示する画像表示部28とを有している。 Further, search and retrieval condition specifying section 22 for specifying an image from among the search target image registration DB10 based on the feature vector generated by the search condition designated by the designating unit 22 search conditions and feature vector generation unit 20 search conditions It includes an image retrieval section 24 that includes a display form designating unit 26 for designating the display form of search results, and an image display unit 28 for displaying an image of the search results in the display form designated by the display mode designation unit 26 there.
【0046】 [0046]
顔画像処理部18は、検索キー画像読出部14で読み出した検索キー画像および検索対象画像登録DB10の各検索対象画像についてその画像に人物画像の顔に相当する領域(以下、顔領域という。)が含まれているか否かを判定する顔領域判定部34と、顔領域判定部34の判定結果に基づいて画像に含まれる人物画像の顔の向き、大きさおよび重心位置を判定する顔情報判定部36と、顔領域判定部34の判定結果に基づいて各検索対象画像ごとにその検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度を判定する類似度判定部38とを有して構成されている。 Face image processing unit 18, the search key image read unit for reading the search key image and the search target each search target image image registration DB10 in 14 region corresponding to a person's face image to the image (hereinafter, referred to as a face region.) and determining a face area determination section 34 whether or not included, determines face information determining the orientation, size and position of the center of gravity of the face of the person image included in the image based on the determination result of the face area determination unit 34 and parts 36, it determines the similarity between the face of the person image included in the face and the search key image of the person image included in the search target image for each search target image based on the determination result of the face area determination unit 34 is constructed and a similarity determination unit 38.
【0047】 [0047]
具体的に、画像検索装置100は、図2に示すように、コンピュータ200およびこれに実行させるプログラムとして実現することができる。 Specifically, the image retrieval apparatus 100, as shown in FIG. 2, can be implemented as a program to be executed by the computer 200 and to this. コンピュータ200の構成を図2を参照しながら説明する。 The configuration of the computer 200 will be described with reference to FIG.
図2は、コンピュータ200の構成を示すブロック図である。 Figure 2 is a block diagram showing a configuration of a computer 200.
コンピュータ200は、図2に示すように、制御プログラムに基づいて演算およびシステム全体を制御するCPU50と、所定領域にあらかじめCPU50の制御プログラム等を格納しているROM52と、ROM52等から読み出したデータやCPU50の演算過程で必要な演算結果を格納するためのRAM54と、外部装置に対してデータの入出力を媒介するI/F58とで構成されており、これらは、データを転送するための信号線であるバス59で相互にかつデータ授受可能に接続されている。 Computer 200 is, as shown in FIG. 2, the CPU50 for controlling the calculation and the entire system based on control programs, a ROM52 storing the control program of the pre-CPU50 in a predetermined area, Ya data read from like ROM52 and RAM54 for storing an operation result required in an operation process of the CPU 50, is constituted by the I / F 58 for mediating the input and output of data to an external device, such a signal line for transferring data is another and exchange data connected by a bus 59 is.
【0048】 [0048]
I/F58には、外部装置として、検索対象画像登録DB10と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置60と、画像信号に基づいて画面を表示する表示装置64とが接続されている。 The I / F 58, as an external device, the search target image registration DB 10, an input device 60 which inputs data as a human interface comprising a keyboard or a mouse that can be a display device 64 for displaying a screen based on the image signal There has been connected.
CPU50は、マイクロプロセッシングユニット(MPU)等からなり、ROM52の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図3のフローチャートに示す画像検索処理を実行するようになっている。 CPU50 includes a micro processing unit (MPU) or the like, activates a predetermined program stored in a predetermined area of ​​the ROM 52, according to the program, and executes the image search processing shown in the flowchart of FIG. 3 .
【0049】 [0049]
図3は、画像検索処理を示すフローチャートである。 Figure 3 is a flowchart showing the image search processing.
画像検索処理は、入力装置60から検索要求の入力を受けて実行される処理であって、CPU50において実行されると、図3に示すように、まず、ステップS100に移行するようになっている。 Image retrieval processing, a process to be performed from the input device 60 receives an input of a search request, is executed in CPU 50, as shown in FIG. 3, first, the procedure proceeds to step S100 .
ステップS100では、検索条件の指定を入力する。 At step S100, and inputs the specified search criteria. 検索条件としては、検索対象画像登録DB10のなかから検索キー画像に最も類似する画像を検索する類似画像検索モード、検索対象画像登録DB10のなかから検索キー画像に類似する複数の画像を検索する類似画像群検索モード、および検索対象画像登録DB10のなかから性質の異なる複数の画像を検索するバラエティ検索モードを指定することができる。 The search condition, searches the most similar image retrieval mode for retrieving an image, a plurality of images similar to the search key image from among the search target image registration DB10 the search key image from among the search target image registration DB10 similar images search mode, and a variety search mode for searching a plurality of images having different characteristics from among the search target image registration DB10 can be specified.
【0050】 [0050]
次いで、ステップS102に移行して、表示形態の指定を入力する。 Then, the processing proceeds to step S102, and inputs a designation of the display form. 表示形態としては、検索条件に合致する画像を大きく表示し検索条件に合致しない画像を小さく表示する拡大表示モード、および検索条件に合致する画像を鮮明に表示し検索条件に合致しない画像をぼかして表示する鮮明表示モードを指定することができる。 As the display form, blurred images that do not meet the enlarged display mode, and clearly display an image that matches the search conditions to search to see small images that do not meet the display large images matching the search-condition search it is possible to specify a clear display mode to display.
【0051】 [0051]
次いで、ステップS104に移行して、検索対象画像登録DB10のなかから検索キー画像を指定する。 Then, the processing proceeds to step S104, specifying the search key image from among the search target image registration DB 10. なお、検索条件としてバラエティ検索モードを指定した場合は、検索キー画像の指定は不要となる。 It should be noted that, if you specify a variety search mode as the search condition, the specification of a search key image is not required. 以下、ステップS106〜S126およびステップS134の処理は、検索キー画像を含むすべての検索対象画像について行う。 Hereinafter, the processing of steps S106~S126 and step S134 are performed for all of the search target image containing a search key image.
【0052】 [0052]
次いで、ステップS106に移行して、検索対象画像登録DB10のなかから先頭の検索対象画像を読み出し、ステップS108に移行する。 Then, the processing proceeds to step S106, reads out the first search target image from among the search target image registration DB 10, the process proceeds to step S108.
ステップS108では、読み出した検索対象画像に基づいて誘目度を算出し、算出した誘目度に基づいて注目領域を抽出する。 In step S108, calculates a conspicuous degree on the basis of the read search target image, a region of interest is extracted on the basis of the calculated conspicuous degree. 注目領域の抽出は、上記方法により行う。 Extraction of the region of interest is carried out by the method described above. 誘目度の絶対値は、検索対象画像に影響を受けることがあるので、すべての検索対象画像を等しく評価するためには、誘目度を正規化して注目領域の注目度合いを所定段階(例えば、10段階)に区分する。 The absolute value of the conspicuous degree, since it may be affected in the search image, in order to equalize evaluate all of the search target image, predetermined stages the attention degree of the region of interest by normalizing the attractiveness (e.g., 10 divided into stage). 以下、検索対象画像を構成する各画素について算出した誘目度をe' xyとする。 Hereinafter, a conspicuous degree calculated for each pixel constituting the search target image and e 'xy. x,yは、検索対象画像における画素のX座標およびY座標を示す。 x, y indicates the X and Y coordinates of a pixel in the search target image.
【0053】 [0053]
図4は、縦向きの検索対象画像の一例を示す図である。 Figure 4 is a diagram showing an example of a vertical search target image.
図4(a)の例では、撮影向きが縦方向となっており、右下に花の画像が配置されている。 In the example of FIG. 4 (a), has become photographing direction is a longitudinal direction, flower images arranged in the lower right. この場合、注目領域を算出すると、例えば、図4(b)に示すように、花の画像のうち花の部分およびその近傍に相当する領域が最も注目度合いの高い注目領域Aとして抽出され、花の画像のうち茎および葉の部分並びにその近傍に相当する領域が2番目に注目度合いの高い注目領域Bとして抽出される。 In this case, when calculating the region of interest, for example, as shown in FIG. 4 (b), flower parts and regions corresponding to the vicinity of the flower image is extracted as the most notable degree of high interest region A, flower region corresponding to the portion and its vicinity of the stems and leaves of the image is extracted as a high interest region B of interest degree second. その他の領域は、注目度合いの低い領域Cとして抽出される。 Other regions are extracted as a low degree of attention regions C.
【0054】 [0054]
図5は、横向きの検索対象画像の一例を示す図である。 Figure 5 is a diagram showing an example of a lateral search target image.
図5(a)の例では、撮影向きが横方向となっており、右下に花の画像が配置されている。 In the example of FIG. 5 (a), has become photographing direction is a horizontal direction, flower images arranged in the lower right. この場合、注目領域を算出すると、例えば、図5(b)に示すように、花の画像のうち花の部分およびその近傍に相当する領域が最も注目度合いの高い注目領域Aとして抽出され、花の画像のうち茎および葉の部分並びにその近傍に相当する領域が2番目に注目度合いの高い注目領域Bとして抽出される。 In this case, when calculating the region of interest, for example, as shown in FIG. 5 (b), flower parts and regions corresponding to the vicinity of the flower image is extracted as the most notable degree of high interest region A, flower region corresponding to the portion and its vicinity of the stems and leaves of the image is extracted as a high interest region B of interest degree second. その他の領域は、注目度合いの低い領域Cとして抽出される。 Other regions are extracted as a low degree of attention regions C. このように、図4の検索対象画像とほぼ同様の領域が同様の注目の度合いで抽出されることが分かる。 Thus, it can be seen that substantially the same area as the search target image of FIG. 4 are extracted by the degree of similar interest.
【0055】 [0055]
次いで、ステップS110に移行して、読み出した検索対象画像に顔領域が含まれているか否かを判定し、ステップS118に移行する。 Then, the process proceeds to step S110, determines whether or not a face is included regions in the read search target image, the process proceeds to step S118.
ステップS118では、ステップS110の判定結果に基づいて、検索対象画像に含まれる人物画像の顔の向き、大きさおよび重心位置を判定する。 At step S118, the based on the determination result of step S110, the orientation of the face of the person image included in the search image, the size and center of gravity position determined. 具体的には、検索対象画像内に複数の顔領域が含まれていることを想定し、それらを検出顔領域群とすると、検出顔領域群の検索対象画像内に占める面積の総和f1、検出顔領域群の検索対象画像内に占める面積の平均値f2、検出顔領域群の検索対象画像内に占める面積の分散f3、検出顔領域群の各顔が水平方向どれぐらい正面を向いているかの水平方向正面向度合の平均値f4(−π/2〜π/2)、検出顔領域群の各顔の水平方向正面向度合の分散f5、検出顔領域群の各顔が垂直方向どれぐらい正面を向いているかの垂直方向正面向度合の平均値f6(−π/2〜π/2)、検出顔領域群の各顔の垂直向方向正面度合の分散f7、検出顔領域群の各重心位置の平均値f8、および検出顔領域群の各重心位置の分散f9をそれぞれ算出 Specifically, the search is assumed that it contains a plurality of face areas in the target image, when they a detected face area group, the sum of the area occupied in the search target image detected face area groups f1, detection mean value f2 of the area occupied in the search target image of the face area groups, the dispersion f3 of the area occupied in the search target image detected face area groups, whether each face detected face area group is oriented horizontally how much the front horizontal front direction degree of the average value f4 (-π / 2~π / 2), detected face area distribution of horizontal front direction degree of each face of the group f5, frontal each face is how much the vertical direction of the detection face area group mean of whether oriented vertically front direction degree value f6 (-π / 2~π / 2), the variance of the vertical direction direction front degree of each face detected face area group f7, the center of gravity of the detected face area group calculation of the average value f8, and detected face area group variance f9 of the gravity center position respectively る。 That. 検索対象画像内に1つの顔領域しか含まれていない場合は、f1およびf2は、その顔領域の面積を、f4およびf6は、その顔領域の水平方向正面向度合および垂直方向正面向度合をそれぞれ算出する。 If the search within the target image contains only one face area, it is f1 and f2, the area of ​​the face region, f4 and f6 are the horizontal front direction degree and vertical front direction extent of the face region to calculate each. なお、水平方向正面向度合は、検出顔領域の顔が正面を基準として水平方向に傾いているほど小さい値となり、垂直方向正面度合は、検出顔領域の顔が正面を基準として垂直方向に傾いているほど小さい値となる。 Incidentally, the horizontal front direction degree, becomes smaller as are inclined in the horizontal direction relative to the face front of the detected face region, the vertical front degree, inclined in the vertical direction relative to the face front of the detected face area a smaller value as is. 以下、特に区別する場合を除き、水平方向正面向度合および垂直方向正面向度合を総称して正面向度合という。 Hereinafter, unless otherwise distinguish, they are collectively horizontal front direction degree and vertical front direction degree that front direction degree. また、顔領域の面積は、検索対象画像の大きさで正規化して算出する。 The area of ​​the face area is calculated by normalizing the size of the search target image.
【0056】 [0056]
次いで、ステップS120に移行して、検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度を判定する。 Then, the processing proceeds to step S120, determining the similarity between the face of the person image included in the face and the search key image of the person image included in the search image. 例えば、検索キー画像に被写体A,B,Cの人物画像が含まれている場合、検索対象画像に含まれる各顔領域ごとに、被写体Aの顔領域の顔との類似度、被写体Bの顔領域の顔との類似度、および被写体Cの顔領域の顔との類似度をそれぞれ判定する。 For example, the search key image the subject A, B, if it contains C portrait image, for each face region included in the search target image, the similarity between the face in the face region of the object A, the face of the object B determining similarity between the face region and the face of the face area of ​​the object C and similarity, respectively. なお、検索条件としてバラエティ検索モードを指定した場合は、検索キー画像が存在しないので、検索対象画像に含まれる人物画像の顔と、あらかじめ設定した特定画像に含まれる人物画像の顔との類似度を判定する。 Note that when specifying the variety search mode as the search condition, the search because the key image is not present, the face of the person image included in the search target image, the similarity between the face of the person image included in the specified image set in advance the judges.
【0057】 [0057]
次いで、ステップS124に移行して、ステップS108で抽出した注目領域、およびステップS118,S120の判定結果に基づいて検索対象画像の特徴ベクトルVを生成する。 Then, the process proceeds to step S124, the generating a feature vector V of the search target image based extracted region of interest in step S108, and step S118, S120 of the determination result. 特徴ベクトルVは、大別して、注目領域の誘目度に応じた第1要素群と、顔情報f1〜f9に応じた第2要素群と、類似度に応じた第3要素群とからなる。 Feature vector V is roughly composed of a first element group corresponding to the conspicuity of the region of interest, and the second element group in accordance with the face information F1 to F9, a third element group in accordance with the degree of similarity.
【0058】 [0058]
特徴ベクトルVの第1要素群は、検索対象画像を複数の領域(例えば、水平方向N個および垂直方向M個の矩形領域)に区分し、下式(1)により、各区分領域ごとにその区分領域(i,j)の誘目度の平均値e ijを算出し、誘目度の平均値e ijに基づいて決定する。 The first element group of the feature vector V is the search target image a plurality of areas (e.g., horizontal direction of N and vertical M number of the rectangular region) is divided into, by the following equation (1), that for each segmented region division region (i, j) to calculate the average value e ij of conspicuity of, determined based on the average value e ij of attractiveness. 区分領域(i,j)は、検索対象画像において水平方向i(i=1〜N)番目でかつ垂直方向j(j=1〜M)番目の領域を示す。 Division region (i, j) represents a search horizontal i in the target image (i = 1 to N) th a and vertically j (j = 1~M) th region.
【0059】 [0059]
【数1】 [Number 1]
【0060】 [0060]
上式(1)は、各区分領域を2s×2sの画素からなる正方形の領域とした場合に、区分領域(i,j)の誘目度の平均値e ijを算出している。 The above equation (1), when the square region comprising a different segment regions from the pixels of 2s × 2s, calculates the average value e ij of conspicuous degree segment region (i, j). 上式(1)において、xiは、区分領域(i,j)の中心点のx座標であり、xjは、区分領域(i,j)の中心点のy座標である。 In the above formula (1), xi is the x-coordinate of the center point of the segmented region (i, j), xj is the y coordinate of the center point of the segmented region (i, j).
したがって、特徴ベクトルVの第1要素群は、下式(2)により、各区分領域の誘目度の平均値e ijにそれぞれ独立の係数E ijを乗算し、それらを各要素として羅列したものとなる。 Thus, the first element group feature vector V, the following equation (2), multiplied by independent coefficients E ij an average value e ij of conspicuity of each partitioned region, to those enumerated them as elements Become. 検索対象画像を水平方向N個および垂直方向M個の領域に区分した場合、特徴ベクトルVの第1要素群は、N×M個の要素から構成される。 If the search target image divided in the horizontal direction of N and vertical M regions, the first element group of the feature vector V is composed of N × M pieces of elements.
【0061】 [0061]
【数2】 [Number 2]
【0062】 [0062]
特徴ベクトルVの第2要素群は、下式(3)により、ステップS118で判定した顔情報f1〜f9にそれぞれ独立の係数F 〜F を乗算し、それらを各要素として羅列したものとなる。 The second element group feature vector V by the following equation (3), respectively the face information f1~f9 determined by multiplying the independent coefficients F 1 to F 9 in step S118, the to those enumerated them as elements Become.
【0063】 [0063]
【数3】 [Number 3]
【0064】 [0064]
特徴ベクトルVの第3要素群は、下式(4)により、ステップS120で判定した類似度p にそれぞれ独立の係数P を乗算し、それらを各要素として羅列したものとなる。 The third element group feature vector V by the following equation (4), respectively multiplied by the coefficient P k independent similarity p k determined in step S120, it becomes as those enumerated them as elements. 例えば、検索キー画像にK個の人物画像が含まれている場合、検索対象画像に含まれる各顔領域ごとに、検索キー画像に含まれる顔領域k(k=1〜K)の顔との類似度を算出する。 For example, if the search key image contains the K person image, search for each face region contained in the target image, search the face region included in the key image k in the face of (k = 1 to K) and calculates the degree of similarity. このとき、顔領域kの顔と類似しているとき(類似度が所定値以上であるとき)は、p =1とし、顔領域kの顔と類似していないとき(類似度が所定値未満であるとき)は、p =0とする。 In this case, when similar to the face of the face area k (when the similarity is equal to or greater than the predetermined value), and p k = 1, when not similar to the face of the face area k (similarity is a predetermined value when less than) shall be p k = 0.
【0065】 [0065]
【数4】 [Number 4]
【0066】 [0066]
以上により、特徴ベクトルVは、下式(5)により、第1要素群、第2要素群および第3要素群の各要素を羅列したものして表される。 Thus, the feature vector V has the following formula (5), the first element group is represented by those that have been enumerated the elements of the second element group and the third element group.
【0067】 [0067]
【数5】 [Number 5]
【0068】 [0068]
次いで、ステップS126に移行して、検索対象画像登録DB10のすべての検索対象画像についてステップS108〜S124の処理が終了したか否かを判定し、すべての検索対象画像について処理が終了したと判定したとき(Yes)は、ステップS128に移行する。 Then, the process proceeds to step S126, determines whether or not the processing of steps S108~S124 is for all the retrieval target images to be searched image registration DB10 has ended, the processing for all the search target image is determined to have ended when (Yes), the process proceeds to step S128.
ステップS128では、検索対象画像の特徴ベクトルV同士のベクトル間距離に基づいて各検索対象画像を複数のクラスタにクラスタリングする。 In step S128, clustering the search target image based on the distance between vectors of feature vectors V between the search target image into a plurality of clusters. クラスタリングは、例えば、従来のK−平均法に基づいて行うことができる。 Clustering, for example, can be based on conventional K- average method. K−平均法では、第1の処理として、K個の特徴ベクトルVを適当に選択し、選択した特徴ベクトルV (k=1〜K)をそれぞれクラスタkの中心位置とする。 K- The average method, as the first treatment, appropriately select the K feature vectors V, to the selected feature vector V k a (k = 1 to K) and the center position of each cluster k. クラスタkの中心位置をm とする。 The center position of the cluster k and m k. 次いで、第2の処理として、下式(6)により、特徴ベクトルV (i=1〜N、Nは検索対象画像の総数)とクラスタkの中心位置m とのベクトル間距離を算出し、算出したベクトル間距離が最小となるクラスタkに特徴ベクトルV を属させる。 Then, as the second process, by the following equation (6), the feature vector V i (i = 1~N, N is total searches of the object image) is calculated inter-vector distance between the center position m k of the cluster k , to belong a feature vector V i to cluster k of the distance between the calculated vector is minimized. 下式(6)は、特徴ベクトルV と特徴ベクトルV とのベクトル間距離を算出している。 The following equation (6), calculates the inter-vector distance between the feature vectors V A and the feature vector V B.
S=|V −V | …(6) S = | V A -V B | ... (6)
次いで、第3の処理として、クラスタkの中心位置m をクラスタkに属している特徴ベクトルV の平均値で置き換える。 Then, as a third process, replacing the average value of a feature vector V i belonging to the center position m k of clusters k to the cluster k. 次いで、第4の処理として、i<Nの場合、iに「1」を加算して第2の処理および第3の処理を行う。 Then, as a fourth process, when the i <N, the second process and the third process is performed by adding "1" to i. そして、第5の処理として、第3の処理で変更前後のm に変化があるときは、i=1として第2の処理および第3の処理を行う。 Then, as processing of the fifth, when the third is the processing changes to m k before and after the change in the in the second process and the third process is performed as i = 1. 第3の処理で変更前後のm に変化がないとき、または一定回数以上繰り返し処理を行ったときは、処理を終了し、クラスタkの中心位置m およびこれに属する特徴ベクトルV が決定する。 When there is no change in the m k before and after the change in the third process, or a certain number of times or more iterative process when were done, the process ends, the center position m k and the feature vector V i belonging to the cluster k is determined to.
【0069】 [0069]
図6は、n個の特徴ベクトルVを2つのクラスタにクラスタリングした場合を示す図である。 Figure 6 is a diagram showing a case of clustering the n feature vectors V into two clusters.
図6の例では、特徴ベクトルV ,V ,V ,V は、中心位置m のクラスタに属し、特徴ベクトルV ,V ,V ,V n−1は、中心位置m のクラスタに属している。 In the example of FIG. 6, the feature vector V 1, V 2, V 3 , V n belongs to the cluster of the center position m 1, the feature vector V 4, V 5, V 6 , V n-1 is the center position m it belongs to the second cluster.
【0070】 [0070]
次いで、ステップS130に移行して、指定された検索条件に基づいて検索対象画像登録DB10のなかから画像を検索する。 Then, the processing proceeds to step S130, searches the image from among the search target image registration based on specified search criteria DB 10. 検索条件として類似画像検索モードを指定した場合は、検索キー画像の特徴ベクトルVとのベクトル間距離が最も小さい特徴ベクトルVに対応する検索対象画像を検索対象画像登録DB10のなかから索出する。 If you specify a similar image search mode as the search condition, the searches out the search target image vector distance between the feature vector V of the search key image corresponding to the smallest feature vectors V from among the search target image registration DB 10. 検索条件として類似画像群検索モードを指定した場合は、複数のクラスタのうち検索キー画像が属するもののすべての検索対象画像を検索対象画像登録DB10のなかから索出する。 If you specify a similar image group search mode as the search condition, and out of search all of the search target image of the search key image belongs ones of the plurality of clusters from among the search target image registration DB10. 検索条件としてバラエティ検索モードを指定した場合は、各クラスタごとに所定数の検索対象画像を検索対象画像登録DB10のなかから索出する。 If you specify a variety search mode as the search condition, the searches out the search target image of a predetermined number from among the search target image registration DB10 each cluster.
【0071】 [0071]
次いで、ステップS132に移行して、索出した検索対象画像を指定の表示形態で表示装置64に表示し、一連の処理を終了して元の処理に復帰させる。 Then, the processing proceeds to step S132, the retrieval target image retrieved is displayed on the display device 64 in a specified display mode, the process is returned to the former process by ending the series of process steps.
図7は、検索結果を表示した表示画面を示す図である。 Figure 7 is a diagram showing a display screen displaying a search result.
図7の例では、検索対象画像1〜nを拡大表示モードおよび鮮明表示モードで表示した場合であり、画像1、2、3、nは、検索結果として索出された画像であるので、大きくかつ鮮明に表示されているのに対して、その他の画像4、5、6、n−1は、小さくかつぼかして表示されている。 In the example of FIG. 7, a case of displaying search enlarge an object image 1~n mode and definition display mode, images 1, 2, 3, n is because it is searched out an image as a search result, large and whereas are clearly displayed, other images 4, 5, 6, n-1 is displayed small and blurred.
【0072】 [0072]
一方、ステップS126で、検索対象画像登録DB10のすべての検索対象画像についてステップS108〜S124の処理が終了していないと判定したとき(No)は、ステップS134に移行して、検索対象画像登録DB10のなかから次の検索対象画像を読み込み、ステップS108に移行する。 On the other hand, in step S126, when the process of step S108~S124 for all the retrieval target images to be searched image registration DB10 is determined not to be finished (No), the process proceeds to step S134, the search target image registration DB10 reads the next search target image from among, the process proceeds to step S108.
次に、本実施の形態の動作を説明する。 Next, the operation of this embodiment.
【0073】 [0073]
まず、類似画像検索モードにより画像の類似検索を行う場合を説明する。 First, the case of performing similarity search of images by the similar image search mode.
類似画像検索モードにより画像の類似検索を行う場合、利用者は、検索要求を入力し、検索モードとして類似画像検索モードを指定するとともに検索キー画像を指定する。 When performing similarity search of images by the similar image search mode, the user inputs a retrieval request, specifying the search key image with specifying the similar image search mode as a search mode. また、併せて表示形態も指定する。 In addition, the same time display mode is also specified.
画像検索装置100では、類似画像検索モードおよび検索キー画像が指定されると、ステップS106〜S110を経て、検索対象画像登録DB10のなかから先頭の検索対象画像が読み出され、読み出された検索対象画像から注目領域が抽出されるととともに検索対象画像に顔領域が含まれているか否かが判定される。 In the image retrieval apparatus 100, the similar image search mode and the search key image is designated, through steps S106 to S110, the start of the search target image from among the search target image registration DB10 read, read search whether attention area from the target image is included a face area included in the search image with the extracted is determined. 次いで、ステップS118,S120を経て、ステップS110の判定結果に基づいて、検索対象画像に含まれる人物画像の顔の向き、大きさおよび重心位置が判定され、検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度が判定される。 Then, through step S118, S120, based on the determination result of step S110, the orientation of the face of the person image included in the search target image, it is determined the size and center of gravity position, the face of the person image included in the search target image similarity is determined between the face of the person image included in the search key image and. 検索対象画像に複数の被写体の人物画像が含まれている場合は、ステップS110〜S120を繰り返し経て、各顔領域ごとに顔情報および類似度が判定される。 When the search target image includes a person image of a plurality of subject, through repeated steps S110 to S120, the face information and the similarity for each face area is determined.
【0074】 [0074]
次いで、検索対象画像のすべての顔領域について顔情報および類似度が判定されると、ステップS124を経て、抽出された注目領域、並びに判定された顔情報および類似度に基づいて検索対象画像の特徴ベクトルVが生成される。 Then, search the face information and the similarity for every face area of ​​the object image is determined, through the step S124, the extracted region of interest, as well as determined face information and characteristics of the search target image based on the similarity, vector V is generated.
このような処理が検索対象画像登録DB10のすべての検索対象画像について行われると、ステップS128,S130を経て、検索対象画像の特徴ベクトルV同士のベクトル間距離に基づいて各検索対象画像が複数のクラスタにクラスタリングされ、類似画像検索モードが指定されていることから、検索キー画像の特徴ベクトルVとのベクトル間距離が最も小さい特徴ベクトルVに対応する検索対象画像が検索対象画像登録DB10のなかから索出される。 When such processing is performed for all the retrieval target images to be searched image registration DB 10, through steps S128, S130, search target image feature vector V each retrieval target image based on the inter-vector distance between the plurality of are clustered in a cluster, since the similar image retrieval mode is designated, the search target image vector distance between the feature vector V of the search key image corresponding to the smallest feature vectors V from among the search target image registration DB10 be searched out. そして、ステップS132を経て、索出された検索対象画像が指定の表示形態で表示される。 Then, through step S132, the search target image searched out is displayed in the specified display format.
【0075】 [0075]
次に、類似画像群検索モードにより画像の類似検索を行う場合を説明する。 Next, the case of performing similarity search of images by the similar image group search mode.
類似画像群検索モードにより画像の類似検索を行う場合、利用者は、検索要求を入力し、検索モードとして類似画像群検索モードを指定するとともに検索キー画像を指定する。 When performing similarity search of images by the similar image group search mode, the user inputs a retrieval request, specifying the search key image with specifying the similar image group search mode as a search mode. また、併せて表示形態も指定する。 In addition, the same time display mode is also specified.
各検索対象画像をクラスタリングするまでは、類似画像検索モードで類似検索する場合と同様である。 Until clusters the respective search target image is similar to the case of similar search similar image search mode. 画像検索装置100では、各検索対象画像がクラスタリングされると、ステップS130を経て、類似画像群検索モードが指定されていることから、複数のクラスタのうち検索キー画像が属するもののすべての検索対象画像が検索対象画像登録DB10のなかから索出される。 In the image retrieval apparatus 100, when the search target image are clustered, through step S130, all the search target image from the similar image group search mode is specified, that the retrieval key image belongs among the plurality of clusters There is searched out from among the search target image registration DB10. そして、ステップS132を経て、索出された検索対象画像が指定の表示形態で表示される。 Then, through step S132, the search target image searched out is displayed in the specified display format.
【0076】 [0076]
次に、バラエティ検索モードにより画像の類似検索を行う場合を説明する。 Next, the case of performing similarity search of images by variety search mode.
バラエティ検索モードにより画像の類似検索を行う場合、利用者は、検索要求を入力し、検索モードとしてバラエティ検索モードを指定する。 When performing the variety search mode similar image retrieval, the user inputs a retrieval request, specifying a variety search mode as a search mode. また、併せて表示形態も指定する。 In addition, the same time display mode is also specified.
各検索対象画像をクラスタリングするまでは、類似画像検索モードで類似検索する場合と同様である。 Until clusters the respective search target image is similar to the case of similar search similar image search mode. 画像検索装置100では、各検索対象画像がクラスタリングされると、ステップS130を経て、バラエティ検索モードが指定されていることから、各クラスタごとに所定数の検索対象画像が検索対象画像登録DB10のなかから索出される。 In the image retrieval apparatus 100, when the search target image are clustered, through step S130, since the variety search mode is designated, the search target image a predetermined number for each cluster among the search target image registration DB10 It is searched out from. そして、ステップS132を経て、索出された検索対象画像が指定の表示形態で表示される。 Then, through step S132, the search target image searched out is displayed in the specified display format.
【0077】 [0077]
このようにして、本実施の形態では、検索キー画像および各検索対象画像についてその画像から注目領域を抽出し、検索キー画像および各検索対象画像について抽出した注目領域に基づいてその画像の特徴ベクトルVを生成し、生成した特徴ベクトルVに基づいて検索対象画像登録DB10のなかから検索キー画像に適合する画像を検索するようになっている。 In this manner, in the present embodiment, the search key for image and each search target image extracting a region of interest from the image feature vector of the search key image and the image based on the region of interest extracted for each search target image It generates a V, so that the search for matching image retrieval key image from among the search target image registration DB10 on the basis of the generated feature vector V.
【0078】 [0078]
これにより、利用者が注目する箇所を考慮して検索が行われるので、利用者の主観が検索結果に反映しやすくなる。 As a result, the search taking into account the location where user attention is carried out, the subjectivity of the user is likely to be reflected in the search results. したがって、従来に比して、利用者の希望に比較的添った検索結果を得ることができる。 Therefore, as compared with the conventional, it is possible to obtain a search result relatively along with the desired user.
さらに、本実施の形態では、検索キー画像および各検索対象画像についてその画像に含まれる人物画像の顔の向き、大きさまたは重心位置を判定し、検索キー画像および各検索対象画像について、判定した顔の向き、大きさまたは重心位置に基づいて、その画像の特徴ベクトルVを生成するようになっている。 Further, in this embodiment, the orientation of the face of the person image included in the image search key image and the search target image, to determine the size or position of the center of gravity for the search key image and the search target image, and determines orientation of the face, based on the size or center of gravity position, and generates a feature vector V of the image.
【0079】 [0079]
これにより、人物画像の顔の向き、大きさまたは重心位置を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に適合する検索結果を得ることができる。 Thus, the orientation of the face of a person image, since the search in consideration of the size or center of gravity position is performed, it is possible to obtain a matching search results to a person's face image included in the search key image.
さらに、本実施の形態では、各検索対象画像ごとに、その検索対象画像に含まれる人物画像の顔と検索キー画像に含まれる人物画像の顔との類似度を判定し、検索キー画像および各検索対象画像について、判定した類似度に基づいて、その画像の特徴ベクトルVを生成するようになっている。 Furthermore, in the present embodiment, each search target image, and determines the similarity between the face of the person image included in the face and the search key image of the person image included in the search target image, the search key image and each search target image, based on the determined degree of similarity, and generates a feature vector V of the image.
【0080】 [0080]
これにより、人物画像の顔同士の類似度を考慮して検索が行われるので、検索キー画像に含まれる人物画像の顔に類似する検索結果を得ることができる。 Thus, since the search in consideration of the similarity of the face between the person image is performed, it is possible to obtain the search results that are similar to a person's face image included in the search key image.
さらに、本実施の形態では、検索キー画像の特徴ベクトルVとのベクトル間距離が最も小さい特徴ベクトルVに対応する検索対象画像を検索対象画像登録DB10のなかから索出するようになっている。 Further, in this embodiment, is adapted to searches out the search target image vector distance between the feature vector V of the search key image corresponding to the smallest feature vectors V from among the search target image registration DB 10.
【0081】 [0081]
これにより、利用者の希望に最も添うと思われる検索結果を得ることができる。 Thus, it is possible to obtain the search results that appear most comply with the wishes of the user.
さらに、本実施の形態では、検索対象画像の特徴ベクトルV同士のベクトル間距離に基づいて各検索対象画像を複数のクラスタに分類し、複数のクラスタのうち検索キー画像が属するもののすべての検索対象画像を検索対象画像登録DB10のなかから索出するようになっている。 Furthermore, in the present embodiment, search each retrieval target image based on the inter-vector distance between the feature vector V of the target image into a plurality of clusters, all searched key image belongs ones of the plurality of clusters It is adapted to searches out from among the search target image registration DB10 the image.
【0082】 [0082]
これにより、利用者の希望に添うと思われるいくつかの検索結果を得ることができる。 Thus, it is possible to get some of the search results appear to live up to the desired user.
さらに、本実施の形態では、検索対象画像の特徴ベクトルV同士のベクトル間距離に基づいて各検索対象画像を複数のクラスタに分類し、各クラスタごとに所定数の検索対象画像を検索対象画像登録DB10のなかから索出するようになっている。 Furthermore, in the present embodiment, each search target image based on the distance between vectors of feature vectors V between the search target image into a plurality of clusters, the search target image registration search target image a predetermined number for each cluster It is adapted to searches out from among the DB10.
【0083】 [0083]
これにより、異なるクラスタから所定数の検索対象画像が索出されるので、多様な検索結果を得ることができる。 Accordingly, since a predetermined number of search target image from different clusters are searched out, it is possible to obtain a variety of search results.
上記実施の形態において、検索対象画像は、発明8ないし12、15または17の分類対象画像に対応し、検索対象画像登録DB10は、発明2、5、6、14若しくは16の検索対象画像記憶手段、または発明9、12若しくは15の分類対象画像記憶手段に対応している。 In the above embodiment, the search target image, to no invention 8 corresponds to the grouping target image of 12, 15 or 17, the search target image registration DB10 is invention 2,5,6,14 or 16 retrieving object image storage means It corresponds to classifying object image storage means or the invention 9, 12 or 15,. また、ステップS104および検索キー画像指定部12は、発明2若しくは14の検索キー画像入力手段、または発明16の検索キー画像入力ステップに対応し、ステップS108および注目領域抽出部16は、発明2、9、14若しくは15の注目領域抽出手段、発明17の注目領域抽出ステップ、発明16の第1注目領域抽出ステップ、または発明16の第2注目領域抽出ステップに対応している。 Also, step S104 and the search key image specifying unit 12 corresponds to the invention the retrieval key image input means 2 or 14 or the key image input step of invention 16, steps S108 and attention area extraction unit 16, the invention 2, attention area extraction means 9, 14 or 15, the attention area extraction step of the invention 17, which corresponds to the second target region extraction step of the first target area extracting step or invention 16, the invention 16.
【0084】 [0084]
また、上記実施の形態において、ステップS118および顔情報判定部36は、発明3または10の顔情報判定手段に対応し、ステップS120および類似度判定部38は、発明4または11の類似度判定手段に対応し、ステップS124および特徴ベクトル生成部20は、発明2ないし4、9ないし11、14若しくは15の特徴ベクトル生成手段、発明16の第2特徴ベクトル生成ステップ、または発明16の第1特徴ベクトル生成ステップに対応している。 Further, in the above embodiment, steps S118 and the face information determining section 36 corresponds to the face information judging means of the present invention 3 or 10, the step S120 and the similarity determination unit 38, similarity determination means of the present invention 4 or 11 corresponding to steps S124 and the feature vector generation unit 20, the invention 2 to 4, 9 to 11, 14 or 15, wherein the vector generation means, second feature vector generation step of the invention 16 or first feature vector of the invention 16, It corresponds to the generation step. また、ステップS128,S130および画像検索部24は、発明2、5、6若しくは14の画像検索手段、発明9、12若しくは15の画像分類手段、発明16の画像検索ステップ、または発明17の画像分類ステップに対応している。 Further, step S128, S130, and an image retrieval section 24, the invention 2,5,6 or 14 image retrieval means, the image classifying means of the present invention 9, 12 or 15, an image retrieval step of invention 16 or image classification invention 17, It corresponds to the step.
【0085】 [0085]
なお、上記実施の形態においては、検索対象画像のアスペクト比について特に説明しなかったが、検索対象画像のアスペクト比が異なる場合は、次のように画像の類否を判定する。 In the above embodiment, the search is not specifically described aspect ratio of the target image, if the aspect ratio of the search target image are different, determines the class whether or not the image, as follows.
図8は、アスペクト比が異なる検索対象画像A,Bを重ね合わせた場合を示す図である。 8, the aspect ratio is a diagram showing a case where superposition of different search target image A, B.
【0086】 [0086]
アスペクト比が異なる検索対象画像A,Bの類否を判定する場合は、図8に示すように、検索対象画像A,Bとを重ね合わせ、検索対象画像Aのうち重複領域について検索対象画像Aの特徴ベクトルV を生成し、検索対象画像Bのうち重複領域について検索対象画像Bの特徴ベクトルV を生成し、生成した特徴ベクトルV ,V に基づいて検索対象画像A,Bの類否を判定する。 Search target image A whose aspect ratio is different, when determining the class whether or not B, as shown in FIG. 8, the search target image A, superimposed and B, the search target image A the overlapping area of ​​the search target image A features and generates a vector V a, the search for the overlap region to produce a feature vector V B of the search target image B in the target image B, generated feature vector V a, based on the V B search target image a, the B determining the similarity.
【0087】 [0087]
この場合、さらに、重複領域が異なるように検索対象画像A,Bの重ね合わせ方を変えて検索対象画像A,Bを重ね合わせ、各組み合わせごとに算出した検索対象画像Aの特徴ベクトルV Ai (i=1〜N、Nは組み合わせ総数)の平均値を検索対象画像Aの特徴ベクトルV として生成し、各組み合わせごとに算出した検索対象画像Bの特徴ベクトルV Biの平均値を検索対象画像Bの特徴ベクトルV として生成してもよい。 In this case, further, overlap regions differently search target image A, the search target image A was how to change the overlapping of B, superposed B, the feature vector V Ai of the search target image A was calculated for each combination ( i = 1 to N, N is the total number of combinations) of generating an average value as a feature vector V a of the search target image a, find the average value of a feature vector V Bi target image of the search target image B calculated for each combination it may be generated as a feature vector V B of the B.
【0088】 [0088]
これにより、アスペクト比が異なる検索対象画像同士であっても、比較的正確に類否を判定することができるので、利用者の希望にさらに添った検索結果を得ることができる。 Thus, even the search target image between the aspect ratio is different, it is possible to determine relatively accurately similarity, it is possible to obtain the search results further along the desired user.
この場合において、ステップS124および特徴ベクトル生成部20は、発明7または13の特徴ベクトル生成手段に対応している。 In this case, step S124 and the feature vector generating unit 20 corresponds to the feature vector generating means of the present invention 7 or 13.
【0089】 [0089]
また、上記実施の形態においては、特徴ベクトルVの第1要素群を、上式(2)により、各区分領域の誘目度の平均値e ijにそれぞれ独立の係数E ijを乗算し、それらを各要素として羅列したものとして生成するように構成したが、これに限らず、注目領域の算出に誘目度を用いる場合、分割された領域では誘目度は一定になるのでステップS108では、次のように生成することもできる。 Further, in the foregoing embodiment, the first element group of the feature vector V, from the above equation (2), multiplied by independent coefficients E ij an average value e ij of conspicuity of each segmented region, they It is configured so as to generate as those enumerated as each element is not limited thereto, when using a conspicuous degree in the calculation of the region of interest, in step S108 since constant conspicuity a divided region, the following It can also be generated. まず、検索対象画像のなかから誘目度の高い順にH個の注目領域を選択する。 First, select the H-number of the region of interest in descending order of conspicuous degree from among the search target image. 次いで、下式(7)により、注目領域h(h=1〜H)の水平方向の中心座標x に係数Xを乗算し、注目領域hの垂直方向の中心座標y に係数Y を乗算する。 Then, by the following equation (7), the coefficients X by multiplying the horizontal center coordinate x h region of interest h (h = 1 to H), the coefficient Y h in the vertical direction of the center coordinate y h of the region of interest h multiplication to. また、注目領域hの誘目度e に係数Eを乗算し、注目領域hの面積s に係数Sを乗算する。 Further, the coefficients E by multiplying the conspicuity e h region of interest h, is multiplied by a coefficient S in the area s h region of interest h. そして、それらXx 、Yy 、Ee 、Ss を各要素として羅列したものを特徴ベクトルVの第1要素群として生成する。 And those Xx h, Yy h, Ee h , to produce what the Ss h were enumerated as each element as the first element group of the feature vector V.
【0090】 [0090]
【数6】 [6]
【0091】 [0091]
この場合、抽出した注目領域の個数hが所定数(例えば、10個)に満たない場合は、特徴ベクトルVの第1要素群をすべて「0」とする。 In this case, when the number h of the extracted attention region is less than a predetermined number (e.g., 10) are all the first element group of the feature vector V to "0".
また、上記実施の形態において、図3のフローチャートに示す処理を実行するにあたっては、ROM52にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをRAM54に読み込んで実行するようにしてもよい。 Further, in the above embodiment, in executing the processing shown in the flowchart of FIG. 3 has been described for the case of executing a control program previously stored in the ROM 52, not limited to this, it showed these steps from a storage medium storing a program, it may be executed by reading the program into RAM 54.
【0092】 [0092]
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。 Here, the storage medium, RAM, a semiconductor storage medium such as a ROM, FD, a magnetic storage type storage medium such as HD, CD, CDV, LD, optical reading type storage medium such as a DVD, a magnetic storage type, such as MO / a optical reading type storage medium, electronic, magnetic, regardless of reading methods equality, as long as a computer-readable storage medium is intended to include any storage medium.
【0093】 [0093]
また、上記実施の形態においては、本発明に係る画像検索システム、画像分類システム、画像検索プログラムおよび画像分類プログラム、並びに画像検索方法および画像分類方法を、利用者が注目する箇所を考慮して画像の類似検索を行う場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。 Further, in the above embodiment, an image retrieval system according to the present invention, an image classification system, an image search program, and an image classification program, and an image retrieval method and an image classification method, taking into account the location where the user pays attention image it is applied, the case of the similarity search is not limited to this but is also applicable to other cases without departing from the scope of the present invention. 例えば、画像を分類する場合について適用することができる。 For example, it can be applied to a case of classifying the image.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明に係る画像検索装置100の構成を示す機能ブロック図である。 1 is a functional block diagram showing a configuration of an image retrieval apparatus 100 according to the present invention.
【図2】コンピュータ200の構成を示すブロック図である。 2 is a block diagram showing a configuration of a computer 200.
【図3】画像検索処理を示すフローチャートである。 3 is a flowchart showing the image search processing.
【図4】縦向きの検索対象画像の一例を示す図である。 4 is a diagram showing an example of a vertical search target image.
【図5】横向きの検索対象画像の一例を示す図である。 5 is a diagram showing an example of a lateral search target image.
【図6】n個の特徴ベクトルVを2つのクラスタにクラスタリングした場合を示す図である。 6 is a diagram showing a case of clustering the n feature vectors V into two clusters.
【図7】検索結果を表示した表示画面を示す図である。 FIG. 7 is a diagram showing a display screen that displays the search results.
【図8】アスペクト比が異なる検索対象画像A,Bを重ね合わせた場合を示す図である。 [8] The aspect ratio is a diagram showing a case where superposition of different search target image A, B.
【符号の説明】 DESCRIPTION OF SYMBOLS
100…画像検索装置,200…コンピュータ,10…検索対象画像登録DB,12…検索キー画像指定部,14…検索キー画像読出部,16…注目領域抽出部,18…顔画像処理部,20…特徴ベクトル生成部,22…検索条件指定部,24…画像検索部,26…表示形態指定部,28…画像表示部,34…顔領域判定部,36…顔情報判定部,38…類似度判定部,50…CPU,52…ROM,54…RAM,58…I/F,60…入力装置,64…表示装置 100 ... image search apparatus, 200 ... Computer, 10 ... retrieval target image registration DB, 12 ... key image specifying unit, 14 ... key image reading unit, 16 ... attention area extraction unit, 18 ... face image processing unit, 20 ... feature vector generation unit, 22 ... retrieval condition specifying section, 24 ... image search section, 26 ... display form designating unit, 28 ... image display unit, 34 ... face area determination unit, 36 ... face information determination unit, 38 ... similarity determination parts, 50 ... CPU, 52 ... ROM, 54 ... RAM, 58 ... I / F, 60 ... input apparatus, 64 ... display unit

Claims (17)

  1. 与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、 Based on the retrieval key image given, a system for searching for matching image on the retrieval key image from among a plurality of retrieval target image,
    前記検索キー画像及び前記各検索対象画像について、当該画像から注目領域を抽出し、抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成し、 The search key image and each search target image, and extracts a region of interest from the image, and generates a feature vector indicating the feature of the image based on the extracted region of interest,
    生成した特徴ベクトルに基づいて、前記複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するようになっていることを特徴とする画像検索システム。 Based on the generated feature vector, the image retrieval system, characterized in that is adapted to search for matching images on the retrieval key image from among the plurality of retrieval target image.
  2. 与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するシステムであって、 Based on the retrieval key image given, a system for searching for matching image on the retrieval key image from among a plurality of retrieval target image,
    前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段と、前記検索キー画像入力手段で入力した検索キー画像及び前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段と、前記検索キー画像及び前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段とを備えることを特徴とする画像検索システム。 And the search target image storing means for storing the plurality of search target image, the search and retrieval key image input means for inputting a key image, the key image inputted by the input means search key image and the search target image storing a region of interest extraction means for extracting a region of interest from the image for each search target image means, the characteristics of the image on the basis of the search key image and the region of interest the extracted by the attention area extraction means for each retrieval target image a feature vector generating means for generating a feature vector indicating the image retrieval means for retrieving image suitable to the retrieval key image from among the search target image storing means based on the feature vector generated by the feature vector generation means image retrieval system, characterized in that it comprises.
  3. 請求項2において、 According to claim 2,
    さらに、前記検索キー画像及び前記各検索対象画像について当該画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、 Further comprising determining face information judging means face information of a person image included in the image for the search key image and each search target image,
    前記特徴ベクトル生成手段は、前記検索キー画像及び前記各検索対象画像について、前記顔情報判定手段で判定した顔情報に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像検索システム。 The feature vector generation means, for the search key image and each search target image, on the basis of the determined by the face information judging means has face information, that is adapted to generate a feature vector indicating the feature of the image image retrieval system according to claim.
  4. 請求項2及び3のいずれかにおいて、 In any one of claims 2 and 3,
    さらに、前記各検索対象画像ごとに当該検索対象画像に含まれる人物画像の顔と前記検索キー画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、 Further comprising a similarity determination means for determining a similarity between the face of the person image included in the search key image and the face of the person image included in the search target image for each of the respective search target image,
    前記特徴ベクトル生成手段は、前記検索キー画像及び前記各検索対象画像について、前記類似度判定手段の判定結果に基づいて、当該画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像検索システム。 The feature vector generation means, characterized in that the said key image and each search target image, on the basis of the determination result of the similarity determination unit is adapted to generate a feature vector indicating the feature of the image image retrieval system to be.
  5. 請求項2乃至4のいずれかにおいて、 In any one of claims 2 to 4,
    前記画像検索手段は、前記検索キー画像の特徴ベクトルとのベクトル間距離が最も小さい特徴ベクトルに対応する検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする画像検索システム。 Wherein the image retrieval means, characterized by being adapted to searches out from among the search key image the search target image storing means search target image distance between vectors corresponding to the smallest feature vector and the feature vector of image retrieval system to be.
  6. 請求項2乃至4のいずれかにおいて、 In any one of claims 2 to 4,
    前記画像検索手段は、前記検索対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各検索対象画像を複数のグループに分類し、前記複数のグループのうち前記検索キー画像が属するもののすべての検索対象画像を前記検索対象画像記憶手段のなかから索出するようになっていることを特徴とする画像検索システム。 Wherein the image retrieval means, each of said search target image based on the distance between vectors of feature vectors between the search target image into a plurality of groups, all search of the search key image belongs ones of said plurality of groups image retrieval system characterized by being adapted to searches out from among the search target image storage means an object image.
  7. 請求項2乃至6のいずれかにおいて、 In any one of claims 2 to 6,
    前記特徴ベクトル生成手段は、前記検索キー画像と前記検索対象画像とのアスペクト比、又は前記検索対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第1画像及び第2画像を重ね合わせ、前記第1画像のうち重複領域について前記第1画像の特徴ベクトルを生成し、前記第2画像のうち重複領域について前記第2画像の特徴ベクトルを生成するようになっていることを特徴とする画像検索システム。 The feature vector generation means, the aspect ratio of the search target image and the key image, or when the aspect ratio of the image to be searched each other are different, superimposing the first image and the second image aspect ratios are different, image, characterized in that is adapted to generate a feature vector of said second image for the first the overlapping region of the image to generate a feature vector of the first image, overlapping area of ​​the second image Search system.
  8. 複数の分類対象画像を分類するシステムであって、 A system for classifying a plurality of grouping target image,
    前記各分類対象画像ごとに、当該分類対象画像から注目領域を抽出し、抽出した注目領域に基づいて当該分類対象画像の特徴を示す特徴ベクトルを生成し、 Wherein each grouping target image, and extracts a region of interest from the grouping target image to generate a feature vector indicating the feature of the grouping target image based on the extracted region of interest,
    生成した特徴ベクトルに基づいて、前記各分類対象画像を複数のグループに分類するようになっていることを特徴とする画像分類システム。 Based on the generated feature vector, the image classification system, characterized in that is adapted to classify each grouping target image into a plurality of groups.
  9. 複数の分類対象画像を分類するシステムであって、 A system for classifying a plurality of grouping target image,
    前記複数の分類対象画像を記憶するための分類対象画像記憶手段と、前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段と、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段と、前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段とを備えることを特徴とする画像分類システム。 And classifying object image storage means for storing the plurality of grouping target image, and target area extracting means for extracting a region of interest from the grouping target image for each grouping target image of the grouping target image storing means, the region of interest a feature vector generating means for generating a feature vector indicating the feature of the grouping target image to each of said grouping target image based on the extracted attention area extraction means, on the basis of the feature vector generated by the feature vector generation means image classification system, comprising an image classifying means for classifying each grouping target image into a plurality of groups.
  10. 請求項9において、 According to claim 9,
    さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔情報を判定する顔情報判定手段を備え、 Further comprising determining face information judging means face information of a person image included the in the grouping target image for each grouping target image,
    前記特徴ベクトル生成手段は、前記顔情報判定手段で判定した顔情報に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像分類システム。 The feature vector generation means, characterized in that on the basis of the face information determined by the face information determination unit, wherein for each grouping target image, and generates a feature vector indicating the feature of the grouping target image image classification system to be.
  11. 請求項9及び10のいずれかにおいて、 In any one of claims 9 and 10,
    さらに、前記各分類対象画像ごとに当該分類対象画像に含まれる人物画像の顔と特定画像に含まれる人物画像の顔との類似度を判定する類似度判定手段を備え、 Further comprising a similarity determination means for determining a similarity between the face of the person image included in the specific image and the face of the person image included in the grouping target image to each of said grouping target image,
    前記特徴ベクトル生成手段は、前記類似度判定手段の判定結果に基づいて、前記各分類対象画像ごとに、当該分類対象画像の特徴を示す特徴ベクトルを生成するようになっていることを特徴とする画像分類システム。 The feature vector generating unit, on the basis of the determination result of the similarity determination unit, wherein for each grouping target image, characterized in that is adapted to generate a feature vector indicating the feature of the grouping target image image classification system.
  12. 請求項9乃至11のいずれかにおいて、 In any one of claims 9 to 11,
    前記画像分類手段は、前記分類対象画像の特徴ベクトル同士のベクトル間距離に基づいて前記各分類対象画像を複数のグループに分類し、前記各グループごとに所定数の分類対象画像を前記分類対象画像記憶手段のなかから索出するようになっていることを特徴とする画像分類システム。 The image classification unit, the classifying the respective grouping target image based on the distance between vectors of feature vectors between the target image into a plurality of groups, said grouping target image of a predetermined number per each group grouping target image image classification system, characterized in that is adapted to searches out from among the storage means.
  13. 請求項9乃至12のいずれかにおいて、 In any one of claims 9 to 12,
    前記特徴ベクトル生成手段は、前記分類対象画像同士のアスペクト比が異なるときは、アスペクト比が異なる第1画像及び第2画像を重ね合わせ、前記第1画像のうち重複領域について前記第1画像の特徴ベクトルを生成し、前記第2画像のうち重複領域について前記第2画像の特徴ベクトルを生成するようになっていることを特徴とする画像分類システム。 The feature vector generation means, when the aspect ratio of the grouping target image to each other are different, superimposing the first image and the second image aspect ratios are different, characterized the first image the overlapping area of ​​the first image image classification system which is characterized in that so as to generate a vector, and generates a feature vector of said second image for overlapping area of ​​the second image.
  14. 与えられた検索キー画像をもとに、複数の検索対象画像のなかから前記検索キー画像に適合する画像を検索するプログラムであって、 Based on the retrieval key image given, a program to search for matching images on the retrieval key image from among a plurality of retrieval target image,
    前記複数の検索対象画像を記憶するための検索対象画像記憶手段と、前記検索キー画像を入力する検索キー画像入力手段とを利用可能なコンピュータに対して、 To the plurality of search target image and search target image storing means for storing, retrieving key image inputting means and the available computer for inputting the search key image,
    前記検索キー画像入力手段で入力した検索キー画像及び前記検索対象画像記憶手段の各検索対象画像について当該画像から注目領域を抽出する注目領域抽出手段、前記検索キー画像及び前記各検索対象画像について前記注目領域抽出手段で抽出した注目領域に基づいて当該画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、並びに前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索手段として実現される処理を実行させるためのプログラムであることを特徴とする画像検索プログラム。 The key image region of interest extracting means for extracting a region of interest for the corresponding image each search target image of the retrieval key image and the search target image storing means for inputting in the input means, said about the retrieval key image and each retrieving object image feature vector generating means for generating a feature vector indicating the feature of the image on the basis of the target region extracted by the attention area extraction unit, as well as among the search target image storing means based on the feature vector generated by the feature vector generation means image retrieval program, which is a program for executing a process to be achieved by the image retrieval means for retrieving the image suitable to the retrieval key image from.
  15. 複数の分類対象画像を分類するプログラムであって、 A program for classifying a plurality of grouping target image,
    前記複数の分類対象画像を記憶するための分類対象画像記憶手段を利用可能なコンピュータに対して、 Against grouping target image storing means available computer for storing the plurality of grouping target image,
    前記分類対象画像記憶手段の各分類対象画像ごとに当該分類対象画像から注目領域を抽出する注目領域抽出手段、前記注目領域抽出手段で抽出した注目領域に基づいて前記各分類対象画像ごとに当該分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成手段、及び前記特徴ベクトル生成手段で生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類手段として実現される処理を実行させるためのプログラムであることを特徴とする画像分類プログラム。 Attention area extraction means for extracting a region of interest from the grouping target image for each grouping target image of the grouping target image storing means, the classification for each of the respective grouping target image on the basis of the region of interest extracted by the attention area extraction means feature vector generating means for generating a feature vector indicating a feature of the target image, and processing is being implemented as an image classifying means for classifying the respective grouping target image into a plurality of groups based on the feature vector generated by the feature vector generation means image classification program which is a program for executing.
  16. 与えられた検索キー画像をもとに、複数の検索対象画像を記憶した検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する方法であって、 Based on the retrieval key image given to a method of searching for matching image on the retrieval key image from among the search target image storing means for storing a plurality of retrieval target image,
    前記検索キー画像を入力する検索キー画像入力ステップと、 A retrieval key image input step of inputting the retrieval key image,
    前記検索キー画像入力ステップで入力した検索キー画像から注目領域を抽出する第1注目領域抽出ステップと、 A first target region extraction step of extracting a region of interest from the search key image input in the retrieval key image input step,
    前記第1注目領域抽出ステップで抽出した注目領域に基づいて前記検索キー画像の特徴を示す特徴ベクトルを生成する第1特徴ベクトル生成ステップと、 A first feature vector generation step of generating a feature vector indicating a feature of said key image on the basis of the target region extracted by the first target region extraction step,
    前記検索対象画像から注目領域を抽出する第2注目領域抽出ステップと、 A second target area extracting step of extracting a region of interest from the search target image,
    前記第2注目領域抽出ステップで抽出した注目領域に基づいて前記検索対象画像の特徴を示す特徴ベクトルを生成する第2特徴ベクトル生成ステップと、 A second feature vector generation step of generating a feature vector indicating the feature of the search target image based on the region of interest extracted by the second target region extraction step,
    前記第2注目領域抽出ステップ及び前記第2特徴ベクトル生成ステップを前記検索対象画像記憶手段の各検索対象画像ごとに繰り返し行う繰返ステップと、 And repeating the step of repeating the second target region extraction step and the second feature vector generation step for each search target image of the search target image storing means,
    前記第1特徴ベクトル生成ステップ及び前記第2特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記検索対象画像記憶手段のなかから前記検索キー画像に適合する画像を検索する画像検索ステップとを含むことを特徴とする画像検索方法。 Include an image retrieval step of retrieving a matching image in the retrieval key image from among the search target image storing means based on the feature vector generated by the first feature vector generation step and the second feature vector generation step image retrieval method comprising.
  17. 複数の分類対象画像を分類する方法であって、 A method of classifying a plurality of grouping target image,
    前記分類対象画像から注目領域を抽出する注目領域抽出ステップと、 And attention area extraction step of extracting a region of interest from the grouping target image,
    前記注目領域抽出ステップで抽出した注目領域に基づいて前記分類対象画像の特徴を示す特徴ベクトルを生成する特徴ベクトル生成ステップと、 A feature vector generating step of generating a feature vector indicating the feature of the grouping target image on the basis of the region of interest extracted by the attention area extraction step,
    前記注目領域抽出ステップ及び前記特徴ベクトル生成ステップを前記各分類対象画像ごとに繰り返し行う繰返ステップと、 And repeating the step of performing repeatedly the target region extraction step and the feature vector generating step for each of the respective grouping target image,
    前記特徴ベクトル生成ステップで生成した特徴ベクトルに基づいて前記各分類対象画像を複数のグループに分類する画像分類ステップとを含むことを特徴とする画像分類方法。 Image classification method which comprises an image classification step of classifying into a plurality of groups each of said grouping target image based on the feature vector generated by the feature vector generation step.
JP2003155886A 2003-05-30 2003-05-30 Image retrieval system, image classification system, image retrieval program, image classification program, image retrieval method, and image classification method Withdrawn JP2004361987A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003155886A JP2004361987A (en) 2003-05-30 2003-05-30 Image retrieval system, image classification system, image retrieval program, image classification program, image retrieval method, and image classification method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003155886A JP2004361987A (en) 2003-05-30 2003-05-30 Image retrieval system, image classification system, image retrieval program, image classification program, image retrieval method, and image classification method
US10857638 US7440638B2 (en) 2003-05-30 2004-05-28 Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
EP20040012700 EP1482428A3 (en) 2003-05-30 2004-05-28 Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
CN 200410045543 CN100357944C (en) 2003-05-30 2004-05-28 Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method

Publications (1)

Publication Number Publication Date
JP2004361987A true true JP2004361987A (en) 2004-12-24

Family

ID=33128337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003155886A Withdrawn JP2004361987A (en) 2003-05-30 2003-05-30 Image retrieval system, image classification system, image retrieval program, image classification program, image retrieval method, and image classification method

Country Status (4)

Country Link
US (1) US7440638B2 (en)
EP (1) EP1482428A3 (en)
JP (1) JP2004361987A (en)
CN (1) CN100357944C (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006261711A (en) * 2005-03-15 2006-09-28 Seiko Epson Corp Image generating apparatus
US7724944B2 (en) 2004-08-19 2010-05-25 Mitsubishi Electric Corporation Image retrieval method and image retrieval device
CN101833668A (en) * 2010-04-23 2010-09-15 清华大学 Detection method for similar units based on profile zone image
JP2011520175A (en) * 2008-04-14 2011-07-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for searching a plurality of stored digital image
US8233708B2 (en) 2005-08-17 2012-07-31 Panasonic Corporation Video scene classification device and video scene classification method
CN105320694A (en) * 2014-07-31 2016-02-10 香港理工大学 Multimodality image retrieval method

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111787B2 (en) 2001-05-15 2006-09-26 Hand Held Products, Inc. Multimode image capturing and decoding optical reader
US6834807B2 (en) * 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
US7920725B2 (en) * 2003-09-09 2011-04-05 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
JP2006157429A (en) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd Moving image recorder and moving image printer
JP2006318033A (en) 2005-05-10 2006-11-24 Olympus Imaging Corp Image management device, image management program, image management method and storage medium
US8306277B2 (en) 2005-07-27 2012-11-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus
US7672508B2 (en) 2006-04-11 2010-03-02 Sony Corporation Image classification based on a mixture of elliptical color models
JP5035596B2 (en) * 2006-09-19 2012-09-26 ソニー株式会社 An information processing apparatus and method, and program
CN100414548C (en) 2006-09-22 2008-08-27 南京搜拍信息技术有限公司 Search system and technique comprehensively using information of graphy and character
CN101369312B (en) 2007-08-17 2012-09-05 日电(中国)有限公司 Method and equipment for detecting intersection in image
CN101493813B (en) 2008-01-25 2012-05-30 北京新岸线网络技术有限公司 Video search system based on content
JP5208540B2 (en) 2008-02-27 2013-06-12 株式会社Pfu Image file sorting method, an image file sorting device, and a program
JP2009271577A (en) 2008-04-30 2009-11-19 Panasonic Corp Device and method for displaying result of similar image search
US8346800B2 (en) * 2009-04-02 2013-01-01 Microsoft Corporation Content-based information retrieval
US8892594B1 (en) * 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
CN102364497B (en) * 2011-05-06 2013-06-05 北京师范大学 Image semantic extraction method applied in electronic guidance system
CN102779338B (en) * 2011-05-13 2017-05-17 欧姆龙株式会社 The image processing method and image processing apparatus
CN102236717B (en) * 2011-07-13 2012-12-26 清华大学 Image retrieval method based on sketch feature extraction
CN103123685B (en) * 2011-11-18 2016-03-02 江南大学 Text pattern recognition method
EP2786311A4 (en) * 2011-11-29 2016-08-17 Nokia Technologies Oy Method, apparatus and computer program product for classification of objects
US9183261B2 (en) 2012-12-28 2015-11-10 Shutterstock, Inc. Lexicon based systems and methods for intelligent media search
US9183215B2 (en) 2012-12-29 2015-11-10 Shutterstock, Inc. Mosaic display systems and methods for intelligent media search
CN104680170B (en) * 2013-11-26 2018-02-06 富士通株式会社 Method and apparatus for an object included in the image classifying
WO2016013885A1 (en) * 2014-07-25 2016-01-28 Samsung Electronics Co., Ltd. Method for retrieving image and electronic device thereof
US20160071101A1 (en) * 2014-09-09 2016-03-10 Tyson York Winarski Selfie financial security transaction system
CN105791638A (en) * 2014-12-22 2016-07-20 盐城工学院 Wetland ecological habitat scene source tracing method and device under optimum resolution configurations
CN105005786A (en) * 2015-06-19 2015-10-28 南京航空航天大学 Texture image classification method based on BoF and multi-feature fusion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05307537A (en) 1991-09-12 1993-11-19 Fuji Photo Film Co Ltd Extracting method for border line of object to be photographed
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
JP3026712B2 (en) * 1993-12-09 2000-03-27 キヤノン株式会社 Image retrieval method and apparatus
JP2001521250A (en) 1997-10-27 2001-11-06 マサチューセッツ・インスティチュート・オブ・テクノロジー Search and retrieval system of information
US20020097145A1 (en) * 1997-11-06 2002-07-25 David M. Tumey Integrated vehicle security system utilizing facial image verification
US6606398B2 (en) * 1998-09-30 2003-08-12 Intel Corporation Automatic cataloging of people in digital photographs
JP2001052175A (en) 1999-08-06 2001-02-23 Olympus Optical Co Ltd Image retrieving device
US6941323B1 (en) 1999-08-09 2005-09-06 Almen Laboratories, Inc. System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images
JP3921015B2 (en) * 1999-09-24 2007-05-30 富士通株式会社 Image analyzing apparatus and method, and program recording medium
JP3482923B2 (en) 1999-10-28 2004-01-06 セイコーエプソン株式会社 Auto composition determining device
WO2002025588A9 (en) 2000-09-21 2003-11-06 Md Online Inc Medical image processing systems
KR100439118B1 (en) * 2001-03-15 2004-07-05 가부시끼가이샤 도시바 Entrance control apparatus and method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724944B2 (en) 2004-08-19 2010-05-25 Mitsubishi Electric Corporation Image retrieval method and image retrieval device
JP2006261711A (en) * 2005-03-15 2006-09-28 Seiko Epson Corp Image generating apparatus
US8233708B2 (en) 2005-08-17 2012-07-31 Panasonic Corporation Video scene classification device and video scene classification method
JP2011520175A (en) * 2008-04-14 2011-07-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for searching a plurality of stored digital image
CN101833668A (en) * 2010-04-23 2010-09-15 清华大学 Detection method for similar units based on profile zone image
CN105320694A (en) * 2014-07-31 2016-02-10 香港理工大学 Multimodality image retrieval method

Also Published As

Publication number Publication date Type
US20050008263A1 (en) 2005-01-13 application
US7440638B2 (en) 2008-10-21 grant
CN1573742A (en) 2005-02-02 application
EP1482428A3 (en) 2006-01-11 application
CN100357944C (en) 2007-12-26 grant
EP1482428A2 (en) 2004-12-01 application

Similar Documents

Publication Publication Date Title
Dalla Mura et al. Classification of hyperspectral images by using extended morphological attribute profiles and independent component analysis
Vandenbroucke et al. Color image segmentation by pixel classification in an adapted hybrid color space. Application to soccer image analysis
Lai et al. A user-oriented image retrieval system based on interactive genetic algorithm
Schaefer et al. UCID: An uncompressed color image database
US7760956B2 (en) System and method for producing a page using frames of a video stream
Van De Weijer et al. Learning color names for real-world applications
Liapis et al. Color and texture image retrieval using chromaticity histograms and wavelet frames
US6192150B1 (en) Invariant texture matching method for image retrieval
EP1109132A2 (en) Method for automatic assessment of emphasis and appeal in consumer images
US6584221B1 (en) Method for image retrieval with multiple regions of interest
Ugarriza et al. Automatic image segmentation by dynamic region growth and multiresolution merging
US6738494B1 (en) Method for varying an image processing path based on image emphasis and appeal
US6529202B2 (en) Color adviser
US6915011B2 (en) Event clustering of images using foreground/background segmentation
US7031555B2 (en) Perceptual similarity image retrieval
US6256409B1 (en) Method for determining a correlation between images using multi-element image descriptors
Han et al. Fuzzy color histogram and its use in color image retrieval
Fauqueur et al. Region-based image retrieval: Fast coarse segmentation and fine color description
US20060104520A1 (en) Multi-tiered image clustering by event
US20040024758A1 (en) Image classification method, image feature space displaying method, program, and recording medium
Chan et al. Image retrieval system based on color-complexity and color-spatial features
US20080025629A1 (en) Image processing methods, image management systems, and articles of manufacture
US20080118146A1 (en) Method and apparatus for representing a group of images
US20070195344A1 (en) System, apparatus, method, program and recording medium for processing image
JP2005148900A (en) Image classification device, image classification method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050725

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070403

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070808