JP2014092909A - Image retrieval device, image retrieval method and image retrieval program - Google Patents
Image retrieval device, image retrieval method and image retrieval program Download PDFInfo
- Publication number
- JP2014092909A JP2014092909A JP2012242744A JP2012242744A JP2014092909A JP 2014092909 A JP2014092909 A JP 2014092909A JP 2012242744 A JP2012242744 A JP 2012242744A JP 2012242744 A JP2012242744 A JP 2012242744A JP 2014092909 A JP2014092909 A JP 2014092909A
- Authority
- JP
- Japan
- Prior art keywords
- image
- classification
- specific
- image group
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 28
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 16
- 210000000988 bone and bone Anatomy 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000002372 labelling Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 244000241796 Christia obcordata Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像群の中からユーザの所望する画像を検索するための画像検索装置、画像検索方法及び画像検索プログラムに関する。 The present invention relates to an image search apparatus, an image search method, and an image search program for searching for an image desired by a user from an image group.
従来より、画像群の中からユーザの所望する画像を検索するための種々の技術が提案されている。かかる技術分野においては、膨大な画像群の中から、ユーザの求める画像をどうのようにして探し出すのかという点に加え、探し出された画像をユーザに対しどのような順番で提示するのかという点も、重要な研究テーマである。そのためには、ユーザの要望をどのようにして把握するのか、そして、その要望に沿った検索をどのようにして実現するのかが、大きな課題となる。 Conventionally, various techniques for retrieving an image desired by a user from an image group have been proposed. In such a technical field, in addition to the point of how to search for an image requested by the user from a large group of images, the order in which the searched images are presented to the user. Is also an important research theme. For that purpose, how to grasp the user's request and how to realize the search according to the request become a big problem.
特許文献1には、検索対象となる画像群の中からユーザの入力したテキストクエリをキーとして画像群を検索し、検索された画像群をクラスタリング等の方法により複数の画像グループに分類することが開示されている。さらに、特許文献1では、この分類の結果をユーザに提示し、その後、ユーザから特定の画像グループの選択を受け付け、画面上に選択された画像グループに属する画像のみを表示することも開示されている。 In Patent Document 1, an image group is searched from a search target image group using a text query input by a user as a key, and the searched image group is classified into a plurality of image groups by a method such as clustering. It is disclosed. Further, Patent Document 1 also discloses that the result of this classification is presented to the user, and then the selection of a specific image group is accepted from the user, and only the images belonging to the selected image group are displayed on the screen. Yes.
以上のとおり、特許文献1では、検索結果を絞り込むべく、画像群を複数の画像グループに分類した後、ユーザに所望の画像グループを選択させているが、画像群の分類条件は1通りに定められている。言い換えると、特許文献1では、画像群を1つの観点から1通りに分類しているのみである。 As described above, in Patent Document 1, in order to narrow down the search results, after the image group is classified into a plurality of image groups, the user is allowed to select a desired image group. It has been. In other words, in Patent Document 1, the image group is only classified in one way from one viewpoint.
ところで、たとえ同じクエリを用いて画像の検索を行う場合であっても、ユーザの求める検索結果はTPOに応じて異なるものとなる。例えば、ユーザが蝶々の画像を求めている場合に、ユーザが蝶々の外形に注目しているのか、蝶々の羽の模様に注目しているのかでは、ユーザに提示されるべき検索結果は異なってくる。従って、特許文献1のように、1つの分類条件でのみ、すなわち、1つの観点から1通りにのみ画像群の分類を行うのでは、ユーザが真に求めるものを最終的な検索結果に十分に反映することができないという問題が生じ得る。例えば、ユーザが特定の外形(羽の先端が尖っている、羽の先端が丸味を帯びている等)を有する蝶々の画像を求めている場合に、蝶々の外形の観点から画像群が分類がされないと、分類の結果はユーザの意図に沿わないものになる。このように、ユーザの要望はTPOによって変化するものであり、その変化に追従して検索結果を変えることはユーザからの強い要請である。 By the way, even when searching for an image using the same query, the search result requested by the user differs depending on the TPO. For example, when the user is looking for a butterfly image, the search result to be presented to the user differs depending on whether the user is paying attention to the outline of the butterfly or the pattern of the butterfly wings. come. Therefore, as in Patent Document 1, if the image group is classified only under one classification condition, that is, only one way from one viewpoint, what the user really wants is sufficient for the final search result. The problem that it cannot be reflected may arise. For example, when a user is looking for an image of a butterfly having a specific external shape (the tip of the wing is sharp, the tip of the wing is rounded, etc.), the image group is classified from the viewpoint of the shape of the butterfly. Otherwise, the result of the classification will not match the user's intention. As described above, the user's request changes depending on the TPO, and changing the search result following the change is a strong request from the user.
本発明は、ユーザの意図に沿った検索結果を得ることができる画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。 An object of the present invention is to provide an image search apparatus, an image search method, and an image search program that can obtain a search result according to a user's intention.
本発明の第1観点に係る画像検索装置は、分類部と、第1表示制御部と、選択受付部と、優先度判断部と、第2表示制御部とを備える。分類部は、同じ画像群を、複数の分類条件により複数の分類パターンで分類する。第1表示制御部は、前記複数の分類パターンでの分類の結果を表示する。選択受付部は、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付ける。優先度判断部は、前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断する。第2表示制御部は、前記優先度に従って、前記画像群に含まれる画像を表示する。なお、ここで「画像グループ」とは、分類の結果を表示する画面例を示す図7の例で言うと、A2に対応し、「分類パターン」とは、A2を複数まとめたA1に対応する。従って、図7では、2つの分類条件による2つの分類パターンが表示されていることになる。 An image search apparatus according to a first aspect of the present invention includes a classification unit, a first display control unit, a selection receiving unit, a priority determination unit, and a second display control unit. The classification unit classifies the same image group with a plurality of classification patterns according to a plurality of classification conditions. The first display control unit displays the result of the classification with the plurality of classification patterns. After the display of the classification result, the selection reception unit receives a specific classification pattern and / or a specific classification from a plurality of classification patterns and / or a plurality of image groups defined by the plurality of classification patterns. Accept image group selection. The priority determination unit determines a priority of an image included in the image group according to the specific classification pattern and / or the specific image group. The second display control unit displays images included in the image group according to the priority. Here, the “image group” corresponds to A2 in the example of the screen displaying the classification result, and “classification pattern” corresponds to A1 in which a plurality of A2s are collected. . Therefore, in FIG. 7, two classification patterns based on two classification conditions are displayed.
ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。 Here, the same image group is classified according to different classification patterns according to different classification conditions, whereby different classification results are presented to the user. Furthermore, a specific classification pattern and / or a specific image group is selected by the user who sees the result of the classification, and the priority of the image presented to the user as a search result is determined according to the content of the selection. Is done.
すなわち、ここでは、検索対象となる画像群が、複数の観点から複数通りに分類される。その後、これらの複数通りの分類の結果の提示を受けて、ユーザは特定の分類パターンを選択し得るが、この選択は、ユーザが複数の分類の観点の中から、自分の意図に沿った分類の観点を選択することを意味する。従って、例えば、蝶々の外形の観点での分類と、蝶々の羽の模様の観点での分類とが示された場合に、ユーザは、前者の分類に対応する分類パターンを選択することにより、蝶々の羽の模様ではなく、蝶々の外形に注目していることを意思表示することができる。或いは、ユーザは、特定の分類パターンに代えて又は加えて、特定の画像グループを選択し得るが、この選択は、ユーザが、自分の意図に沿った検索基準として、自身の求める画像を(少なくとも概ね)束ねる画像グループを選択することを意味する。先ほどの蝶々の例で言うと、ユーザは、蝶々の外形による分類による複数の画像グループの中から、特定の画像グループを選択することにより、特定の外形(羽の先端が尖っている、羽の先端が丸味を帯びている等)を有する蝶々に注目していることを意思表示することができる。 That is, here, the image group to be searched is classified into a plurality of ways from a plurality of viewpoints. Then, upon receiving the results of these multiple classifications, the user can select a specific classification pattern. This selection is based on the classification according to the user's intention from a plurality of classification viewpoints. This means selecting a viewpoint. Therefore, for example, when the classification in terms of the outer shape of the butterfly and the classification in terms of the pattern of the butterfly wings are shown, the user selects the classification pattern corresponding to the former classification, so that the butterfly You can indicate that you are paying attention to the outer shape of the butterfly, not the wing pattern. Alternatively, the user may select a specific group of images instead of or in addition to a specific classification pattern, but this selection allows the user to select (at least) the image he / she wants as a search criterion according to his / her intention. (In general) means selecting a group of images to be bundled. In the previous example of butterflies, the user selects a specific image group from a plurality of image groups classified by the shape of the butterfly, thereby making the specific outline (the tip of the wing sharp, It is possible to indicate that the user is paying attention to a butterfly having a rounded tip.
以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。 As described above, the user can specify a classification viewpoint and / or a search criterion according to his / her intention by selecting a specific classification pattern and / or a specific image group. Therefore, it is possible to obtain a search result according to the user's intention.
第2観点に係る画像検索装置は、第1観点に係る画像検索装置であって、クエリ受付部をさらに備える。クエリ受付部は、ユーザから、クエリ画像の指定を受け付ける。前記第1表示制御部は、前記分類パターン毎に、前記画像群の中から、前記クエリ画像との類似度の高い前記画像グループに属する画像を優先して表示することにより、前記分類の結果を表示する。なお、ここでは、クエリ画像との類似度の高い画像グループに属する全ての画像が表示される必要はなく、当該画像グループに属する画像の一部が代表画像として表示されてもよい。 The image search device according to the second aspect is the image search device according to the first aspect, and further includes a query receiving unit. The query receiving unit receives a query image specification from the user. The first display control unit preferentially displays an image belonging to the image group having a high similarity to the query image from the image group for each classification pattern, thereby obtaining the classification result. indicate. Here, it is not necessary to display all the images belonging to the image group having a high degree of similarity with the query image, and a part of the images belonging to the image group may be displayed as the representative image.
ここでは、ユーザによりクエリ画像が指定され、その後、画像群の分類の結果の表示時には、クエリ画像に類似する画像グループに属する画像が優先的に表示される。従って、画像群の分類の結果を見たユーザは、自分の意図に沿った分類パターン及び/又は画像グループを指定し易くなる。 Here, the query image is designated by the user, and thereafter, when displaying the result of classifying the image group, the images belonging to the image group similar to the query image are preferentially displayed. Therefore, a user who sees the result of classification of the image group can easily specify a classification pattern and / or an image group according to his / her intention.
なお、画像グループとクエリ画像との類似度は、例えば、分類条件により規定される分類空間内で、クエリ画像を示す点と、画像グループを示す領域の重心との距離に応じて判断することができる。また、分類空間内で、クエリ画像を示す点が存在する領域の画像グループを、クエリ画像と類似度の高い画像グループと判断してもよい。さらに、ここでいう分類空間は、1次元空間であっても、多次元空間であってもよい。 Note that the similarity between the image group and the query image can be determined, for example, according to the distance between the point indicating the query image and the center of gravity of the region indicating the image group in the classification space defined by the classification condition. it can. In addition, an image group in an area where a point indicating a query image exists in the classification space may be determined as an image group having a high similarity to the query image. Furthermore, the classification space here may be a one-dimensional space or a multi-dimensional space.
第3観点に係る画像検索装置は、第2観点に係る画像検索装置であって、前記優先度判断部は、前記選択受付部がユーザから前記特定の分類パターンの選択を受け付けた場合、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループに属する画像の前記優先度を高く設定する。 An image search device according to a third aspect is the image search device according to the second aspect, wherein the priority determination unit, when the selection reception unit receives a selection of the specific classification pattern from a user, Among the image groups defined by the classification pattern, the priority of images belonging to a similar image group having a high similarity to the query image is set high.
ここでは、ユーザの指定する分類の観点から見てクエリ画像と類似する画像グループに属する画像が、検索結果として優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。 Here, images belonging to an image group similar to the query image from the viewpoint of classification specified by the user are preferentially displayed as search results. Therefore, it is possible to obtain a search result more in line with the user's intention.
第4観点に係る画像検索装置は、第3観点に係る画像検索装置であって、前記選択受付部は、複数の前記特定の分類パターンの選択を受け付ける。前記優先度判断部は、前記特定の分類パターン毎に、前記類似画像グループを特定し、前記複数の特定の分類パターンにそれぞれ対応する前記複数の類似画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。 An image search device according to a fourth aspect is the image search device according to the third aspect, wherein the selection receiving unit receives selection of a plurality of the specific classification patterns. The priority determination unit specifies the similar image group for each of the specific classification patterns, and belongs to a group defined by a set operation of the plurality of similar image groups respectively corresponding to the plurality of specific classification patterns. The image priority is set high. The set operation is a known set operation such as logical sum, logical product, logical difference, exclusive logical sum, and the like.
ここでは、ユーザは、自分の意図に沿った分類パターンを複数選択することができる。そして、ユーザにより複数の分類パターンが選択されると、これらの分類パターンにそれぞれ対応する複数の類似画像グループが特定され、その後、検索結果として、これらの類似画像グループの集合演算により規定されるグループに属する画像が優先的に表示される。従って、ユーザは、複数の分類の観点を組み合わせて、自身の意図を指定することができる。 Here, the user can select a plurality of classification patterns according to his intention. Then, when a plurality of classification patterns are selected by the user, a plurality of similar image groups respectively corresponding to these classification patterns are specified, and then a group defined by a set operation of these similar image groups as a search result The images belonging to are preferentially displayed. Therefore, the user can specify his / her intention by combining a plurality of classification viewpoints.
第5観点に係る画像検索装置は、第1観点から第4観点のいずれかに係る画像検索装置であって、前記優先度判断部は、前記選択受付部がユーザから前記特定の画像グループの選択を受け付けた場合、前記特定の画像グループに属する画像の前記優先度を高く設定する。 An image search device according to a fifth aspect is the image search device according to any one of the first to fourth aspects, wherein the priority determination unit selects the specific image group from the user by the selection reception unit. Is received, the priority of the images belonging to the specific image group is set high.
ここでは、検索結果として、ユーザの指定する画像グループに属する画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。 Here, images belonging to the image group designated by the user are preferentially displayed as search results. Therefore, it is possible to obtain a search result more in line with the user's intention.
第6観点に係る画像検索装置は、第5観点に係る画像検索装置であって、前記選択受付部は、複数の前記特定の画像グループの選択を受け付ける。前記優先度判断部は、前記複数の特定の画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。 An image search device according to a sixth aspect is the image search device according to the fifth aspect, wherein the selection receiving unit receives selection of a plurality of the specific image groups. The priority determination unit sets the priority of an image belonging to a group defined by a set operation of the plurality of specific image groups to be high. The set operation is a known set operation such as logical sum, logical product, logical difference, exclusive logical sum, and the like.
ここでは、ユーザは、自分の意図に沿った画像グループを複数選択することができる。そして、ユーザにより複数の画像グループが選択されると、検索結果として、これらの画像グループの集合演算により規定されるグループに属する画像が優先的に表示される。従って、ユーザは複数の画像グループを組み合わせて、自身の意図を指定することができる。 Here, the user can select a plurality of image groups according to his / her intention. When a plurality of image groups are selected by the user, images belonging to a group defined by a set operation of these image groups are preferentially displayed as search results. Therefore, the user can specify his / her intention by combining a plurality of image groups.
第7観点に係る画像検索装置は、第2観点に係る画像検索装置であって、前記選択受付部は、前記特定の分類パターン及び前記特定の画像グループの選択を受け付ける。前記優先度判断部は、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループを特定し、前記類似画像グループと前記特定の画像グループとの集合演算により規定されるグループに属する画像の前記優先度を高く設定する。なお、集合演算とは、論理和、論理積、論理差、排他的論理和等、公知の集合演算である。 An image search device according to a seventh aspect is the image search device according to the second aspect, wherein the selection receiving unit receives selection of the specific classification pattern and the specific image group. The priority determination unit specifies a similar image group having a high similarity to the query image among the image groups defined by the specific classification pattern, and determines the similarity between the similar image group and the specific image group. The priority of the images belonging to the group defined by the set operation is set high. The set operation is a known set operation such as logical sum, logical product, logical difference, exclusive logical sum, and the like.
ここでは、ユーザは、自分の意図に沿った分類パターン及び画像グループを組み合わせて選択することができる。そして、ユーザにより分類パターン及び画像グループの両方が選択されると、まず、分類パターンにより規定される複数のグループのうち、クエリ画像と類似する類似画像グループが特定される。そして、その後、検索結果として、この類似画像グループと、ユーザにより指定された画像グループとの集合演算により規定されるグループに属する画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。 Here, the user can select a combination of classification patterns and image groups according to his / her intention. When both the classification pattern and the image group are selected by the user, first, a similar image group similar to the query image is specified from among a plurality of groups defined by the classification pattern. After that, as a search result, images belonging to a group defined by a set operation of the similar image group and the image group designated by the user are preferentially displayed. Therefore, it is possible to obtain a search result more in line with the user's intention.
第8観点に係る画像検索装置は、第2観点から第7観点のいずれかに係る画像検索装置であって、前記選択受付部は、ユーザから、前記特定の分類パターン及び/又は前記特定の画像グループの選択を受け付けることにより、前記分類条件の選択を受け付けるとともに、前記分類条件の重みの指定を受け付ける。前記優先度判断部は、前記選択受付部がユーザから前記特定の分類条件の選択を複数受け付けた場合、前記重みに従って重み付けが行われた前記複数の特定の分類条件の下で、前記画像群に含まれる画像と前記クエリ画像との類似度を判断し、前記類似度に従って前記優先度を決定する。 An image search device according to an eighth aspect is the image search device according to any one of the second to seventh aspects, wherein the selection receiving unit receives the specific classification pattern and / or the specific image from a user. By accepting the selection of the group, the selection of the classification condition is accepted, and the designation of the weight of the classification condition is accepted. When the selection receiving unit receives a plurality of selections of the specific classification condition from a user, the priority determination unit applies the weight to the image group under the specific classification conditions weighted according to the weight. The similarity between the included image and the query image is determined, and the priority is determined according to the similarity.
ここでは、ユーザは、自分の意図に沿った分類条件を選択するとともに、その重みを指定することができる。そして、ユーザにより複数の分類条件が選択されると、ユーザにより指定された重みに従ってこれらの分類条件に重み付けを行った上で、そのような重み付がされた複合的な観点から、検索対象となる画像群に含まれる画像とクエリ画像との類似度が判断される。そして、その後、検索結果として、この類似度の高い画像が優先的に表示される。従って、よりユーザの意図に沿った検索結果を得ることができる。 Here, the user can select a classification condition in accordance with his / her intention and designate the weight. Then, when a plurality of classification conditions are selected by the user, the classification conditions are weighted according to the weights specified by the user, and then the search target The similarity between the image included in the image group and the query image is determined. After that, as a search result, an image with a high similarity is preferentially displayed. Therefore, it is possible to obtain a search result more in line with the user's intention.
第9観点に係る画像検索装置は、第1観点から第8観点のいずれかに係る画像検索装置であって、前記分類条件は、1の特徴量又は複数の特徴量の組み合わせである特徴量記述子により定義される。従って、ここでは、分類の観点という抽象的な概念を、コンピュータ等の装置で理解可能なように定量的に表現することができる。 An image search apparatus according to a ninth aspect is the image search apparatus according to any of the first to eighth aspects, wherein the classification condition is a feature quantity description that is one feature quantity or a combination of a plurality of feature quantities Defined by children. Therefore, here, the abstract concept of the viewpoint of classification can be quantitatively expressed so that it can be understood by a device such as a computer.
第10観点に係る画像検索方法は、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、前記複数の分類パターンでの分類の結果を表示するステップと、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、前記優先度に従って、前記画像群に含まれる画像を表示するステップとを備える。 An image search method according to a tenth aspect includes a step of classifying the same image group with a plurality of classification patterns according to a plurality of classification conditions, a step of displaying a result of classification with the plurality of classification patterns, and a result of the classification Receiving a selection of a specific classification pattern and / or a specific image group from the plurality of classification patterns and / or a plurality of image groups defined by the plurality of classification patterns after the display of Determining a priority of an image included in the image group according to the specific classification pattern and / or the specific image group; and displaying an image included in the image group according to the priority; Is provided.
ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。 Here, the same image group is classified according to different classification patterns according to different classification conditions, whereby different classification results are presented to the user. Furthermore, a specific classification pattern and / or a specific image group is selected by the user who sees the result of the classification, and the priority of the image presented to the user as a search result is determined according to the content of the selection. Is done.
以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。 As described above, the user can specify a classification viewpoint and / or a search criterion according to his / her intention by selecting a specific classification pattern and / or a specific image group. Therefore, it is possible to obtain a search result according to the user's intention.
第11観点に係る画像検索プログラムは、同じ画像群を、複数の分類条件により複数の分類パターンで分類するステップと、前記複数の分類パターンでの分類の結果を表示するステップと、前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、前記優先度に従って、前記画像群に含まれる画像を表示するステップとをコンピュータに実行させる。 An image search program according to an eleventh aspect includes a step of classifying the same image group with a plurality of classification patterns according to a plurality of classification conditions, a step of displaying a result of classification with the plurality of classification patterns, and a result of the classification Receiving a selection of a specific classification pattern and / or a specific image group from the plurality of classification patterns and / or a plurality of image groups defined by the plurality of classification patterns after the display of Determining a priority of an image included in the image group according to the specific classification pattern and / or the specific image group; and displaying an image included in the image group according to the priority; Is executed on the computer.
ここでは、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。 Here, the same image group is classified according to different classification patterns according to different classification conditions, whereby different classification results are presented to the user. Furthermore, a specific classification pattern and / or a specific image group is selected by the user who sees the result of the classification, and the priority of the image presented to the user as a search result is determined according to the content of the selection. Is done.
以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。 As described above, the user can specify a classification viewpoint and / or a search criterion according to his / her intention by selecting a specific classification pattern and / or a specific image group. Therefore, it is possible to obtain a search result according to the user's intention.
本発明によれば、同じ画像群が、異なる分類条件により異なる分類パターンで分類され、これにより、異なる分類の結果がユーザに提示される。さらに、これらの分類の結果を見たユーザにより、特定の分類パターン及び/又は特定の画像グループが選択され、この選択の内容に応じて、検索結果としてユーザに提示される画像の優先度が判断される。以上により、ユーザは、特定の分類パターン及び/又は特定の画像グループを選択することにより、自身の意図に沿った分類の観点及び/又は検索基準を指定することができる。従って、ユーザの意図に沿った検索結果を得ることができる。 According to the present invention, the same image group is classified according to different classification patterns according to different classification conditions, whereby the result of different classification is presented to the user. Furthermore, a specific classification pattern and / or a specific image group is selected by the user who sees the result of the classification, and the priority of the image presented to the user as a search result is determined according to the content of the selection. Is done. As described above, the user can specify a classification viewpoint and / or a search criterion according to his / her intention by selecting a specific classification pattern and / or a specific image group. Therefore, it is possible to obtain a search result according to the user's intention.
以下、図面を参照しつつ、本発明の一実施形態に係る画像検索装置、画像検索方法及び画像検索プログラムについて説明する。
<1.概略構成>
図1に示すように、本実施形態に係る画像検索装置である画像検索システム1は、画像サーバ2と、画像サーバ2にローカルエリアネットワーク(LAN)やインターネット等のネットワーク6を介して接続される様々な情報端末3とを備えている。情報端末3は、画像の検索を行うユーザの操作に供する装置である。画像検索システム1は、主として情報端末3を介してユーザにより指定されるクエリ画像をキーとして、画像サーバ2に蓄積されている膨大な画像群の中からユーザの所望する画像を検索するシステムである。画像検索システム1は、対話的にユーザの意図を把握し、ユーザの検索の目的に沿った検索結果をユーザに対し提示することができる。
Hereinafter, an image search apparatus, an image search method, and an image search program according to an embodiment of the present invention will be described with reference to the drawings.
<1. Schematic configuration>
As shown in FIG. 1, an image search system 1 that is an image search apparatus according to this embodiment is connected to an image server 2 and a network 6 such as a local area network (LAN) or the Internet. Various information terminals 3 are provided. The information terminal 3 is a device used for a user's operation for searching for an image. The image search system 1 is a system for searching for an image desired by a user from among a huge image group stored in the image server 2 mainly using a query image specified by the user via the information terminal 3 as a key. . The image search system 1 can interactively grasp a user's intention and present a search result in accordance with the user's search purpose to the user.
画像サーバ2は、ハードウェアとしては、一般的なサーバコンピュータである。画像サーバ2は、この一般的なサーバコンピュータに画像検索プログラム2Aをインストールするとともに、検索対象となる画像群を蓄積することにより製造される。画像検索プログラム2Aは、画像サーバ2に後述する処理を実行させるプログラムであり、CD−ROM、DVD−ROM、ブルーレイディスク、USBメモリ等のコンピュータで読み取り可能な記録媒体70から、又はネットワーク6を介して別の装置からインストールされる。なお、画像サーバ2の担う機能は、複数台のサーバコンピュータにより分散処理されてもよいし、1台のサーバコンピュータにより集中処理されてもよい。すなわち、画像サーバ2のハードウェア構成は、少なくとも1台サーバコンピュータが存在するという以上の制約を受けるものではない。 The image server 2 is a general server computer as hardware. The image server 2 is manufactured by installing the image search program 2A on this general server computer and storing a group of images to be searched. The image search program 2A is a program that causes the image server 2 to execute processing to be described later. The image search program 2A is a computer-readable recording medium 70 such as a CD-ROM, DVD-ROM, Blu-ray disc, USB memory, or the like. Installed from another device. Note that the functions of the image server 2 may be distributedly processed by a plurality of server computers or may be centrally processed by a single server computer. That is, the hardware configuration of the image server 2 is not subject to the restriction that at least one server computer exists.
情報端末3は、ハードウェアとしては、ネットワーク6に接続可能な一般的なパーソナルコンピュータや、スマートフォン等であり、これらの一般的な装置に所定のプログラム3Aをインストールすることにより製造される。プログラム3Aは、情報端末3に後述する処理を実行させるプログラムであり、CD−ROM、DVD−ROM、ブルーレイディスク、USBメモリ等のコンピュータで読み取り可能な記録媒体80から、又はネットワーク6を介して別の装置からインストールされる。プログラム3Aは、画像サーバ2との接続を確立し、画像サーバ2と協働しつつ画像検索処理の一部を実行するためのアプリケーションソフトウェアであり、本実施形態では、単なるブラウザである。従って、本実施形態では、各種画面を表示する以外の処理は、原則として全て画像サーバ2により実行され、情報端末3は、主として画像サーバ2が作成する各種画面を画像サーバ2から受け取って表示する処理のみを実行する。しかしながら、他の実施形態においては、画像検索プログラム2Aに実装されている後述される任意の機能をプログラム3Aに実装し、画像サーバ2の担う処理を情報端末3に分散させてもよい。以下、各装置の構成について、説明する。 The information terminal 3 is a general personal computer or a smartphone that can be connected to the network 6 as hardware, and is manufactured by installing a predetermined program 3A in these general devices. The program 3A is a program for causing the information terminal 3 to execute processing to be described later, and is separated from a computer-readable recording medium 80 such as a CD-ROM, DVD-ROM, Blu-ray disc, USB memory, or the like via the network 6. Installed from other devices. The program 3A is application software for establishing a connection with the image server 2 and executing a part of the image search process in cooperation with the image server 2, and is a simple browser in the present embodiment. Therefore, in the present embodiment, all processes other than displaying various screens are performed by the image server 2 in principle, and the information terminal 3 mainly receives various screens created by the image server 2 from the image server 2 and displays them. Perform processing only. However, in another embodiment, an arbitrary function described later that is implemented in the image search program 2A may be implemented in the program 3A, and processing performed by the image server 2 may be distributed to the information terminals 3. Hereinafter, the configuration of each apparatus will be described.
<2.各装置の詳細>
<2−1.画像サーバ>
図2に示すように、画像サーバ2は、制御部21、記憶部22及び通信部23を備えている。これらの部21〜23は、互いにバス線7を介して接続されており、相互に通信可能である。
<2. Details of each device>
<2-1. Image server>
As shown in FIG. 2, the image server 2 includes a control unit 21, a storage unit 22, and a communication unit 23. These units 21 to 23 are connected to each other via the bus line 7 and can communicate with each other.
記憶部22は、ハードディスクや磁気テープ等の不揮発性の記憶装置から構成されており、画像検索プログラム2Aが格納されているほか、画像データベース50及び特徴データベース55が構築されている。画像データベース50内には、検索対象となる画像群が蓄積されている。各データベース50,55の詳細については、後述する。 The storage unit 22 is composed of a non-volatile storage device such as a hard disk or a magnetic tape, and stores an image search program 2A and an image database 50 and a feature database 55. In the image database 50, an image group to be searched is stored. Details of the databases 50 and 55 will be described later.
制御部21は、CPU、ROMおよびRAM等から構成されている。制御部21は、記憶部22内に格納されている画像検索プログラム2Aを読み出して実行することにより、仮想的に特徴抽出部21A、分類部21B、クエリ受付部21C、類似度判断部21D、選択受付部21E、優先度判断部21F、第1表示制御部21G及び第2表示制御部21Hとして動作する。各部21A〜21Hの動作の詳細については、後述する。 The control unit 21 includes a CPU, a ROM, a RAM, and the like. The control unit 21 reads and executes the image search program 2A stored in the storage unit 22 to virtually execute the feature extraction unit 21A, the classification unit 21B, the query reception unit 21C, the similarity determination unit 21D, and the selection It operates as a reception unit 21E, a priority determination unit 21F, a first display control unit 21G, and a second display control unit 21H. Details of the operations of the respective units 21A to 21H will be described later.
通信部23は、画像サーバ2をネットワーク6に接続するほか、USBメモリやメモリカードなどの外部記憶装置からデータを受け取る通信インターフェースとして機能する。従って、通信部23は、ネットワーク6を介して情報端末3との間で、クエリ画像及び検索結果等の送受信を行う役割を担う。 In addition to connecting the image server 2 to the network 6, the communication unit 23 functions as a communication interface that receives data from an external storage device such as a USB memory or a memory card. Therefore, the communication unit 23 plays a role of transmitting / receiving a query image and a search result to / from the information terminal 3 via the network 6.
<2−2.情報端末>
図3に示すように、情報端末3は、表示部31、入力部32、記憶部33、制御部34及び通信部35を備えている。これらの部31〜35は、互いにバス線8を介して接続されており、相互に通信可能である。本実施形態では、表示部31は、液晶ディスプレイ等で構成されており、後述する画面等をユーザに対し表示するユーザーインターフェースである。また、入力部32は、マウス、キーボード、タッチパネル、操作ボタン等で構成されており、情報端末3、ひいてはこれに接続される画像サーバ2に対するユーザからの操作を受け付けるユーザーインターフェースである。
<2-2. Information terminal>
As illustrated in FIG. 3, the information terminal 3 includes a display unit 31, an input unit 32, a storage unit 33, a control unit 34, and a communication unit 35. These units 31 to 35 are connected to each other via the bus line 8 and can communicate with each other. In the present embodiment, the display unit 31 is configured by a liquid crystal display or the like, and is a user interface that displays a screen or the like described later to the user. The input unit 32 includes a mouse, a keyboard, a touch panel, operation buttons, and the like. The input unit 32 is a user interface that receives an operation from the user with respect to the information terminal 3 and eventually the image server 2 connected thereto.
記憶部33は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されており、プログラム3Aが格納されている。制御部34は、CPU、ROMおよびRAM等から構成されている。通信部35は、情報端末3をネットワーク2に接続するほか、USBメモリやメモリカード、CD−ROM、外付けハードディスク、デジタルカメラなどの外部記憶装置からデータを受け取る通信インターフェースとして機能する。従って、通信部35は、ネットワーク6を介して画像サーバ2との間で、クエリ画像及び検索結果等の送受信を行う役割を担う。 The storage unit 33 is composed of a nonvolatile storage device such as a hard disk or a flash memory, and stores a program 3A. The control unit 34 includes a CPU, a ROM, a RAM, and the like. The communication unit 35 functions as a communication interface that connects the information terminal 3 to the network 2 and receives data from an external storage device such as a USB memory, a memory card, a CD-ROM, an external hard disk, or a digital camera. Therefore, the communication unit 35 plays a role of transmitting / receiving a query image and a search result to / from the image server 2 via the network 6.
<3.動作>
以下、画像検索システム1の動作について、説明する。
<3−1.検索対象となる画像群の準備>
まず、画像検索システム1による画像検索を開始するに当たり、画像データベース50内に検索対象となる画像群のデータが蓄積される。このとき、画像データベース50内に蓄積される画像群は、アクセス権限を有する管理者により手動で、又は自動で、画像サーバ2に直接接続されるマウスやキーボード等の入力装置、又は通信部23を介して入力される。
<3. Operation>
Hereinafter, the operation of the image search system 1 will be described.
<3-1. Preparation of images to be searched>
First, when starting an image search by the image search system 1, data of an image group to be searched is stored in the image database 50. At this time, the image group stored in the image database 50 is stored in an input device such as a mouse or a keyboard directly connected to the image server 2 or a communication unit 23 manually or automatically by an administrator having access authority. Is input via.
画像データベース50内では、適宜、新たに画像が追加され、又は一部が削除される。特徴抽出部21Aは、画像データベース50内に新たな画像が追加される度に、或いは定期的に又は任意のタイミングで、新たに追加された各画像の特徴を表すパラメータの値として、その画像データから所定の特徴量記述子の値を算出する。ここで、特徴量記述子とは、1の特徴量又は複数の特徴量の組み合わせであり、本実施形態では、特徴量記述子の定義に含まれる特徴量に1対1で対応する座標系からなる1次元又は多次元の尺度である。従って、各画像の特徴量記述子の値は、1又は複数の特徴量の値を要素とする1次元又は多次元ベクトルとして表すことが可能であり、特徴量記述子により規定される1次元又は多次元の分類空間内において点で表される。 In the image database 50, a new image is added or a part is deleted suitably. Each time a new image is added to the image database 50, or periodically or at an arbitrary timing, the feature extraction unit 21A uses the image data as a parameter value indicating the feature of each newly added image. The value of a predetermined feature descriptor is calculated from Here, the feature amount descriptor is one feature amount or a combination of a plurality of feature amounts. In the present embodiment, the feature amount descriptor has a one-to-one correspondence with the feature amount included in the definition of the feature amount descriptor. Is a one-dimensional or multi-dimensional scale. Therefore, the value of the feature descriptor of each image can be expressed as a one-dimensional or multi-dimensional vector having one or a plurality of feature values as elements. Represented by points in a multidimensional classification space.
特徴量記述子は、例えば、フーリエ記述子、ゼロニケ多項式、マルコフ遷移確率、テクスチャ特徴量(高次モーメント、コントラスト、相関、均質性、エントロピー、相違、平均、分散等)、同時生起行列、曲率尺度空間表現(CSS: Curvature Scale Space)等、画像の特徴を表す公知の尺度を適宜用いて定義され得る。なお、高次モーメント、同時生起行列、フーリエ記述子等は、画像内の特徴領域の形状の特徴を表すのに適した記述子であり、特に高次モーメント、同時生起行列は、領域の特徴を表すのに適した領域ベースの記述子であり、フーリエ記述子、CSSは、輪郭線の特徴を表すのに適した輪郭線ベースの記述子である。これらの形状ベースの記述子は、特に検索対象となる画像がカラー画像ではなく、白黒画像の場合、或いはカラー画像であっても、比較的色の変化の少ない画像である場合に、画像の特徴を的確に表すことができる。一般に、白黒画像の検索はカラー画像の検索に比べて、色情報が無い分格段の困難性を伴うが、以上のような形状ベースの記述子を用いることで、白黒画像の検索を比較的容易に実現することができる。 Feature descriptors are, for example, Fourier descriptors, Zeronike polynomials, Markov transition probabilities, texture features (higher moments, contrast, correlation, homogeneity, entropy, difference, mean, variance, etc.), co-occurrence matrices, curvature measures It may be defined by appropriately using a known scale that represents the feature of an image, such as a space representation (CSS: Curvature Scale Space). Note that high-order moments, co-occurrence matrices, Fourier descriptors, etc. are descriptors suitable for representing the characteristics of the shape of the feature region in the image. A region-based descriptor suitable for representing, and a Fourier descriptor, CSS, is a contour-based descriptor suitable for representing contour features. These shape-based descriptors are particularly useful when the image to be searched is not a color image, but a black and white image, or even a color image that has relatively little color change. Can be accurately represented. In general, searching for black-and-white images is more difficult than searching for color images, but it is relatively easy to search for black-and-white images by using the shape-based descriptor as described above. Can be realized.
ここで、特徴抽出部21Aは、各画像に対して、複数種類の特徴量記述子の値を算出する。また、特徴抽出部21Aは、各画像に対する複数種類の特徴量記述子の値をその画像に関連付けて、特徴データベース55内に格納する。以下、複数の特徴量記述子をD1,D2,・・・と表すこととする。本実施形態では、特徴データベース55は、図4に示す表形式のデータベースであり、特徴データベース55内のレコードは、画像データベース50内に格納されている画像に1対1で対応する。図4に示すように、特徴データベース55内では、画像データベース50内に格納されている画像の画像IDに関連付けて、複数の特徴量記述子D1,D2,・・・の値が格納される。なお、画像サーバ2においては、特徴データベース55内に結果としての数値が格納されているだけでなく、画像検索プログラム2Aとして結果を導き出すアルゴリズムが実装されているので、未知の画像に対する特徴量記述子の値の計算が可能になっている。 Here, the feature extraction unit 21A calculates values of a plurality of types of feature descriptors for each image. In addition, the feature extraction unit 21A stores a plurality of types of feature descriptor values for each image in the feature database 55 in association with the images. Hereinafter, a plurality of feature descriptors are represented as D1, D2,. In the present embodiment, the feature database 55 is a tabular database shown in FIG. 4, and the records in the feature database 55 correspond one-to-one to the images stored in the image database 50. 4, in the feature database 55, the values of a plurality of feature descriptors D1, D2,... Are stored in association with the image IDs of the images stored in the image database 50. Since the image server 2 not only stores the numerical value as a result in the feature database 55 but also implements an algorithm for deriving the result as the image search program 2A, a feature descriptor for an unknown image The value of can be calculated.
さて、分類部21Bは、特徴データベース55内のレコードが更新される度に、或いは定期的に又は任意のタイミングで、画像データベース50内の画像群を複数の分類条件により複数の分類パターンで複数通りに分類する。具体的には、分類部21Bは、特徴量記述子D1,D2,・・・毎に、特徴データベース55内に格納されている特徴量記述子の全ての値を複数のグループに分類することにより、画像データベース50内の画像群を複数の画像グループに分類する。従って、ここで実行される複数種類の分類処理の分類条件は、それぞれ特徴量記述子D1,D2,・・・により決定される。また、ここで実行される分類処理による分類パターンは、特徴量記述子により規定される分類空間を分割する分割パターンに対応する。 Now, each time the record in the feature database 55 is updated or periodically or at an arbitrary timing, the classification unit 21B selects a plurality of image groups in the image database 50 in a plurality of classification patterns according to a plurality of classification conditions. Classify into: Specifically, the classification unit 21B classifies all the values of the feature descriptors stored in the feature database 55 into a plurality of groups for each of the feature descriptors D1, D2,. The image group in the image database 50 is classified into a plurality of image groups. Therefore, the classification conditions for the plurality of types of classification processing executed here are determined by the feature descriptors D1, D2,. The classification pattern by the classification process executed here corresponds to a division pattern for dividing the classification space defined by the feature descriptor.
画像の分類のために、任意の公知のクラスター分析のアルゴリズムを採用することができる。例えば、非階層的なクラスタリングの方法であるK平均法を採用してもよいが、階層的又は非階層的を問わず、他の方法を採用し得る。また、K平均法が採用される本実施形態では、画像グループどうしの重複はないが、画像グループどうしが部分的に重複し得る分類方法を採用することもできる。 Any known cluster analysis algorithm can be employed for image classification. For example, the K-means method, which is a non-hierarchical clustering method, may be employed, but other methods may be employed regardless of hierarchical or non-hierarchical methods. In this embodiment in which the K-average method is adopted, there is no overlap between image groups, but a classification method in which image groups can partially overlap can also be adopted.
分類部21Bは、分類処理が終了すると、分類の結果を特徴データベース55内に格納する。具体的には、分類部21Bは、特徴量記述子D1,D2,・・・毎に、各画像の属する画像グループの画像グループIDをその画像に関連付けて、特徴データベース55内に格納する。なお、図4に示すように、特徴データベース55内では、各画像の画像IDに対応する画像グループIDを特徴量記述子D1,D2,・・・毎に格納可能なフィールドが定義されている。また、分類部21Bは、特徴量記述子D1,D2,・・・毎に、分類空間内での各画像グループに対応する領域の範囲を規定するデータ(以下、領域データ)を、当該画像グループの画像グループIDに関連付けて、記憶部22内に格納する。 When the classification process is completed, the classification unit 21B stores the classification result in the feature database 55. Specifically, the classification unit 21B stores the image group ID of the image group to which each image belongs in the feature database 55 in association with the image for each of the feature descriptors D1, D2,. As shown in FIG. 4, in the feature database 55, a field is defined in which an image group ID corresponding to the image ID of each image can be stored for each of the feature descriptors D1, D2,. Further, the classification unit 21B obtains, for each feature amount descriptor D1, D2,..., Data (hereinafter referred to as region data) that defines the range of the region corresponding to each image group in the classification space. Are stored in the storage unit 22 in association with the image group ID.
なお、上記のとおり、画像データベース50内の画像は削除されることがあるが、その場合、特徴データベース55内の当該画像に対応するレコードも削除される。 As described above, the image in the image database 50 may be deleted. In this case, the record corresponding to the image in the feature database 55 is also deleted.
<3−2.画像検索>
続いて、図5を参照しつつ、画像検索システム1を用いた画像検索の流れについて、説明する。
<3-2. Image search>
Next, the flow of image search using the image search system 1 will be described with reference to FIG.
まず、ユーザは、情報端末3の入力部32を操作することにより、検索キーとなるクエリ画像Q1又はその画像ID(画像の保管されている場所及びファイル名等を含む、画像を識別又は特定するための任意の情報)として、情報端末3又は情報端末3に接続されている装置(別体のパーソナルコンピュータや、USBメモリ、メモリカード、CD−ROM、外付けハードディスク、デジタルカメラ等、画像を格納している任意の装置)内に保存されている画像そのもの又は画像IDを指定する(ステップS1)。情報端末3の通信部35は、この操作を受けて、クエリ画像Q1をネットワーク6を介して画像サーバ2に送信する(ステップS2)。このとき、クエリ画像Q1は、通信部23を介してクエリ受付部21Cにより受け取られる。なお、クエリ画像Q1の指定の方法としては、インターネット6上の画像を指定することも可能である。この場合、通信部35は、インターネット6上のクエリ画像Qをいったんダウンロードした後、これをクエリ受付部21Cに送信してもよいし、クエリ画像Q1の存在するURLのみを画像サーバ2に通知し、クエリ受付部21CにそのURLからクエリ画像Q1をダウンロードさせるようにしてもよい。 First, the user operates the input unit 32 of the information terminal 3 to identify or specify a query image Q1 serving as a search key or an image ID thereof (including an image storage location and a file name). As an arbitrary information for storing the information terminal 3 or a device connected to the information terminal 3 (separate personal computer, USB memory, memory card, CD-ROM, external hard disk, digital camera, etc.) The image itself or the image ID stored in the arbitrary device) is designated (step S1). In response to this operation, the communication unit 35 of the information terminal 3 transmits the query image Q1 to the image server 2 via the network 6 (step S2). At this time, the query image Q1 is received by the query receiving unit 21C via the communication unit 23. As a method for specifying the query image Q1, an image on the Internet 6 can also be specified. In this case, the communication unit 35 may once download the query image Q on the Internet 6 and transmit it to the query receiving unit 21C, or notify the image server 2 only of the URL where the query image Q1 exists. The query reception unit 21C may download the query image Q1 from the URL.
続いて、ステップS3では、画像サーバ2の特徴抽出部21Aが、クエリ画像Q1に対し、複数種類の特徴量記述子D1,D2,・・・の値を算出する。 Subsequently, in step S3, the feature extraction unit 21A of the image server 2 calculates values of a plurality of types of feature descriptors D1, D2,... For the query image Q1.
次に、類似度判断部21Dは、特徴量記述子D1,D2,・・・毎に、その特徴量記述子に対応する分類パターンでの各画像グループについて、クエリ画像Q1との類似度を算出する。この演算は、クエリ画像Q1の特徴量記述子D1,D2,・・・の値、及び記憶部22内の上述の領域データに基づいて実行される。なお、画像グループとクエリ画像Q1との類似度は、様々な方法で判断され得るが、例えば、分類空間内におけるクエリ画像Q1を示す点と、画像グループを示す領域の重心との距離として判断される(距離が小さい程、類似度が高い)。また、分類空間内でクエリ画像Q1を示す点が存在する領域の画像グループを、クエリ画像Q1と最も類似度の高い画像グループと判断することも可能である。あるいは、画像グループに含まれる、クエリ画像Q1から所定の基準以上の類似度の画像の数又はその割合に応じて、判断することも可能である。類似度判断部21Dは、算出された類似度に従って、特徴量記述子D1,D2,・・・毎に、クエリ画像Q1と類似度の高い上位N個(N=1,2,・・・)の画像グループC1,・・・CNを特定する(ステップS4)。なお、Nの値は、予め定められていてもよいし、画像グループとクエリ画像Q1との類似度に従って、流動的に決定される値であってもよい。後者の場合には、特徴量記述子D1,D2,・・・毎に、Nの値が異なる結果となり得る。 Next, the similarity determination unit 21D calculates the similarity with the query image Q1 for each image group in the classification pattern corresponding to the feature descriptor for each feature descriptor D1, D2,. To do. This calculation is executed based on the values of the feature descriptors D1, D2,... Of the query image Q1 and the above-described area data in the storage unit 22. The similarity between the image group and the query image Q1 can be determined by various methods. For example, the similarity is determined as a distance between a point indicating the query image Q1 in the classification space and the center of gravity of the region indicating the image group. (The smaller the distance, the higher the degree of similarity). It is also possible to determine an image group in an area where a point indicating the query image Q1 exists in the classification space as an image group having the highest similarity with the query image Q1. Alternatively, the determination can be made according to the number of images having a similarity equal to or higher than a predetermined reference from the query image Q1 included in the image group or the ratio thereof. The similarity determination unit 21D has the top N (N = 1, 2,...) Having a high similarity to the query image Q1 for each feature descriptor D1, D2,... According to the calculated similarity. Image groups C1,... CN are identified (step S4). Note that the value of N may be determined in advance, or may be a value that is determined in a fluid manner according to the degree of similarity between the image group and the query image Q1. In the latter case, the value of N may be different for each of the feature descriptors D1, D2,.
また、類似度判断部21Dは、特徴量記述子D1,D2,・・・毎に、ステップS4で特定された上位N個の画像グループC1,・・・CNの各々について、その画像グループを代表するM枚(M=1,2,・・・)の代表画像R1,・・・RMを特定する(ステップS5)。代表画像R1,・・・RMは、検索対象となる画像群(以下、画像群I1,I2,・・・)のうちの、その画像グループに属する画像のうち、クエリ画像Q1と類似度の高い上位M枚の画像として特定される。ここで、画像と画像との類似度は、例えば、分類空間内でのそれらの画像を示す2点間の距離として判断される(距離が小さい程、類似度が高い)。なお、ここでの演算は、ステップS3で算出されたクエリ画像Q1の特徴量記述子D1,D2,・・・の値、及び、特徴データベース55内に格納されている画像群I1,I2,・・・の特徴量記述子D1,D2,・・・の値に基づいて実行される。なお、代表画像R1,・・・RMの特定の方法は、上述したような類似度の高い上位M枚の画像を選択するという方法に限定されず、例えば、その画像グループの特徴を出来るだけ表現できるように代表画像R1,・・・RMをピックアップするという方法も考えられる。例えば、画像グループに対応する領域内で画像の分布に幾つかのピークが存在するならば、そのピークの中心にある画像を選択することで、その画像グループの特徴を表現可能である。一方、画像グループに対応する領域内で画像が広く分散している場合には、その領域の中心付近の画像のみを選択するのではなく、その領域全体から分散して画像を選択することで、その画像グループの特徴を表現することができる。 Also, the similarity determination unit 21D represents the image group for each of the top N image groups C1,... CN identified in step S4 for each of the feature descriptors D1, D2,. M representative images R1,... RM are identified (step S5). The representative images R1,... RM have a high similarity to the query image Q1 among the images belonging to the image group in the image group to be searched (hereinafter referred to as image groups I1, I2,...). It is specified as the top M images. Here, the similarity between images is determined, for example, as a distance between two points indicating the images in the classification space (the smaller the distance, the higher the similarity). Note that the calculation here includes the values of the feature descriptors D1, D2,... Of the query image Q1 calculated in step S3, and the image groups I1, I2,. This is executed based on the values of the feature descriptors D1, D2,. Note that the specific method of the representative images R1,... RM is not limited to the method of selecting the top M images having high similarity as described above. For example, the characteristics of the image group are expressed as much as possible. A method of picking up representative images R1,. For example, if there are several peaks in the image distribution within the region corresponding to the image group, the characteristics of the image group can be expressed by selecting the image at the center of the peak. On the other hand, when the image is widely dispersed in the region corresponding to the image group, instead of selecting only the image near the center of the region, by selecting the image dispersed from the entire region, The characteristics of the image group can be expressed.
次に、第1表示制御部21は、選択画面W1(図7参照)を作成し、これをネットワーク6を介して情報端末3へ送信し、表示部31上に表示する(ステップS6)。選択画面W1上では、分類パターン毎に、画像群I1,I2,・・・の中から、クエリ画像Q1との類似度の高い上位N個の画像グループC1,・・・CNの各々に属するM枚の代表画像R1,・・・RMが表示される。従って、選択画面W1上では、複数の特徴量記述子D1,D2,・・・による複数の分類パターンでの複数通りの分類の結果が表示される。図7では、2つの分類パターンによる2通りの分類の結果が示されているが、3つ以上の分類パターンによる3通り以上の分類の結果が示されてもよいことは言うまでもない。また、ここでは、分類パターン毎に、上位N個の画像グループC1,・・・CNに属する画像がその他の画像グループに属する画像に優先して表示される。 Next, the 1st display control part 21 produces selection screen W1 (refer FIG. 7), transmits this to the information terminal 3 via the network 6, and displays it on the display part 31 (step S6). On the selection screen W1, M belonging to each of the top N image groups C1,... CN having high similarity to the query image Q1 from the image groups I1, I2,. One representative image R1,... RM is displayed. Therefore, on the selection screen W1, a plurality of classification results with a plurality of classification patterns by a plurality of feature descriptors D1, D2,. In FIG. 7, two classification results based on two classification patterns are shown, but it goes without saying that three or more classification results based on three or more classification patterns may be shown. Here, for each classification pattern, images belonging to the top N image groups C1,... CN are displayed with priority over images belonging to other image groups.
また、選択画面W1上では、同じ画像グループに属する代表画像R1,・・・RMは、同じ画像グループに属することが分かるような態様で(図7の例では、画像グループ単位で一纏まりにする態様で)表示される。 Further, on the selection screen W1, the representative images R1,... RM belonging to the same image group are grouped in such a manner that it can be seen that they belong to the same image group (in the example of FIG. Displayed).
また、選択画面W1上では、画像グループC1,・・・CNとクエリ画像Q1との類似度の大小が分かるような態様で(図7の例では、画像グループC1,・・・CNの類似度の順位に従って、左から順に)、代表画像R1,・・・RMが表示される。その結果、図7の選択画面W1上では、クエリ画像Q1との類似度がより高く、ユーザの所望する可能性の高い画像が、左から順に並んでいる。 In addition, on the selection screen W1, it is possible to recognize the degree of similarity between the image groups C1,... CN and the query image Q1 (in the example of FIG. 7, the similarity between the image groups C1,. The representative images R1,... RM are displayed in order from the left). As a result, on the selection screen W1 in FIG. 7, images that have a higher similarity to the query image Q1 and are more likely to be desired by the user are arranged in order from the left.
また、以上のことから明らかなことであるが、ここでは、M枚の代表画像R1,・・・RMが、同じ画像グループに属するその他の画像に優先して表示される。上記のとおり、画像グループC1,・・・CNは、クエリ画像Q1との類似度の観点から選択された上位N個の画像グループであるが、これらの画像グループC1,・・・CNに属する画像であっても、全ての画像がクエリ画像Q1に類似しているとは限らない。ここでは、クエリ画像Q1との類似度の高いものとして選択された画像グループC1,・・・CNに属する画像のうち、さらにクエリ画像Q1との類似度が高いものとして選択された代表画像R1,・・・RMのみを表示する。これにより、選択画面W1の限られたスペースの中で、ユーザの所望する可能性の高い画像を効率的に配置することができる。 Further, as is clear from the above, here, M representative images R1,... RM are displayed with priority over other images belonging to the same image group. As described above, the image groups C1,... CN are the top N image groups selected from the viewpoint of the similarity with the query image Q1, but the images belonging to these image groups C1,. Even so, not all images are similar to the query image Q1. Here, among the images belonging to the image groups C1,... CN selected as having a high similarity with the query image Q1, the representative images R1, selected as having a high similarity with the query image Q1. ... Only RM is displayed. Thereby, in the limited space of selection screen W1, an image with high possibility that a user desires can be arranged efficiently.
ところで、分類パターンを規定する特徴量記述子D1,D2,・・・は、分類の観点を表す指標である。ここで、分類の観点について、図7の例を参照しながら具体的に説明すると、図7の上のエリアA1の分類の結果は、画像中の特徴領域の中心が曲がっているか否かの分類の観点を表している。一方、図7の下のエリアA1の分類の結果は、画像中の特徴領域の先端が星状に尖っているか否かの分類の観点を表している。なお、図7の選択画面W1は、クエリ画像Q1を図6(B)に示す骨の画像をとし、検索対象を図6(A)に示す画像群I1,I2,・・・とした場合の画面である。 By the way, the feature descriptors D1, D2,... That define the classification pattern are indices representing the viewpoint of classification. Here, the viewpoint of classification will be described in detail with reference to the example of FIG. 7. The result of the classification of the area A1 in FIG. 7 is the classification of whether the center of the feature region in the image is bent. Represents the point of view. On the other hand, the result of classification of the area A1 in the lower part of FIG. 7 represents the viewpoint of classification of whether or not the tip of the feature region in the image is pointed like a star. Note that the selection screen W1 in FIG. 7 is obtained when the query image Q1 is the bone image shown in FIG. 6B and the search target is the image groups I1, I2,... Shown in FIG. It is a screen.
次に、ステップS6の説明に戻ると、選択画面W1がユーザに提示された後、選択受付部21Eは、この選択画面W1を介してユーザから、特定の分類パターン及び/又は特定の画像グループの選択を受け付ける。上記のとおり、選択画面W1上には、複数の分類パターンによる分類の結果が表示されており、かつ、これらの分類パターンによりそれぞれ規定されるN個の画像グループC1,・・・CNに各々属する代表画像R1,・・・RMが表示されている。従って、ユーザは、これらの複数の分類パターン及び複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループを選択することができる。なお、選択画面W1上では、各分類パターンによる分類の結果を表示するエリアA1がオブジェクト化されており、ユーザはこれを選択することができる。また、各画像グループの代表画像R1,・・・RMを表示するエリアA2もオブジェクト化されており、ユーザはこれを選択することができる。 Next, returning to the description of step S6, after the selection screen W1 is presented to the user, the selection receiving unit 21E receives a specific classification pattern and / or a specific image group from the user via the selection screen W1. Accept selection. As described above, the result of classification by a plurality of classification patterns is displayed on the selection screen W1 and belongs to each of the N image groups C1,... CN respectively defined by these classification patterns. Representative images R1,... RM are displayed. Therefore, the user can select a specific classification pattern and / or a specific image group from among the plurality of classification patterns and the plurality of image groups. Note that, on the selection screen W1, an area A1 for displaying the result of classification according to each classification pattern is made into an object, and the user can select it. Further, an area A2 for displaying the representative images R1,... RM of each image group is also made into an object, and the user can select it.
ここで、上記のとおり、各エリアA1は、特定の分類の観点からの分類の結果を表示するものである。従って、特定のエリアA1を選択することは、ユーザが複数の分類の観点の中から、自分の意図に沿った特定の分類の観点を選択することを意味する。また、特定のエリアA2を選択することは、ユーザが自分の意図に沿った特定の検索基準として、様々な分類の観点で分類された様々な画像グループの中から、自身の求める画像を(少なくとも概ね)束ねる画像グループを選択することを意味する。 Here, as described above, each area A1 displays a classification result from the viewpoint of a specific classification. Therefore, selecting the specific area A1 means that the user selects a specific classification viewpoint according to his / her intention from a plurality of classification viewpoints. In addition, selecting a specific area A2 means that the user wants an image he / she wants from among various image groups classified from various viewpoints as a specific search criterion in accordance with his / her intention (at least (In general) means selecting a group of images to be bundled.
ところで、画像検索の分野において非常に重要なこととして、ユーザの所望する画像を探し出すに当たり、ユーザがどのような分類の観点及び/又は検索基準を所望しているのかを装置に理解させることが挙げられる。そして、一般に、これをユーザから言葉で聞き取り、装置に理解させることは難しいが、画像検索システム1においては、これをユーザによる分類パターン及び/又は画像グループの選択を介して実現している。すなわち、本実施形態では、分類に使用された特徴量記述子は装置が事前に保持している情報であるため、装置はユーザにより選択された分類パターン及び/又は画像グループに対応する特徴量記述子に応じて画像を探し出すことで、自然にユーザの意図に沿った検索結果を得ることができる。 By the way, in the field of image search, it is very important to let the device understand what sort of viewpoint and / or search criteria the user wants when searching for an image desired by the user. It is done. In general, it is difficult to hear this from the user and let the apparatus understand it. However, in the image search system 1, this is realized through selection of a classification pattern and / or an image group by the user. That is, in the present embodiment, since the feature descriptor used for classification is information held in advance by the device, the device describes the feature description corresponding to the classification pattern and / or image group selected by the user. By searching for an image according to the child, it is possible to obtain a search result that naturally matches the user's intention.
さて、上記のとおり、選択画面W1は、エリアA1,A2を介して、任意の数の選択要素(分類パターン及び/又は画像グループ)の選択を受け付ける。ただし、選択画面W1は、複数の選択要素が選択される場合には、これらの選択要素を「AND」又は「OR」のいずれの集合演算で組み合わせるのかをユーザに選択させる。選択画面W1上では、「AND」又は「OR」は、エリアA3(図7参照)を介して選択される。 As described above, the selection screen W1 accepts selection of an arbitrary number of selection elements (classification patterns and / or image groups) via the areas A1 and A2. However, when a plurality of selection elements are selected, the selection screen W1 allows the user to select which of “AND” and “OR” is used to combine these selection elements. On the selection screen W1, “AND” or “OR” is selected via the area A3 (see FIG. 7).
ここで、複数の分類パターンを選択した上で、「AND」を選択することは、ユーザが、分類の観点の論理積を選択することを意味し、「OR」を選択することは、分類の観点の論理和を選択することを意味する。このことを再び図7の例を参照しながら説明すると、例えば、選択画面W1上で上下のエリアA1を「AND」で選択することは、ユーザが骨の中央の形状(例えば、骨の中央が真っ直ぐであること)に注目しており、かつ、骨の先端の形状(例えば、星状に尖っていないこと)に注目していることを意味する。一方、上下のエリアA1を「OR」で選択することは、検索されるべき骨の画像としては、骨の中央が真っ直ぐなものでも曲がっているものでもよく、かつ、骨の先端が星状に尖っているものでもいないものでもよいと、ユーザが考えていることを意味する。また、上のエリアA1内の画像グループC2及び下のエリアA1内の画像グループC2を「AND」を選択することは、ユーザが、骨の中央が曲がっており、かつ、骨の先端が星状に尖っている画像を求めていることを意味する。一方、上で上のエリアA1内の画像グループC1,C2,C4を「OR」を選択することは(さらに、下のエリアA1内の画像グループC1,C2が選択されてもよい)、ユーザが骨らしいものなら何でも検索したいと考えていることを意味する。また、上のエリアA1と、下のエリアA1内の画像グループC2とを「AND」で選択することは、ユーザが骨の先端が星状に尖っている画像のみを求めており、その上で、骨の中央の形状(例えば、骨の中央が真っ直ぐであること)に注目していることを意味する。また、上のエリアA1と、下のエリアA1内の画像グループC2とを「OR」で選択することは、ユーザが骨の先端が星状に尖っていることに注目しつつも、骨の中央の形状(例えば、骨の中央が真っ直ぐであること)にも注目していることを意味する。 Here, selecting “AND” after selecting a plurality of classification patterns means that the user selects a logical product from the viewpoint of classification, and selecting “OR” It means selecting the logical sum of viewpoints. This will be described with reference to the example of FIG. 7 again. For example, when the upper and lower areas A1 are selected by “AND” on the selection screen W1, the user can select the shape of the bone center (for example, the bone center It means that it is paying attention to the shape of the bone tip (for example, that it is not pointed like a star). On the other hand, selecting the upper and lower areas A1 by “OR” means that the bone image to be searched may be either straight or bent at the center of the bone, and the tip of the bone is star-shaped. This means that the user thinks that it may be sharp or not. In addition, selecting “AND” for the image group C2 in the upper area A1 and the image group C2 in the lower area A1 means that the user has bent the center of the bone and the tip of the bone is a star shape. This means that you are looking for a sharp image. On the other hand, selecting “OR” for the image groups C1, C2, and C4 in the upper area A1 on the upper side (further, the image groups C1 and C2 in the lower area A1 may be selected) It means you want to search for anything that looks like bone. In addition, the selection of the upper area A1 and the image group C2 in the lower area A1 by “AND” means that the user wants only an image in which the tip of the bone is pointed like a star. , Which means that attention is paid to the shape of the center of the bone (for example, the center of the bone is straight). In addition, selecting the upper area A1 and the image group C2 in the lower area A1 by “OR” means that the user points out that the tip of the bone is pointed like a star, but the center of the bone (For example, the center of the bone is straight).
以上のステップS6が終了し、選択画面W1を介してユーザが自身の選択を情報端末3に入力する(ステップS7)と、この選択の結果は、情報端末3からネットワーク6を介して選択受付部21Eに送信される(ステップS8)。 When the above step S6 ends and the user inputs his / her selection to the information terminal 3 via the selection screen W1 (step S7), the result of this selection is sent from the information terminal 3 via the network 6 to the selection receiving unit. It is transmitted to 21E (step S8).
続くステップS9では、優先度判断部21Fが、ステップS7でのユーザの選択に従って、画像群I1,I2,・・・に含まれる画像の優先度を判断する。この優先度は、最終的な検索の結果としてユーザに提示される画像(以下、提示画像という)及び提示画像を提示する順番を決定する基準となる。 In subsequent step S9, the priority determination unit 21F determines the priority of the images included in the image groups I1, I2,... According to the user's selection in step S7. This priority is a reference for determining an image (hereinafter referred to as a presentation image) presented to the user as a result of the final search and an order in which the presentation image is presented.
具体的には、まず、優先度判断部21Fは、ステップS7でユーザにより選択された分類パターン(以下、選択分類パターン)又は画像グループ(以下、選択画像グループ)に応じて、画像群I1,I2,・・・に含まれる各画像に対し、提示又は非提示のラベリングを行う。なお、ここで提示のラベリングがされた画像が、後に提示画像となり、非提示のラベリングがされた画像は、検索の結果としてユーザに提示される対象から外される。従って、このラベリングは、画像群I1,I2,・・・の中から提示画像を決定するための基準となるから、上述の優先度となる。言い換えると、ここで優先度判断部21Fは、提示のラベリングを付与する画像の優先度を、その他の画像よりも高く設定している。 Specifically, first, the priority determination unit 21F selects the image groups I1 and I2 according to the classification pattern (hereinafter, selected classification pattern) or image group (hereinafter, selected image group) selected by the user in step S7. ,... Are presented or not presented for each image included in the images. Note that the image that has been labeled here becomes a presented image later, and the image that has been unpresented is excluded from the target presented to the user as a search result. Therefore, this labeling becomes a reference for determining a presentation image from the image groups I1, I2,. In other words, the priority determination unit 21F sets the priority of the image to which the presentation labeling is given higher than other images.
提示のラベリングは、ステップS7でユーザにより分類パターンが選択されていた場合、選択分類パターンにより規定される画像グループのうち、クエリ画像Q1と類似度の最も高い画像グループC1(以下、類似画像グループ)に属する画像に対して行われる。なお、類似度の判断には、ステップS4の結果が流用される。ここで、選択分類パターンが複数存在する場合には、優先度判断部21Fは、選択分類パターン毎に類似画像グループを特定し、これらの類似画像グループの集合演算により規定される画像グループに属する画像に対し、提示のラベリングを付与する。より具体的には、ステップS7で「AND」が選択されていた場合には、優先度判断部21Fは、複数の選択分類パターンにそれぞれ対応する複数の類似画像グループの全てに属する画像(すなわち、これらの類似画像グループの論理積に属する画像)に対し、提示のラベリングを付与する。一方、ステップS7で「OR」が選択されていた場合には、複数の選択分類パターンにそれぞれ対応する複数の類似画像グループのいずれかに属する画像(すなわち、これらの類似画像グループの論理和に属する画像)に対し、提示のラベリングが付与される。 When the classification pattern is selected by the user in step S7, the presentation labeling is the image group C1 (hereinafter referred to as a similar image group) having the highest similarity to the query image Q1 among the image groups defined by the selected classification pattern. For images belonging to. Note that the result of step S4 is used to determine the similarity. Here, when there are a plurality of selected classification patterns, the priority determination unit 21F specifies a similar image group for each selected classification pattern, and images belonging to an image group defined by a set operation of these similar image groups. Is given a label for presentation. More specifically, when “AND” is selected in step S7, the priority determination unit 21F selects images belonging to all of the plurality of similar image groups respectively corresponding to the plurality of selected classification patterns (that is, Labeling of presentation is given to images belonging to the logical product of these similar image groups. On the other hand, if “OR” is selected in step S7, the images belong to any of a plurality of similar image groups respectively corresponding to the plurality of selected classification patterns (that is, belong to the logical sum of these similar image groups). Presentation labeling is given to (image).
一方、ステップS7でユーザにより画像グループが選択されていた場合には、提示のラベリングは、選択画像グループに属する画像に対して行われる。ここで、選択画像グループが複数存在する場合には、優先度判断部21Fは、これらの選択画像グループの集合演算により規定される画像グループに属する画像に対し、提示のラベリングを付与する。より具体的には、ステップS7で「AND」が選択されていた場合には、優先度判断部21Fは、複数の選択画像グループの全てに属する画像(すなわち、これらの選択画像グループの論理積に属する画像)に対し、提示のラベリングを付与する。一方、ステップS7で「OR」が選択されていた場合には、複数の選択画像グループのいずれかに属する画像(すなわち、これらの選択画像グループの論理和に属する画像)に対し、提示のラベリングが付与される。 On the other hand, when an image group has been selected by the user in step S7, presentation labeling is performed on images belonging to the selected image group. Here, when there are a plurality of selected image groups, the priority determination unit 21F assigns a presentation label to the images belonging to the image groups defined by the set operation of these selected image groups. More specifically, when “AND” is selected in step S7, the priority determination unit 21F includes images belonging to all of the plurality of selected image groups (that is, the logical product of these selected image groups). Presentation labeling is assigned to the image belonging to the image. On the other hand, when “OR” is selected in step S7, the labeling of the presentation is performed on the images belonging to any of the plurality of selected image groups (that is, the images belonging to the logical sum of these selected image groups). Is granted.
また、ステップS7でユーザにより分類グループ及び画像グループが組み合わせて選択されていた場合には、提示のラベリングは、上述の類似画像グループと選択画像グループとの集合演算により規定されるグループに対して行われる。より具体的には、ステップS7で「AND」が選択されていた場合には、優先度判断部21Fは、上述の類似画像グループ及び選択画像グループの全てに属する画像(すなわち、これらの画像グループの論理積に属する画像)に対し、提示のラベリングを付与する。一方、ステップS7で「OR」が選択されていた場合には、上述の類似画像グループ及び選択画像グループのいずれかに属する画像(すなわち、これらの画像グループの論理和に属する画像)に対し、提示のラベリングが付与される。 If the classification group and the image group are selected by the user in step S7, the labeling of the presentation is performed on the group defined by the set operation of the similar image group and the selected image group. Is called. More specifically, when “AND” is selected in step S7, the priority determination unit 21F determines that images belonging to all of the above-described similar image group and selected image group (that is, these image groups). Presentation labels are given to images belonging to logical products). On the other hand, when “OR” is selected in step S7, the image is presented to an image belonging to either the above-described similar image group or the selected image group (that is, an image belonging to the logical sum of these image groups). Labeling is given.
以上により、画像群I1,I2,・・・の中から提示画像が特定されたことになるが、続いて、優先度判断部21Fは、提示画像の表示順を決定する。具体的には、優先度判断部21Fは、クエリ画像Q1との類似度に従って、提示画像の優先度を決定する(類似度が高い程、優先度が高い)。なお、類似度の判断には、ステップS5の結果が流用される。これにより、画像単位で、画像群I1,I2,・・・に含まれる画像の優先度が決定される。なお、ここで、ステップS7でユーザにより複数の特徴量記述子に対応する分類パターン及び/又は画像グループが選択されていた場合には、これらの複数の特徴量記述子(以下、選択記述子)の下、1の提示画像に対し複数の類似度の値が存在することになる。従って、この場合には、提示画像の優先度を決定するに当たり、類似度を単純に比較することができない。そこで、例えば、複数の選択記述子に由来する複数の類似度の値から、総合的な類似度を判断することが考えられるが、その方法としては、例えば、これらの類似度を単に足し合わせたり、複数の選択記述子に重みを付けて足し合わせたりすることができる。後者の場合、選択記述子の重みは、ステップS7でユーザに特定の分類パターン及び/又は特定の画像グループを選択させるのに合わせて、選択受付部21Eが選択画面W1上でユーザに指定させることができる。従って、ユーザは、複数の特徴量記述子を組み合わせて自分の意図により合致する分類の方法を指定することが可能になり、ひいては、より自分の意図に沿った検索結果を得ることができる。 As described above, the presentation images are specified from the image groups I1, I2,..., And then the priority determination unit 21F determines the display order of the presentation images. Specifically, the priority determination unit 21F determines the priority of the presented image according to the similarity with the query image Q1 (the higher the similarity, the higher the priority). Note that the result of step S5 is used for the similarity determination. Thereby, the priority of the image contained in image group I1, I2, ... is determined per image. Here, if a classification pattern and / or image group corresponding to a plurality of feature descriptors is selected by the user in step S7, these plurality of feature descriptors (hereinafter referred to as selection descriptors). The plurality of similarity values exist for one presentation image. Therefore, in this case, the similarity cannot be simply compared when determining the priority of the presented image. Therefore, for example, it is conceivable to determine the overall similarity from a plurality of similarity values derived from a plurality of selection descriptors. A plurality of selection descriptors can be weighted and added together. In the latter case, the selection acceptance unit 21E causes the user to specify the weight of the selection descriptor on the selection screen W1 in accordance with the user selecting a specific classification pattern and / or a specific image group in step S7. Can do. Therefore, the user can specify a classification method that matches a user's intention by combining a plurality of feature descriptors, and thus can obtain a search result more in line with his / her intention.
続くステップS10では、第2表示制御部21Hが、最終的な検索結果を表示する画面として、ステップS9で判断された優先度に従って、提示画像が重複なく配列される検索結果画面W2(図8参照)を作成する。このとき、検索結果画面W2上の提示画像は、優先度の高さが分かるような態様で(図8のように提示画像が2次元配列される場合には、左から右へ、上から下へ向かう程、優先度が低くなり、かつ、優先度が数値で示されるような態様で)表示される。従って、検索結果画面W2は、ユーザの意図に沿って検索された提示画像が、ユーザの意図に沿った順番で配列された画面となる。 In the subsequent step S10, the second display control unit 21H displays the final search result as a search result screen W2 in which the presented images are arranged without duplication according to the priority determined in step S9 (see FIG. 8). ). At this time, the presentation image on the search result screen W2 is in a manner in which the priority level is known (when the presentation images are two-dimensionally arranged as shown in FIG. 8, from left to right, from top to bottom The lower the priority is, the lower the priority is, and the priority is displayed in a numerical form. Therefore, the search result screen W2 is a screen in which the presentation images searched according to the user's intention are arranged in the order according to the user's intention.
検索結果画面W2は、第2表示制御部21Hからネットワーク6を介して情報端末3へ送信され、表示部31上に表示される。以上により、画像検索が終了する。 The search result screen W2 is transmitted from the second display control unit 21H to the information terminal 3 via the network 6 and displayed on the display unit 31. Thus, the image search ends.
なお、その後、検索結果画面W2上でユーザが特定の画像を選択すると、第2表示制御部21Hは、選択された画像を拡大表示する。また、ステップS7で分類パターンが選択された場合において、ユーザがさらに望む場合には、選択分類パターンにより規定される画像グループのうち、クエリ画像Q1と類似度が2番目、3番目・・・に高い画像グループC2,C3,・・・に対しても、画像グループC1に対するのと同様の処理が行われる。この場合、検索結果画面W2上で、既に表示された画像と重複する画像が再表示されることがないように制御される。 After that, when the user selects a specific image on the search result screen W2, the second display control unit 21H enlarges and displays the selected image. In addition, when the classification pattern is selected in step S7, if the user desires further, among the image groups defined by the selected classification pattern, the similarity to the query image Q1 is second, third,. The same processing as that for the image group C1 is performed for the high image groups C2, C3,. In this case, on the search result screen W2, control is performed so that an image overlapping with an already displayed image is not displayed again.
<4.用途>
上記画像検索システム1は、画像群の中からユーザの所望する画像を検索する様々な状況下で利用され得る。例えば、大規模用途としては、インターネット上の開かれた世界に存在する画像群を検索対象とする画像検索に利用し得る。この場合には、インターネット上で画像を公開しているありとあらゆる装置を集約したものが、上述の画像サーバ2に対応することになる。中規模用途としては、特定の商用の画像データベース内の画像群を検索対象とする画像検索(例えば、商標検索や意匠検索)に利用し得る。また、小規模用途としては、個々のパソコン内、及び/又は個々のパソコンに接続される外部装置(例えば、別体のパーソナルコンピュータや、USBメモリ、メモリカード、CD−ROM、外付けハードディスク、デジタルカメラ等)に格納されている画像群を検索対象として、当該パソコンから画像検索を行うのに利用し得る。この場合には、ユーザが操作する情報端末3に接続されている、検索対象となる画像群を格納しているありとあらゆる装置が、上述の画像サーバ2に対応することになる。
<4. Application>
The image search system 1 can be used in various situations in which an image desired by a user is searched from an image group. For example, as a large-scale application, it can be used for an image search using an image group existing in the open world on the Internet as a search target. In this case, a collection of all kinds of devices that publish images on the Internet corresponds to the image server 2 described above. As a medium-scale application, it can be used for an image search (for example, a trademark search or a design search) that uses an image group in a specific commercial image database as a search target. Small-scale applications include individual devices within and / or external devices connected to individual computers (for example, a separate personal computer, USB memory, memory card, CD-ROM, external hard disk, digital The image group stored in the camera or the like can be used as a search target to perform image search from the personal computer. In this case, all kinds of devices connected to the information terminal 3 operated by the user and storing the image group to be searched correspond to the image server 2 described above.
<5.変形例>
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
<5. Modification>
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning. For example, the following changes can be made.
<5−1>
上記実施形態では、クエリ画像全体と全体が類似する画像が検索されるようになっていた。しかしながら、全体がクエリ画像の特徴部と類似する、特徴部がクエリ画像全体と類似する、又は、特徴部がクエリ画像の特徴部と類似するような画像が検索されるようにしてもよい。さらに、このとき、特徴部の傾きを考慮しながら、画像が検索されるようにしてもよい。また、特徴部の抽出は、手動で行われてもよいし、自動で行われてもよい。さらに、検索結果画面上では、クエリ画像と類似する特徴部を太線で囲むなどの態様でハイライトして、検索結果となる画像を表示するようにしてもよい。
<5-1>
In the above embodiment, an image similar to the entire query image is searched. However, an image whose whole is similar to the characteristic part of the query image, whose characteristic part is similar to the whole query image, or whose characteristic part is similar to the characteristic part of the query image may be searched. Further, at this time, the image may be searched while taking the inclination of the feature portion into consideration. Further, the extraction of the feature portion may be performed manually or automatically. Furthermore, on the search result screen, a feature portion similar to the query image may be highlighted in a manner such as being surrounded by a thick line, and an image that becomes the search result may be displayed.
なお、本変形例を実装するための要素技術は、例えば、以下の文献などに詳しい。
(1) Thi Thi Zin, Hiromitsu Hama, and Pyke Tin, "Object Image Retrieval in Deformable Shapes Using Morphological Operations Based on Dominant Color Regions", DICTA '08 Proceedings of the 2008 Digital Image Computing: Techniques and Applications, pp. 548-555, IEEE Computer Society Washington, DC, USA,2008
The elemental technology for implementing this modification is detailed in the following documents, for example.
(1) Thi Thi Zin, Hiromitsu Hama, and Pyke Tin, "Object Image Retrieval in Deformable Shapes Using Morphological Operations Based on Dominant Color Regions", DICTA '08 Proceedings of the 2008 Digital Image Computing: Techniques and Applications, pp. 548- 555, IEEE Computer Society Washington, DC, USA, 2008
<5−2>
上記実施形態において、選択画面W1上で分類パターンを選択できないようにしてもよい。或いは、選択画面W1上で画像グループを選択できないようにしてもよい。
<5-2>
In the above embodiment, the classification pattern may not be selected on the selection screen W1. Alternatively, the image group may not be selected on the selection screen W1.
<5−3>
上記実施形態では、複数の選択要素を組み合わせる集合演算として、論理和(OR)と論理積(AND)を例示したが、例えば、論理差、排他的論理和等、その他の集合演算を用いることもできる。いずれによせ、ユーザの指定範囲から外れた画像は、たとえ類似度が高くても検索の結果から外されることになり、このように様々な集合演算の方法をユーザに選択させることにより、ユーザの意図を検索の結果に自在に反映することができる。
<5-3>
In the above embodiment, a logical sum (OR) and a logical product (AND) are exemplified as a set operation for combining a plurality of selection elements. However, for example, other set operations such as a logical difference and an exclusive logical sum may be used. it can. In any case, images that are outside the user's specified range will be excluded from the search results even if the similarity is high, and by allowing the user to select various set operation methods in this way, Can be freely reflected in the search results.
<5−4>
上記実施形態では、ステップS9において、まず提示画像を選択するための優先度が判断され、その後、提示画像の表示順を決定するための優先度が判断されるようになっていたが、優先度を判断するに当たり、必ずしもこのような2段階のステップが必要とされるわけではなく、例えば、以下のような態様も、本発明の技術的範囲内である。
<5-4>
In the above embodiment, in step S9, the priority for selecting the presentation image is first determined, and then the priority for determining the display order of the presentation images is determined. Such a two-step step is not necessarily required to determine the above. For example, the following modes are also within the technical scope of the present invention.
この例では、前提として、ユーザがステップS7で分類パターンしか選択できないものとする。そして、この場合においても、ユーザは、ステップS7で1又は複数の特徴量記述子を選択し得るが、1の特徴量記述子が選択された場合には、優先度判断部21Fは、検索対象となる画像群I1,I2,・・・に含まれる各画像について、その特徴量記述子の下でのクエリ画像Q1との類似度を判断する。そして、この類似度を優先度とし、所定基準に従って提示画像を決定する(例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする)とともに、類似度の高い順を表示順とする。一方、ステップS7で複数の特徴量記述子(選択記述子)が選択されていた場合にも、優先度判断部21Fは、検索対象となる画像群I1,I2,・・・に含まれる各画像について、クエリ画像Q1との類似度を判断する。ただし、この類似度は、複数の選択記述子の下での複数の類似度を組み合わせた総合的な類似度である。そして、この総合的な類似度を判断するに当たっては、複数の選択記述子の下での複数の類似度を単に足し合わせてもよいが、複数の選択記述子に重みを付けて足し合わせてもよい。後者の場合、選択記述子の重みは、ステップS7でユーザに複数の分類パターンを選択させるのに合わせて、選択受付部21Eが選択画面W1上でユーザに指定させることができる。そして、この総合的な類似度を優先度とし、所定基準に従って提示画像を決定する(例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする)とともに、この総合的な類似度の高い順を表示順とする。従って、ユーザは、複数の特徴量記述子を組み合わせて自分の意図により合致する分類の方法を指定することが可能になり、ひいては、より自分の意図に沿った検索結果を得ることができる。 In this example, it is assumed that the user can select only the classification pattern in step S7. In this case as well, the user can select one or more feature descriptors in step S7, but when one feature descriptor is selected, the priority determination unit 21F selects the search target. For each image included in the image groups I1, I2,..., The similarity with the query image Q1 under the feature descriptor is determined. Then, the similarity is set as a priority, and a presentation image is determined according to a predetermined standard (for example, an upper predetermined number of images or an image with a similarity higher than a predetermined level), and the order of descending similarity is set as a display order. . On the other hand, even when a plurality of feature descriptors (selection descriptors) are selected in step S7, the priority determination unit 21F displays each image included in the image groups I1, I2,. For the query image Q1. However, this similarity is an overall similarity obtained by combining a plurality of similarities under a plurality of selection descriptors. In determining the overall similarity, a plurality of similarities under a plurality of selection descriptors may be simply added, or a plurality of selection descriptors may be added with a weight added. Good. In the latter case, the weight of the selection descriptor can be specified by the user on the selection screen W1 by the selection receiving unit 21E in accordance with the user selecting a plurality of classification patterns in step S7. Then, the overall similarity is set as a priority, and a presentation image is determined according to a predetermined standard (for example, an upper predetermined number of images or an image having a similarity equal to or higher than a predetermined level). The highest order is the display order. Therefore, the user can specify a classification method that matches a user's intention by combining a plurality of feature descriptors, and thus can obtain a search result more in line with his / her intention.
<5−5>
上記実施形態では、ステップS9において、類似画像グループ又は選択画像グループ、あるいはこれらの画像グループの集合演算により規定される画像グループに属する全ての画像が提示画像とされたが、一部の画像のみが提示画像とされてもよい。一部の画像の選択の仕方としては、例えば、クエリ画像Q1との類似度を優先度とし、所定基準に従って提示画像を決定する(例えば、上位所定枚数としたり、所定以上の類似度の画像としたりする)ことができる。
<5-5>
In the above embodiment, in step S9, all images belonging to a similar image group, a selected image group, or an image group defined by a set operation of these image groups are set as presentation images. It may be a presentation image. As a method of selecting some of the images, for example, the similarity with the query image Q1 is set as a priority, and a presentation image is determined according to a predetermined standard (for example, an upper predetermined number of images or an image with a predetermined similarity or higher). Can).
1 画像検索システム(画像検索装置)
2 画像サーバ
2A 画像検索プログラム
3 情報端末
21B 分類部
21C クエリ受付部
21E 選択受付部
21F 優先度判断部
21G 第1表示制御部
21H 第2表示制御部
C1,C2・・・ 画像グループ
D1,D2,・・・ 特徴量記述子
I1,I2,・・・ 画像群
Q1 クエリ画像
1 Image search system (image search device)
2 Image server 2A Image search program 3 Information terminal 21B Classification unit 21C Query reception unit 21E Selection reception unit 21F Priority determination unit 21G First display control unit 21H Second display control unit C1, C2 ... Image groups D1, D2, ... Feature descriptors I1, I2, ... Image group Q1 Query image
Claims (11)
前記複数の分類パターンでの分類の結果を表示する第1表示制御部と、
前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付ける選択受付部と、
前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断する優先度判断部と、
前記優先度に従って、前記画像群に含まれる画像を表示する第2表示制御部と
を備える、
画像検索装置。 A classification unit that classifies the same image group with a plurality of classification patterns according to a plurality of classification conditions;
A first display control unit for displaying a result of classification in the plurality of classification patterns;
After displaying the classification result, the user selects a specific classification pattern and / or a specific image group from the plurality of classification patterns and / or a plurality of image groups defined by the plurality of classification patterns. A selection reception unit for receiving,
A priority determination unit that determines a priority of an image included in the image group according to the specific classification pattern and / or the specific image group;
A second display control unit configured to display an image included in the image group according to the priority.
Image search device.
をさらに備え、
前記第1表示制御部は、前記分類パターン毎に、前記画像群の中から、前記クエリ画像との類似度の高い前記画像グループに属する画像を優先して表示することにより、前記分類の結果を表示する、
請求項1に記載の画像検索装置。 A query receiving unit for receiving a query image designation from the user;
The first display control unit preferentially displays an image belonging to the image group having a high similarity to the query image from the image group for each classification pattern, thereby obtaining the classification result. indicate,
The image search device according to claim 1.
請求項2に記載の画像検索装置。 The priority determination unit has a high similarity to the query image in the image group defined by the specific classification pattern when the selection reception unit receives selection of the specific classification pattern from a user. Setting the priority of images belonging to similar image groups high;
The image search device according to claim 2.
前記優先度判断部は、前記特定の分類パターン毎に、前記類似画像グループを特定し、前記複数の特定の分類パターンにそれぞれ対応する前記複数の類似画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
請求項3に記載の画像検索装置。 The selection receiving unit receives a plurality of selections of the specific classification pattern;
The priority determination unit specifies the similar image group for each of the specific classification patterns, and belongs to a group defined by a set operation of the plurality of similar image groups respectively corresponding to the plurality of specific classification patterns. Set a higher priority for the image,
The image search device according to claim 3.
請求項1から4のいずれかに記載の画像検索装置。 The priority determination unit sets the priority of images belonging to the specific image group high when the selection reception unit receives a selection of the specific image group from a user.
The image search device according to claim 1.
前記優先度判断部は、前記複数の特定の画像グループの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
請求項5に記載の画像検索装置。 The selection receiving unit receives a plurality of selections of the specific image group,
The priority determination unit sets the priority of images belonging to a group defined by a set operation of the plurality of specific image groups to be high;
The image search apparatus according to claim 5.
前記優先度判断部は、前記特定の分類パターンにより規定される前記画像グループのうち、前記クエリ画像との類似度の高い類似画像グループを特定し、前記類似画像グループと前記特定の画像グループとの集合演算により規定されるグループに属する画像の前記優先度を高く設定する、
請求項2に記載の画像検索装置。 The selection receiving unit receives selection of the specific classification pattern and the specific image group;
The priority determination unit specifies a similar image group having a high similarity to the query image among the image groups defined by the specific classification pattern, and determines the similarity between the similar image group and the specific image group. Setting the priority of the images belonging to the group defined by the set operation high;
The image search device according to claim 2.
前記優先度判断部は、前記選択受付部がユーザから前記特定の分類条件の選択を複数受け付けた場合、前記重みに従って重み付けが行われた前記複数の特定の分類条件の下で、前記画像群に含まれる画像と前記クエリ画像との類似度を判断し、前記類似度に従って前記優先度を決定する、
請求項2から7のいずれかに記載の画像検索装置。 The selection accepting unit accepts selection of the classification condition and accepts designation of the weight of the classification condition by accepting selection of the specific classification pattern and / or the specific image group from a user,
When the selection receiving unit receives a plurality of selections of the specific classification condition from a user, the priority determination unit applies the weight to the image group under the specific classification conditions weighted according to the weight. Determining the similarity between the included image and the query image, and determining the priority according to the similarity;
The image search device according to claim 2.
請求項1から8のいずれかに記載の画像検索装置。 The classification condition is defined by a feature descriptor that is one feature or a combination of a plurality of features.
The image search device according to claim 1.
前記複数の分類パターンでの分類の結果を表示するステップと、
前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、
前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、
前記優先度に従って、前記画像群に含まれる画像を表示するステップと
を備える、
画像検索方法。 Classifying the same image group with a plurality of classification patterns according to a plurality of classification conditions;
Displaying the result of classification in the plurality of classification patterns;
After displaying the classification result, the user selects a specific classification pattern and / or a specific image group from the plurality of classification patterns and / or a plurality of image groups defined by the plurality of classification patterns. Accepting steps,
Determining a priority of an image included in the image group according to the specific classification pattern and / or the specific image group;
Displaying images included in the image group according to the priority,
Image search method.
前記複数の分類パターンでの分類の結果を表示するステップと、
前記分類の結果の表示後、ユーザから、前記複数の分類パターン及び/又は前記複数の分類パターンにより規定される複数の画像グループの中から、特定の分類パターン及び/又は特定の画像グループの選択を受け付けるステップと、
前記特定の分類パターン及び/又は前記特定の画像グループに応じて、前記画像群に含まれる画像の優先度を判断するステップと、
前記優先度に従って、前記画像群に含まれる画像を表示するステップと
をコンピュータに実行させる、
画像検索プログラム。 Classifying the same image group with a plurality of classification patterns according to a plurality of classification conditions;
Displaying the result of classification in the plurality of classification patterns;
After displaying the classification result, the user selects a specific classification pattern and / or a specific image group from the plurality of classification patterns and / or a plurality of image groups defined by the plurality of classification patterns. Accepting steps,
Determining a priority of an image included in the image group according to the specific classification pattern and / or the specific image group;
Causing the computer to execute a step of displaying an image included in the image group according to the priority.
Image search program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012242744A JP6041203B2 (en) | 2012-11-02 | 2012-11-02 | Image search apparatus, image search method, and image search program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012242744A JP6041203B2 (en) | 2012-11-02 | 2012-11-02 | Image search apparatus, image search method, and image search program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014092909A true JP2014092909A (en) | 2014-05-19 |
JP6041203B2 JP6041203B2 (en) | 2016-12-07 |
Family
ID=50936945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012242744A Expired - Fee Related JP6041203B2 (en) | 2012-11-02 | 2012-11-02 | Image search apparatus, image search method, and image search program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6041203B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726730A (en) * | 2017-10-27 | 2019-05-07 | 财团法人工业技术研究院 | Automatic optics inspection image classification method, system and computer-readable medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7035683B2 (en) | 2017-03-30 | 2022-03-15 | Tdk株式会社 | RTB-based sintered magnet |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007188404A (en) * | 2006-01-16 | 2007-07-26 | Nikon Corp | Image search device, image search method, and image search program |
JP2010250630A (en) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | Image server, image retrieval system, and image retrieval method |
JP2010250849A (en) * | 1999-01-26 | 2010-11-04 | Xerox Corp | Similarity calculation method between objects, and similarity calculation method between user characteristics |
-
2012
- 2012-11-02 JP JP2012242744A patent/JP6041203B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010250849A (en) * | 1999-01-26 | 2010-11-04 | Xerox Corp | Similarity calculation method between objects, and similarity calculation method between user characteristics |
JP2007188404A (en) * | 2006-01-16 | 2007-07-26 | Nikon Corp | Image search device, image search method, and image search program |
JP2010250630A (en) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | Image server, image retrieval system, and image retrieval method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726730A (en) * | 2017-10-27 | 2019-05-07 | 财团法人工业技术研究院 | Automatic optics inspection image classification method, system and computer-readable medium |
CN109726730B (en) * | 2017-10-27 | 2022-10-25 | 财团法人工业技术研究院 | Automatic optical detection image classification method, system and computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP6041203B2 (en) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5830784B2 (en) | Interest graph collection system by relevance search with image recognition system | |
US8565537B2 (en) | Methods and apparatus for retrieving images from a large collection of images | |
US9317534B2 (en) | Combined semantic description and visual attribute search | |
JP5241954B2 (en) | Image search based on shape | |
US7953679B2 (en) | Scalable indexing for layout based document retrieval and ranking | |
US9189854B2 (en) | Contour detection and image classification | |
US8463036B1 (en) | Shape-based search of a collection of content | |
US8447107B1 (en) | Processing and comparing images | |
JP6782858B2 (en) | Literature classification device | |
JP4340367B2 (en) | Image classification apparatus and computer-readable recording medium storing a program for causing a computer to function as the apparatus | |
JP4363792B2 (en) | Information retrieval system and method | |
JP5744660B2 (en) | Data search result display method, data search result display device, and program | |
WO2017192831A1 (en) | System and method for displaying search results for a trademark query in an interactive graphical representation | |
JP4948607B2 (en) | Image search device, image classification device and method, and program | |
JP6680956B1 (en) | Search needs evaluation device, search needs evaluation system, and search needs evaluation method | |
JP4674257B2 (en) | Image classification apparatus and computer-readable recording medium storing a program for causing a computer to function as the apparatus | |
JP2018073429A (en) | Retrieval device, retrieval method, and retrieval program | |
Maihami et al. | Automatic image annotation using community detection in neighbor images | |
JP2014211730A (en) | Image searching system, image searching device, and image searching method | |
JP6377917B2 (en) | Image search apparatus and image search program | |
JP6041203B2 (en) | Image search apparatus, image search method, and image search program | |
JP2013050502A (en) | Advertisement display control device, advertisement display control method, and program | |
JP6310529B1 (en) | SEARCH DEVICE, SEARCH METHOD, AND SEARCH PROGRAM | |
JP6341843B2 (en) | Image search apparatus and image search system | |
JP2020109689A (en) | Retrieval need evaluation device, retrieval need evaluation system, and retrieval need evaluation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6041203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |