JP2014067409A - Information processing apparatus, information processing system, control method thereof and program - Google Patents
Information processing apparatus, information processing system, control method thereof and program Download PDFInfo
- Publication number
- JP2014067409A JP2014067409A JP2013186800A JP2013186800A JP2014067409A JP 2014067409 A JP2014067409 A JP 2014067409A JP 2013186800 A JP2013186800 A JP 2013186800A JP 2013186800 A JP2013186800 A JP 2013186800A JP 2014067409 A JP2014067409 A JP 2014067409A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- search
- information processing
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 90
- 238000000034 method Methods 0.000 title claims description 66
- 239000013598 vector Substances 0.000 claims description 107
- 230000006870 function Effects 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 61
- 239000011159 matrix material Substances 0.000 description 43
- 230000008569 process Effects 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 22
- 238000000605 extraction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 4
- 235000010724 Wisteria floribunda Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム、その制御方法およびプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, a control method thereof, and a program.
インターネット上から文書情報を探し出すためのキーワード（文字情報）を元にした検索システム（全文検索システムと呼ばれる）は、既に広く一般的に使われており、その基本的な技術に関しては、確立、成熟しているといえる。しかし、文字列情報ではない画像情報に関しては、その検索手法は確立しておらず、様々な手法が研究されている段階にある。 Search systems (called full-text search systems) based on keywords (character information) for searching document information on the Internet are already widely used, and the basic technology has been established and matured. It can be said that. However, for image information that is not character string information, a search method has not been established, and various methods are being studied.
現在普及している手法としては、画像に付帯させた文字列情報（キーワードやタグと呼ばれる）を元に全文検索システムと同じ手法で検索するものがある。しかし、文書情報と異なり、画像を利用者にとって有益な順にランク付けする際に、どのような指標によって画像を有益と判断するか決定することは困難であり、その手法はキーワードによる文書検索システムほど進んでいない。 A currently popular technique is to perform a search using the same technique as a full-text search system based on character string information (called keywords or tags) attached to an image. However, unlike document information, when ranking images in the order that is useful to the user, it is difficult to determine what index is used to determine that the image is useful. Not progressing.
このような課題を解決するために、例えば非特許文献１では、画像の局所的な特徴を表現するＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれる局所特徴量の対応点数によってランク付けを行い、利用者に有益な画像、すなわち、画像に付帯させた文字列情報を元に検索した際に取得される画像集合中のより代表的な画像を上位に提示するＶｉｓｕａｌＲａｎｋと呼ばれる技術が示されている。
In order to solve such a problem, for example, in Non-Patent
また、特許文献１では、非特許文献１で示されるＶｉｓｕａｌＲａｎｋと、画像に付帯した位置情報（撮影場所などの緯度・経度情報）を組み合わせることで、利用者にとって関心があると思われる画像を上位に提示する画像ランキング手法が示されている。
In
上記非特許文献１で示されるＶｉｓｕａｌＲａｎｋには、上位画像に提示される画像は同一エリアの画像であることが多く、画像検索結果の多様性が失われてしまうという課題がある。また、上記特許文献１で示される画像ランキング手法では、利用者は明示的に位置情報（地理情報）を指定しなければならない。
The VisualRank shown in Non-Patent
本発明の目的は、画像データに対応する位置情報を用いて、容易に異なるエリアの検索結果を提示することができる仕組みを提供することである。 An object of the present invention is to provide a mechanism capable of easily presenting search results for different areas using position information corresponding to image data.
本発明の情報処理装置は、検索の結果得られた画像データを表示する表示装置と通信可能な情報処理装置であって、画像データの検索に用いられるクエリを受信する受信手段と、前記受信手段で受信したクエリを用いて画像データを検索する検索手段と、前記検索手段により検索された結果得られた、画像データに対応する位置情報を用いて、前記画像データを、複数のエリアにグループ分けするグループ分け手段と、前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、前記グループ内順位決定手段で決定された順位の情報を用いて、検索結果として表示する画像データを選出する選出手段と、前記選出手段で選出した画像データを表示画面に表示するための情報を送信する送信手段と、を備えることを特徴とする。 An information processing apparatus according to the present invention is an information processing apparatus capable of communicating with a display device that displays image data obtained as a result of a search, the receiving unit receiving a query used for searching for image data, and the receiving unit The image data is grouped into a plurality of areas by using a search means for searching for image data using the query received in step (b), and position information corresponding to the image data obtained as a result of the search by the search means. Display as a search result by using the grouping means for determining, the intra-group rank determining means for ranking the image data grouped by the grouping means, and the rank information determined by the intra-group rank determining means. Selecting means for selecting image data; and transmitting means for transmitting information for displaying the image data selected by the selecting means on a display screen. And wherein the Rukoto.
本発明によれば、画像データに対応する位置情報を用いて、容易に異なるエリアの検索結果を提示することができる。 According to the present invention, it is possible to easily present search results for different areas using position information corresponding to image data.
以下、図面を参照して、本発明の実施形態を詳細に説明する。
＜第１の実施形態＞
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<First Embodiment>
まず、図１を参照して、本発明の実施形態における情報処理システムの構成について説明する。図１は、本発明の実施形態における情報処理システムの構成を示す図である。図１は、ひとつ又は複数の利用者端末１０１と、ひとつの画像検索装置１０２（情報処理装置）がローカルエリアネットワーク（ＬＡＮ）１０３を介して接続される構成となっている。
First, the configuration of an information processing system according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 is a diagram showing a configuration of an information processing system according to an embodiment of the present invention. In FIG. 1, one or a plurality of
利用者端末１０１は、画像（画像データ）の検索を行う利用者が使用する情報処理装置であって、検索に用いる文字列の入力を受け付ける機能（クエリ入力受付手段に該当）と、検索要求を発信する機能（クエリ送信手段に該当）と、検索結果を受信して表示する機能を有する。
The
画像検索装置１０２は、検索の対象となる複数の画像を記憶しており、利用者端末１０１からの検索要求を受け付け、画像の検索処理を行い、検索結果を応答する機能を有する。また、外部から検索対象とする画像を入力する機能を備えている。以上が図１の、本発明の実施形態における情報処理システムの構成についての説明である。
The
以下、図２を用いて、本発明の実施形態における利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図の構成の一例について説明する。図２は、本発明の実施形態における利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
Hereinafter, an example of a configuration of a block diagram illustrating a hardware configuration of an information processing apparatus applicable to the
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 2,
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
A
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
An
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
A
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
A communication I /
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上が図２の、本発明の実施形態における利用者端末１０１、画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図の構成の一例についての説明である。
Various programs to be described later for realizing the present invention are recorded in the
次に、図３を用いて、本発明の実施形態における、各種装置の機能ブロックの構成について説明する。図３は、本発明の実施形態における、各種装置の機能ブロックの構成を示す図である。 Next, the configuration of functional blocks of various devices in the embodiment of the present invention will be described with reference to FIG. FIG. 3 is a diagram illustrating a configuration of functional blocks of various apparatuses in the embodiment of the present invention.
図１の説明にて前述したように、本発明の実施形態における情報処理システムは、利用者端末１０１と画像検索装置１０２と画像ソース６００から構成される。利用者端末１０１と画像検索装置１０２と画像ソース６００とはそれぞれネットワークを介して相互に通信可能に接続されている。
As described above with reference to FIG. 1, the information processing system according to the embodiment of the present invention includes the
利用者端末１０１は、画像検索装置１０２に対して、画像の検索要求を送り、また検索結果を受信し表示するための情報処理装置である。利用者端末１０１は、検索クエリー部３０１と、結果表示部３０２と、から構成される。
The
検索クエリー部３０１は、利用者から検索要求としてのクエリー画像（クエリ）を受け付ける入力機能を有し、当該クエリー画像を、ネットワークを通じて、画像検索装置１０２の検索処理部５０３へ送信する機能をもつ機能処理部である。
The
結果表示部３０２は、画像検索装置１０２から応答される検索結果を受信する機能と、該検索結果を表示する機能を有する機能処理部である。検索結果の表示については、図１７の説明にて後述する。（図１７に表示画面の例を示す。）
The
画像検索装置１０２は、利用者端末１０１から、画像の検索要求を受信し、蓄積された画像に対して要求された検索処理を実行し、検索結果情報を利用者端末１０１へ送信する情報処理装置である。画像検索装置１０２は、画像登録部５０１と、特徴量抽出部５０２と、検索処理部５０３と、バイアスベクトル生成部５０４と、類似度行列生成部５０５と、特徴量類似度計算部５０６と、画像ランキング生成部５０７と、画像検索結果生成部５０８と、特徴量データベース５０９と、画像データベース５１０と、位置情報データベース５１１と、から構成される。
The
画像登録部５０１は、検索対象となる画像を本システムへ登録する機能処理部である。画像ソース６００で指示されるシステムの外部のアクターから、検索対象とする画像データを受信または取得し、当該画像データの特徴量を特徴量データベース５０９へ保存し、当該画像データ自体と、画像に付帯する位置情報（例えば図１６の位置情報１６０２）、および、文字列情報（例えば、図１６のタグ１６０４）等の情報を画像データベース５１０へ保存する機能を有する。
The
ここで図１６を参照して、本発明の実施形態における、画像のメタデータの構成の一例について説明する。図１６は、本発明の実施形態における、画像のメタデータの構成の一例を示す図である。メタデータとは、例えば、画像のＥｘｉｆ情報のことをいう。 Here, with reference to FIG. 16, an example of the configuration of image metadata in the embodiment of the present invention will be described. FIG. 16 is a diagram showing an example of the configuration of image metadata in the embodiment of the present invention. The metadata refers to, for example, Exif information of an image.
画像ＩＤ１６０１は、画像を一意に識別するための識別情報である。位置情報１６０２は、画像に対応付けて記憶された位置を示す座標の情報（ＧＰＳ情報）であり、例えば、画像の撮影された撮影場所の情報である。
The
撮影日時１６０３は、画像が撮影された日時を示す。タグ１６０４は、画像に付与されたタグ（キーワード）である。
The shooting date and
尚、図１６の位置情報１６０２から特定される、画像に対応する位置情報が、いずれの地理情報上、いずれの場所を示すかについては、図１８を参照して特定可能である。以上が図１６の、本発明の実施形態における、画像のメタデータの構成の一例についての説明である。次に図１８を参照して、本発明の実施形態における、位置情報データベースにおける地理情報と緯度経度情報を管理するテーブルの一例について説明する。
Note that it can be specified with reference to FIG. 18 as to which geographic information the position information corresponding to the image specified from the
図１８は、本発明の実施形態における、位置情報データベースにおける地理情報と緯度経度情報を管理するテーブルの一例を示す図である。図１８に示す通り、地理情報・緯度経度対応付けテーブル１８００は、地理情報（地理名）と、当該地理名の示す位置の座標である緯度・経度の情報を対応付けて記憶し、一意の識別情報である地理ＮＯを付与して管理するテーブルである。当該地理情報、緯度・経度情報は、例えば、インターネット上でマップの表示・検索サービスを提供するために用いられるような、不図示の外部のサーバ（地理情報サーバ）等から取得する。本実施形態においては、当該位置情報データベースにおける情報を用いて、画像に対応する位置情報の示す地理名を特定するものとする。 FIG. 18 is a diagram showing an example of a table for managing geographic information and latitude / longitude information in the position information database according to the embodiment of the present invention. As shown in FIG. 18, the geographic information / latitude / longitude correspondence table 1800 stores the geographic information (geographic name) and the latitude / longitude information, which is the coordinates of the position indicated by the geographic name, in association with each other, and uniquely identifies them. It is a table which assigns and manages geographic NO. The geographic information and latitude / longitude information are obtained from an external server (geographic information server) (not shown) or the like used for providing a map display / search service on the Internet, for example. In the present embodiment, the geographic name indicated by the position information corresponding to the image is specified using the information in the position information database.
特徴量抽出部５０２は、画像データを入力として受け取り、該画像データの各種特徴量を抽出する機能処理部である。
The feature
ここで図４を参照して、本発明の実施形態における特徴量抽出部５０２の内部の機能について説明する。図４は、本発明の実施形態における特徴量抽出部５０２の内部の機能ブロックの一例を表す図である。
Here, with reference to FIG. 4, the internal function of the feature
図４で示されるように、特徴量抽出部５０２は、複数の特徴量抽出部から構成される。図４の５０２１から５０２４で指示される特徴量抽出部は、各々異なる種類の画像特徴量を抽出する機能処理部である。
As shown in FIG. 4, the feature
例えば、スケーラブルカラー特徴量（画像全体における色の分布状態を表す特徴量）、カラーレイアウト特徴量（画像の領域毎の色の分布状態を表す特徴量）、エッジヒストグラム特徴量（画像中の境界線に関する特徴量）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの局所特徴量から計算されるＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量（例えば、局所特徴量の集合をＫｍｅａｎｓ法によりクラスタリングし、代表的な局所特徴量を任意の個数見つけ出し、画像１枚における求めた代表的な局所特徴量の出現度合いを表した特徴量）などの特徴量を抽出する実装をそれぞれに当てはめる。 For example, scalable color feature quantities (feature quantities representing the color distribution state in the entire image), color layout feature quantities (feature quantities representing the color distribution state for each area of the image), edge histogram feature quantities (boundary lines in the image) Feature quantities), SIFT (Scale Invariant Feature Transform) feature quantities (features representing local area density change features), and other Bag Of Features feature quantities (for example, a set of local feature quantities) Clustering using the Kmeans method, finding an arbitrary number of representative local feature quantities, and extracting feature quantities such as the feature quantities representing the degree of appearance of the representative local feature quantities obtained in one image) Apply to
また、個別特徴量抽出部の個数は図４では４つであるが特に制限されるものではなく、利用する画像特徴量の数だけ実装されればよい。以上が図４の、本発明の実施形態における特徴量抽出部５０２の内部の機能についての説明である。
The number of individual feature amount extraction units is four in FIG. 4, but is not particularly limited, and may be implemented by the number of image feature amounts to be used. The above is the description of the internal functions of the feature
図３の説明に戻る。検索処理部５０３は、検索要求として文字列クエリー（クエリ）を受け付け、当該文字列クエリーより検索対象となる画像集合および各画像に付帯する位置情報を画像データベース５１０より取得し、当該文字列クエリーと当該画像集合と各画像に付帯する位置情報をバイアスベクトル生成部５０４へ渡し、バイアスベクトルの生成を指示する。ここでは、検索要求として文字列クエリーを用いたが、例えば画像データの入力を受け付けることで検索要求として画像クエリーを用いてもよい。
Returning to the description of FIG. The
ここでいうバイアスベクトルとは、あるベクトル（ベクトルデータ／同じ型のデータを（縦または横の）1方向に一定の順にまとめデータ）に対して、バイアス（偏り）をかけるためのベクトルである。 Here, the bias vector is a vector for applying a bias (bias) to a certain vector (vector data / data of the same type in a certain direction (vertical or horizontal) in a certain order).
そして、当該画像集合を類似度行列生成部５０５へ渡し、類似度行列の生成を指示し、受け取ったバイアスベクトルおよび類似度行列を画像ランキング生成部５０７へ渡し、検索対象となる画像集合の画像ランキング（全体順位）の計算を指示し、当該画像ランキングを画像検索結果生成部５０８へ渡し、利用者端末１０１の結果表示部３０２へ送信する画像検索結果の生成を指示する機能処理部である。ここでいう画像ランキングとは、検索により抽出された画像の、表示画面への表示の優先度（優先順位）のことである。ランキング１位の画像が優先して表示画面に表示される。
Then, the image set is transferred to the similarity
バイアスベクトル生成部５０４は、検索処理部５０３から文字列クエリーと検索対象となる画像集合および各画像に付帯する位置情報を受け取り、文字列クエリーに位置情報が含まれるか否かを判断して位置情報に基づいたバイアスベクトル（偏りデータ）を生成する機能処理部である。
The bias vector generation unit 504 receives a character string query, an image set to be searched, and position information attached to each image from the
類似度行列生成部５０５は、検索処理部５０３から検索対象となる画像集合を受け取り、当該画像集合より、全ての組み合わせを網羅する画像ペア群を生成し、当該画像ペア群を特徴量類似度計算部５０６へ渡し、各画像間（画像データ同士）の類似度の算出を指示し、その結果として受け取る各類似度より類似度行列（要素データ／ベクトルデータ）を生成する機能処理部である。
The similarity
特徴量類似度計算部５０６は、類似度行列生成部５０５から検索対象となる画像集合を受け取り、各画像に対して、特徴量データベース５０９の中に保存されている特徴量データのそれぞれ（図５／特徴量データテーブル５０１０の特徴量１〜特徴量４）を比較してそれぞれとの類似度を計算する機能処理部である。
The feature quantity
画像ランキング生成部５０７は、検索処理部５０３からバイアスベクトルと類似度行列を受け取り、検索対象となる画像集合の各画像のランキングを計算し、画像ランキングを生成する機能処理部である。
The image ranking
画像検索結果生成部５０８は、検索処理部５０３から画像ランキングを受け取り、ランキングの高い順に画像検索結果を生成し、利用者端末１０１の結果表示部３０２へ送信する機能処理部である。
The image search
特徴量データベース５０９は、検索対象となる画像データの各種特徴量のデータ（図５）を保存する記憶領域である。その特徴量データは図５で例示されるテーブル（特徴量データテーブル５０１０）で管理されている。
The
図５の特徴量データテーブル５０１０は、１行が画像データベース５１０に蓄えられている１つの画像データを表し、画像データのＩＤ（識別子／画像ＮＯとも言う）とともに特徴量１から特徴量４の列名で指示されるカラムに、当該画像のそれぞれの特徴量データが保存されていることを表している。
The feature amount data table 5010 in FIG. 5 represents one piece of image data stored in the
画像データベース５１０は、検索対象となる画像データ群、および各画像に付帯する文字列情報（キーワードやタグ）と位置情報（緯度・経度情報）を保存する記憶領域である。保存されたデータはＩＤ（識別子）によって直接アクセスできる機能を有する。位置情報データベース５１１は、地理情報（地理名）、および緯度・経度情報を保存する記憶領域である。
The
画像ソース６００は、本情報処理システムにおける検索対象画像の出所（入力ソース）を表す外部アクターである。例えば、インターネット上のＦｌｉｃｋｒ（登録商標）やＦａｃｅｂｏｏｋ（登録商標）等の写真共有機能を有するサイトや、直接写真データを提供する利用者そのもの、各種カメラやスキャナー等の映像入力機器なども考えられる。以上が図３の、本発明の実施形態における情報処理システムの機能ブロックの構成についての説明である。
The
次に図６を参照して、本発明の実施形態における情報処理システムにおける検索対象画像の登録手順について説明する。図６は、本発明の実施形態における情報処理システムにおける検索対象画像の登録手順の一例を示すフローチャートである。以下、図６以降に記載するフローチャートの各処理は、画像検索装置１０２のＣＰＵ２０１が、各制御部を介して実行するものとする。
Next, with reference to FIG. 6, the registration procedure of the search target image in the information processing system according to the embodiment of the present invention will be described. FIG. 6 is a flowchart illustrating an example of a search target image registration procedure in the information processing system according to the embodiment of the present invention. Hereinafter, it is assumed that the
尚、以下で説明する画像ソース６００（外部装置）は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの管理者が操作する管理者端末とした場合の例で説明する。 The image source 600 (external device) described below can be of various types as described above. Here, an example in which the administrator is operated by a system administrator will be described.
ステップＳ６０１では、画像登録部５０１は、画像ソース６００で表わされるシステム管理者が操作する管理者端末から検索対象となる画像データと、画像のメタデータ（画像に付帯する文字列情報および位置情報（緯度・経度で表される撮影場所を含む））を受信する。
In step S601, the
ステップＳ６０２では、画像登録部５０１は、前記受信した画像データを、特徴量抽出部５０２へ入力する。特徴量抽出部５０２は、前記画像データを、図４の５０２１から５０２４で例示される各個別の特徴量抽出部にかけて当該画像データの１から４の特徴量を算出する。通常これらの特徴量は一次元数値ベクトルとして表現される。特徴量抽出部５０２は、抽出した前記特徴量データ（１から４の４つ）を、画像登録部５０１へ入力する。
In step S <b> 602, the
ステップＳ６０３では、画像登録部５０１は、ステップＳ６０２で取得した特徴量データを、特徴量データベース５０９へ登録する。前記特徴量データは、図５で例示されるようなテーブル構造で保存される。
In step S603, the
ここで図５を用いて、本発明の実施形態における特徴量データベース５０９における特徴量テーブルの一例について説明する。図５は、本発明の実施形態における特徴量データベース５０９における特徴量テーブルの一例を示す図である。
Here, an example of the feature amount table in the
既に説明したように、特徴量の抽出処理では、ある１つの画像に対して、複数種類の特徴量が抽出される。各種特徴量は数値（整数や浮動小数点）の多次元ベクトルで表現される。例えば、局所特徴量の１つであるＳＩＦＴ特徴量は、浮動小数点の１２８次元ベクトルとして表現されている。 As already described, in the feature amount extraction process, a plurality of types of feature amounts are extracted from a single image. Various feature quantities are expressed as numerical (integer or floating point) multidimensional vectors. For example, a SIFT feature value, which is one of the local feature values, is expressed as a floating-point 128-dimensional vector.
この実施例で説明する情報処理システムでは、図４で示しているように特徴量１から特徴量４までの４つの種類の画像特徴量を取得するものとする。図５のテーブルは、１つの行が１つの検索対象画像に関する特徴量データを格納している。列名が特徴量１から特徴量４までの各々のカラムに各特徴量データが格納されている。
In the information processing system described in this embodiment, four types of image feature amounts from
それぞれの特徴量は、次元数や数値の型が特徴量の種類によって異なっているが、基本的には数値の多次元ベクトルデータとして保存されている。以上が図５の、本発明の実施形態における特徴量データベース５０９における特徴量テーブルの一例についての説明である。
Each feature quantity is basically stored as numeric multidimensional vector data, although the number of dimensions and the type of numeric value differ depending on the type of feature quantity. The above is an explanation of an example of the feature amount table in the
図６の説明に戻る。ステップＳ６０４では、画像登録部５０１は、前記受信した画像データと、画像のメタデータ（画像に付帯する文字列情報および位置情報（緯度・経度で表される撮影場所））を画像データベース５１０に保存する。つまり、画像検索装置１０２は、画像の記憶機能を有する。画像のメタデータは、図１６に示されるようなテーブルを用いて、画像ＩＤ（画像ＮＯ）とともに管理される。以上が図６の、本発明の実施形態における情報処理システムにおける検索対象画像の登録手順についての説明である。
Returning to the description of FIG. In step S <b> 604, the
尚、ここでは、画像のメタデータ（例えばＥｘｉｆ情報）を用いて、画像の位置情報を特定しているが、例えば、別途画像と位置情報の対応付けをしたデータテーブルを設け、画像検索装置１０２の外部メモリ２１１等の記憶領域に記憶し、当該画像と位置情報の対応付けをしたデータテーブルの情報を用いて、各画像の位置情報を特定するようにしてもよい。
Here, the image position information is specified using the image metadata (for example, Exif information). For example, a data table in which the image and the position information are associated with each other is provided, and the
次に、図７を用いて、本発明の実施形態における情報処理システムにおける検索処理の手順について説明する。図７は、本発明の実施形態における情報処理システムにおける検索処理の手順を示すフローチャートである。 Next, a search process procedure in the information processing system according to the embodiment of the present invention will be described with reference to FIG. FIG. 7 is a flowchart showing a procedure of search processing in the information processing system according to the embodiment of the present invention.
ステップＳ７０１では、検索処理部５０３は、利用者端末１０１の検索クエリー部３０１から送信される（文字列送信手段に該当）検索クエリー文字列を受信する（文字列入力受付手段に該当）。尚、当該検索クエリー文字列は、利用者端末１０１の表示画面に表示される検索画面にて入力を受け付けた文字列である。
In step S701, the
ステップＳ７０２では、検索処理部５０３は、位置情報データベース５１１を利用して、検索クエリー文字列が位置情報のみ（例えば、検索クエリー文字列は“パリ”、や“ロンドン”などの位置情報、地理の情報）であるか否かを判断する。位置情報のみでない場合（ステップＳ７０２でＮＯ）、ステップＳ７０３へ進む。位置情報のみの場合（ステップＳ７０２でＹＥＳ）、ステップＳ７０５へ進む。
In step S702, the
ステップＳ７０３では、検索処理部５０３は、位置情報データベース５１１を利用して、検索クエリー文字列のうち、位置情報を表すクエリー以外（例えば、”富士山”、あるいは”富士山 静岡”とクエリー文字列に位置情報を含む場合なら、位置情報を除いた富士山のみ）を抽出し、抽出した位置情報以外の検索クエリー文字列をメタデータとして持っている画像群を、検索対象データとして画像データベース５１０より取得する（検索の結果得られた画像、に該当）。
In step S <b> 703, the
ステップＳ７０４では、検索処理部５０３は、前記検索クエリー文字列と、ステップＳ７０３で取得した検索対象データを、バイアスベクトル生成部５０４へ入力する。バイアスベクトル生成部５０４は、受け取った検索クエリー文字列と検索対象データから、画像ランキング生成時に、各画像に位置情報に基づいて重みをつけるためのバイアスベクトルを生成する（ステップＳ７０４）。
In step S704, the
バイアスベクトル生成部５０４は、生成したバイアスベクトルを検索処理部５０３へ応答する。ステップＳ７０４のバイアスベクトル生成の詳細処理は、図８を用いて後述する。
The bias vector generation unit 504 responds to the
ステップＳ７０５では、検索処理部５０３は、位置情報のみを表す検索クエリー文字列から１００キロメートル以内の距離（所定の距離内）の画像群を、検索対象データとして、画像データベース５１０より取得する（検索の結果得られた画像、に該当）。この実施例では、１００キロメートル以内の距離の画像を検索対象としているが、これは特に固定的なものではなく、利用形態に合わせて設定すれば良い。
In step S705, the
また、位置情報を表す検索クエリー文字列（パリやロンドンなど）は、画像間の距離を計算するために、地理情報と緯度・経度情報との対応を管理する位置情報データベース５１１を利用して緯度経度情報へ置き換えられる。
In addition, a search query character string (such as Paris or London) representing position information is calculated using a
図１４に、画像間の距離を球面三角法により求める式を示す。画像の緯度・経度情報と地球の半径を利用して、画像間の距離を計算する。 FIG. 14 shows a formula for obtaining the distance between images by the spherical trigonometry. The distance between images is calculated using the latitude / longitude information of the images and the radius of the earth.
ステップＳ７０６では、検索処理部５０３は、画像ランキングは画像間の類似度のみによって計算するため、位置情報に基づいた重みを与えないように、図１５に示されるような、要素が均一で次元数が検索対象データ数となるバイアスベクトルを生成する。
In step S706, the
ステップＳ７０７では、検索処理部５０３は、ステップＳ７０３またはステップＳ７０５で取得した検索対象データを類似度行列生成部５０５へ入力する。類似度行列生成部５０５は、受け取った検索対象データそれぞれについて、全ての組み合わせを網羅するように画像ペア群を作成する。類似度行列生成部５０５は、前記作成した画像のペア群を特徴量類似度計算部５０６へ入力する。
In step S707, the
特徴量類似度計算部５０６は、受け取った画像ペア群の各ペアについて、特徴量データベース５０９に保存されている特徴量データ同士を比較して、画像間の類似度を算出する。１つの特徴量に関する類似度は、画像間の類似度が高いほど、類似度の数値が高くなるよう、例えば数値ベクトル間のユークリッド距離で表現される場合はその逆数として、ヒストグラム間の類似度として表現される場合は、ヒストグラムインターセクションとして計算される。
The feature amount
画像間の類似度は、特徴量種類（この実施例では１から４）毎の類似度の足し合わせとして表現される。つまり、類似度は、画像Ａの特徴量１と画像Ｂの特徴量１の距離、画像Ａの特徴量２と画像Ｂの特徴量２の距離、画像Ａの特徴量３と画像Ｂの特徴量３の距離、画像Ａの特徴量４と画像Ｂの特徴量４の距離、の合計値となる。
The similarity between images is expressed as the sum of similarities for each feature type (1 to 4 in this embodiment). That is, the similarity is the distance between the
特徴量類似度計算部５０６は、生成した各画像間の類似度群を類似度行列生成部５０５へ応答する。類似度行列生成部５０５は、図１１に示される、受け取った各画像間の類似度を要素に持つ類似度行列１１００を生成する。類似度行列生成部５０５は、生成した類似度行列１１００を検索処理部５０３へ応答する。
The feature quantity
ステップＳ７０８では、検索処理部５０３は、ステップＳ７０７で生成した類似度行列１１００と、ステップＳ７０４またはステップＳ７０６で生成したバイアスベクトルと、を画像ランキング生成部５０７へ入力する。画像ランキング生成部５０７は受け取った類似度行列とバイアスベクトルを用いて、画像ランキングを生成する。画像ランキング生成部５０７は、生成した画像ランキングの情報を検索処理部５０３へ応答する。ステップＳ７０８の画像ランキング生成の詳細処理は、図１２を用いて後述する。
In step S708, the
ステップＳ７０９では、ステップＳ７０８で取得した画像ランキングを画像検索結果生成部５０８へ入力する。画像検索結果生成部５０８は、受け取った画像ランキング値の昇順（表示順）に、対応する各画像のサムネイル群を、画像検索結果として生成する（検索結果表示画面生成手段に該当）。
In step S709, the image ranking acquired in step S708 is input to the image search
ステップＳ７１０では、画像検索結果生成部５０８は、ステップＳ７０９で生成した画像検索結果（例えば図１７、図１９に示す検索結果画面の情報）を、利用者端末１０１の結果表示部３０２へ送信する。利用者端末１０１のＣＰＵ２０１は、当該画像検索結果の情報を受信し、当該検索結果画面（図１７、図１９に示す検索結果画面等）を表示画面に表示する（検索結果表示手段に該当）。
In step S710, the image search
ここで図１７を参照して、本発明における情報処理システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例について説明する。図１７は、本発明における情報処理システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例を示す図である。
Here, with reference to FIG. 17, an example of a display screen in the
１７０１で指示される領域に、ステップＳ７０９で生成された各画像のサムネイルが、ランキング値の高い順に表示されている。ここでは、図１０及び図１３に記載の式を用いてランキング値の計算をしているため、つまり、各グループの画像の数量差によってランキング値に偏りが出難いように重みづけをした上でランキング値を算出しているため、１７０１で指示される領域には、各グループの画像の内、各グループの中で各代表画像（代表画像データ）に近い画像が表示されやすくなる。つまり、グループ内でのランキングの情報を用いて、より代表的な画像を表示する。代表画像は、画像のグループ分けの基準となる画像である。代表画像の抽出処理については、図９の説明にて後述する。 In the area indicated by 1701, thumbnails of the images generated in step S709 are displayed in descending order of ranking values. Here, the ranking values are calculated using the formulas shown in FIGS. 10 and 13, that is, after weighting so that the ranking values are not easily biased due to the difference in the quantity of images in each group. Since the ranking value is calculated, an image close to each representative image (representative image data) in each group is easily displayed in the area designated by 1701 in each group. That is, a more representative image is displayed using the ranking information in the group. The representative image is an image serving as a reference for grouping the images. The representative image extraction process will be described later with reference to FIG.
尚、画像の表示の形式は上記の方法に限るものではない。例えば、図１７においてＲ１のサムネイルの属する列、Ｒ２のサムネイルの属する列、Ｒ３のサムネイルの属する列、Ｒ４のサムネイルの属する列とで、それぞれ別の画像群から抽出した、ランキング値の上位４枚の画像データのサムネイルを、それぞれ上から、ランキング順に表示するようにしてもよい。つまり、グループ分けした結果を認識可能に表示する。 The image display format is not limited to the above method. For example, in FIG. 17, the top four ranking values extracted from different image groups in the row to which the thumbnail R1 belongs, the row to which the thumbnail R2 belongs, the row to which the thumbnail R3 belongs, and the row to which the thumbnail R4 belong. The thumbnails of the image data may be displayed in order of ranking from the top. That is, the grouped result is displayed in a recognizable manner.
この場合、例えば、ランキング付けされた各画像データが、いずれの代表画像のグループに属するかを判定し、画像検索装置１０２に予め設定されている表示する画像の総枚数、グループ毎の画像の表示枚数の情報（ここでは、総枚数＝１６、グループ毎の表示枚数＝４とする）を取得し、当該表示枚数に達するまで、乃至、ランキング付けされた画像データが０になるまで、各グループの画像データを取得して、１７０１で指示されるグループ毎の画像表示のための領域に表示するものとする。
In this case, for example, it is determined which representative image group each ranked image data belongs to, and the total number of images to be displayed, which are set in advance in the
尚、いずれの画像データがいずれの代表画像の属するグループに属するかの情報は、図９のステップＳ９１２の説明にて後述するグループ分けの処理の結果の情報であって、画像検索装置１０２の外部メモリ２１１等の記憶領域に記憶されているものとする。また、当該表示する画像の総枚数、グループ毎の画像の表示枚数の情報は、画像検索装置１０２から利用者端末１０１に提供される、不図示の表示枚数設定画面から設定、変更可能であるものとする。
Note that information indicating which image data belongs to which group the representative image belongs to is information on the result of the grouping process described later in the description of step S912 in FIG. Assume that it is stored in a storage area such as the
また、図１９に示されるように、利用者端末１０１の結果表示部３０２において、画像の緯度・経度情報を利用して地図上（マップ上）に各画像を配置することで画像検索結果を提示するようにしてもよい。位置情報を利用したバイアスベクトルを用い、また、各代表画像の属する各グループの画像の数量差によってランキング値に偏りが出ないように重みづけをした上でランキング値を算出しているため、各地の代表画像を偏りなく表示、つまり多様性を担保した画像検索結果の表示が可能になり、また、地図上で表示することで利用者に分かりやすい画像検索結果になることを示している。
Further, as shown in FIG. 19, the
図１９では、“Ｒ１〜Ｒ３、Ｒ１５”、“Ｒ６、Ｒ７、Ｒ１１”、“Ｒ４、Ｒ５、Ｒ１４”、“Ｒ８、Ｒ１０、Ｒ１６”、“Ｒ９、Ｒ１２、Ｒ１３”がそれぞれ同じグループであるものとして表示、プロットしている。つまり、グループ分けした結果を認識可能に表示している。 In FIG. 19, “R1 to R3, R15”, “R6, R7, R11”, “R4, R5, R14”, “R8, R10, R16”, “R9, R12, R13” are the same group. Is displayed and plotted. That is, the grouped result is displayed in a recognizable manner.
尚、図１７中では、類似画像検索結果の表示枚数は１６枚としているが、その枚数は特に制限されるものではなく、利用形態に合わせた枚数を表示すれば良い。以上が図１７の、本発明における情報処理システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例についての説明である。
In FIG. 17, the number of displayed similar image search results is 16. However, the number is not particularly limited, and the number corresponding to the usage form may be displayed. The above is an example of the display screen in the
次に、図８を用いて、本発明の実施形態における、情報処理システムにおけるバイアスベクトルの生成手順の詳細処理について説明する。図８は、本発明の実施形態における、情報処理システムにおけるバイアスベクトルの生成手順の詳細処理を示すフローチャートである。 Next, detailed processing of the bias vector generation procedure in the information processing system in the embodiment of the present invention will be described with reference to FIG. FIG. 8 is a flowchart showing detailed processing of a bias vector generation procedure in the information processing system in the embodiment of the present invention.
ステップＳ８０１では、バイアスベクトル生成部５０４は、検索処理部５０３から、検索対象データと検索クエリー文字列を受信する。
In step S <b> 801, the bias vector generation unit 504 receives the search target data and the search query character string from the
ステップＳ８０２では、バイアスベクトル生成部５０４は、ステップＳ８０１で受信したクエリー文字列に位置情報が含まれているか否かを判断する。含まれている場合、ステップＳ８０３へ進む。含まれていない、キーワードのみによるクエリー文字列であった場合、ステップＳ８０４へ進む。 In step S802, the bias vector generation unit 504 determines whether position information is included in the query character string received in step S801. If included, the process proceeds to step S803. If the query character string is not included and is a keyword only, the process advances to step S804.
ステップＳ８０３では、検索クエリー文字列のうち、位置情報を表す（パリやロンドンなど）クエリーは、画像間の距離を計算するために、地理情報と緯度・経度情報との対応を管理する位置情報データベース５１１を利用して緯度経度情報へ置き換えられる。 In step S803, a query representing position information (such as Paris or London) in the search query character string is a position information database that manages the correspondence between geographic information and latitude / longitude information in order to calculate the distance between images. 511 is used to replace the latitude and longitude information.
バイアスベクトル生成部５０４は、キーワードによる文字列と緯度・経度情報よりなる検索クエリーを用いて、位置情報に基づいたバイアスベクトルを生成する。この時、利用者の注目する位置情報が検索クエリーとして入力されているので、バイアスベクトル生成部５０４は、前記特許文献１に開示されている技術を用いて、バイアスベクトルを生成する。
The bias vector generation unit 504 generates a bias vector based on the position information using a search query including a character string based on a keyword and latitude / longitude information. At this time, since the position information focused on by the user is input as a search query, the bias vector generation unit 504 generates a bias vector using the technique disclosed in
ステップＳ８０４では、バイアスベクトル生成部５０４は、利用者が位置情報を入力しなくても、画像ランキングに重みをつけ、画像検索結果の多様性を確保するために、検索対象データの位置情報を用いて、バイアスベクトルを生成する。 In step S804, the bias vector generation unit 504 uses the position information of the search target data in order to weight the image ranking and ensure the diversity of the image search results even if the user does not input the position information. To generate a bias vector.
バイアスベクトル生成部５０４は、ステップＳ８０１で受信した検索対象データから、位置情報に基づいて、代表画像群同士の距離が大きくなるような代表画像を１０枚選択し、代表画像１０枚との距離によって検索対象画像ごとのバイアスベクトル要素を算出して、バイアスベクトルを生成する。 Based on the position information, the bias vector generation unit 504 selects 10 representative images that increase the distance between the representative image groups from the search target data received in step S801, and the bias vector generation unit 504 selects the representative image according to the distance to the 10 representative images. A bias vector element is calculated for each search target image to generate a bias vector.
この実施例では、選択する代表画像は１０枚としているが、これは特に固定的なものではなく、利用形態に合わせて設定すれば良い。ステップＳ８０４のバイアスベクトル自動生成の詳細処理は、図９の説明にて後述する。 In this embodiment, the number of representative images to be selected is 10. However, this is not particularly fixed, and may be set according to the usage form. Details of the bias vector automatic generation in step S804 will be described later with reference to FIG.
ステップＳ８０５では、バイアスベクトル生成部５０４は、ステップＳ８０３またはステップＳ８０４で生成したバイアスベクトルを、検索処理部５０３へ送信する。以上が図８の、本発明の実施形態における、情報処理システムにおけるバイアスベクトルの生成手順の詳細処理についての説明である。
In step S805, the bias vector generation unit 504 transmits the bias vector generated in step S803 or step S804 to the
ここで図９を参照して、本発明の実施形態における情報処理システムにおけるバイアスベクトルを自動生成する詳細処理について説明する。図９は、本発明の実施形態における情報処理システムにおけるバイアスベクトルを自動生成する詳細処理を示すフローチャートである。図９は、図８のステップＳ８０３（バイアスベクトル自動生成処理）の詳細処理を示す。 Here, with reference to FIG. 9, a detailed process for automatically generating a bias vector in the information processing system according to the embodiment of the present invention will be described. FIG. 9 is a flowchart showing detailed processing for automatically generating a bias vector in the information processing system according to the embodiment of the present invention. FIG. 9 shows the detailed processing of step S803 (bias vector automatic generation processing) in FIG.
ステップＳ９０１では、バイアスベクトル生成部５０４は、検索対象データから画像１枚を代表画像として選択する（代表画像特定手段に該当）。代表画像は、画像のグループ分けの基準となる画像である。 In step S901, the bias vector generation unit 504 selects one image from the search target data as a representative image (corresponding to a representative image specifying unit). The representative image is an image serving as a reference for grouping the images.
ステップＳ９０２では、バイアスベクトル生成部５０４は、ｉ、ｎに１（初期値）を代入し、Ｎに選択する代表画像の総数（この実施例では１０）を代入し、Ｒに画像を代表画像として選択するか否かを判断する際の距離（この実施例では１０００キロメートル）を初期値として代入する。 In step S902, the bias vector generation unit 504 substitutes 1 (initial value) for i and n, substitutes the total number of representative images to be selected (10 in this embodiment) for N, and sets the image as a representative image for R. The distance (1000 km in this embodiment) when determining whether or not to select is substituted as an initial value.
ステップＳ９０３では、バイアスベクトル生成部５０４は、ｉの値を１増加させた後、ステップＳ９０４へ進む。 In step S903, the bias vector generation unit 504 increments the value of i by 1, and then proceeds to step S904.
ステップＳ９０４では、バイアスベクトル生成部５０４は、検索対象データのｉ番目の画像ｉについて、既に代表画像に選択しているか否かを判断する。画像ｉが既に代表画像として選択済みの場合、ステップＳ９０３へ進む。そうでない場合、ステップＳ９０５へ進む。 In step S904, the bias vector generation unit 504 determines whether or not the i-th image i of the search target data has already been selected as a representative image. If the image i has already been selected as the representative image, the process proceeds to step S903. Otherwise, the process proceeds to step S905.
ステップＳ９０５では、バイアスベクトル生成部５０４は、画像ｉと、既に代表画像として選択済みの画像それぞれについて、画像間の距離が、すべてＲキロメートル（この実施例では、１０００キロメートル）以上離れているか否かを判断する。２画像間の距離は、画像の緯度・経度情報と、図１４で示される式を用いて算出する。 In step S905, the bias vector generation unit 504 determines whether or not all the distances between the images i and the images already selected as the representative images are R kilometers (1000 kilometers in this embodiment) or more. Judging. The distance between two images is calculated using the latitude / longitude information of the images and the formula shown in FIG.
画像ｉと既に選択済みのすべての代表画像との距離がＲキロメートル以上離れている場合、ステップＳ９０６へ進む。そうでない場合、ステップＳ９１０へ進む。ステップＳ９０６では、バイアスベクトル生成部５０４は、画像ｉを新たに代表画像ｎとして選択する。
ステップＳ９０７では、バイアスベクトル生成部５０４は、ｎの値を１増加させた後、ステップＳ９０８へ進む。
If the distance between the image i and all the selected representative images is R kilometers or more, the process proceeds to step S906. Otherwise, the process proceeds to step S910. In step S906, the bias vector generation unit 504 newly selects the image i as the representative image n.
In step S907, the bias vector generation unit 504 increments the value of n by 1, and then proceeds to step S908.
ステップＳ９０８では、バイアスベクトル生成部５０４は、ｎが代表画像として選択する総数Ｎ（この実施例では１０）以上であれば、代表画像の選択は終了しているため、ステップＳ９１２へ進む。そうでない場合、ステップＳ９０９へ進む。 In step S908, the bias vector generation unit 504 proceeds to step S912 because selection of the representative image is complete when n is equal to or greater than the total number N (10 in this embodiment) selected as the representative image. Otherwise, the process proceeds to step S909.
ステップＳ９０９では、バイアスベクトル生成部５０４は、検索対象データの１番目の画像から、再び代表画像に選択するか否かを判断するために、ｉに１を代入し、ステップＳ９０３へ進む。 In step S909, the bias vector generation unit 504 assigns 1 to i in order to determine whether or not to select the representative image again from the first image of the search target data, and proceeds to step S903.
ステップＳ９１０では、バイアスベクトル生成部５０４は、ｉが検索対象データ数以上であれば、ステップＳ９１１へ進む。そうでない場合、ステップＳ９０３へ進む。 In step S910, the bias vector generation unit 504 proceeds to step S911 if i is equal to or greater than the number of search target data. Otherwise, the process proceeds to step S903.
ステップＳ９１１では、バイアスベクトル生成部５０４は、検索対象データ中に、既に選択済みのすべての代表画像との距離がＲキロメートル以上離れている画像が存在しないため、距離の制約を緩和するために、距離Ｒの値を半分に減ずる。この実施例では、Ｒの値を半分にしているが、これは特に固定的なものではなく、利用形態に合わせてＲの値を減ずる処理を行えば良い。 In step S911, the bias vector generation unit 504 does not include an image whose distance from the already selected representative images is more than R kilometers in the search target data. Reduce the value of the distance R in half. In this embodiment, the value of R is halved, but this is not particularly fixed, and a process of reducing the value of R in accordance with the usage form may be performed.
ステップＳ９１２では、バイアスベクトル生成部５０４は、検索対象データの各画像を、代表画像の中で最も距離が近い画像に割り当てていき、代表画像数個（この実施例では１０枚）にグループ分けを行う。 In step S912, the bias vector generation unit 504 assigns each image of the search target data to the image having the closest distance among the representative images, and groups the images into several representative images (10 in this embodiment). Do.
この時、ある代表画像に割り当てられた（ある代表画像に対応付けてグループ分けされた）画像枚数が少ない（例えば、１枚）場合は、利用者の入力した検索クエリー文字列に対して、典型的ではない特異な画像である可能性がある。該代表画像に基づいてバイアスベクトルを生成した場合、利用者にとって有益でない画像のランキングが高くなる可能性があるため、該代表画像を破棄し、ステップＳ９０３へ戻り、新たに代表画像の選択を行なっても良い。つまり、新たな代表画像を削除、追加してもよい。 At this time, when the number of images assigned to a certain representative image (grouped in association with a certain representative image) is small (for example, one), a typical query query character string input by the user is represented. It may be a peculiar image. If a bias vector is generated based on the representative image, the ranking of images that are not useful to the user may be high. Therefore, the representative image is discarded, and the process returns to step S903 to newly select a representative image. May be. That is, a new representative image may be deleted or added.
ステップＳ９１３では、バイアスベクトル生成部５０４は、前記選択した代表画像と、代表画像ごとにグループ分けされた検索対象データと、図１０に示される式を用いて、バイアスベクトルを生成する（バイアスベクトル算出手段、バイアスベクトル決定手段、に該当）。該バイアスベクトルによって、検索クエリー文字列に関する画像ランキングを、可能な限り各地の様々な画像が上位となるよう重み付けを行うことが可能となり、結果の多様性を担保した上で、利用者によって有益な画像検索結果を得ることができる。 In step S913, the bias vector generation unit 504 generates a bias vector using the selected representative image, search target data grouped for each representative image, and the expression shown in FIG. 10 (bias vector calculation). Means, bias vector determining means). With this bias vector, the image ranking related to the search query character string can be weighted so that various images in each place are ranked as high as possible, and it is useful for the user while ensuring the diversity of the results. Image search results can be obtained.
ここで図１０を参照して、本発明の実施形態における情報処理システムにおける位置情報に基づいたバイアスベクトルを生成するための式の一例について説明する。図１０は、本発明の実施形態における情報処理システムにおける位置情報に基づいたバイアスベクトルを生成するための式の一例を示す図である。 Here, an example of an expression for generating a bias vector based on position information in the information processing system according to the embodiment of the present invention will be described with reference to FIG. FIG. 10 is a diagram illustrating an example of an expression for generating a bias vector based on position information in the information processing system according to the embodiment of the present invention.
図１０に示されるように、画像ｉのバイアスベクトル要素は、画像ｉの属するグループの代表画像との距離が近いほど大きい値をとる。また、画像ｉが属するグループ中での代表画像との近さの順位（グループ内順位）を決定して（順位付けして／グループ内順位決定手段に該当）、当該順位で除算することで、画像数が多いグループの画像だけがランキング上位とならず、地理的に分散した画像群をランキング上位として得ることができる。 As shown in FIG. 10, the bias vector element of the image i takes a larger value as the distance from the representative image of the group to which the image i belongs is shorter. Further, by determining the rank (in-group rank) of proximity to the representative image in the group to which the image i belongs (ranking / corresponding to the rank-in-group rank determining means), and dividing by the rank, Only images of a group having a large number of images are not ranked high, and geographically dispersed images can be obtained as high ranking.
つまり、図１０の式中のｒｉ（グループ内での、代表画像との近さの順位／グループ内順位）を用いて、当該代表画像の位置との近さにより算出される値を割る（除算する）ことにより、ｒｉの値が大きいほど画像ｉのバイアスベクトルの値が小さくなるよう補正する。 That is, using ri (order of proximity to the representative image in the group / order in group) in the equation of FIG. 10, the value calculated by the proximity to the position of the representative image is divided (division). By doing so, the bias vector value of the image i is corrected to be smaller as the value of ri is larger.
こうすることで、ランキング上位の画像の多くが、画像数が多いグループに属する画像になってしまう事態を防止する。つまり、“特定のグループに属する画像数が多い＝特定のグループ内において、代表画像に近い位置に存在する画像が多い”、“特定のグループ内において、代表画像に近い位置に存在する画像が多い＝バイアスベクトルの値が大きい画像が前記特定のグループに集中する”という結果を生じさせる可能性を低減する。 By doing so, it is possible to prevent a situation in which many of the top ranking images are images belonging to a group having a large number of images. In other words, “the number of images belonging to a specific group is large = there are many images that are close to the representative image in the specific group”, “there are many images that are close to the representative image in the specific group. = Reducing the possibility that an image with a large bias vector value will be concentrated in the specific group.
上記の方法であれば、例えば、グループ１の画像１（グループ内の代表画像との距離が０．１πラジアン／順位＝１位）、グループ１の画像２（グループ内の代表画像との距離が０．２πラジアン／順位＝２位）と、グループ２の画像３（グループ内の代表画像との距離が０．３πラジアン／順位＝１位）と、があった場合、バイアスベクトルＰｉは、それぞれ、画像１＝（π―０．１π）／π ÷ １、画像２＝（π―０．２π）／π ÷ ２、画像３＝（π―０．３π）／π ÷ １、となる。つまり、バイアスベクトルの大きさの順は、画像１、画像３、画像２の順になり、画像の母数が２であるグループ１と、画像の母数が１であるグループ２との間において、“代表画像に近い位置に存在する画像が多い＝バイアスベクトルの値が大きい画像が前記特定のグループに集中する”という事態を回避することができる。
In the case of the above method, for example, the
尚、各グループの代表画像については、必然的に代表画像との距離＝０／順位＝１位となる、つまり、バイアスベクトルの値が大きくなるが、後述するランキング値算出の処理において、類似度に関する重みを、バイアスベクトルにかける重みより大きくすることで、代表画像＝高ランキング値という結果を回避（その可能性を低減）することが可能である。 Note that the representative image of each group inevitably has a distance from the representative image = 0 / rank = 1, that is, the value of the bias vector becomes large. It is possible to avoid (reduce the possibility of) the result that the representative image = high ranking value by making the weight for the larger than the weight applied to the bias vector.
したがって、画像の類似度と、前記位置情報に基づくバイアスベクトルを利用し、検索結果の多様性を担保した上で、利用者にとって有益な画像検索結果を提示することが可能となる。式中の、画像ｉと、自身が属するグループの代表画像との距離は、図１４に示される式を用いて計算する。 Therefore, it is possible to present a useful image search result for the user while ensuring the diversity of the search result by using the image similarity and the bias vector based on the position information. The distance between the image i in the equation and the representative image of the group to which it belongs is calculated using the equation shown in FIG.
このように、バイアスベクトル生成部５０４は、代表画像と、代表画像ごとにグループ分けされた検索対象データと、図１０の式を用いて、各画像のランキングに重み付けを行う要素を計算し、該要素を持つ数値ベクトルをバイアスベクトルとして生成する。以上が図１０の、本発明の実施形態における情報処理システムにおける位置情報に基づいたバイアスベクトルを生成するための式の一例についての説明である。 As described above, the bias vector generation unit 504 uses the representative image, the search target data grouped for each representative image, and the formula of FIG. 10 to calculate an element that weights the ranking of each image. Generate a numeric vector with elements as a bias vector. The above is an example of an expression for generating a bias vector based on position information in the information processing system according to the embodiment of the present invention shown in FIG.
図９の説明に戻る。ステップＳ９１４では、バイアスベクトル生成部５０４は、ステップＳ９１３で生成したバイアスベクトルを、検索処理部５０３へ送信する（ステップＳ９１４）。以上が図９の、本発明の実施形態における情報処理システムにおけるバイアスベクトルを自動生成する詳細処理についての説明である。 Returning to the description of FIG. In step S914, the bias vector generation unit 504 transmits the bias vector generated in step S913 to the search processing unit 503 (step S914). The detailed processing for automatically generating the bias vector in the information processing system according to the embodiment of the present invention has been described above with reference to FIG.
次に、図１２を参照して、本発明の実施形態における情報処理システムにおける画像ランキング生成の詳細処理（ステップＳ７０８の詳細処理）について説明する。図１２は、本発明の実施形態における情報処理システムにおける画像ランキング生成の詳細処理を示すフローチャートである。 Next, with reference to FIG. 12, the detailed processing of image ranking generation (detailed processing in step S708) in the information processing system according to the embodiment of the present invention will be described. FIG. 12 is a flowchart showing detailed processing of image ranking generation in the information processing system according to the embodiment of the present invention.
ステップＳ１２０１では、画像ランキング生成部５０７は、検索処理部５０３から、類似度行列と、バイアスベクトルと、を受信する。ステップＳ１２０２では、画像ランキング生成部５０７は、ｔに初期値１を代入する。
In step S1201, the image ranking
ステップＳ１２０３では、画像ランキング生成部５０７は、類似度行列と、バイアスベクトルと、図１３に示される画像ランキング計算式を用いて、画像ランキングＲ（ｔ）を計算する（全体順位決定手段に該当）。
In step S1203, the image ranking
ステップＳ１２０４では、画像ランキング生成部５０７は、ステップＳ１２０３で計算（例えば、図１３に示す計算式を使用して計算）した画像ランキングＲ（ｔ）が収束したか否かを判断する。収束しているか否かの判断は、Ｒ（ｔ）とＲ（ｔ−１）の残差ベクトルのＬ２ノルムが１０のマイナス１２乗より小さい値をとるか否か（収束条件を満たすか否か）で行われる。この実施例では、収束しているか否かの条件（収束条件）に１０のマイナス１２乗という値を用いているが、これは特に固定的なものではなく、利用形態に合わせて設定すれば良い。
In step S1204, the image ranking
当該ランキング生成処理における各計算に用いる計算式は、当該ランキングを計算するための式の一例である。以下、非特許文献１に示される技術に基づき、類似度行列の固有ベクトルがランキング値となることに基づいて、図１３に示すようなべき乗法を用いて固有ベクトルを算出する処理を説明する。図１３の計算式を用いた計算は反復的に行われ、ランキング値は更新されていき、前記収束条件により反復計算を打ち切る。収束していれば、画像ランキングの計算を終了し、ステップＳ１２０６へ進む。そうでなければ、ステップＳ１２０５へ進む。
The calculation formula used for each calculation in the ranking generation process is an example of a formula for calculating the ranking. Hereinafter, based on the technique disclosed in
ステップＳ１２０５では、画像ランキング生成部５０７は、ｔの値を１増加させた後、ステップＳ１２０３へ進む。
In step S1205, the image ranking
ここで図１３を参照して、本発明の実施形態における情報処理システムにおける画像ランキングを計算するための式の一例について説明する。図１３は、本発明の実施形態における情報処理システムにおける画像ランキングを計算するための式の一例を示す図である。 Here, an example of an equation for calculating the image ranking in the information processing system in the embodiment of the present invention will be described with reference to FIG. FIG. 13 is a diagram illustrating an example of an expression for calculating the image ranking in the information processing system according to the embodiment of the present invention.
画像ランキングＲ（ｔ）は、検索対象データすべての画像ランキングは等しいとした画像ランキング初期値Ｒ（０）と、類似度行列と掛け合わせた後、バイアスベクトルを足し合わせることで、画像間の類似度および位置情報に基づいた重み付けを考慮して計算される。 The image ranking R (t) is obtained by multiplying the image ranking initial value R (0) that the image rankings of all the search target data are equal with the similarity matrix, and then adding the bias vector to obtain the similarity between the images. Calculated taking into account weighting based on degree and position information.
尚、図１３でいう重み（α）は、固定値である物とする。例えば、α＝０．７とした場合、類似度行列（Ｓ*）と画像ランキングＲ（０）とを掛け合わせた値の重み＝０．７、バイアスベクトルの重み＝０．３として、ランキング値が算出される。本実施例において、当該重み（α）は、画像検索装置１０２の外部メモリ２１１等に記憶されているものとする。
Note that the weight (α) in FIG. 13 is a fixed value. For example, when α = 0.7, the ranking value is set such that the weight of the value obtained by multiplying the similarity matrix (S *) and the image ranking R (0) = 0.7 and the weight of the bias vector = 0.3. Is calculated. In this embodiment, it is assumed that the weight (α) is stored in the
尚、検索オプションを設定するために、検索実行前等のタイミングで、利用者端末１０１の表示画面に表示される不図示の重み調整画面等において、当該重みの値を変更する指示を受け付けることにより、当該重みの固定値を変更可能にしてもよい。例えば、重み＝０．７：０．３ を、重み＝０．６：０．４ というように変更可能にしてもよい。
In order to set a search option, an instruction to change the value of the weight is received on a weight adjustment screen (not shown) displayed on the display screen of the
当該重みの値を変更する指示とは、例えば、重みを変更するために値を入力する入力欄への入力受付処理、及び、入力内容を決定、反映するためのボタンの押下指示等である。また、スクロールバー等を表示画面に表示して、ユーザから受け付けるバーの移動処理に応じて、重みの比率を変更可能にしてもよい。 The instruction to change the value of the weight is, for example, an input reception process to an input field for inputting a value to change the weight, a button pressing instruction to determine and reflect the input content, and the like. Further, a scroll bar or the like may be displayed on the display screen so that the weight ratio can be changed in accordance with the bar moving process received from the user.
画像ランキングＲ（ｔ）の計算は反復的に行われ、ランキング値は更新されていき、前記収束条件により反復計算を打ち切る。αは、バイアスベクトルを画像ランキングにどの程度反映させるかを決定する重みであり、０から１の値を取る。Ｓ*は、各列成分の合計が１となるよう正規化した類似度行列である。類似度行列の正規化は、画像ランキングＲ（ｔ）のノルムを一定に保つために行う。 The image ranking R (t) is calculated iteratively, the ranking value is updated, and the iterative calculation is terminated according to the convergence condition. α is a weight for determining how much the bias vector is reflected in the image ranking, and takes a value from 0 to 1. S * is a similarity matrix normalized so that the sum of each column component is 1. Normalization of the similarity matrix is performed in order to keep the norm of the image ranking R (t) constant.
ランキング値と画像の対応は、図２０に示すようなデータテーブルとして、画像検索装置１０２の一時記憶領域に記憶されるものとする。図２０におけるＲａｎｋ２００１は、対応する画像のランキングを示す。Ｒａｎｋ値２００２はランキング値である。画像ＮＯ２００３は画像を識別するための識別情報である。以上が図１３の、本発明の実施形態における情報処理システムにおける画像ランキングを計算するための式の一例についての説明である。
The correspondence between the ranking value and the image is stored in the temporary storage area of the
図１２の説明に戻る。ステップＳ１２０４では、画像ランキング生成部５０７は、前記計算された画像ランキングを、検索処理部５０３へ送信する。以上が図１２の、本発明の実施形態における情報処理システムにおける画像ランキング生成の詳細処理についての説明である。以上、利用者が検索要求を発信してから検索結果が応答されるまでの処理を説明した。
Returning to the description of FIG. In step S1204, the image ranking
尚、上述した実施形態においては、図７のステップＳ７０７で、ステップＳ７０３またはステップＳ７０５で取得した検索対象データを類似度行列生成部５０５へ入力し、類似度を算出して、類似度行列とバイアスベクトルを用いて、画像ランキングを生成し、当該ランキング順に画像を検索結果画面に所定数表示するようにしたが、例えば、ある代表画像に対応付けてグループ分けされた画像枚数が所定数に達していない場合は、当該代表画像を破棄（画像枚数が所定数に達しないグループを削除）するようにしてもよい。
In the embodiment described above, in step S707 of FIG. 7, the search target data acquired in step S703 or S705 is input to the similarity
これは、“グループの画像枚数が所定数に達しない＝利用者の入力した検索クエリー文字列に対して、典型的ではない特異な画像である可能性がある”という思想に基づき、グループに含まれない画像を検索結果として表示させないように制御すべく（グループに含まれている画像を検索結果として表示すべく）、余分な画像をランキング付けの対象から削除するための処理である。 This is included in the group based on the idea that “the number of images in the group does not reach the predetermined number = the search query character string entered by the user may be an unusual and unusual image”. This is a process for deleting unnecessary images from the ranking target in order to control not to display unacceptable images as search results (to display images included in the group as search results).
この場合、図７のステップＳ７０７では、図９のステップＳ９１２でグループ分けされた、つまり、グループに属する画像として記憶された画像を類似度行列生成部５０５へ入力し、類似度を算出して、類似度行列とバイアスベクトルを用いて、ステップＳ７０７で類似度行列生成部５０５へ入力した画像（＝グループ分けされている画像）の画像ランキングを生成し、当該ランキングに基づいて検索結果の画面を生成し、利用者端末１０１の表示画面に表示させるべく、利用者端末１０１に検索結果の画面の情報を送信するようにする。
In this case, in step S707 of FIG. 7, the images grouped in step S912 of FIG. 9, that is, the images stored as images belonging to the group are input to the similarity
所定数以上の画像を含むグループの生成（画像のグループ分け／グルーピング）は、例えば、図２１に示すようにして行われる。以下、図２１を参照して、本発明の実施形態における、画像のグループ分けの様子の一例について説明する。図２１は、本発明の実施形態における、画像のグループ分けの様子の一例を示す図である。図２１では、画像データをエリアごとに分ける様子を示している。 Generation of a group including a predetermined number or more images (grouping / grouping of images) is performed, for example, as shown in FIG. Hereinafter, an example of how images are grouped in the embodiment of the present invention will be described with reference to FIG. FIG. 21 is a diagram illustrating an example of how images are grouped in the embodiment of the present invention. FIG. 21 shows how image data is divided into areas.
グループ２１０１、グループ２１０２、グループ２１０３、グループ２１０４は、それぞれ画像Ａ、画像Ｂ、画像Ｃ、画像Ｄを代表画像として生成された（グループ分けされた）画像のグループを示す。つまり、位置情報を用いて、エリアごとに生成されたグループを示す。
A
例えば、画像検索装置１０２のＣＰＵ２０１は、利用者端末１０１より受信したクエリーに基づいた検索処理により画像Ａを取得して代表画像とし、画像Ａの位置から所定範囲内（所定距離内）にある画像群（例えばグループ２１０１の示す円の中の画像）を画像Ａに対応するグループ２１０１の画像として画像グループテーブル（図２４に図示）に記憶する。
For example, the
ここで図２４を参照して、本発明の実施形態における、画像グループテーブル、及びグループ条件テーブルの構成の一例について説明する。図２４は、本発明の実施形態における、画像グループテーブル、及びグループ条件テーブルの構成の一例を示す図である。図２４に示す各テーブルは、画像検索装置１０２の外部メモリ等の記憶領域に生成・記憶するものとする。
Here, with reference to FIG. 24, an example of the configuration of the image group table and the group condition table in the embodiment of the present invention will be described. FIG. 24 is a diagram illustrating an example of a configuration of an image group table and a group condition table in the embodiment of the present invention. Each table shown in FIG. 24 is generated and stored in a storage area such as an external memory of the
画像グループテーブル２４００は、グループＩＤ２４０１、代表画像ＮＯ２４０２、画像ＮＯ２４０３、グループ内枚数２４０４等から構成される。
The image group table 2400 includes a
グループＩＤ２４０１は、グループの識別情報であって、代表画像ＮＯ２４０２が選出された場合に（図９のステップＳ９０１）画像検索装置１０２のＣＰＵ２０１により生成され、当該代表画像の画像ＮＯと対応付けて記憶される。つまり、グループＩＤは、Ｎに代入される数（ここではＮ＝１０なので１０）の分だけ生成される。
The
代表画像ＮＯ２４０２は、グループの生成基準となる代表画像の画像ＮＯであり、グループＩＤ２４０１の示すグループの代表画像である。画像ＮＯ２４０３は、代表画像ＮＯ２４０２の示す代表画像のグループに属する画像の画像ＮＯであり、ステップＳ９１２において、各代表画像のグループに割り当てられた（グループ分けされた）画像の画像ＮＯである。当該画像ＮＯ２４０３の値は、ステップＳ９１２で、各画像が各グループにグルーピングされた時点で挿入、記憶される。
The representative image NO2402 is an image NO of a representative image serving as a group generation reference, and is a representative image of the group indicated by the
グループ内枚数２４０４は、各グループの画像の総数（母数）であり、グループに画像が割り当てられるたびに１カウントアップされる。
The in-
グループ条件テーブル２４１０は、距離２４１１、閾値枚数２４１２等から構成される。距離２４１１は、代表画像から何ｋｍ以内にある画像を（どれだけの距離範囲内にある画像を）当該代表画像のグループの画像としてグループ分けするかの判断基準となる距離の情報である。
The group condition table 2410 includes a
つまり、画像検索装置１０２のＣＰＵ２０１は、ステップＳ９１２で、代表画像ＮＯ２４０２の示す各代表画像の位置から距離２４１１の示す距離内にある画像を、各代表画像のグループにグループ分けする。
例えば、画像Ａの位置から半径５００ｋｍ以内の位置情報を有する画像で、クエリーに基づいて検索された画像を画像ＡのグループであるＧ２１０１にグループ分けして、画像ＮＯ２４０３に記憶する。
That is, in step S912, the
For example, the images having position information within a radius of 500 km from the position of the image A, and the images searched based on the query are grouped into G2101 that is the group of the image A and stored in the
そして、画像Ａのグループに割り当てる画像がなくなった場合に、画像Ｂのグループにグループ分け処理に移行し、画像Ｂの位置から半径５００ｋｍ以内の位置情報を有する画像で、クエリーに基づいて検索された画像を画像ＢのグループであるＧ２１０２にグループ分けして、画像ＮＯ２４０３に記憶する。以降、処理対象のグループが０になるまで、当該グループ分けの処理を繰り返す。 Then, when there are no more images to be assigned to the group of the image A, the process proceeds to the grouping process to the group of the image B, and an image having position information within a radius of 500 km from the position of the image B is searched based on the query. The images are grouped into G2102, which is a group of images B, and stored in image NO2403. Thereafter, the grouping process is repeated until the group to be processed becomes zero.
閾値枚数２４１２は、グループＩＤ２４０１の示すグループを、検索結果として表示する画像のグループとして成立させるか（削除せずに記憶したままにしておくか）、検索結果には表示しない画像のグループと判断して当該グループを削除するかを決定する基準となる枚数である。
The threshold number of
つまり、画像検索装置１０２のＣＰＵ２０１は、ステップＳ９１２での画像のグルーピング後、グループ分けされたグループの内、グループ内枚数２４０４が、閾値枚数２４１２に達していない（ここではグループ内枚数２４０４＝３９枚以下）と判定したグループを、画像グループテーブル２４００から削除し、閾値枚数２４１２に達している（ここではグループ内枚数２４０４＝４０枚以上）と判定したグループを、画像グループテーブル２４００に記憶したまま残す処理を行う（所定数判定手段に該当）。尚、本実施形態の説明においては、「グループ内枚数２４０４が閾値枚数２４１２以上＝閾値枚数２４１２に達する」であるものとしたが、例えば、「グループ内枚数２４０４が閾値枚数を超える＝閾値枚数２４１２に達する」としてもよい。
That is, the
利用者端末１０１のＣＰＵ２０１は、（例えば、検索処理部５０３は）図７のステップＳ７０７で、画像グループテーブル２４００に記憶されているグループの画像を類似度行列生成部５０５へ入力する。類似度行列生成部５０５は、受け取った画像それぞれについて、全ての組み合わせを網羅するように画像ペア群を作成する。類似度行列生成部５０５は、前記作成した画像のペア群を特徴量類似度計算部５０６へ入力する。
The
特徴量類似度計算部５０６は、受け取った画像ペア群の各ペアについて、特徴量データベース５０９に保存されている特徴量データ同士を比較して、画像間の類似度を算出する。１つの特徴量に関する類似度は、画像間の類似度が高いほど、類似度の数値が高くなるよう、例えば数値ベクトル間のユークリッド距離で表現される場合はその逆数として、ヒストグラム間の類似度として表現される場合は、ヒストグラムインターセクションとして計算される。
The feature amount
画像間の類似度は、特徴量種類（この実施例では１から４）毎の類似度の足し合わせとして表現される。 The similarity between images is expressed as the sum of similarities for each feature type (1 to 4 in this embodiment).
特徴量類似度計算部５０６は、生成した各画像間の類似度群を類似度行列生成部５０５へ応答する。類似度行列生成部５０５は、図１１に示される、受け取った各画像間の類似度を要素に持つ類似度行列１１００を生成する。類似度行列生成部５０５は、生成した類似度行列１１００を検索処理部５０３へ応答する。
The feature quantity
ステップＳ７０８では、検索処理部５０３は、ステップＳ７０７で生成した類似度行列１１００と、ステップＳ７０４またはステップＳ７０６で生成したバイアスベクトルと、を画像ランキング生成部５０７へ入力する。画像ランキング生成部５０７は受け取った類似度行列とバイアスベクトルを用いて、ステップＳ７０７で類似度行列生成部５０５へ入力した画像（＝グループ分けされている画像）の画像ランキングを生成する。画像ランキング生成部５０７は、生成した画像ランキングの情報を検索処理部５０３へ応答する。
In step S708, the
ステップＳ７０９では、ステップＳ７０８で取得した画像ランキングを画像検索結果生成部５０８へ入力し、画像検索結果生成部５０８が、受け取った画像ランキング値に基づいて各画像のサムネイル群を含む、検索結果画面を生成し、利用者端末１０１に送信する。
In step S709, the image ranking acquired in step S708 is input to the image search
こうすることで、利用者端末１０１の表示画面（検索結果を表示する画面）に表示される画像は、グループ分けされた画像から抽出されるため、削除されたグループの画像（グループ分けされなかった画像＝ヒット件数が少なく、周囲の位置にある画像が少ない画像）は、検索結果として表示される画像から除かれる。 By doing so, the image displayed on the display screen of the user terminal 101 (screen for displaying the search result) is extracted from the grouped image, so the image of the deleted group (not grouped) Image = image with a small number of hits and a small number of images in the surrounding positions) is excluded from images displayed as search results.
つまり、図２１に示す、グループ２１０１、グループ２１０２、グループ２１０３、グループ２１０４に属する画像が検索結果表示画面に表示される画像の候補となり、代表画像から半径５００ｋｍ以内の位置情報を持つ画像が少ないためにグループとして記憶されなかった（一時的にグループとして記憶されたが、その後画像グループテーブル２４００から削除された）画像Ｅ、画像Ｆ、画像Ｇ等の画像は、検索結果表示画面に表示される画像の候補から除かれる。
That is, the images belonging to the
これにより、近隣位置にクエリーにヒットする情報を持つ画像が所定数以上ある（＝入力された検索クエリーとの関連性が高い）、位置情報に基づいた複数種類の画像（例：エジプトのピラミッドの画像、エジプトとは異なる場所にあるガラス製のピラミッドの画像、美術館に飾られたピラミッドの絵画の画像、等）をユーザに提示することができるようになる。 As a result, there are more than a predetermined number of images that have information that hits the query in the neighboring location (= highly related to the input search query), and multiple types of images based on the location information (eg, Egyptian pyramids Images, images of glass pyramids in different places from Egypt, images of pyramid paintings displayed in museums, etc.) can be presented to the user.
以上が図２１の、本発明の実施形態における、画像のグループ分けの様子の一例について説明、及び、図２４の、本発明の実施形態における、画像グループテーブル、及びグループ条件テーブルの構成の一例についての説明である。 The above is an example of how images are grouped in the embodiment of the present invention in FIG. 21, and an example of the configuration of the image group table and group condition table in the embodiment of the present invention in FIG. It is explanation of.
次に、図２２及び図２３を参照して、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例について説明する。図２２及び図２３は、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例を示す図である。 Next, with reference to FIGS. 22 and 23, an example of the display screen in the result display unit of the search result user terminal in the embodiment of the present invention will be described. 22 and 23 are diagrams illustrating an example of a display screen in the result display unit of the search result user terminal according to the embodiment of the present invention.
上述した、グルーピングされた画像のみを検索結果表示画面に表示する画像の候補とする場合、画像検索装置１０２のＣＰＵ２０１は、図７のステップＳ７０９で、例えば、図２２に示すような検索結果表示画面２２００を生成して、ステップＳ７１０で当該検索結果表示画面２２００を利用者端末１０１に送信する。検索結果表示画面２２００は、画像検索装置１０２の外部メモリに予め記憶されている、不図示の、画面生成の設定情報が、検索結果表示画面２２００を生成するよう設定されている場合に、画像検索装置１０２のＣＰＵ２０１により生成される。
In the case where only the grouped images described above are candidates for images to be displayed on the search result display screen, the
検索結果表示画面２２００は、グループ枠Ｇ２１０１、グループ枠Ｇ２０１２、グループ枠Ｇ２０１３、グループ枠Ｇ２１０４、グループ画像総数表示部２２０１、画像表示切替ボタン２２０２等から構成される。
The search result display screen 2200 includes a group frame G2101, a group frame G2012, a group frame G2013, a group frame G2104, a group image total
グループ枠Ｇ２１０１、グループ枠Ｇ２０１２、グループ枠Ｇ２０１３、グループ枠Ｇ２１０４は、それぞれ、画像の属するグループを示している。例えば、画像検索装置１０２の外部メモリに記憶されている検索結果表示画面の生成ルール（不図示）に従って、ランキング上位の、異なるグループに属する画像を所定数取得し（ここでは画像Ａ、画像Ｂ、画像Ｃ、画像Ｄの４枚）、それぞれの画像をそれぞれの画像の属するグループを示すグループ枠の中に配置して、それぞれのグループ枠の中において、それぞれのグループ中のランキング（グループ内順位）が高い順に画像をソートして所定数配置した（画面検索結果表示画面２２００）を生成する。つまり、各グループの中でより代表的な画像を表示する。
A group frame G2101, a group frame G2012, a group frame G2013, and a group frame G2104 each indicate a group to which an image belongs. For example, in accordance with a search result display screen generation rule (not shown) stored in the external memory of the
これにより、ランキングの高い画像と、当該ランキングの画像と同じグループに属する画像をユーザに確認させることが出来る。 Thereby, it is possible to make the user confirm an image with a high ranking and an image belonging to the same group as the image with the ranking.
グループ画像総数表示部２２０１は、各グループ枠の示すグループ内の画像の総数を表示する表示部である。画像表示切替ボタン２２０２は、各グループ枠内の画像の表示を、同グループ内の別の画像の表示に切り替えるためのボタンである。以上が図２２の、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例についての説明である。
The group image total
また、例えば、図２１に示す画面を、検索結果の画面として生成するようにしてもよい。この場合、２１０１〜２１０４に示す円を、図２２でいうグループ枠とするものとする。
Further, for example, the screen shown in FIG. 21 may be generated as a search result screen. In this case, the
続いて、図２３に示す、検索結果表示画面２３００について説明する。検索結果表示画面２３００は、図７のステップＳ７０９で生成される検索結果（検索結果表示画面）の一例である。図７のステップＳ７０９で、図２２に示す検索結果表示画面２２００が生成されるか、図２３の検索結果表示画面２３００が生成されるかの設定情報（不図示）は、予め、画像検索装置１０２の外部メモリに記憶されているものとする。検索結果表示画面２３００は、画像検索装置１０２の外部メモリに予め記憶されている、不図示の、画面生成の設定情報が、検索結果表示画面２３００を生成するよう設定されている場合に、画像検索装置１０２のＣＰＵ２０１により生成される。
Next, the search result display screen 2300 shown in FIG. 23 will be described. The search result display screen 2300 is an example of the search result (search result display screen) generated in step S709 in FIG. In step S709 in FIG. 7, setting information (not shown) indicating whether the search result display screen 2200 shown in FIG. 22 or the search result display screen 2300 shown in FIG. 23 is generated is stored in advance in the
検索結果表示画面２３００は、識別枠２３０１、識別枠２３０２、識別枠２３０３、識別枠２３０４等から構成される。それぞれの識別枠は、それぞれの識別枠で囲われた画像がいずれのグループに属するかを示している。
The search result display screen 2300 includes an
尚、ここでは検索結果表示画面２３００に表示される各画像を、異なる種別の線の識別枠で囲うことで、各画像がそれぞれいずれのグループの画像かを識別表示するものとして記載したが、画像のグループの識別表示の方法はこれに限るものではない。例えば、枠の色をグループ毎に変更してもよい。 Note that, here, each image displayed on the search result display screen 2300 is surrounded by an identification frame of a different type of line so as to identify and display which group each image belongs to. The method for identifying and displaying the group is not limited to this. For example, the frame color may be changed for each group.
検索結果表示画面２３００では、各画像は、ランキングが高い順に画面左上から右下へ向けて配置されており、例えば画像Ａ＝ランキング１位、画像Ｄ＝ランキング３位、画像Ｂ＝ランキング４位、画像Ｃ＝ランキング５位となっている。つまり、グループ内順位の情報を用いて、より代表的な画像を表示する画面を生成する。 In the search result display screen 2300, the images are arranged from the upper left to the lower right in the descending order of the ranking. For example, image A = ranking first, image D = ranking third, image B = ranking fourth, Image C = rank 5th. That is, a screen for displaying a more representative image is generated using the information on the rank within the group.
こうすることにより、いずれのグループの画像が高いランキング（全体順位）にあるかをユーザに確認させることが出来る。 By doing so, it is possible to allow the user to check which group of images has a high ranking (overall rank).
以上が図２３の、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例についての説明である。 The above is description of an example of the display screen in the result display unit of the search result user terminal in the embodiment of the present invention shown in FIG.
また、上述した実施形態における図９のステップＳ９０１では、検索対象データからランダムに画像１枚取得して代表画像として選択するものとしたが、例えば、ステップＳ９０１の前に、全ての検索対象データに対して、図７のステップＳ７０６、Ｓ７０７を実行し、最も他の画像と共通点の多い画像（他の画像との類似度が最も高い画像＝最も一般的な画像）を特定し、ステップＳ９０１で取得して、１つめの代表画像とするようにしてもよい。 In step S901 of FIG. 9 in the above-described embodiment, one image is randomly acquired from the search target data and selected as the representative image. For example, before step S901, all search target data is included in all search target data. On the other hand, Steps S706 and S707 in FIG. 7 are executed to identify an image having the most common points with other images (an image having the highest degree of similarity with other images = the most general image), and in Step S901. You may make it acquire and use it as the 1st representative image.
こうすることで、生成するグループの数（＝Ｎ）が限られている場合であって、検索対象データ内でグループが大量に生成可能である場合であっても、検索クエリーから特定される、最も一般的な画像のグループに属する画像を、確実に、検索結果の候補に設定することが出来る。 By doing so, even when the number of groups to be generated (= N) is limited and a large number of groups can be generated in the search target data, it is identified from the search query. Images belonging to the most general image group can be reliably set as search result candidates.
上述した通り、本発明によれば、画像データに対応する位置情報を用いて、容易に異なるエリアの検索結果を提示することができる。 As described above, according to the present invention, it is possible to easily present search results for different areas using position information corresponding to image data.
つまり、例えば、特許文献１に記載されている技術を用いた場合は、複数のエリアの画像を検索しようとすると、ユーザから明示的に当該複数のエリア（位置）の指定を受け付けなければならないが、本発明によれば、ユーザから明示的な位置の指定を受け付けることなく（例えば地名の文字列の入力を受け付けることなく）、複数のエリアの画像データを検索結果として抽出してユーザに提示することができ、検索が容易になる。これにより、画像データの検索の利便性が向上する。
That is, for example, when the technique described in
また、上記実施例に記載した処理により、利用者の要求する検索クエリーが位置情報のみの場合は、該地点周辺の代表画像を提示することができ、また、検索クエリーに位置情報を含まない場合でも、位置情報に基づいて自動で生成したバイアスベクトル利用して画像ランキングを生成することで、結果の多様性を担保した上で、利用者にとって有益な画像を提示できる。 In addition, when the search query requested by the user is only the position information by the process described in the above embodiment, a representative image around the point can be presented, and the position information is not included in the search query. However, by generating an image ranking using a bias vector automatically generated based on position information, it is possible to present an image useful for the user while ensuring diversity of results.
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 Although one embodiment has been described above, the present invention can take an embodiment as, for example, a system, apparatus, method, program, or recording medium, and specifically includes a plurality of devices. The present invention may be applied to a system including a single device.
前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。 By supplying a recording medium recording a program for realizing the functions of the above-described embodiments to a system or apparatus, and reading and executing the program stored in the recording medium by a computer (or CPU or MPU) of the system or apparatus However, it goes without saying that the object of the present invention is achieved.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk, solid state drive, or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention. In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.
１０１ 利用者端末
１０２ 画像検索装置
１０３ ＬＡＮ
３０１ 検索クエリー部
３０２ 結果表示部
３０３ 再検索指示部
５０１ 画像登録部
５０２ 特徴量抽出部
５０３ 検索処理部
５０４ バイアスベクトル生成部
５０５ 類似度行列生成部
５０６ 特徴量類似度計算部
５０７ 画像ランキング生成部
５０８ 類似画像検索結果生成部
５０９ 特徴量データベース
５１０ 画像データベース
５１１ 位置情報データベース
６００ 画像ソース
101
301
Claims (18)
画像データの検索に用いられるクエリを受信する受信手段と、
前記受信手段で受信したクエリを用いて画像データを検索する検索手段と、
前記検索手段により検索された結果得られた、画像データに対応する位置情報を用いて、前記画像データを、複数のエリアにグループ分けするグループ分け手段と、
前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、
前記グループ内順位決定手段で決定された順位の情報を用いて、検索結果として表示する画像データを選出する選出手段と、
前記選出手段で選出した画像データを表示画面に表示するための情報を送信する送信手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus capable of communicating with a display device that displays image data obtained as a result of search,
Receiving means for receiving a query used to search for image data;
Search means for searching for image data using the query received by the receiving means;
Grouping means for grouping the image data into a plurality of areas using position information corresponding to the image data obtained as a result of the search by the search means;
In-group rank determining means for ranking the image data grouped by the grouping means;
A selection means for selecting image data to be displayed as a search result using the information on the order determined by the in-group order determination means;
Transmitting means for transmitting information for displaying the image data selected by the selecting means on a display screen;
An information processing apparatus comprising:
を備え、
前記グループ分け手段は、前記所定距離内の画像データが所定数に達しないと判定した場合に、当該所定距離内の画像データが所定数に達しない画像データをグループに振り分けないよう制御し、前記所定数判定手段で、前記所定距離内の画像データが所定数に達すると判定した場合に、当該所定距離内の画像データ同士を１つのグループに振り分けるよう制御することを特徴とする請求項１に記載の情報処理装置。 A predetermined number determining means for determining whether or not image data within a predetermined distance reaches a predetermined number according to the position information;
With
When the grouping means determines that the image data within the predetermined distance does not reach a predetermined number, the grouping means controls the image data that does not reach the predetermined number of image data within the predetermined distance so as not to be grouped. 2. The control according to claim 1, wherein when the predetermined number determination means determines that the image data within the predetermined distance reaches a predetermined number, the image data within the predetermined distance is controlled to be distributed into one group. The information processing apparatus described.
を備え、
前記送信手段は、前記グループ分けした結果を認識可能に表示させるべく、前記第１の検索結果表示画面生成手段で生成した第１の前記検索結果表示画面を送信することを前記表示装置に送信することを特徴とする請求項３又は４に記載の情報処理装置。 First search result display screen generation means for generating a search result display screen for displaying the image data selected by the selection means separately for each group;
With
The transmission means transmits to the display device a transmission of the first search result display screen generated by the first search result display screen generation means in order to display the grouped results in a recognizable manner. The information processing apparatus according to claim 3, wherein the information processing apparatus is an information processing apparatus.
を備え、
前記送信手段は、前記グループ分けした結果を認識可能に表示させるべく、前記第２の検索結果表示画面生成手段で生成した第２の前記検索結果表示画面を送信することを前記表示装置に送信することを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。 Second search result display screen generation means for generating a search result display screen for displaying the image data selected by the selection means surrounded by a frame for identifying which group the image data belongs to;
With
The transmission means transmits to the display device a transmission of the second search result display screen generated by the second search result display screen generation means in order to display the grouped results in a recognizable manner. The information processing apparatus according to claim 3, wherein the information processing apparatus is an information processing apparatus.
を備え、
前記グループ分け手段は、前記検索手段により検索された結果得られた各画像データの位置と、前記代表画像特定手段で特定した代表画像データとの位置とが所定距離内に収まる場合に、所定距離内に収まる画像データを、前記代表画像データのグループに属する画像データとしてグループ分けすることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 Representative image specifying means for specifying representative image data serving as a reference for executing grouping by the grouping means from image data obtained as a result of searching by the search means;
With
The grouping means has a predetermined distance when the position of each image data obtained as a result of the search by the search means and the position of the representative image data specified by the representative image specifying means are within a predetermined distance. 7. The information processing apparatus according to claim 1, wherein the image data that falls within the group is grouped as image data belonging to the group of representative image data.
を備え、
前記全体順位決定手段は、前記全体順位を決定するための要素のデータである要素データと、当該要素データに偏りを持たせるためのデータである偏りデータと、を用いて、前記全体順位を決定することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。 An overall ranking determining means for specifying an overall ranking as a display order of the image data in a search result screen which is a screen for displaying a search result;
With
The overall rank determining means determines the overall rank using element data that is element data for determining the overall rank and bias data that is data for imparting bias to the element data. The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
を更に備え、
前記全体順位決定手段は、前記重み付け手段で重み付けされた前記要素データと、前記偏りデータと、を用いて、前記全体順位を算出することを特徴とする請求項８乃至１２のいずれか１項に記載の情報処理装置。 A weighting unit for weighting each of the element data and the bias data;
13. The overall rank determination unit according to claim 8, wherein the overall rank determination unit calculates the overall rank using the element data weighted by the weighting unit and the bias data. The information processing apparatus described.
受信手段が、画像データの検索に用いられるクエリを受信する受信工程と、
検索手段が、前記受信工程で受信したクエリを用いて画像データを検索する検索工程と、
グループ分け手段が、前記検索工程により検索された結果得られた、画像データに対応する位置情報を用いて、前記画像データを、複数のエリアにグループ分けするグループ分け工程と、
決定手段が、前記グループ分け工程でグループ分けされた画像データを順位付けするグループ内順位決定工程と、
選出手段が、前記グループ内順位決定工程で決定された順位の情報を用いて、検索結果として表示する画像データを選出する選出工程と、
送信手段が、前記選出工程で選出した画像データを表示画面に表示するための情報を送信する送信工程と、
を含むことを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus capable of communicating with a display device that displays image data obtained as a result of a search,
A receiving step in which a receiving means receives a query used to search for image data;
A search step for searching for image data using the query received in the receiving step;
A grouping step for grouping the image data into a plurality of areas using position information corresponding to the image data obtained as a result of the search performed by the search step;
A determining means for ranking the image data grouped in the grouping step;
A selection step for selecting image data to be displayed as a search result using information on the rank determined in the in-group rank determination step;
A transmission step of transmitting information for displaying the image data selected in the selection step on a display screen;
A method for controlling an information processing apparatus, comprising:
前記情報処理装置を、
画像データの検索に用いられるクエリを受信する受信手段と、
前記受信手段で受信したクエリを用いて画像データを検索する検索手段と、
前記検索手段により検索された結果得られた、画像データに対応する位置情報を用いて、前記画像データを、複数のエリアにグループ分けするグループ分け手段と、
前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、
前記グループ内順位決定手段で決定された順位の情報を用いて、検索結果として表示する画像データを選出する選出手段と、
前記選出手段で選出した画像データを表示画面に表示するための情報を送信する送信手段として機能させることを特徴とする情報処理装置のプログラム。 A program that can be executed by an information processing device that can communicate with a display device that displays image data obtained as a result of search,
The information processing apparatus;
Receiving means for receiving a query used to search for image data;
Search means for searching for image data using the query received by the receiving means;
Grouping means for grouping the image data into a plurality of areas using position information corresponding to the image data obtained as a result of the search by the search means;
In-group rank determining means for ranking the image data grouped by the grouping means;
A selection means for selecting image data to be displayed as a search result using the information on the order determined by the in-group order determination means;
A program for an information processing apparatus that functions as a transmission unit that transmits information for displaying image data selected by the selection unit on a display screen.
前記表示装置は、
画像データの検索のためのクエリの入力を受け付けるクエリ入力受付手段と、
前記クエリ入力受付手段で入力を受け付けたクエリを、前記情報処理装置に送信するクエリ送信手段と、
前記情報処理装置より受信した、表示画面に画像データを表示するための情報に応じて、画像データを表示画面に表示する検索結果表示手段と、
を備え、
前記情報処理装置は、
画像データの検索に用いられるクエリを受信する受信手段と、
前記受信手段で受信したクエリを用いて画像データを検索する検索手段と、
前記検索手段により検索された結果得られた、画像データに対応する位置情報を用いて、前記画像データを、複数のエリアにグループ分けするグループ分け手段と、
前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、
前記グループ内順位決定手段で決定された順位の情報を用いて、検索結果として表示する画像データを選出する選出手段と、
前記選出手段で選出した画像データを表示画面に表示するための情報を送信する送信手段と、
を備えることを特徴とする情報処理システム。 An information processing system in which a display device for image data and an information processing device having a storage function for storing a plurality of image data are communicably connected,
The display device
Query input receiving means for receiving an input of a query for searching image data;
Query transmission means for transmitting a query received by the query input reception means to the information processing apparatus;
Search result display means for displaying the image data on the display screen according to the information received from the information processing apparatus for displaying the image data on the display screen;
With
The information processing apparatus includes:
Receiving means for receiving a query used to search for image data;
Search means for searching for image data using the query received by the receiving means;
Grouping means for grouping the image data into a plurality of areas using position information corresponding to the image data obtained as a result of the search by the search means;
In-group rank determining means for ranking the image data grouped by the grouping means;
A selection means for selecting image data to be displayed as a search result using the information on the order determined by the in-group order determination means;
Transmitting means for transmitting information for displaying the image data selected by the selecting means on a display screen;
An information processing system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013186800A JP5772908B2 (en) | 2012-09-10 | 2013-09-09 | Information processing apparatus, information processing system, control method thereof, and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012198986 | 2012-09-10 | ||
| JP2012198986 | 2012-09-10 | ||
| JP2013186800A JP5772908B2 (en) | 2012-09-10 | 2013-09-09 | Information processing apparatus, information processing system, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014067409A true JP2014067409A (en) | 2014-04-17 |
| JP5772908B2 JP5772908B2 (en) | 2015-09-02 |
Family
ID=50743680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013186800A Expired - Fee Related JP5772908B2 (en) | 2012-09-10 | 2013-09-09 | Information processing apparatus, information processing system, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5772908B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017523503A (en) * | 2014-07-04 | 2017-08-17 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Viewing region-based search results |
| CN108604131A (en) * | 2016-03-04 | 2018-09-28 | 新日铁住金系统集成株式会社 | Display system, information processing unit, information processing method and program |
| CN110503123A (en) * | 2018-05-17 | 2019-11-26 | 奥迪股份公司 | Image position method, device, computer equipment and storage medium |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001109080A (en) * | 1999-10-05 | 2001-04-20 | Minolta Co Ltd | Image forming device |
| JP2004164331A (en) * | 2002-11-13 | 2004-06-10 | Fujitsu Ltd | Image retrieval method, image retrieval device and image retrieval program |
| JP2005174060A (en) * | 2003-12-12 | 2005-06-30 | Matsushita Electric Ind Co Ltd | Image classification device, and image classification method and program |
| US20070115373A1 (en) * | 2005-11-22 | 2007-05-24 | Eastman Kodak Company | Location based image classification with map segmentation |
| JP2007207218A (en) * | 2006-01-06 | 2007-08-16 | Sony Corp | Information processing device and method, and program |
| JP2009301416A (en) * | 2008-06-16 | 2009-12-24 | Kddi Corp | Content classification apparatus, content retrieval apparatus, content retrieval system and computer program |
| JP2010517147A (en) * | 2007-01-17 | 2010-05-20 | グーグル・インコーポレーテッド | Location in search query |
| JP2010140383A (en) * | 2008-12-15 | 2010-06-24 | Sony Corp | Information processor and method, and program |
| JP2010140355A (en) * | 2008-12-12 | 2010-06-24 | Ntt Docomo Inc | System and method for searching information |
| JP2011238057A (en) * | 2010-05-11 | 2011-11-24 | Univ Of Electro-Communications | Image ranking method, program, and storage medium and image display system |
| US20120076414A1 (en) * | 2010-09-27 | 2012-03-29 | Microsoft Corporation | External Image Based Summarization Techniques |
-
2013
- 2013-09-09 JP JP2013186800A patent/JP5772908B2/en not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001109080A (en) * | 1999-10-05 | 2001-04-20 | Minolta Co Ltd | Image forming device |
| JP2004164331A (en) * | 2002-11-13 | 2004-06-10 | Fujitsu Ltd | Image retrieval method, image retrieval device and image retrieval program |
| JP2005174060A (en) * | 2003-12-12 | 2005-06-30 | Matsushita Electric Ind Co Ltd | Image classification device, and image classification method and program |
| US20070115373A1 (en) * | 2005-11-22 | 2007-05-24 | Eastman Kodak Company | Location based image classification with map segmentation |
| JP2007207218A (en) * | 2006-01-06 | 2007-08-16 | Sony Corp | Information processing device and method, and program |
| JP2010517147A (en) * | 2007-01-17 | 2010-05-20 | グーグル・インコーポレーテッド | Location in search query |
| JP2009301416A (en) * | 2008-06-16 | 2009-12-24 | Kddi Corp | Content classification apparatus, content retrieval apparatus, content retrieval system and computer program |
| JP2010140355A (en) * | 2008-12-12 | 2010-06-24 | Ntt Docomo Inc | System and method for searching information |
| JP2010140383A (en) * | 2008-12-15 | 2010-06-24 | Sony Corp | Information processor and method, and program |
| JP2011238057A (en) * | 2010-05-11 | 2011-11-24 | Univ Of Electro-Communications | Image ranking method, program, and storage medium and image display system |
| US20120076414A1 (en) * | 2010-09-27 | 2012-03-29 | Microsoft Corporation | External Image Based Summarization Techniques |
Non-Patent Citations (4)
| Title |
|---|
| CSNG200801034030; 安倍 満、外１名: 'ＶｉｓｕａｌＲａｎｋの多クラスへの拡張' 電子情報通信学会技術研究報告 第１０８巻，第３６３号, 20081211, ｐ．１８３-１８８, 社団法人電子情報通信学会 * |
| CSNG201100284006; 川久保 秀敏、外１名: '地域別代表画像を用いた単語概念の地域性の分析' 情報処理学会研究報告 平成２２年度（６） ［ＤＶＤ-ＲＯＭ］ , 20110502, ｐ．１-８, 一般社団法人情報処理学会 * |
| JPN6014041997; 川久保 秀敏、外１名: '地域別代表画像を用いた単語概念の地域性の分析' 情報処理学会研究報告 平成２２年度（６） ［ＤＶＤ-ＲＯＭ］ , 20110502, ｐ．１-８, 一般社団法人情報処理学会 * |
| JPN6014041998; 安倍 満、外１名: 'ＶｉｓｕａｌＲａｎｋの多クラスへの拡張' 電子情報通信学会技術研究報告 第１０８巻，第３６３号, 20081211, ｐ．１８３-１８８, 社団法人電子情報通信学会 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017523503A (en) * | 2014-07-04 | 2017-08-17 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Viewing region-based search results |
| US10031923B2 (en) | 2014-07-04 | 2018-07-24 | Alibaba Group Holding Limited | Displaying region-based search results |
| CN108604131A (en) * | 2016-03-04 | 2018-09-28 | 新日铁住金系统集成株式会社 | Display system, information processing unit, information processing method and program |
| CN110503123A (en) * | 2018-05-17 | 2019-11-26 | 奥迪股份公司 | Image position method, device, computer equipment and storage medium |
| CN110503123B (en) * | 2018-05-17 | 2023-07-25 | 奥迪股份公司 | Image positioning method, device, computer equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5772908B2 (en) | 2015-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017018B2 (en) | Systems and methods of building and using an image catalog | |
| Wang et al. | Effective multi-query expansions: Collaborative deep networks for robust landmark retrieval | |
| US9817895B2 (en) | Associating video content with geographic maps | |
| US20160253410A1 (en) | Method and system for searching for digital assets | |
| US11704357B2 (en) | Shape-based graphics search | |
| AU2009357597A1 (en) | Methods and apparatuses for facilitating content-based image retrieval | |
| JP5467177B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, INFORMATION PROVIDING PROCESSING PROGRAM, RECORDING MEDIUM CONTAINING INFORMATION PROVIDING PROCESSING PROGRAM, AND INFORMATION PROVIDING SYSTEM | |
| CN102591868A (en) | System and method for automatic generation of photograph guide | |
| Ji et al. | When location meets social multimedia: A survey on vision-based recognition and mining for geo-social multimedia analytics | |
| Mikulik et al. | Image retrieval for online browsing in large image collections | |
| TWI748266B (en) | Search method, electronic device and non-transitory computer-readable recording medium | |
| JP5772908B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| KR20100101204A (en) | Method for retrievaling ucc image region of interest based | |
| JP5862243B2 (en) | Information processing apparatus, control method therefor, and program | |
| US9977793B2 (en) | Information processing system, information processing method, and information processing apparatus | |
| JP5408241B2 (en) | Information processing apparatus, information processing method, and program | |
| Li et al. | A rank aggregation framework for video multimodal geocoding | |
| JP2015032905A (en) | Information processing device, information processing method, and program | |
| TWI695275B (en) | Search method, electronic device and computer-readable recording medium | |
| Cheng et al. | Gps, compass, or camera? Investigating effective mobile sensors for automatic search-based image annotation | |
| JP2012048474A (en) | Information processor, information processing method and program | |
| Larson et al. | The benchmark as a research catalyst: Charting the progress of geo-prediction for social multimedia | |
| JP2014010640A (en) | Image search device, and information processing method and program | |
| Çalışır et al. | Mobile multi-view object image search | |
| Zhao et al. | Scalable Top-Spatial Image Search on Road Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150615 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5772908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |