JP2004227391A - 情報検索方法 - Google Patents
情報検索方法 Download PDFInfo
- Publication number
- JP2004227391A JP2004227391A JP2003016000A JP2003016000A JP2004227391A JP 2004227391 A JP2004227391 A JP 2004227391A JP 2003016000 A JP2003016000 A JP 2003016000A JP 2003016000 A JP2003016000 A JP 2003016000A JP 2004227391 A JP2004227391 A JP 2004227391A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- information
- added
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】より精度の高い検索結果を得ることができる情報検索方法を提供する。
【解決手段】メタデータつき画像をメタデータなし画像よりも優先して表示し、メタデータなし画像よりも、メタデータつき画像の方の入力や指定を促すようにすることにより、より精度の高い検索結果を利用者に提示できるようにする。
【選択図】 図7
【解決手段】メタデータつき画像をメタデータなし画像よりも優先して表示し、メタデータなし画像よりも、メタデータつき画像の方の入力や指定を促すようにすることにより、より精度の高い検索結果を利用者に提示できるようにする。
【選択図】 図7
Description
【0001】
【発明の属する技術分野】
本発明は、複数の情報から目的の情報を検索する情報検索方法に関するものである。
【0002】
【従来の技術】
類似画像検索などの、画像そのものに関する情報を利用して検索する検索方法においては、画像中の人物や物体を判別しにくいため、その利用者が所望する画像を得にくいという欠点がある。そこで、類似度だけではなく、キーワード等の言語情報など様々な情報を画像にメタデータとして付加し、検索に利用することで精度を上げようとする提案がこれまでにもなされている。
【0003】
このような従来の第1の情報検索方法として、1つの画像を選んで従来の類似画像検索を行い、検索された結果のうち、似ていると判断したものにマークし、これらマークされたものは似た画像としてタグを登録し、この作業を繰り返して、人間が似ていると判断したものを分類できるようにしたものがある(例えば、特許文献1参照)。
【0004】
また、従来の第2の情報検索方法として、画像などの検索対象に関する主情報(撮影日時など)と状況情報(撮影者のスケジュールなど)を別に保管し、主情報と状況情報を同時に利用して検索する方法もある(例えば、特許文献2参照)。
【0005】
さらに、従来の第3の情報検索方法として、画像中のオブジェクトを示すような単語が入力された場合には、オブジェクト単位で検索を行う方法が提案されている(例えば、特許文献3参照)。
【0006】
また、従来の第4の情報検索方法として、色を特定する複数の色要素の値に基づいて複数の色グループに分類し、色情報が入力された場合には、画像の色特徴として色グループ毎に画像を検索する方法が提案されている(例えば、特許文献4参照)。
【0007】
さらに、従来の第5の情報検索方法として、グループキーワードを設定し、検索結果である画像を自動的に分類し代表画像のみを表示する方法が提案されている(例えば、特許文献5参照)。
【0008】
【特許文献1】
特開平11−134344号公報
【特許文献2】
特開2000−90106号公報
【特許文献3】
特開平10−312387号公報
【特許文献4】
特開平11−96364号公報
【特許文献5】
特開2000−276474号公報
【0009】
【発明が解決しようとする課題】
しかし、上記従来の第1の情報検索方法では、ある画像とある画像が類似しているという情報は得られても、検索効率の向上や検索結果の提示にその情報を活用していないため、利用者が所望する画像を検索する状況において、例えば、一度検索を行った結果である一連の画像群から特定の一枚を指定して再度検索する際に、メタデータが付加された画像を優先して指定して、より検索結果の精度が高くなる画像を指定できる、などということは不可能である。
【0010】
また、上記従来の第2の情報検索方法では、具体的な検索手段として画像に関する情報を利用しておらず、また、検索結果の提示手法については提案されていない。
【0011】
検索対象となる画像には、キーワード等のメタデータが付加された画像と、メタデータが付加されていない画像とが混在している。しかし、画像の色味や特徴量を扱うタイプの検索手法(例えば、上記従来の第1の情報検索方法)では、メタデータが付加された画像とメタデータが付加されていない画像は同じように扱われてきた。つまり、利用者は、メタデータが付加された画像とメタデータが付加されていない画像を区別できなかった。ところが、一般にメタデータが付加された画像の方が、一度人手による確認を受けているという点で、検索精度が高いと考えられる。また、検索にメタデータを利用できるという点でも、検索精度は高くなると考えられる。
【0012】
ある検索を行った結果などの、一連の画像群から特定の一枚を指定して再度検索する際に、メタデータが付加された画像を優先して指定できることで、より検索結果の精度が高くなる画像を指定できる。つまりメタデータが付加された画像をメタデータが付加されてない画像よりも入力や指定として優先し、利用者にメタデータが付加された画像の指定を促すような表示機構は、検索精度の向上からみて有効であると考えられる。
【0013】
本発明は、上記問題点に鑑みてなされたものであり、より精度の高い検索結果を得ることができる情報検索方法を提供することを第1の目的とする。
【0014】
さらに、上記従来の第3の情報検索方法では、画像中のオブジェクトに対してメタデータとしてキーワードを付加しているため、検索手法としてはキーワード検索のみを用いている。
【0015】
また、上記従来の第4の情報検索方法では、色情報のみに頼ったものであり、画像に色情報以外の、例えば言語的なメタデータが付加されていたとしても、それを利用することはできない。
【0016】
つまり、上記従来の第3および第4の情報検索方法では、検索に利用する情報が言語に基づく情報や画像に基づく情報など単一のものである。例えば、検索に利用する情報が言語に基づく情報であれば、検索結果が画像の色味や画像の雰囲気を重視すべき、例えば背景枠などの素材画像であっても、画像に基づく情報による検索はなされない。
【0017】
そこで、検索に利用する情報として言語に基づく情報と画像に基づく情報との両者を併用し、言語情報に基づく付加情報を利用した検索を行った結果に対して、検索結果に付加された言語情報が色味や構図を表す言葉であった場合には自動的に画像に基づく付加情報を利用した検索を行うことで、検索内容により適した検索結果を得られることが考えられる。
【0018】
本発明は、上記問題点に鑑みてなされたものであり、複数の検索処理を用いて検索内容により適した検索結果を得ることを可能にする情報検索方法を提供することを第2の目的とする。
【0019】
さらに、上記従来の第5の情報検索方法では、キーワード等の文字情報に頼ったものであり、画像から情報を抽出するものではなく、例えば色味や構図といったものは、それが言語情報になっていなければ利用できない。
【0020】
つまり、上記従来の第5の情報検索方法では、検索に利用する情報が言語に基づく情報や画像に基づく情報など単一のものであり、検索結果を分類する際にも単一の情報を用いている。言語に基づく情報による検索では、色味による分類はなされないし、その逆も然りである。
【0021】
そこで、検索に利用する情報として言語に基づく情報と画像に基づく情報との両者を併用し、内容に基づく検索結果を色味や構図で分類することで検索結果の一覧が見やすくなることが考えられる。
【0022】
本発明は、上記問題点に鑑みてなされたものであり、複数の検索処理を用いて検索結果の一覧を見やすくすることを可能にする情報検索方法を提供することを第3の目的とする。
【0023】
【課題を解決するための手段】
上記第1の目的を達成するため、請求項1に記載の情報検索方法は、検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、検索条件を入力する入力ステップと、該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する検索ステップと、該検索ステップによる検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付けステップと、該順序付けステップによって順序付けられた検索結果を提示する提示ステップとを有することを特徴とする。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0025】
図1は、本発明の第1の実施の形態に係る情報検索方法を適用した情報検索装置の概略構成を示す図である。
【0026】
同図に示すように、本実施の形態の情報検索装置は、パーソナルコンピュータ(PC)1と、キーボードなどの入力デバイス2と、マウスなどのポインティングデバイス3と、CRTディスプレイなどの表示デバイス4とによって、主として構成されている。
【0027】
PC1は、本装置の実行を制御する中央処理演算部(CPU)11と、RAMなどの揮発性メモリ12と、ハードディスクなどの不揮発性メモリ13とを備えている。
【0028】
検索対象となる画像や画像に対する付加情報を保持する画像データベースは不揮発性メモリ13に格納されている。この画像データベースの具体的な構造については図2および図3を用いて後述する。
【0029】
なお、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、LAN(Local Area Network)などのネットワークを介して処理が行われるシステムであっても本発明を適用できるのは言うまでもない。
【0030】
図2および図3は、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【0031】
図2に示したデータベースには、画像ID、画像のファイル名、および画像より予め抽出した画像特徴量が格納されている。画像IDは、本実施の形態の情報検索装置の中で一意に決定され、画像IDと画像ファイル名との間は一対一に対応する。また、画像特徴量はバイナリ形式で格納され、第2の検索処理で使用する。
【0032】
第2の検索処理は、画像特徴量や画像の構図、画像の分類など、画像情報に基づく検索手法であればよく、本発明では画像特徴量の抽出および検索に関する具体的な手法は特に規定しない。
【0033】
図2に示した例では、画像IDが“1”の画像のファイル名は“d001_001.jpg”であり、画像IDが“2”の画像のファイル名は“d001_002.jpg”である。
【0034】
図3に示したデータベースには、画像IDと当該画像に付加されたキーワードが格納されている。第1列には画像IDが、第2列にはキーワードが1単語ずつ格納されている。1つの画像に対し複数のキーワードが付加される場合もあるが、本実施の形態では、キーワードの列にはちょうど1単語のみを格納するように構成しているため、図3に示すように、この場合には、画像IDの列に同じ画像IDが現れるようにすることで、1つの画像IDに対して複数のキーワードが付加されることを表現する。
【0035】
図3に示した例では、画像IDが“1”の画像に「花」、「青空」というキーワードが、画像IDが“2”の画像には「自動車」というキーワードが付加されている。また、キーワードが付加されていない画像IDについては、当該画像IDはこのデータベースの第1列には現れない。
【0036】
なお、キーワードは文字列として格納され、第1の検索処理で使用する。第1の検索処理は、一般のキーワード検索やキーワードの意味内容に基づいたものなど、文字情報を利用したものであればよく、本発明では具体的な手法は特に規定しない。
【0037】
また、検索対象となる画像に付加する、文字情報としての付帯情報として、本実施の形態ではキーワードを利用しているが、他にもキーワードの意味内容に基づいたものなど、文字情報を利用したものであればよく、本発明では付帯情報の具体的な内容は特に限定するものではない。
【0038】
図4は、第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【0039】
同図において、第1列は、検索結果である画像IDであり、第2列は、検索元画像に対する当該画像IDで示された検索結果画像の類似度である。類似度は様々な値を採り得るが、ここでは一般性を失わない、0以上1以下の実数値を採ることとする。
【0040】
図4に示した例では、検索元画像と、画像IDが“1038”の画像との類似度が“1.00”、画像IDが“11”の画像との類似度が“0.98”、画像IDが“13555”の画像との類似度が“0.70”である。
【0041】
図5は、第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【0042】
同図において、第1列は、キーとなる画像の画像IDであり、第2列は、検索結果の画像IDである。
【0043】
図5に示した例では、画像IDが“1”の画像に対して、画像IDが“135”と“10640”の画像が検索結果であることを示している。同様に、画像IDが“2”の画像に対して、画像IDが“2250”の画像が検索結果であることを示している。
【0044】
なお、図4および図5で示したデータベースは、揮発性メモリ12上に置かれ、本実施の形態で示している一連の手続きが終了すると消滅する。
【0045】
図6および図7は、本実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【0046】
この検索処理のプログラムは、不揮発性メモリ13から読み出され、揮発性メモリ12を使用しつつ中央処理演算部16によって実行される。
【0047】
図6において、まず、ステップS1では、第2の検索処理で使用する画像特徴量を不揮発性メモリ13中の図2で示した画像データベースから画像ID毎に揮発性メモリ12に読み出す。
【0048】
次に、ステップS2では、まだ画像特徴量を読み出していない画像IDが存在するか否かを判定し、存在すればステップS1に戻る一方、存在しなければステップS3へ進む。
【0049】
ステップS3では、不揮発性メモリ13中の図2で示した画像データベース中からランダムに画像ファイル名を読み出し、表示デバイス4に画像を表示する。
【0050】
ステップS4では、本装置の使用者がポインティングデバイス3を用いて指定した検索元画像、および入力デバイス2を用いて指定した、検索結果として要求する画像の個数を受信し、揮発性メモリ12に格納する。
【0051】
ステップS5では、ステップS4で指定された画像のIDをキーとして、第1の検索処理によって検索を行う。
【0052】
ステップS6では、前記ステップS5で検索された画像ID列を図4で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0053】
ステップS7では、揮発性メモリ12よりステップS5で検索し、ステップS6で格納した図4で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0054】
ステップS8では、前記ステップS7で取り出した画像IDをキーとして第2の検索処理によって検索を行う。
【0055】
ステップS9では、前記ステップS8で検索された画像ID列をキー毎に分けて、図5で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0056】
ステップS10では、揮発性メモリ12中に格納されたステップ5およびステップ6による画像ID列のうち、ステップ7によって取り出されていない画像IDが存在するか否かを判定し、存在していればステップS7に戻る一方、存在していなければ図7のステップS11に進む。
【0057】
ステップS11では、揮発性メモリ12よりステップS6で格納された、図4で示した一時的なデータベースから画像IDを1つ取り出す。
【0058】
ステップ12では、揮発性メモリ12中に格納されている、図3で示したデータベースを検索し、当該画像にキーワードが付加されているか否かを判定し、キーワードが付加されていればステップS13へ進む一方、キーワードが付加されていなければステップS14へ進む。
【0059】
ステップS13では、前記ステップS11における当該IDを揮発性メモリ12中のキーワードあり画像リストに登録し、ステップS15へ進む。
【0060】
ステップS14では、前記ステップS11における当該IDを揮発性メモリ12中のキーワードなし画像リストに登録し、ステップS15へ進む。
【0061】
ステップS15では、揮発性メモリ12中の、ステップS6で図4に示した一時的なデータベースに格納された画像ID列のうち、ステップ11によって未だ取り出されていない画像IDが存在するか否かを判定し、存在していればステップS11に戻る一方、存在していなければステップS16に進む。
【0062】
ステップS16では、ステップS13でキーワードあり画像リストに登録された画像IDのうち1つを取り出す。
【0063】
ステップS17では、前記ステップS16で得た画像IDをキーとして、図2で示したデータベースより当該画像のファイル名を取り出す。
【0064】
ステップS18では、前記ステップS17で取り出したファイル名に従って画像をキーワードありマークを伴って表示デバイス4に表示する。
【0065】
ステップS19では、キーワードあり画像リストのうち、未だ表示していない画像が存在するか否かを判定し、存在すればステップ16に戻る一方、存在しなければステップS20に進む。
【0066】
ステップS20では、ステップS14でキーワードなし画像リストに登録された画像IDのうち1つを取り出す。
【0067】
ステップS21では、前記ステップS20で得た画像IDをキーとして、図2で示したデータベースより当該画像のファイル名を取り出す。
【0068】
ステップS22では、前記ステップS21で取り出したファイル名に従って画像を表示デバイス4に表示する。
【0069】
ステップS23では、キーワードあり画像リストのうち、未だ表示していない画像が存在するか否かを判定し、存在すればステップS20に戻る一方、存在しなければ本処理を終了する。
【0070】
このように、本実施の形態では、メタデータつき画像をメタデータなし画像よりも優先して表示し、メタデータなし画像よりも、メタデータつき画像の方の入力や指定を促すようにしたので、より精度の高い検索結果を利用者に提示することができる。
【0071】
次に、本発明の第2の実施の形態に係る情報検索処理を適用した情報検索装置について説明する。
【0072】
本実施の形態の情報検索装置は、上記第1の実施の形態の情報検索装置に対して、第1の検索処理によって検索された画像にキーワードが付加され、そのキーワードが予約キーワードテーブル(図8)に登録されているときにのみ、第2の検索処理による検索を行うようにした点が異なっている。したがって、本実施の形態では、ハードウェアは、上記第1の実施の形態の情報検索装置のハードウェア、すなわち前記図1に記載されたハードウェアと同様の構成のものを用いることにし、画像データベースも、図2〜図5のデータベースと同様の構成のものを用いることにする。
【0073】
図8は、第2の検索処理を自動的に起動するために、予めキーワードを登録する、予約キーワードテーブルの一例を示す図であり、予約キーワードテーブルには、後述するフローチャート(図9)によって、キーワードが格納されて行く。
【0074】
図8に示した例では、「パターン」と「テクスチャ」が登録されていることを示している。
【0075】
なお、本実施の形態では、特定の言語情報としてキーワードを用いているが、他にも言葉の意味的なものを入力することとしてもよいし、本発明では入力される内容は特に規定しない。
【0076】
なお、図8で示したデータベースは揮発性メモリ12上に置かれ、本実施の形態で示している一連の手続きが終了すると消滅する。
【0077】
図9は、図8に示した予約キーワードテーブルにキーワードを登録するキーワード登録処理の手順を示すフローチャートである。
【0078】
同図において、まず、ステップS31では、入力デバイス2よりキーワードテーブルに登録するキーワードの入力を受信する。
【0079】
次に、ステップS32では、前記ステップS31で入力されたキーワードを、図8で示したキーワードテーブルに登録する。
【0080】
ステップS33では、入力終了を受信したか否かを判定し、入力終了であれば本処理を終了する一方、入力終了でなければステップS31へ戻る。
【0081】
図10は、本実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【0082】
同図において、まず、ステップS41では、第2の検索処理で使用する画像特徴量を不揮発性メモリ13中の図2で示した画像データベースから画像ID毎に揮発性メモリ12に読み出す。
【0083】
次に、ステップS42では、まだ画像特徴量を読み出していない画像IDが存在するか否かを判定し、存在すればステップS41に戻る一方、存在しなければステップS43へ進む。
【0084】
ステップS43では、不揮発性メモリ13中の図2で示した画像データベース中からランダムに画像ファイル名を読み出し、表示デバイス4に画像を表示する。
【0085】
ステップS44では、本装置の使用者がポインティングデバイス3を用いて指定した検索元画像、および入力デバイス2を用いて指定した、検索結果として要求する画像の個数を受信し、揮発性メモリ12に格納する。
【0086】
ステップS45では、ステップS44で指定された画像のIDをキーとして、第1の検索処理によって検索を行う。
【0087】
ステップS46では、前記ステップS45で検索された画像ID列を図4で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0088】
ステップS47では、揮発性メモリ12よりステップS45で検索し、ステップS46で格納した図4で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0089】
ステップS48では、ステップS47で取り出した画像IDをキーに、図3で示したデータベースからキーワードのうち1つを取り出す。
【0090】
ステップS49では、前記ステップS48で取り出したキーワードをキーに、図8で示した予約キーワードデータベースを検索し、該キーワードが該データベース中に存在するか否かを判定し、存在すればステップS50に進む一方、存在しなければステップS52に進む。
【0091】
ステップS50では、前記ステップS47で取り出した画像IDをキーとして第2の検索処理によって検索を行う。
【0092】
ステップS51では、前記ステップS50で検索された画像ID列をキー毎に分けて、図5で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0093】
ステップS52では、ステップS48で取り出したキーワードのうち、ステップS48によってまだ取り出されていないキーワードが存在するか否かを判定し、存在すればステップS48に戻る一方、存在しなければステップS53に進む。
【0094】
ステップS53では、揮発性メモリ12中に格納されたステップS45およびステップS46による画像ID列のうち、ステップS47によって取り出されていない画像IDが存在するか否かを判定し、存在していればステップS47に戻る一方、存在していなければステップS54に進む。
【0095】
ステップS54では、ステップS46およびステップS51で揮発性メモリ12より図4で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0096】
ステップS55では、前記ステップS54で得た画像IDをキーとして図2で示したデータベースより当該画像のファイル名を取り出す。
【0097】
ステップS56では、前記ステップS55で取り出したファイル名に従って画像を表示デバイス4に表示する。
【0098】
ステップS57では、キーワードあり画像リストのうち、未だ表示していない画像が存在するか否かを判定し、存在すればステップS54に戻る一方、存在しなければ本処理を終了する。
【0099】
このように、本実施の形態では、第1の検索処理によって検索された画像にキーワードが付加され、そのキーワードが予約キーワードテーブルに登録されているときにのみ、第2の検索処理による検索を行うようにしたので、検索内容により適した検索結果を得ることができる。
【0100】
次に、本発明の第3の実施の形態に係る情報検索処理を適用した情報検索装置について説明する。
【0101】
本実施の形態の情報検索装置は、上記第1の実施の形態の情報検索装置に対して、情報検索処理方法が異なるのみであるため、そのハードウェアは、上記第1の実施の形態の情報検索装置のハードウェア、すなわち前記図1に記載されたハードウェアと同様の構成のものを用いることにする。
【0102】
図11および図12は、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【0103】
図11に示したデータベースには、画像ID、画像のファイル名、および画像より予め抽出した画像特徴量が格納されている。画像IDは、本実施の形態の情報検索装置の中で一意に決定され、画像IDと画像ファイル名との間は一対一に対応する。また、画像特徴量はバイナリ形式で格納され、第2の検索処理で使用する。
【0104】
図11に示した例では、画像IDが“1”の画像のファイル名は“D001_001.jpg”であり、画像IDが“2”の画像のファイル名は“D001_002.jpg”であり、画像IDが“3”の画像のファイル名は“D001_003.jpg”である。
【0105】
なお、第2の検索処理では、例えば特開2000−070268号公報に記載されているような画像特徴量を用いることができるが、他の種類の画像特徴量や、画像の構図、画像の分類など、画像情報に基づく検索手法であればよく、本発明では画像特徴量の抽出および検索に関する具体的な手法は規定しない。
【0106】
図12に示したデータベースには、画像IDと当該画像に付加されたキーワードが格納されている。第1列には画像IDが、第2列にはキーワードが1単語ずつ格納されている。1つの画像に対し複数のキーワードが付加される場合あるが、本実施の形態では、キーワードの列にはちょうど1単語のみを格納するように構成しているため、図12に示すように、この場合には、画像IDの列に同じ画像IDが現れるようにすることで、1つの画像IDに対して複数のキーワードが付加されることを表現する。
【0107】
図12に示した列では、画像IDが“1”の画像に「ビル」、「青空」というキーワードが、画像IDが“2”の画像には、「自動車」、「ビジネスマン」というキーワードが、画像IDが“3”の画像には「ビル」、「空」、「曇り」というキーワードが付加されている。また、キーワードが付加されていない画像IDについては、当該画像IDはこのデータベースの第1列には現れない。
【0108】
なお、キーワードは文字列として格納され、第1の検索処理で使用する。第1の検索処理は、一般のキーワード検索や、他にも特開2000−112957号公報に記載されているように、短文や文章を対象とした検索など、文字情報を利用したものであればよく、本発明では具体的な手法は特に規定しない。また、検索対象となる画像に付加する、文字情報としての付帯情報として、本実施の形態ではキーワードを利用しているが、他にも画像の内容を表現する短文や文章といった、文字情報を利用したものであればよく、本発明では付帯情報の具体的な内容は特に限定するものではない。
【0109】
図13は、第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【0110】
同図において、第1列は、検索結果である画像IDであり、第2列は、検索元画像に対する当該画像IDで示された検索結果画像の類似度である。類似度は様々な値を採り得るが、本実施の形態では一般性を失わない、0以上1以下の実数値を採ることとする。
【0111】
図13に示した例では、検索元画像と、画像IDが“3”の画像との類似度が“0.98”、画像IDが“13555”の画像との類似度が“0.97”、画像IDが“2250”の画像との類似度が“0.68”である。
【0112】
図14は、第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【0113】
同図において、第1列は、キーとなる画像の画像IDであり、第2列は、検索された結果の画像IDである。
【0114】
図14に示した例では、画像IDが“1”の画像に対して、画像IDが“1”と“3”の画像が検索結果であることを示している。同様に、画像IDが“2”の画像に対して、画像IDが“2”と“2250”の画像が検索結果であり、画像IDが“3”の画像に対して、画像IDが“3”,“1”,“35”,“2222”の画像が検索結果であることを示している。
【0115】
図15(a)は、画像IDがどのような画像グループに属するかを保持する一時的なデータベースを示す図である。
【0116】
同図において、第1列は、画像IDであり、第2列は、画像グループIDであり、第3列は、当該画像と検索元画像との類似度である。
【0117】
図15(a)に示した例では、画像IDが“1”と“3”の画像が同じ画像グループに属していて、画像IDが“244”の画像は異なる画像グループに属している。
【0118】
なお、本実施の形態では、分類方法の例として、1つの画像IDは1つの画像グループにしか属さない、かつ、類似度によって画像グループ内で画像ID毎に全順序を持っているという列を示したが、1つの画像IDが複数の画像グループに属す場合があってもよいし、画像グループ内で画像IDに順序がなくてもよいし、他のいかなる分類方法であってもよい。
【0119】
なお、図13〜図15で示したデータベースは、揮発性メモリ12上に置かれ、本実施の形態で示している一連の手続きが終了すると、各データの内容は消滅する。
【0120】
図16〜図18は、本実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【0121】
ステップS61からステップS70までは、検索元画像を入力として、第1および第2の検索処理を用いて検索を行って、検索結果を図13および図14で示した一時的なデータベースに保持するステップ群である。
【0122】
ステップS61では、第2の検索処理で使用する画像特徴量を、不揮発性メモリ13中の図11で示した画像データベースから画像ID毎に揮発性メモリ12に読み出す。
【0123】
ステップS62では、まだ画像特徴量を読み出していない画像IDが存在するか否かを判定し、存在すればステップS61に戻る一方、存在しなければステップS63へ進む。
【0124】
ステップS63では、不揮発性メモリ13中の図11で示した画像データベース中からランダムに画像ファイル名を読み出し、表示デバイス4に画像を表示する。
【0125】
ステップS64では、本装置の使用者がポインティングデバイス3を用いて指定した検索元画像、および入力デバイス2を用いて指定した、検索結果として要求する画像の個数を受信し、揮発性メモリ12に格納する。
【0126】
図19は、表示デバイス4に画像を表示し、本装置の使用者による検索元画像の指定および検索結果として要求する画像の個数を受信した画面の一例を示している。この例では、画像IDが“1”と“244”の画像を表示していて、そのうち本装置の使用者が、画像IDが“1”の画像を指定し、検索結果の個数として20個を指定したところである。画像IDの横に表示された“↑”でその画像が選択されたことを示している。
【0127】
ステップS65では、ステップS64で指定された画像のIDをキーとして、不揮発性メモリ13よりサブプログラムを呼び出し第1の検索処理によって検索を行う。
【0128】
例えば、特開2000−112956号公報に記載された手法を用いると、ステップS64の例にあるように、画像IDが“1”の画像が検索元画像として指定された場合、図12に示したように、画像IDが“1”の画像には「ビル」、「青空」というキーワードが付加されているので、「ビル」、「青空」というキーワードが付加されている、画像IDが“1”の画像と、「ビル」、「空」、「曇り」というキーワードが付加されている、画像IDが“3”の画像が検索される。
【0129】
なお、第1の検索処理では、付帯情報としてキーワードを利用しているが、図12の説明で述べたように、文字情報に基づいた検索手法であればよく、本装置では具体的な手法は特に規定しない。
【0130】
ステップS66では、前記ステップS65で検索された画像ID列を、図13で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0131】
ステップS67では、揮発性メモリ12よりステップS65で検索し、ステップS66で格納した図13で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0132】
ステップS68では、前記ステップS67で取り出した画像IDをキーとして、不揮発性メモリ13よりサブプログラムを呼び出し、第2の検索処理によって検索を行う。第2の検索処理による検索手法としては、前記特開2000−70268号公報に記載された検索手法を用いることができるが、図11の説明で述べたように、画像より抽出した情報に基づいた検索手法であればよく、本装置では具体的な手法は特に規定しない。
【0133】
ステップS69では、前記ステップS68で検索された画像ID列をキー毎に分けて、図14で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0134】
例えば、画像IDが“1”の画像に対しては、画像IDが“1”と“3”のような画像が検索され、同様に画像IDが“3”の画像に対しては、画像IDが“1”と“3”のような画像が検索されたとすると、図14のようなデータが揮発性メモリ12中に格納される。
【0135】
ステップS70では、揮発性メモリ12中に格納された、ステップS65およびステップS66による画像ID列のうち、ステップS67によって取り出されていない画像IDが存在するか否かを判定し、存在していればステップS67に戻る一方、存在していなければステップS71に進む。
【0136】
ステップS71からステップS78までは、図13と図14で示した一時的なデータベースから図15(a)で示した画像グループデータベースにデータを格納する、つまり、第1および第2の検索処理による検索結果に基づいて画像IDのグループを生成するステップ群である。
【0137】
ステップS71では、ステップS66で格納された、図13に示した画像ID列の中から1つを取り出す。
【0138】
ステップS72では、前記ステップS71で取り出した画像IDをキーとして、ステップS68およびステップS69による操作で得た、図14で示した一時的なデータベースの中から結果画像IDを1つ取り出す。
【0139】
図14に示した一時的なデータベースでは、画像IDが“1”に対する結果画像IDとして“1”と“3”とがあるが、“3”を取り出した。
【0140】
ステップS73では、前記ステップS72で取り出した当該画像IDがステップS66および図4で示した一時データベースに格納された画像ID列に存在するか否かを判定し、存在すればステップS74に進む一方、存在しなければステップS77へ進む。
【0141】
画像IDが“3”に対しては、図15(a)で示したデータベース中に画像ID“3”が存在するので、ステップS74へ進む。
【0142】
ステップS74では、ステップS72におけるキーとなる画像IDが図15(a)で示した画像グループデータベースに存在するか否かを判定し、存在すればステップS75に進む一方、存在しなければステップS76に進む。
【0143】
ステップS75では、当該画像IDの画像グループIDを、ステップS72で取り出した画像IDに対する画像グループIDとし、図13に示した一時的なデータベースから当該画像IDの類似度を取り出し、図15(a)で示した画像グループデータベースに追加し揮発性メモリ12に格納する。そして、ステップS77へ進む。
【0144】
図15(a)で示した一時的なデータベースが図15(b)に示したデータの状態であった場合に、ステップS71で画像IDとして“1”を取り出したとする。画像IDが“1”の画像グループIDが“1”である場合に、ステップS72で画像ID“3”を取り出しているときには、画像ID“3”に対しても画像グループIDを“1”とし、類似度は図13にあるとおり“0.98”なので、これらのデータを図15(a)に示した画像グループデータベースに追加する。
追加した後の画像グループデータベースの状態が図15(c)となる。
【0145】
ステップS76では、ステップS71において取り出した画像IDおよびステップS72におけるキーワードとなる画像IDに対して、図15(a)で示した画像グループデータベース中に存在しない新規グループIDを付加し、図13に示した一時的なデータベースから当該画像IDの類似度を取り出し、図15(a)で示した画像グループデータベースに追加し、揮発性メモリ12に格納する。
そしてステップS77へ進む。
【0146】
図15(a)に示した一時的なデータベースが、図15(c)に示したデータの状態であった場合に、ステップS71で画像IDとして“2”を取り出したとする。画像ID“2”は、図15(c)で示した画像グループデータベース中に存在せず、ステップS72で画像ID“2250”を取り出したとすると、画像ID“2250”に対して新規に画像グループIDを“2”とし、類似度は図13にあるとおり“0.68”なので、これらのデータを図15(a)に示した画像グループデータベースに追加する。追加した後の画像グループデータベースの状態が図15(d)となる。
【0147】
ステップS77では、図14に示した一時的なデータベースからステップS71で取り出した画像IDをキーとする、ステップS72によって取り出されていない画像IDがまだ存在するか否かを判定する。もし存在すればステップS72に戻る一方、存在しなければステップS78に進む。
【0148】
ステップS78では、図13に示した一時的なデータベースからステップS71によって取り出されていない画像IDがまだ存在するか否かを判定する。もし存在すればステップS71に戻る一方、存在しなければステップS79に進む。
【0149】
ステップS79では、図15(a)に示した画像グループを示す一時的なデータベースを、第1キーを画像グループID、第2キーを類似度として、降順に並び替える。
【0150】
ステップS80からステップS87までは、図15(a)に示した画像グループデータベース中のデータに基づいて、表示デバイス4に画像を表示するステップ群である。
【0151】
ステップS80では、揮発性メモリ12中の画像グループID保持領域に“0”を設定する。画像グループID保持領域は画像グループIDが入る大きさの分だけ領域が確保されていればよく、一変数領域であればよいので、その構造は省略する。
【0152】
ステップS81では、ステップS79で並び替えた画像グループを示す一時的なデータベースの先頭から順に画像ID、画像グループIDおよび類似度を取り出す。
【0153】
ステップS82では、前記ステップS81で得た画像IDをキーとして、図11で示したデータベースより当該画像のファイル名を取り出す。
【0154】
ステップS83では、ステップS81で取り出した画像グループIDを、ステップS80またはステップS85で設定した画像グループID保持領域中の画像グループIDと同一であるか否かを判定する。もし同一であればステップS86に進む一方、同一でなければステップS84に進む。
【0155】
ステップS84では、以下のステップにおいて当該画像の類似度を表示する領域の背景色を変更する。
【0156】
ステップS85では、ステップS80で示した画像グループID領域に、ステップS81で取り出した画像グループIDを設定する。
【0157】
ステップS86では、ステップS82で得たファイル名を基に画像を表示する。
【0158】
ステップS87では、ステップS81において未だ取り出されていない画像IDが存在するか否かを判定する。存在すればステップS81に戻る一方、存在しなければ本処理を終了する。
【0159】
図20は、図15(d)に示した画像グループデータベース中のデータに基づいて、ステップS87まで終了した結果、つまり表示デバイス4に表示された表示画面である。
【0160】
図20に示した表示画面を生成するための本装置のステップS80からステップS87までの動作を、図15(d)に示したデータを基に説明する。
【0161】
ステップS80では、揮発性メモリ12中の画像グループID保持領域に“0”を設定する。ステップS81で、まず画像ID“1”が取り出され、ステップS83による判定では、画像グループID保持領域の値は“0”であるので、ステップS84に進み、ステップS84で背景色をセットする。ステップS85で画像グループID“1”を画像グループID領域にセットする。
【0162】
次に、画像IDが“3”の場合は、ステップS83による判定では、画像グループID領域の値は“1”であり、画像ID“3”の画像グループIDは“1”であるので、ステップS86に進み、背景色の変更は無い。
【0163】
次に、画像IDが“2250”の場合は、ステップS83による判定では、画像グループID領域の値は“1”であるが、画像ID“2250”の画像グループIDは“2”であるのでステップS84に進み、ステップS84で背景色を変更する。
【0164】
このようにして、画像IDが“1”と“3”のものは同じ画像グループに属するので、画像IDが“1”と“3”の画像を表示する部分の背景色は同じになり、画像IDが“2250”の画像は別のグループであるので背景色を異ならせている。
【0165】
このように、本実施の形態では、検索結果の一覧を見やすくすることができる。
【0166】
なお、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0167】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0168】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【0169】
また、コンピュータが読出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0170】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0171】
以下、本発明の実施態様の例を列挙する。
【0172】
(実施態様1) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する検索ステップと、
該検索ステップによる検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付けステップと、
該順序付けステップによって順序付けられた検索結果を提示する提示ステップとを有することを特徴とする情報検索方法。
【0173】
(実施態様2) 前記提示ステップでは、前記付帯情報のうち特定の種類の情報が付加されている検索結果である情報をマーキングして提示することを特徴とする実施態様1に記載の情報検索方法。
【0174】
(実施態様3) 前記付帯情報のうち特定の種類の情報とは、言語情報に基づくものであることを特徴とする実施態様1または2に記載の情報検索方法。
【0175】
(実施態様4) 前記検索対象となる情報は画像情報であることを特徴とする実施態様1〜3のいずれかに記載の情報検索方法。
【0176】
(実施態様5) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、
予約語を入力する第1の入力ステップと、
検索条件を入力する第2の入力ステップと、
該第2の入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果に、前記第1の入力ステップによって入力された予約語が付加されているか否かを判定する判定ステップと、
該判定ステップによる判定結果に基づいて情報を検索する第2の検索ステップと、
前記第1および第2の検索ステップによる検索結果を提示する提示ステップとを有することを特徴とする情報検索方法。
【0177】
(実施態様6) 前記第1の検索ステップで用いる付帯情報は、言語情報に基づくものであることを特徴とする実施態様5に記載の情報検索方法。
【0178】
(実施態様7) 前記検索対象となる情報は、画像情報であることを特徴とする実施態様5または6に記載の情報検索方法。
【0179】
(実施態様8) 前記第2の検索ステップで用いる付帯情報は、画像より抽出した情報に基づくものであることを特徴とする実施態様7に記載の情報検索方法。
【0180】
(実施態様9) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果および前記付帯情報に基づいて情報を検索する第2の検索ステップと、
該第2の検索ステップによる検索結果に基づいて、前記第1の検索ステップによる検索結果をグループ分けするグループ分けステップと、
該グループ分けステップによってグループ分けされた検索結果を提示する提示ステップとを有することを特徴とする情報検索方法。
【0181】
(実施態様10) 前記第1の検索ステップで用いる付帯情報は、言語情報に基づくものであることを特徴とする実施態様9に記載の情報検索方法。
【0182】
(実施態様11) 前記対象となる情報は、画像情報であることを特徴とする実施態様9または10に記載の情報検索方法。
【0183】
(実施態様12) 前記第2の検索ステップで用いる付帯情報は、画像より抽出した情報に基づくものであることを特徴とする実施態様11に記載の情報検索方法。
【0184】
(実施態様13) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法を、コンピュータに実現させるためのプログラムであって、
前記情報検索方法は、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する検索ステップと、
該検索ステップによる検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付けステップと、
該順序付けステップによって順序付けられた検索結果を提示する提示ステップとを有することを特徴とするプログラム。
【0185】
(実施態様14) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法を、コンピュータに実現させるためのプログラムであって、
前記情報検索方法は、
予約語を入力する第1の入力ステップと、
検索条件を入力する第2の入力ステップと、
該第2の入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果に、前記第1の入力ステップによって入力された予約語が付加されているか否かを判定する判定ステップと、
該判定ステップによる判定結果に基づいて情報を検索する第2の検索ステップと、
前記第1および第2の検索ステップによる検索結果を提示する提示ステップとを有することを特徴とするプログラム。
【0186】
(実施態様15) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法を、コンピュータに実現させるためのプログラムであって、
前記情報検索方法は、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果および前記付帯情報に基づいて情報を検索する第2の検索ステップと、
該第2の検索ステップによる検索結果に基づいて、前記第1の検索ステップによる検索結果をグループ分けするグループ分けステップと、
該グループ分けステップによってグループ分けされた検索結果を提示する提示ステップとを有することを特徴とするプログラム。
【0187】
(実施態様16) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索装置において、検索条件を入力する入力手段と、
該入力手段によって入力された検索条件および前記付帯情報に基づいて情報を検索する検索手段と、
該検索手段による検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付け手段と、
該順序付け手段によって順序付けられた検索結果を提示する提示手段とを有することを特徴とする情報検索装置。
【0188】
(実施態様17) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索装置において、
予約語を入力する第1の入力手段と、
検索条件を入力する第2の入力手段と、
該第2の入力手段によって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索手段と、
該第1の検索手段による検索結果に、前記第1の入力手段によって入力された予約語が付加されているか否かを判定する判定手段と、
該判定手段による判定結果に基づいて情報を検索する第2の検索手段と、
前記第1および第2の検索手段による検索結果を提示する提示手段とを有することを特徴とする情報検索装置。
【0189】
(実施態様18) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索装置において、
検索条件を入力する入力手段と、
該入力手段によって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索手段と、
該第1の検索手段による検索結果および前記付帯情報に基づいて情報を検索する第2の検索手段と、
該第2の検索手段による検索結果に基づいて、前記第1の検索手段による検索結果をグループ分けするグループ分け手段と、
該グループ分け手段によってグループ分けされた検索結果を提示する提示手段とを有することを特徴とする情報検索装置。
【0190】
【発明の効果】
以上に説明したように、本発明によれば、メタデータつき画像をメタデータなし画像よりも優先して表示し、メタデータなし画像よりも、メタデータつき画像の方の入力や指定を促すようにしたので、より精度の高い検索結果を利用者に提示することができる。
【0191】
また、複数の検索処理を用いることで、検索内容により適した検索結果を得ることができる。
【0192】
さらに、複数の検索処理を用いて検索結果の一覧を見やすくすることを可能にする。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る情報検索方法を適用した情報検索装置の概略構成を示す図である。
【図2】検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図3】検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図4】第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【図5】第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【図6】第1の実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【図7】図6の検索処理の続きの手順を示すフローチャートである。
【図8】本発明の第2の実施の形態に係る情報検索方法を適用した情報検索装置において、第2の検索処理を自動的に起動するために、予めキーワードを登録する、予約キーワードテーブルの一例を示す図である。
【図9】図8の予約キーワードテーブルにキーワードを登録するキーワード登録処理の手順を示すフローチャートである。
【図10】第2の実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【図11】本発明の第3の実施の形態に係る情報検索方法を適用した情報検索装置において、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図12】第3の実施の形態の情報検索装置において、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図13】第3の実施の形態の情報検索装置において、第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【図14】第3の実施の形態の情報検索装置において、第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【図15】第3の実施の形態の情報検索装置において、画像IDがどのような画像グループに属するかを保持する一時的なデータベースを示す図である。
【図16】第3の実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【図17】図16の検索処理の続きの手順を示すフローチャートである。
【図18】図17の検索処理の続きの手順を示すフローチャートである。
【図19】第3の実施の形態の情報検索装置において、表示デバイスに画像を表示し、本装置の使用者による検索元画像の指定および検索結果として要求する画像の個数を受信した画面の一例を示している。
【図20】図15(d)に示した画像グループデータベース中のデータに基づいて、表示デバイスに表示された表示画面の一例を示す図である。
【符号の説明】
1 パーソナルコンピュータ
2 入力デバイス
3 ポインティングデバイス
4 表示デバイス
【発明の属する技術分野】
本発明は、複数の情報から目的の情報を検索する情報検索方法に関するものである。
【0002】
【従来の技術】
類似画像検索などの、画像そのものに関する情報を利用して検索する検索方法においては、画像中の人物や物体を判別しにくいため、その利用者が所望する画像を得にくいという欠点がある。そこで、類似度だけではなく、キーワード等の言語情報など様々な情報を画像にメタデータとして付加し、検索に利用することで精度を上げようとする提案がこれまでにもなされている。
【0003】
このような従来の第1の情報検索方法として、1つの画像を選んで従来の類似画像検索を行い、検索された結果のうち、似ていると判断したものにマークし、これらマークされたものは似た画像としてタグを登録し、この作業を繰り返して、人間が似ていると判断したものを分類できるようにしたものがある(例えば、特許文献1参照)。
【0004】
また、従来の第2の情報検索方法として、画像などの検索対象に関する主情報(撮影日時など)と状況情報(撮影者のスケジュールなど)を別に保管し、主情報と状況情報を同時に利用して検索する方法もある(例えば、特許文献2参照)。
【0005】
さらに、従来の第3の情報検索方法として、画像中のオブジェクトを示すような単語が入力された場合には、オブジェクト単位で検索を行う方法が提案されている(例えば、特許文献3参照)。
【0006】
また、従来の第4の情報検索方法として、色を特定する複数の色要素の値に基づいて複数の色グループに分類し、色情報が入力された場合には、画像の色特徴として色グループ毎に画像を検索する方法が提案されている(例えば、特許文献4参照)。
【0007】
さらに、従来の第5の情報検索方法として、グループキーワードを設定し、検索結果である画像を自動的に分類し代表画像のみを表示する方法が提案されている(例えば、特許文献5参照)。
【0008】
【特許文献1】
特開平11−134344号公報
【特許文献2】
特開2000−90106号公報
【特許文献3】
特開平10−312387号公報
【特許文献4】
特開平11−96364号公報
【特許文献5】
特開2000−276474号公報
【0009】
【発明が解決しようとする課題】
しかし、上記従来の第1の情報検索方法では、ある画像とある画像が類似しているという情報は得られても、検索効率の向上や検索結果の提示にその情報を活用していないため、利用者が所望する画像を検索する状況において、例えば、一度検索を行った結果である一連の画像群から特定の一枚を指定して再度検索する際に、メタデータが付加された画像を優先して指定して、より検索結果の精度が高くなる画像を指定できる、などということは不可能である。
【0010】
また、上記従来の第2の情報検索方法では、具体的な検索手段として画像に関する情報を利用しておらず、また、検索結果の提示手法については提案されていない。
【0011】
検索対象となる画像には、キーワード等のメタデータが付加された画像と、メタデータが付加されていない画像とが混在している。しかし、画像の色味や特徴量を扱うタイプの検索手法(例えば、上記従来の第1の情報検索方法)では、メタデータが付加された画像とメタデータが付加されていない画像は同じように扱われてきた。つまり、利用者は、メタデータが付加された画像とメタデータが付加されていない画像を区別できなかった。ところが、一般にメタデータが付加された画像の方が、一度人手による確認を受けているという点で、検索精度が高いと考えられる。また、検索にメタデータを利用できるという点でも、検索精度は高くなると考えられる。
【0012】
ある検索を行った結果などの、一連の画像群から特定の一枚を指定して再度検索する際に、メタデータが付加された画像を優先して指定できることで、より検索結果の精度が高くなる画像を指定できる。つまりメタデータが付加された画像をメタデータが付加されてない画像よりも入力や指定として優先し、利用者にメタデータが付加された画像の指定を促すような表示機構は、検索精度の向上からみて有効であると考えられる。
【0013】
本発明は、上記問題点に鑑みてなされたものであり、より精度の高い検索結果を得ることができる情報検索方法を提供することを第1の目的とする。
【0014】
さらに、上記従来の第3の情報検索方法では、画像中のオブジェクトに対してメタデータとしてキーワードを付加しているため、検索手法としてはキーワード検索のみを用いている。
【0015】
また、上記従来の第4の情報検索方法では、色情報のみに頼ったものであり、画像に色情報以外の、例えば言語的なメタデータが付加されていたとしても、それを利用することはできない。
【0016】
つまり、上記従来の第3および第4の情報検索方法では、検索に利用する情報が言語に基づく情報や画像に基づく情報など単一のものである。例えば、検索に利用する情報が言語に基づく情報であれば、検索結果が画像の色味や画像の雰囲気を重視すべき、例えば背景枠などの素材画像であっても、画像に基づく情報による検索はなされない。
【0017】
そこで、検索に利用する情報として言語に基づく情報と画像に基づく情報との両者を併用し、言語情報に基づく付加情報を利用した検索を行った結果に対して、検索結果に付加された言語情報が色味や構図を表す言葉であった場合には自動的に画像に基づく付加情報を利用した検索を行うことで、検索内容により適した検索結果を得られることが考えられる。
【0018】
本発明は、上記問題点に鑑みてなされたものであり、複数の検索処理を用いて検索内容により適した検索結果を得ることを可能にする情報検索方法を提供することを第2の目的とする。
【0019】
さらに、上記従来の第5の情報検索方法では、キーワード等の文字情報に頼ったものであり、画像から情報を抽出するものではなく、例えば色味や構図といったものは、それが言語情報になっていなければ利用できない。
【0020】
つまり、上記従来の第5の情報検索方法では、検索に利用する情報が言語に基づく情報や画像に基づく情報など単一のものであり、検索結果を分類する際にも単一の情報を用いている。言語に基づく情報による検索では、色味による分類はなされないし、その逆も然りである。
【0021】
そこで、検索に利用する情報として言語に基づく情報と画像に基づく情報との両者を併用し、内容に基づく検索結果を色味や構図で分類することで検索結果の一覧が見やすくなることが考えられる。
【0022】
本発明は、上記問題点に鑑みてなされたものであり、複数の検索処理を用いて検索結果の一覧を見やすくすることを可能にする情報検索方法を提供することを第3の目的とする。
【0023】
【課題を解決するための手段】
上記第1の目的を達成するため、請求項1に記載の情報検索方法は、検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、検索条件を入力する入力ステップと、該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する検索ステップと、該検索ステップによる検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付けステップと、該順序付けステップによって順序付けられた検索結果を提示する提示ステップとを有することを特徴とする。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0025】
図1は、本発明の第1の実施の形態に係る情報検索方法を適用した情報検索装置の概略構成を示す図である。
【0026】
同図に示すように、本実施の形態の情報検索装置は、パーソナルコンピュータ(PC)1と、キーボードなどの入力デバイス2と、マウスなどのポインティングデバイス3と、CRTディスプレイなどの表示デバイス4とによって、主として構成されている。
【0027】
PC1は、本装置の実行を制御する中央処理演算部(CPU)11と、RAMなどの揮発性メモリ12と、ハードディスクなどの不揮発性メモリ13とを備えている。
【0028】
検索対象となる画像や画像に対する付加情報を保持する画像データベースは不揮発性メモリ13に格納されている。この画像データベースの具体的な構造については図2および図3を用いて後述する。
【0029】
なお、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、LAN(Local Area Network)などのネットワークを介して処理が行われるシステムであっても本発明を適用できるのは言うまでもない。
【0030】
図2および図3は、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【0031】
図2に示したデータベースには、画像ID、画像のファイル名、および画像より予め抽出した画像特徴量が格納されている。画像IDは、本実施の形態の情報検索装置の中で一意に決定され、画像IDと画像ファイル名との間は一対一に対応する。また、画像特徴量はバイナリ形式で格納され、第2の検索処理で使用する。
【0032】
第2の検索処理は、画像特徴量や画像の構図、画像の分類など、画像情報に基づく検索手法であればよく、本発明では画像特徴量の抽出および検索に関する具体的な手法は特に規定しない。
【0033】
図2に示した例では、画像IDが“1”の画像のファイル名は“d001_001.jpg”であり、画像IDが“2”の画像のファイル名は“d001_002.jpg”である。
【0034】
図3に示したデータベースには、画像IDと当該画像に付加されたキーワードが格納されている。第1列には画像IDが、第2列にはキーワードが1単語ずつ格納されている。1つの画像に対し複数のキーワードが付加される場合もあるが、本実施の形態では、キーワードの列にはちょうど1単語のみを格納するように構成しているため、図3に示すように、この場合には、画像IDの列に同じ画像IDが現れるようにすることで、1つの画像IDに対して複数のキーワードが付加されることを表現する。
【0035】
図3に示した例では、画像IDが“1”の画像に「花」、「青空」というキーワードが、画像IDが“2”の画像には「自動車」というキーワードが付加されている。また、キーワードが付加されていない画像IDについては、当該画像IDはこのデータベースの第1列には現れない。
【0036】
なお、キーワードは文字列として格納され、第1の検索処理で使用する。第1の検索処理は、一般のキーワード検索やキーワードの意味内容に基づいたものなど、文字情報を利用したものであればよく、本発明では具体的な手法は特に規定しない。
【0037】
また、検索対象となる画像に付加する、文字情報としての付帯情報として、本実施の形態ではキーワードを利用しているが、他にもキーワードの意味内容に基づいたものなど、文字情報を利用したものであればよく、本発明では付帯情報の具体的な内容は特に限定するものではない。
【0038】
図4は、第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【0039】
同図において、第1列は、検索結果である画像IDであり、第2列は、検索元画像に対する当該画像IDで示された検索結果画像の類似度である。類似度は様々な値を採り得るが、ここでは一般性を失わない、0以上1以下の実数値を採ることとする。
【0040】
図4に示した例では、検索元画像と、画像IDが“1038”の画像との類似度が“1.00”、画像IDが“11”の画像との類似度が“0.98”、画像IDが“13555”の画像との類似度が“0.70”である。
【0041】
図5は、第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【0042】
同図において、第1列は、キーとなる画像の画像IDであり、第2列は、検索結果の画像IDである。
【0043】
図5に示した例では、画像IDが“1”の画像に対して、画像IDが“135”と“10640”の画像が検索結果であることを示している。同様に、画像IDが“2”の画像に対して、画像IDが“2250”の画像が検索結果であることを示している。
【0044】
なお、図4および図5で示したデータベースは、揮発性メモリ12上に置かれ、本実施の形態で示している一連の手続きが終了すると消滅する。
【0045】
図6および図7は、本実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【0046】
この検索処理のプログラムは、不揮発性メモリ13から読み出され、揮発性メモリ12を使用しつつ中央処理演算部16によって実行される。
【0047】
図6において、まず、ステップS1では、第2の検索処理で使用する画像特徴量を不揮発性メモリ13中の図2で示した画像データベースから画像ID毎に揮発性メモリ12に読み出す。
【0048】
次に、ステップS2では、まだ画像特徴量を読み出していない画像IDが存在するか否かを判定し、存在すればステップS1に戻る一方、存在しなければステップS3へ進む。
【0049】
ステップS3では、不揮発性メモリ13中の図2で示した画像データベース中からランダムに画像ファイル名を読み出し、表示デバイス4に画像を表示する。
【0050】
ステップS4では、本装置の使用者がポインティングデバイス3を用いて指定した検索元画像、および入力デバイス2を用いて指定した、検索結果として要求する画像の個数を受信し、揮発性メモリ12に格納する。
【0051】
ステップS5では、ステップS4で指定された画像のIDをキーとして、第1の検索処理によって検索を行う。
【0052】
ステップS6では、前記ステップS5で検索された画像ID列を図4で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0053】
ステップS7では、揮発性メモリ12よりステップS5で検索し、ステップS6で格納した図4で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0054】
ステップS8では、前記ステップS7で取り出した画像IDをキーとして第2の検索処理によって検索を行う。
【0055】
ステップS9では、前記ステップS8で検索された画像ID列をキー毎に分けて、図5で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0056】
ステップS10では、揮発性メモリ12中に格納されたステップ5およびステップ6による画像ID列のうち、ステップ7によって取り出されていない画像IDが存在するか否かを判定し、存在していればステップS7に戻る一方、存在していなければ図7のステップS11に進む。
【0057】
ステップS11では、揮発性メモリ12よりステップS6で格納された、図4で示した一時的なデータベースから画像IDを1つ取り出す。
【0058】
ステップ12では、揮発性メモリ12中に格納されている、図3で示したデータベースを検索し、当該画像にキーワードが付加されているか否かを判定し、キーワードが付加されていればステップS13へ進む一方、キーワードが付加されていなければステップS14へ進む。
【0059】
ステップS13では、前記ステップS11における当該IDを揮発性メモリ12中のキーワードあり画像リストに登録し、ステップS15へ進む。
【0060】
ステップS14では、前記ステップS11における当該IDを揮発性メモリ12中のキーワードなし画像リストに登録し、ステップS15へ進む。
【0061】
ステップS15では、揮発性メモリ12中の、ステップS6で図4に示した一時的なデータベースに格納された画像ID列のうち、ステップ11によって未だ取り出されていない画像IDが存在するか否かを判定し、存在していればステップS11に戻る一方、存在していなければステップS16に進む。
【0062】
ステップS16では、ステップS13でキーワードあり画像リストに登録された画像IDのうち1つを取り出す。
【0063】
ステップS17では、前記ステップS16で得た画像IDをキーとして、図2で示したデータベースより当該画像のファイル名を取り出す。
【0064】
ステップS18では、前記ステップS17で取り出したファイル名に従って画像をキーワードありマークを伴って表示デバイス4に表示する。
【0065】
ステップS19では、キーワードあり画像リストのうち、未だ表示していない画像が存在するか否かを判定し、存在すればステップ16に戻る一方、存在しなければステップS20に進む。
【0066】
ステップS20では、ステップS14でキーワードなし画像リストに登録された画像IDのうち1つを取り出す。
【0067】
ステップS21では、前記ステップS20で得た画像IDをキーとして、図2で示したデータベースより当該画像のファイル名を取り出す。
【0068】
ステップS22では、前記ステップS21で取り出したファイル名に従って画像を表示デバイス4に表示する。
【0069】
ステップS23では、キーワードあり画像リストのうち、未だ表示していない画像が存在するか否かを判定し、存在すればステップS20に戻る一方、存在しなければ本処理を終了する。
【0070】
このように、本実施の形態では、メタデータつき画像をメタデータなし画像よりも優先して表示し、メタデータなし画像よりも、メタデータつき画像の方の入力や指定を促すようにしたので、より精度の高い検索結果を利用者に提示することができる。
【0071】
次に、本発明の第2の実施の形態に係る情報検索処理を適用した情報検索装置について説明する。
【0072】
本実施の形態の情報検索装置は、上記第1の実施の形態の情報検索装置に対して、第1の検索処理によって検索された画像にキーワードが付加され、そのキーワードが予約キーワードテーブル(図8)に登録されているときにのみ、第2の検索処理による検索を行うようにした点が異なっている。したがって、本実施の形態では、ハードウェアは、上記第1の実施の形態の情報検索装置のハードウェア、すなわち前記図1に記載されたハードウェアと同様の構成のものを用いることにし、画像データベースも、図2〜図5のデータベースと同様の構成のものを用いることにする。
【0073】
図8は、第2の検索処理を自動的に起動するために、予めキーワードを登録する、予約キーワードテーブルの一例を示す図であり、予約キーワードテーブルには、後述するフローチャート(図9)によって、キーワードが格納されて行く。
【0074】
図8に示した例では、「パターン」と「テクスチャ」が登録されていることを示している。
【0075】
なお、本実施の形態では、特定の言語情報としてキーワードを用いているが、他にも言葉の意味的なものを入力することとしてもよいし、本発明では入力される内容は特に規定しない。
【0076】
なお、図8で示したデータベースは揮発性メモリ12上に置かれ、本実施の形態で示している一連の手続きが終了すると消滅する。
【0077】
図9は、図8に示した予約キーワードテーブルにキーワードを登録するキーワード登録処理の手順を示すフローチャートである。
【0078】
同図において、まず、ステップS31では、入力デバイス2よりキーワードテーブルに登録するキーワードの入力を受信する。
【0079】
次に、ステップS32では、前記ステップS31で入力されたキーワードを、図8で示したキーワードテーブルに登録する。
【0080】
ステップS33では、入力終了を受信したか否かを判定し、入力終了であれば本処理を終了する一方、入力終了でなければステップS31へ戻る。
【0081】
図10は、本実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【0082】
同図において、まず、ステップS41では、第2の検索処理で使用する画像特徴量を不揮発性メモリ13中の図2で示した画像データベースから画像ID毎に揮発性メモリ12に読み出す。
【0083】
次に、ステップS42では、まだ画像特徴量を読み出していない画像IDが存在するか否かを判定し、存在すればステップS41に戻る一方、存在しなければステップS43へ進む。
【0084】
ステップS43では、不揮発性メモリ13中の図2で示した画像データベース中からランダムに画像ファイル名を読み出し、表示デバイス4に画像を表示する。
【0085】
ステップS44では、本装置の使用者がポインティングデバイス3を用いて指定した検索元画像、および入力デバイス2を用いて指定した、検索結果として要求する画像の個数を受信し、揮発性メモリ12に格納する。
【0086】
ステップS45では、ステップS44で指定された画像のIDをキーとして、第1の検索処理によって検索を行う。
【0087】
ステップS46では、前記ステップS45で検索された画像ID列を図4で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0088】
ステップS47では、揮発性メモリ12よりステップS45で検索し、ステップS46で格納した図4で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0089】
ステップS48では、ステップS47で取り出した画像IDをキーに、図3で示したデータベースからキーワードのうち1つを取り出す。
【0090】
ステップS49では、前記ステップS48で取り出したキーワードをキーに、図8で示した予約キーワードデータベースを検索し、該キーワードが該データベース中に存在するか否かを判定し、存在すればステップS50に進む一方、存在しなければステップS52に進む。
【0091】
ステップS50では、前記ステップS47で取り出した画像IDをキーとして第2の検索処理によって検索を行う。
【0092】
ステップS51では、前記ステップS50で検索された画像ID列をキー毎に分けて、図5で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0093】
ステップS52では、ステップS48で取り出したキーワードのうち、ステップS48によってまだ取り出されていないキーワードが存在するか否かを判定し、存在すればステップS48に戻る一方、存在しなければステップS53に進む。
【0094】
ステップS53では、揮発性メモリ12中に格納されたステップS45およびステップS46による画像ID列のうち、ステップS47によって取り出されていない画像IDが存在するか否かを判定し、存在していればステップS47に戻る一方、存在していなければステップS54に進む。
【0095】
ステップS54では、ステップS46およびステップS51で揮発性メモリ12より図4で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0096】
ステップS55では、前記ステップS54で得た画像IDをキーとして図2で示したデータベースより当該画像のファイル名を取り出す。
【0097】
ステップS56では、前記ステップS55で取り出したファイル名に従って画像を表示デバイス4に表示する。
【0098】
ステップS57では、キーワードあり画像リストのうち、未だ表示していない画像が存在するか否かを判定し、存在すればステップS54に戻る一方、存在しなければ本処理を終了する。
【0099】
このように、本実施の形態では、第1の検索処理によって検索された画像にキーワードが付加され、そのキーワードが予約キーワードテーブルに登録されているときにのみ、第2の検索処理による検索を行うようにしたので、検索内容により適した検索結果を得ることができる。
【0100】
次に、本発明の第3の実施の形態に係る情報検索処理を適用した情報検索装置について説明する。
【0101】
本実施の形態の情報検索装置は、上記第1の実施の形態の情報検索装置に対して、情報検索処理方法が異なるのみであるため、そのハードウェアは、上記第1の実施の形態の情報検索装置のハードウェア、すなわち前記図1に記載されたハードウェアと同様の構成のものを用いることにする。
【0102】
図11および図12は、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【0103】
図11に示したデータベースには、画像ID、画像のファイル名、および画像より予め抽出した画像特徴量が格納されている。画像IDは、本実施の形態の情報検索装置の中で一意に決定され、画像IDと画像ファイル名との間は一対一に対応する。また、画像特徴量はバイナリ形式で格納され、第2の検索処理で使用する。
【0104】
図11に示した例では、画像IDが“1”の画像のファイル名は“D001_001.jpg”であり、画像IDが“2”の画像のファイル名は“D001_002.jpg”であり、画像IDが“3”の画像のファイル名は“D001_003.jpg”である。
【0105】
なお、第2の検索処理では、例えば特開2000−070268号公報に記載されているような画像特徴量を用いることができるが、他の種類の画像特徴量や、画像の構図、画像の分類など、画像情報に基づく検索手法であればよく、本発明では画像特徴量の抽出および検索に関する具体的な手法は規定しない。
【0106】
図12に示したデータベースには、画像IDと当該画像に付加されたキーワードが格納されている。第1列には画像IDが、第2列にはキーワードが1単語ずつ格納されている。1つの画像に対し複数のキーワードが付加される場合あるが、本実施の形態では、キーワードの列にはちょうど1単語のみを格納するように構成しているため、図12に示すように、この場合には、画像IDの列に同じ画像IDが現れるようにすることで、1つの画像IDに対して複数のキーワードが付加されることを表現する。
【0107】
図12に示した列では、画像IDが“1”の画像に「ビル」、「青空」というキーワードが、画像IDが“2”の画像には、「自動車」、「ビジネスマン」というキーワードが、画像IDが“3”の画像には「ビル」、「空」、「曇り」というキーワードが付加されている。また、キーワードが付加されていない画像IDについては、当該画像IDはこのデータベースの第1列には現れない。
【0108】
なお、キーワードは文字列として格納され、第1の検索処理で使用する。第1の検索処理は、一般のキーワード検索や、他にも特開2000−112957号公報に記載されているように、短文や文章を対象とした検索など、文字情報を利用したものであればよく、本発明では具体的な手法は特に規定しない。また、検索対象となる画像に付加する、文字情報としての付帯情報として、本実施の形態ではキーワードを利用しているが、他にも画像の内容を表現する短文や文章といった、文字情報を利用したものであればよく、本発明では付帯情報の具体的な内容は特に限定するものではない。
【0109】
図13は、第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【0110】
同図において、第1列は、検索結果である画像IDであり、第2列は、検索元画像に対する当該画像IDで示された検索結果画像の類似度である。類似度は様々な値を採り得るが、本実施の形態では一般性を失わない、0以上1以下の実数値を採ることとする。
【0111】
図13に示した例では、検索元画像と、画像IDが“3”の画像との類似度が“0.98”、画像IDが“13555”の画像との類似度が“0.97”、画像IDが“2250”の画像との類似度が“0.68”である。
【0112】
図14は、第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【0113】
同図において、第1列は、キーとなる画像の画像IDであり、第2列は、検索された結果の画像IDである。
【0114】
図14に示した例では、画像IDが“1”の画像に対して、画像IDが“1”と“3”の画像が検索結果であることを示している。同様に、画像IDが“2”の画像に対して、画像IDが“2”と“2250”の画像が検索結果であり、画像IDが“3”の画像に対して、画像IDが“3”,“1”,“35”,“2222”の画像が検索結果であることを示している。
【0115】
図15(a)は、画像IDがどのような画像グループに属するかを保持する一時的なデータベースを示す図である。
【0116】
同図において、第1列は、画像IDであり、第2列は、画像グループIDであり、第3列は、当該画像と検索元画像との類似度である。
【0117】
図15(a)に示した例では、画像IDが“1”と“3”の画像が同じ画像グループに属していて、画像IDが“244”の画像は異なる画像グループに属している。
【0118】
なお、本実施の形態では、分類方法の例として、1つの画像IDは1つの画像グループにしか属さない、かつ、類似度によって画像グループ内で画像ID毎に全順序を持っているという列を示したが、1つの画像IDが複数の画像グループに属す場合があってもよいし、画像グループ内で画像IDに順序がなくてもよいし、他のいかなる分類方法であってもよい。
【0119】
なお、図13〜図15で示したデータベースは、揮発性メモリ12上に置かれ、本実施の形態で示している一連の手続きが終了すると、各データの内容は消滅する。
【0120】
図16〜図18は、本実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【0121】
ステップS61からステップS70までは、検索元画像を入力として、第1および第2の検索処理を用いて検索を行って、検索結果を図13および図14で示した一時的なデータベースに保持するステップ群である。
【0122】
ステップS61では、第2の検索処理で使用する画像特徴量を、不揮発性メモリ13中の図11で示した画像データベースから画像ID毎に揮発性メモリ12に読み出す。
【0123】
ステップS62では、まだ画像特徴量を読み出していない画像IDが存在するか否かを判定し、存在すればステップS61に戻る一方、存在しなければステップS63へ進む。
【0124】
ステップS63では、不揮発性メモリ13中の図11で示した画像データベース中からランダムに画像ファイル名を読み出し、表示デバイス4に画像を表示する。
【0125】
ステップS64では、本装置の使用者がポインティングデバイス3を用いて指定した検索元画像、および入力デバイス2を用いて指定した、検索結果として要求する画像の個数を受信し、揮発性メモリ12に格納する。
【0126】
図19は、表示デバイス4に画像を表示し、本装置の使用者による検索元画像の指定および検索結果として要求する画像の個数を受信した画面の一例を示している。この例では、画像IDが“1”と“244”の画像を表示していて、そのうち本装置の使用者が、画像IDが“1”の画像を指定し、検索結果の個数として20個を指定したところである。画像IDの横に表示された“↑”でその画像が選択されたことを示している。
【0127】
ステップS65では、ステップS64で指定された画像のIDをキーとして、不揮発性メモリ13よりサブプログラムを呼び出し第1の検索処理によって検索を行う。
【0128】
例えば、特開2000−112956号公報に記載された手法を用いると、ステップS64の例にあるように、画像IDが“1”の画像が検索元画像として指定された場合、図12に示したように、画像IDが“1”の画像には「ビル」、「青空」というキーワードが付加されているので、「ビル」、「青空」というキーワードが付加されている、画像IDが“1”の画像と、「ビル」、「空」、「曇り」というキーワードが付加されている、画像IDが“3”の画像が検索される。
【0129】
なお、第1の検索処理では、付帯情報としてキーワードを利用しているが、図12の説明で述べたように、文字情報に基づいた検索手法であればよく、本装置では具体的な手法は特に規定しない。
【0130】
ステップS66では、前記ステップS65で検索された画像ID列を、図13で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0131】
ステップS67では、揮発性メモリ12よりステップS65で検索し、ステップS66で格納した図13で示した検索結果の一時的なデータベースから1つの画像IDを取り出す。
【0132】
ステップS68では、前記ステップS67で取り出した画像IDをキーとして、不揮発性メモリ13よりサブプログラムを呼び出し、第2の検索処理によって検索を行う。第2の検索処理による検索手法としては、前記特開2000−70268号公報に記載された検索手法を用いることができるが、図11の説明で述べたように、画像より抽出した情報に基づいた検索手法であればよく、本装置では具体的な手法は特に規定しない。
【0133】
ステップS69では、前記ステップS68で検索された画像ID列をキー毎に分けて、図14で示した一時的なデータベースの形式で揮発性メモリ12に格納する。
【0134】
例えば、画像IDが“1”の画像に対しては、画像IDが“1”と“3”のような画像が検索され、同様に画像IDが“3”の画像に対しては、画像IDが“1”と“3”のような画像が検索されたとすると、図14のようなデータが揮発性メモリ12中に格納される。
【0135】
ステップS70では、揮発性メモリ12中に格納された、ステップS65およびステップS66による画像ID列のうち、ステップS67によって取り出されていない画像IDが存在するか否かを判定し、存在していればステップS67に戻る一方、存在していなければステップS71に進む。
【0136】
ステップS71からステップS78までは、図13と図14で示した一時的なデータベースから図15(a)で示した画像グループデータベースにデータを格納する、つまり、第1および第2の検索処理による検索結果に基づいて画像IDのグループを生成するステップ群である。
【0137】
ステップS71では、ステップS66で格納された、図13に示した画像ID列の中から1つを取り出す。
【0138】
ステップS72では、前記ステップS71で取り出した画像IDをキーとして、ステップS68およびステップS69による操作で得た、図14で示した一時的なデータベースの中から結果画像IDを1つ取り出す。
【0139】
図14に示した一時的なデータベースでは、画像IDが“1”に対する結果画像IDとして“1”と“3”とがあるが、“3”を取り出した。
【0140】
ステップS73では、前記ステップS72で取り出した当該画像IDがステップS66および図4で示した一時データベースに格納された画像ID列に存在するか否かを判定し、存在すればステップS74に進む一方、存在しなければステップS77へ進む。
【0141】
画像IDが“3”に対しては、図15(a)で示したデータベース中に画像ID“3”が存在するので、ステップS74へ進む。
【0142】
ステップS74では、ステップS72におけるキーとなる画像IDが図15(a)で示した画像グループデータベースに存在するか否かを判定し、存在すればステップS75に進む一方、存在しなければステップS76に進む。
【0143】
ステップS75では、当該画像IDの画像グループIDを、ステップS72で取り出した画像IDに対する画像グループIDとし、図13に示した一時的なデータベースから当該画像IDの類似度を取り出し、図15(a)で示した画像グループデータベースに追加し揮発性メモリ12に格納する。そして、ステップS77へ進む。
【0144】
図15(a)で示した一時的なデータベースが図15(b)に示したデータの状態であった場合に、ステップS71で画像IDとして“1”を取り出したとする。画像IDが“1”の画像グループIDが“1”である場合に、ステップS72で画像ID“3”を取り出しているときには、画像ID“3”に対しても画像グループIDを“1”とし、類似度は図13にあるとおり“0.98”なので、これらのデータを図15(a)に示した画像グループデータベースに追加する。
追加した後の画像グループデータベースの状態が図15(c)となる。
【0145】
ステップS76では、ステップS71において取り出した画像IDおよびステップS72におけるキーワードとなる画像IDに対して、図15(a)で示した画像グループデータベース中に存在しない新規グループIDを付加し、図13に示した一時的なデータベースから当該画像IDの類似度を取り出し、図15(a)で示した画像グループデータベースに追加し、揮発性メモリ12に格納する。
そしてステップS77へ進む。
【0146】
図15(a)に示した一時的なデータベースが、図15(c)に示したデータの状態であった場合に、ステップS71で画像IDとして“2”を取り出したとする。画像ID“2”は、図15(c)で示した画像グループデータベース中に存在せず、ステップS72で画像ID“2250”を取り出したとすると、画像ID“2250”に対して新規に画像グループIDを“2”とし、類似度は図13にあるとおり“0.68”なので、これらのデータを図15(a)に示した画像グループデータベースに追加する。追加した後の画像グループデータベースの状態が図15(d)となる。
【0147】
ステップS77では、図14に示した一時的なデータベースからステップS71で取り出した画像IDをキーとする、ステップS72によって取り出されていない画像IDがまだ存在するか否かを判定する。もし存在すればステップS72に戻る一方、存在しなければステップS78に進む。
【0148】
ステップS78では、図13に示した一時的なデータベースからステップS71によって取り出されていない画像IDがまだ存在するか否かを判定する。もし存在すればステップS71に戻る一方、存在しなければステップS79に進む。
【0149】
ステップS79では、図15(a)に示した画像グループを示す一時的なデータベースを、第1キーを画像グループID、第2キーを類似度として、降順に並び替える。
【0150】
ステップS80からステップS87までは、図15(a)に示した画像グループデータベース中のデータに基づいて、表示デバイス4に画像を表示するステップ群である。
【0151】
ステップS80では、揮発性メモリ12中の画像グループID保持領域に“0”を設定する。画像グループID保持領域は画像グループIDが入る大きさの分だけ領域が確保されていればよく、一変数領域であればよいので、その構造は省略する。
【0152】
ステップS81では、ステップS79で並び替えた画像グループを示す一時的なデータベースの先頭から順に画像ID、画像グループIDおよび類似度を取り出す。
【0153】
ステップS82では、前記ステップS81で得た画像IDをキーとして、図11で示したデータベースより当該画像のファイル名を取り出す。
【0154】
ステップS83では、ステップS81で取り出した画像グループIDを、ステップS80またはステップS85で設定した画像グループID保持領域中の画像グループIDと同一であるか否かを判定する。もし同一であればステップS86に進む一方、同一でなければステップS84に進む。
【0155】
ステップS84では、以下のステップにおいて当該画像の類似度を表示する領域の背景色を変更する。
【0156】
ステップS85では、ステップS80で示した画像グループID領域に、ステップS81で取り出した画像グループIDを設定する。
【0157】
ステップS86では、ステップS82で得たファイル名を基に画像を表示する。
【0158】
ステップS87では、ステップS81において未だ取り出されていない画像IDが存在するか否かを判定する。存在すればステップS81に戻る一方、存在しなければ本処理を終了する。
【0159】
図20は、図15(d)に示した画像グループデータベース中のデータに基づいて、ステップS87まで終了した結果、つまり表示デバイス4に表示された表示画面である。
【0160】
図20に示した表示画面を生成するための本装置のステップS80からステップS87までの動作を、図15(d)に示したデータを基に説明する。
【0161】
ステップS80では、揮発性メモリ12中の画像グループID保持領域に“0”を設定する。ステップS81で、まず画像ID“1”が取り出され、ステップS83による判定では、画像グループID保持領域の値は“0”であるので、ステップS84に進み、ステップS84で背景色をセットする。ステップS85で画像グループID“1”を画像グループID領域にセットする。
【0162】
次に、画像IDが“3”の場合は、ステップS83による判定では、画像グループID領域の値は“1”であり、画像ID“3”の画像グループIDは“1”であるので、ステップS86に進み、背景色の変更は無い。
【0163】
次に、画像IDが“2250”の場合は、ステップS83による判定では、画像グループID領域の値は“1”であるが、画像ID“2250”の画像グループIDは“2”であるのでステップS84に進み、ステップS84で背景色を変更する。
【0164】
このようにして、画像IDが“1”と“3”のものは同じ画像グループに属するので、画像IDが“1”と“3”の画像を表示する部分の背景色は同じになり、画像IDが“2250”の画像は別のグループであるので背景色を異ならせている。
【0165】
このように、本実施の形態では、検索結果の一覧を見やすくすることができる。
【0166】
なお、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0167】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0168】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【0169】
また、コンピュータが読出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0170】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0171】
以下、本発明の実施態様の例を列挙する。
【0172】
(実施態様1) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する検索ステップと、
該検索ステップによる検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付けステップと、
該順序付けステップによって順序付けられた検索結果を提示する提示ステップとを有することを特徴とする情報検索方法。
【0173】
(実施態様2) 前記提示ステップでは、前記付帯情報のうち特定の種類の情報が付加されている検索結果である情報をマーキングして提示することを特徴とする実施態様1に記載の情報検索方法。
【0174】
(実施態様3) 前記付帯情報のうち特定の種類の情報とは、言語情報に基づくものであることを特徴とする実施態様1または2に記載の情報検索方法。
【0175】
(実施態様4) 前記検索対象となる情報は画像情報であることを特徴とする実施態様1〜3のいずれかに記載の情報検索方法。
【0176】
(実施態様5) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、
予約語を入力する第1の入力ステップと、
検索条件を入力する第2の入力ステップと、
該第2の入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果に、前記第1の入力ステップによって入力された予約語が付加されているか否かを判定する判定ステップと、
該判定ステップによる判定結果に基づいて情報を検索する第2の検索ステップと、
前記第1および第2の検索ステップによる検索結果を提示する提示ステップとを有することを特徴とする情報検索方法。
【0177】
(実施態様6) 前記第1の検索ステップで用いる付帯情報は、言語情報に基づくものであることを特徴とする実施態様5に記載の情報検索方法。
【0178】
(実施態様7) 前記検索対象となる情報は、画像情報であることを特徴とする実施態様5または6に記載の情報検索方法。
【0179】
(実施態様8) 前記第2の検索ステップで用いる付帯情報は、画像より抽出した情報に基づくものであることを特徴とする実施態様7に記載の情報検索方法。
【0180】
(実施態様9) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果および前記付帯情報に基づいて情報を検索する第2の検索ステップと、
該第2の検索ステップによる検索結果に基づいて、前記第1の検索ステップによる検索結果をグループ分けするグループ分けステップと、
該グループ分けステップによってグループ分けされた検索結果を提示する提示ステップとを有することを特徴とする情報検索方法。
【0181】
(実施態様10) 前記第1の検索ステップで用いる付帯情報は、言語情報に基づくものであることを特徴とする実施態様9に記載の情報検索方法。
【0182】
(実施態様11) 前記対象となる情報は、画像情報であることを特徴とする実施態様9または10に記載の情報検索方法。
【0183】
(実施態様12) 前記第2の検索ステップで用いる付帯情報は、画像より抽出した情報に基づくものであることを特徴とする実施態様11に記載の情報検索方法。
【0184】
(実施態様13) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法を、コンピュータに実現させるためのプログラムであって、
前記情報検索方法は、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する検索ステップと、
該検索ステップによる検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付けステップと、
該順序付けステップによって順序付けられた検索結果を提示する提示ステップとを有することを特徴とするプログラム。
【0185】
(実施態様14) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法を、コンピュータに実現させるためのプログラムであって、
前記情報検索方法は、
予約語を入力する第1の入力ステップと、
検索条件を入力する第2の入力ステップと、
該第2の入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果に、前記第1の入力ステップによって入力された予約語が付加されているか否かを判定する判定ステップと、
該判定ステップによる判定結果に基づいて情報を検索する第2の検索ステップと、
前記第1および第2の検索ステップによる検索結果を提示する提示ステップとを有することを特徴とするプログラム。
【0186】
(実施態様15) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法を、コンピュータに実現させるためのプログラムであって、
前記情報検索方法は、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索ステップと、
該第1の検索ステップによる検索結果および前記付帯情報に基づいて情報を検索する第2の検索ステップと、
該第2の検索ステップによる検索結果に基づいて、前記第1の検索ステップによる検索結果をグループ分けするグループ分けステップと、
該グループ分けステップによってグループ分けされた検索結果を提示する提示ステップとを有することを特徴とするプログラム。
【0187】
(実施態様16) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索装置において、検索条件を入力する入力手段と、
該入力手段によって入力された検索条件および前記付帯情報に基づいて情報を検索する検索手段と、
該検索手段による検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付け手段と、
該順序付け手段によって順序付けられた検索結果を提示する提示手段とを有することを特徴とする情報検索装置。
【0188】
(実施態様17) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索装置において、
予約語を入力する第1の入力手段と、
検索条件を入力する第2の入力手段と、
該第2の入力手段によって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索手段と、
該第1の検索手段による検索結果に、前記第1の入力手段によって入力された予約語が付加されているか否かを判定する判定手段と、
該判定手段による判定結果に基づいて情報を検索する第2の検索手段と、
前記第1および第2の検索手段による検索結果を提示する提示手段とを有することを特徴とする情報検索装置。
【0189】
(実施態様18) 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索装置において、
検索条件を入力する入力手段と、
該入力手段によって入力された検索条件および前記付帯情報に基づいて情報を検索する第1の検索手段と、
該第1の検索手段による検索結果および前記付帯情報に基づいて情報を検索する第2の検索手段と、
該第2の検索手段による検索結果に基づいて、前記第1の検索手段による検索結果をグループ分けするグループ分け手段と、
該グループ分け手段によってグループ分けされた検索結果を提示する提示手段とを有することを特徴とする情報検索装置。
【0190】
【発明の効果】
以上に説明したように、本発明によれば、メタデータつき画像をメタデータなし画像よりも優先して表示し、メタデータなし画像よりも、メタデータつき画像の方の入力や指定を促すようにしたので、より精度の高い検索結果を利用者に提示することができる。
【0191】
また、複数の検索処理を用いることで、検索内容により適した検索結果を得ることができる。
【0192】
さらに、複数の検索処理を用いて検索結果の一覧を見やすくすることを可能にする。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る情報検索方法を適用した情報検索装置の概略構成を示す図である。
【図2】検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図3】検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図4】第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【図5】第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【図6】第1の実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【図7】図6の検索処理の続きの手順を示すフローチャートである。
【図8】本発明の第2の実施の形態に係る情報検索方法を適用した情報検索装置において、第2の検索処理を自動的に起動するために、予めキーワードを登録する、予約キーワードテーブルの一例を示す図である。
【図9】図8の予約キーワードテーブルにキーワードを登録するキーワード登録処理の手順を示すフローチャートである。
【図10】第2の実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【図11】本発明の第3の実施の形態に係る情報検索方法を適用した情報検索装置において、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図12】第3の実施の形態の情報検索装置において、検索対象となる画像に対する付加情報を保持する画像データベースの構造の一例を示した図である。
【図13】第3の実施の形態の情報検索装置において、第1の検索処理によって検索された画像の画像IDと類似度を保持する一時的なデータベースを示す図である。
【図14】第3の実施の形態の情報検索装置において、第2の検索処理によって検索された画像の画像IDを保持する一時的なデータベースである。
【図15】第3の実施の形態の情報検索装置において、画像IDがどのような画像グループに属するかを保持する一時的なデータベースを示す図である。
【図16】第3の実施の形態の情報検索装置が実行する検索処理の手順を示すフローチャートである。
【図17】図16の検索処理の続きの手順を示すフローチャートである。
【図18】図17の検索処理の続きの手順を示すフローチャートである。
【図19】第3の実施の形態の情報検索装置において、表示デバイスに画像を表示し、本装置の使用者による検索元画像の指定および検索結果として要求する画像の個数を受信した画面の一例を示している。
【図20】図15(d)に示した画像グループデータベース中のデータに基づいて、表示デバイスに表示された表示画面の一例を示す図である。
【符号の説明】
1 パーソナルコンピュータ
2 入力デバイス
3 ポインティングデバイス
4 表示デバイス
Claims (1)
- 検索対象となる情報に予め付加された付帯情報に基づいて、検索対象の複数の情報のうちから所望の情報を検索する情報検索方法において、
検索条件を入力する入力ステップと、
該入力ステップによって入力された検索条件および前記付帯情報に基づいて情報を検索する検索ステップと、
該検索ステップによる検索結果を提示する際に、前記付帯情報のうち特定の種類の情報が付加されている検索結果を、該特定の種類の情報が付加されていない検索結果よりも、先の順位に順序付ける順序付けステップと、
該順序付けステップによって順序付けられた検索結果を提示する提示ステップとを有することを特徴とする情報検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003016000A JP2004227391A (ja) | 2003-01-24 | 2003-01-24 | 情報検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003016000A JP2004227391A (ja) | 2003-01-24 | 2003-01-24 | 情報検索方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004227391A true JP2004227391A (ja) | 2004-08-12 |
Family
ID=32903592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003016000A Pending JP2004227391A (ja) | 2003-01-24 | 2003-01-24 | 情報検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004227391A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286767A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
US8923654B2 (en) | 2007-12-11 | 2014-12-30 | Sony Corporation | Information processing apparatus and method, and storage medium storing program for displaying images that are divided into groups |
-
2003
- 2003-01-24 JP JP2003016000A patent/JP2004227391A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286767A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
US8203732B2 (en) | 2006-04-13 | 2012-06-19 | Canon Kabushiki Kaisha | Searching for an image utilized in a print request to detect a device which sent the print request |
US8923654B2 (en) | 2007-12-11 | 2014-12-30 | Sony Corporation | Information processing apparatus and method, and storage medium storing program for displaying images that are divided into groups |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10289643B2 (en) | Automatic discovery of popular landmarks | |
Fujimoto et al. | Manga109 dataset and creation of metadata | |
US20040024778A1 (en) | System for indexing textual and non-textual files | |
JP4240896B2 (ja) | 画像分類システム | |
US20190034455A1 (en) | Dynamic Glyph-Based Search | |
JPWO2004034282A1 (ja) | コンテンツ再利用管理装置およびコンテンツ再利用支援装置 | |
JP2002259410A (ja) | オブジェクト分類管理方法、オブジェクト分類管理システム、オブジェクト分類管理プログラム及び記録媒体 | |
JP2000339327A (ja) | サムネイル画像情報操作システム | |
JP2002007413A (ja) | 画像検索装置 | |
JP2005107931A (ja) | 画像検索装置 | |
JP2007140639A (ja) | データ表示装置、データ表示方法およびデータ表示プログラム | |
JP2004227391A (ja) | 情報検索方法 | |
JP2005128872A (ja) | 文書検索システム及び文書検索プログラム | |
US20040177067A1 (en) | Directory search method, directory search apparatus, program for implementing and operating the same, and memory medium | |
JP2006190060A (ja) | データベース検索方法、データベース検索プログラムおよび原稿処理機 | |
JP2001014333A (ja) | 画像検索システムおよび画像データベース管理装置 | |
JP2003241964A (ja) | ソフトウエア保守資料生成装置および生成プログラム | |
JP2009098829A (ja) | 漫画のコマ検索装置 | |
JP2006313497A (ja) | 画像検索装置及び画像検索方法 | |
JP3933407B2 (ja) | 文書処理装置、文書処理方法および文書処理プログラムが格納された記憶媒体 | |
JP2002063172A (ja) | 画像検索方法および装置と画像検索プログラムを記録した記録媒体 | |
JPH07120355B2 (ja) | 画像情報記憶検索方法 | |
JP2004287998A (ja) | 画像検索方法および画像検索装置ならびにプログラム | |
JPH11282873A (ja) | 画像データベース検索装置及びその検索方法並びに記録媒体 | |
JP2001229178A (ja) | 文書検索方法および装置およびこの方法を記録した記録媒体 |