JP2002366575A - イメージ検索方法及び検索装置 - Google Patents

イメージ検索方法及び検索装置

Info

Publication number
JP2002366575A
JP2002366575A JP2002085130A JP2002085130A JP2002366575A JP 2002366575 A JP2002366575 A JP 2002366575A JP 2002085130 A JP2002085130 A JP 2002085130A JP 2002085130 A JP2002085130 A JP 2002085130A JP 2002366575 A JP2002366575 A JP 2002366575A
Authority
JP
Japan
Prior art keywords
search
image
query
user
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002085130A
Other languages
English (en)
Other versions
JP3781696B2 (ja
Inventor
Jin Soo Lee
リー，ジン・スー
Hyeon Jun Kim
キム，ヒェオン・ジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2002366575A publication Critical patent/JP2002366575A/ja
Application granted granted Critical
Publication of JP3781696B2 publication Critical patent/JP3781696B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 既存のコンテンツベースのイメージ検索にお
いて、照会イメージをユーザーが直接作成して検索をし
たりキーワード検索をする場合に発生する問題を改善し
て、ユーザーがさらにやさしく検索を行うことができる
ようにしたイメージ検索方法とその装置を提供する。 【解決手段】 本発明のイメージ検索システムは、照会
イメージ、ユーザーが作成した照会イメージ、キーワー
ドのような異種照会を階層的、順序的に組み合せて適用
することによってイメージ検索を遂行することを特徴と
する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はコンテンツベースの
マルチメディア検索システムに係り、特にコンテンツベ
ースのイメージ検索システムにおいて異種の照会（質疑
ともいう）方法を順次に適用してイメージ検索を遂行す
ることによって効率的にコンテンツベースでのイメージ
検索を可能にするイメージ検索方法とその装置に関す
る。
【０００２】
【従来の技術】コンテンツベースのマルチメディア検索
は、最近になってキーワード検索の制限性を克服して人
間に自然な検索方法を提供するという側面で非常に重要
視されて多くの研究が報告されている。特に、イメージ
検索はインターネットの使用が増加することによって非
常に重要になっており、デジタルライブラリー等で非常
に有効に用いられている。コンテンツベースのイメージ
検索とはカラー（ｃｏｌｏｒ）やテクスチャ（ｔｅｘｔ
ｕｒｅ）等のようなイメージの特徴情報を分析して人間
の目でマルチメディアのコンテンツを見たときに、似た
イメージを探し出すことを意味する。検索性能を向上さ
せるために使用する多様な特徴情報が研究及び報告され
ている。さらには、コンテンツベースのイメージ検索機
能を備えた商用ソフトウェアパッケージが開発され販売
されるに至っている。
【０００３】大部分このようなイメージ検索器は、イメ
ージを検索するために照会イメージをユーザーがまず選
択するが、検索器は、探そうとするイメージが含まれた
イメージデータベースに属するイメージとユーザーが選
択した照会イメージをイメージの特徴情報を用いて相互
比較することによって最も似たイメージをユーザーに検
索結果として示す。
【０００４】しかし、イメージ毎に似ていることを示す
ための重要な特徴情報がすべて異なる場合があるために
検索結果がユーザーが満足する程度に高くないことが現
実である。
【０００５】このような制限を克服するためにユーザー
が１次検索結果を用いて探そうとするイメージと似たイ
メージに対する情報をシステムにフィードバックするこ
とにより、検索システムがそのイメージを検索するのに
さらに重要な特徴情報が何かを自動的に計算できるよう
にする方法がある。この方法によるイメージ検索性能は
相当に改善されたことが報告を通して分かる。
【０００６】前記説明した技術は、すべて特定イメージ
を検索するためにそのイメージと似た照会イメージをま
ずユーザーが選択しなければならない。照会イメージを
選択する方法は一般的にイメージを無作為に羅列してそ
の羅列されたイメージからユーザーが照会イメージを選
択する。この場合、無作為に出てくるイメージから適切
な照会イメージを探すことは容易ではないために、適切
な照会イメージを選択するために何度も検索を行わなけ
ればならない。
【０００７】このような問題点を解決するために照会イ
メージを選択する代わりに照会イメージをユーザーが直
接作成して検索をする方法が紹介されている。すなわ
ち、ユーザーが簡単なイメージ作成ツールを用いて探そ
うとするイメージの特徴情報を反映するイメージを作成
した後、ユーザーが作成したそのイメージを照会イメー
ジとして検索を遂行することである。
【０００８】しかしこの場合ユーザーが探そうとするイ
メージの特徴情報を十分に反映する程度に詳しい照会イ
メージを作成するのは困難であるので、簡単な照会イメ
ージを作成するしかなく、このような照会イメージを検
索するために用いられることができるイメージの特徴情
報も限定される。例えばテクスチャ情報等はユーザーが
作成して表現するのは難しいために、このような特徴情
報はユーザーが作成した照会イメージに反映することが
難しく、用いるのもむずかしい。したがってこのような
場合には結局制限された特徴情報のみを用いて検索する
ようになるために検索性能があまり高くないという短所
がある。
【０００９】一方、ユーザーがイメージを探すためのや
さしい照会方法としてキーワードを利用した方法があ
る。キーワードを利用した検索方法はイメージ毎にその
イメージの特徴をテキスト（キーワード）で予め描写し
ておき、ユーザーが探そうとするイメージを連想或いは
表現するキーワードを入力するとそのキーワードにマッ
チングするキーワードを持つイメージを探して検索結果
として示す方法である。
【００１０】しかしキーワード検索の場合にはユーザー
が考えるキーワードが探そうとするイメージのキーワー
ドとして書込まれているときにのみ適切な検索性能を期
待できるのでキーワードのみで所望するイメージを探す
ことは非常にむずかしい。すなわち、同じ内容のマルチ
メディアデータを探そうとしても人ごとにそのマルチメ
ディアデータを連想或いは表現する単語、文章、描写方
法などが異なるのが一般的で、キーワードのみで所望す
るイメージを探すことは非常に難しい。また、各国別に
キーワードで表現する言語が異なるので、多重言語を支
援しなければキーワード検索はその制限が非常に大きく
て特別の応用範囲を除外するとその実用性が落ちる。
【００１１】
【発明が解決しようとする課題】本発明は前記したよう
な問題点を解決するためのものであって、既存のコンテ
ンツベースのイメージ検索において、照会イメージをユ
ーザーが直接作成して検索をしたり、キーワード検索を
する場合に発生する問題を改善して、ユーザーがさらに
やさしく検索を行うことができるようにしたイメージ検
索方法とその装置を提供することを目的にする。
【００１２】本発明の他の目的はコンテンツベースマル
チメディア検索において特に、インターネットベースの
ビデオ検索システムにおいて互いに違う照会検索モジュ
ールを統合することができるベースを提供することであ
る。
【００１３】
【課題を解決するための手段】前記のような目的を達成
するための本発明によるイメージ検索システムは、照会
イメージ、ユーザーが作成した照会イメージ、キーワー
ドのような異種照会を階層的であって順序的に組合せて
適用することによってイメージ検索を遂行することを特
徴とする。
【００１４】本発明によるイメージ検索システムにおい
て、照会の方法にはユーザーが指定するスケッチを利用
する方法や、テキスト情報を利用する方法、或いは前記
スケッチとテキスト情報を組合せる方法を適用すること
ができる。
【００１５】本発明の一実施態様によるイメージ検索シ
ステムは、ユーザーが照会イメージを作成してこの作成
されたイメージを照会イメージとしてまずラフな検索を
遂行して、ユーザが作成した照会イメージを利用したラ
フな検索結果から少なくとも一つ以上の照会イメージを
選択して再検索を遂行することを特徴とする。
【００１６】本発明の他の実施態様によるイメージ検索
システムは、キーワードを利用してまずラフな検索を遂
行して、キーワードを利用したラフな検索結果からユー
ザーが少なくとも一つ以上の照会イメージを選択して再
検索を遂行することを特徴とする。
【００１７】本発明のさらに他の実施態様によるイメー
ジ検索システムは、キーワードを利用してラフな検索を
遂行して、前記キーワードを利用したラフな検索結果に
限ってユーザーが作成した照会イメージを用いて中間検
索を遂行して、前記中間検索結果からユーザーが少なく
とも一つ以上の照会イメージを選択して再検索を遂行す
ることを特徴とする。
【００１８】本発明のさらに他の実施態様によるイメー
ジ検索システムは、ユーザーが作成した照会イメージを
利用してラフな検索を遂行して、前記ユーザが作成した
照会イメージを利用したラフな検索結果に限ってキーワ
ードを用いて中間検索を遂行して、前記中間検索結果か
らユーザーが少なくとも一つ以上の照会イメージを選択
して再検索を遂行することを特徴とする。
【００１９】本発明のさらに他の実施態様によるイメー
ジ検索システムは、ユーザーが作成した照会イメージ
と、探そうとするイメージを記述するテキスト情報
（例：キーワード）を用いてラフな検索を遂行して、前
記ラフな検索結果からユーザーが少なくとも一つ以上の
照会イメージを選択して再検索を遂行することを特徴と
する。
【００２０】
【発明の実施の形態】以下、前記したようになされた本
発明のイメージ検索システムを添付された図面を参照し
てさらに詳細に説明する。
【００２１】本発明の特徴で説明したように異種の情報
を用いる相異なる方式の照会及び検索を組合せるために
は、いかなる順序で、いかなる方法で検索結果を組合せ
て用いるのかが非常に重要である。すなわち、このよう
な組合せ方法が効率的でない場合所望する性能を得られ
ない場合もあるためである。
【００２２】本発明で提供するイメージ検索方法は、照
会の順序によって大体３種に分類した。最初の場合は、
まずスケッチを用いたユーザーが作成したイメージを利
用して検索をした後、一般的な照会イメージを利用した
検索を行う方法であって、二つ目はテキスト情報（例；
キーワード）を利用して検索をした後、照会イメージに
よる検索を行う方法であって、３番目はユーザーが作成
した照会イメージを用いてラフな検索を行うことと、キ
ーワードのようなテキスト情報を用いてラフな検索を行
うことを組合せて検索した後、照会イメージによる検索
を行う方法である。
【００２３】このような本発明のイメージ検索方法を各
場合別にさらに詳細に説明する。 １．スケッチを利用した照会後、照会イメージを利用し
た照会による検索 この方法は、ユーザーが作成した照会イメージを利用し
て検索を遂行する段階と、そのユーザが作成した照会イ
メージを利用した検索結果からユーザーが類似すると思
うイメージを一つ以上選択する段階と、前記選択された
一つ以上のイメージを照会イメージに指定して再検索を
遂行する段階とを備え、次のようにイメージ検索を遂行
する。
【００２４】ユーザーが照会イメージをまず作成した
後、その作成されたイメージを照会イメージとして１次
検索（ラフな検索）を遂行する。ユーザーが照会イメー
ジを作成することができるユーザーインタフェースの例
を図１に示した。すなわち、イメージボード１をＮ×Ｍ
個のブロック２に分割して各ブロックを選択されたカラ
ーで埋めることによってカラーを特徴情報とする照会イ
メージを作成することができる。
【００２５】図２は、照会イメージ作成のための他の例
を示す。ユーザーはユーザーが指定した太さとカラーを
持つペンを利用してイメージボード３に図形４等のよう
なイメージをスケッチをできる。または予め指定された
円や、四角形のような基本図形を描いてさらにスケッチ
を容易にできる。
【００２６】このようなツールを用いて作成された照会
イメージを利用して検索を遂行した後に、１次検索（ラ
フな検索）結果（検索システムからユーザが作成した照
会イメージを利用してイメージを検索してマッチングし
たイメージをインタフェース窓に検索結果として表示し
たもの）からユーザーが探そうとするイメージと似てい
ると考えられるイメージを選択してフィードバックをす
ると、その選択されたイメージを照会イメージとする２
次検索を遂行する。すなわち、２次検索からはユーザー
がフィードバックした照会イメージを利用した照会を行
う。ユーザーはこのように探そうとするイメージが検索
される時まで照会イメージを利用した照会を通して検索
をするが、場合によってユーザーは前記ラフな検索結果
から複数の照会イメージを選択する場合もある。このよ
うに複数個の照会イメージが選択された場合には次のよ
うな検索方法を用いることができる。
【００２７】１．１特徴情報加重値を用いて一つの照会
イメージを用いる検索 この方法は、ユーザーがフィードバックをしたイメージ
から一つのイメージを照会イメージとして用いて再検索
する方法である。
【００２８】ユーザーが作成したイメージを照会イメー
ジとしてラフな検索した結果からユーザーが類似である
と選択したイメージすなわち、複数の選択されたイメー
ジは、ユーザーが判断した時ユーザーが探そうとするイ
メージと類似するイメージと言える。このような情報を
用いて検索システムは自動的に検索に用いられる特徴情
報間の加重値を設定することができる。ここで特徴情報
とはイメージを描写する情報の中でカラーヒストグラム
のように下位レベル特徴情報のみを意味すると定義す
る。言い換えれば、キーワードのような上位レベル情報
は本発明に言及する特徴情報に属しないし、テキスト情
報という別途の名前で指定して用いる。
【００２９】例えばカラーヒストグラム（ＣＯＬＯＲ
ＨＩＳＴＯＧＲＡＭ）とテクスチャヒストグラム（ＴＥ
ＸＴＵＲＥ ＨＩＳＴＯＧＲＡＭ）の特徴情報を用いる
と仮定する。選択されたイメージ間の類似度を各々の特
徴情報のみを用いて計算した時類似度が大きく出る特徴
情報に相対的に高い加重値を与えることができる。相対
的に高い加重値を与えるということは検索時のその特徴
情報を用いて出た結果にそれだけ多くの比重を置いて全
体の類似度を計算することを意味する。式１に前記加重
値を計算する例を示した。
【００３０】
【数１】 （ここで、ｎは参照対象数、ｍは類似度測定に用いられ
た特徴素数、Ｗｅｉｇhｔ（ｋ）はｋ番目の特徴素の加
重値、Ｓｉｍ（ｉ、ｊ、ｋ）はｋ番目の特徴素を用いた
時ｉ番目参照対象とｊ番目参照対象の類似度、Ｃｏｎｔ
（ｋ）はｋ番目の特徴素の寄与度）
【００３１】前記類似度Ｓｉｍ（ｉ、ｊ、ｋ）の計算
は、二つの対象客体間でなされる。したがってイメージ
検索の場合、照会として用いられたイメージと検索対象
イメージを順に選択して照会イメージと対象イメージ間
の類似度を計算することによって類似するイメージを探
す。ここでｉ番目参照対象とｊ番目参照対象の類似度と
いうのはこのように二つのイメージｉ、ｊ間の類似度を
意味する。
【００３２】一般的に類似度は、二つのイメージが含ん
でいる特徴素値を比較してその差を求めることによって
なされる。特徴素とはカラーヒストグラムのような情報
をいう。一つのイメージが含んでいる特徴素は複数で有
り得る。例えばカラーヒストグラムとテクスチャヒスト
グラムを同時に含んでいて、これらを各々利用して類似
度を計算した後、その合計で全体の類似度を求めるよう
にしてもよい。このように一つのイメージがＮ個の特徴
素を含んでいる場合、各々の特徴素のみを利用して類似
度を順に計算した後、これを合せて最終的な類似度を計
算する。ｋ番目の特徴素を用いて類似度を計算するとい
う意味はこのようにＮ個の特徴素中の一つであるｋ番目
の特徴素を用いてイメージｉとｊの類似度を求めるとい
う意味である。
【００３３】一つの特徴素を用いて類似度を計算する方
法は、特徴素の種類によって異なる場合がある。しかし
一般的な実施の例として類似度は“最大距離−測定され
た距離”で求められ、測定された距離は二つ特徴素値の
絶対値の差の合計で求めることができる。例えばカラー
ヒストグラムはイメージに存在するピクセルのカラー分
布を示すが、このような分布は一定個数の数値で表現さ
れる。二つのヒストグラム間の距離は同じ位置にある数
値の差の絶対値を取った後、これらの合計で表現でき
る。最大距離とは与えられた特徴素の性格上可能な最も
大きな距離値を意味するが一般的にヒストグラムは最大
距離が‘１’である。
【００３４】前記式１のように加重値が計算されるとこ
の加重値を適用して実際検索を行うが、検索をするため
の照会イメージは選択された複数のイメージから一つに
指定して行う。複数のイメージから一つの照会イメージ
を選択する方法は、選択されたイメージから最も先に選
択されたイメージに指定したり、ユーザーが初期作成し
た照会イメージと類似度を比較して最も高い類似度を持
つイメージを指定する方法を用いることができる。加重
値を反映した二イメージ間の類似度計算は式２を用い
る。
【００３５】
【数２】 （ここで、ｎは特徴情報数、ｗｉは特徴情報ｉの加重
値、Ｓｉｍｉは特徴情報ｉを用いた時の類似度）
【００３６】１．２特徴情報加重値を用いて複数の照会
イメージを用いる検索 この方法は、ユーザーがフィードバックをした照会イメ
ージから複数のイメージを照会イメージとして再検索す
る方法である。
【００３７】前述したようにユーザーが複数のイメージ
を選択した場合、前述した加重値設定方法と同一の方法
で特徴情報の加重値を設定する。このとき、設定された
加重値を用いてイメージを検索するために複数の選択さ
れたイメージをすべて照会イメージとして用いる。前述
した一つの照会イメージを用いる検索では対象イメージ
と照会イメージ間の類似度を計算することによって検索
されるのに対して、このように複数の選択されたイメー
ジをすべて照会イメージとして用いる検索の場合には対
象イメージと選択された複数のイメージを順に一つずつ
比較して類似度を計算した後、計算された類似度をすべ
て合せた値を最終的な類似度に決定する。この場合にお
ける類似度の計算は式３のようである。
【００３８】
【数３】 （ここで、ｎは照会イメージ数、ｍは類似度測定に用い
られた特徴素数、Ｓｉｍ（ｊ、ｋ）はｋ番目の特徴素を
用いたときの参照対象とｊ番目照会イメージ間の類似
度）
【００３９】このようにユーザが作成した照会イメージ
を利用したラフな検索結果から一つまたは一つ以上の照
会イメージを選択して特徴情報加重値を用いて再検索を
遂行する方法１．１、１．２を図３にフローチャートで
示した。
【００４０】図３に示したように、照会イメージをユー
ザーが図１や図２のようなイメージ作成ツールを利用し
て作成して、この作成された照会イメージで検索を遂行
してその検索結果からユーザーが類似であると考えられ
るイメージを一つ以上選択してフィードバックをする。
そうすると選択されたイメージを用いてその特徴情報加
重値を抽出して、選択されたイメージから次の照会に用
いるイメージを指定して指定された照会イメージと抽出
された加重値とを用いて再検索を遂行することによって
探そうとするイメージを求めることができる。
【００４１】１．３ テキスト情報と特徴情報を選択的
に用いる検索 前述した２種の方法１．１、１．２は、すべて再検索時
にカラーヒストグラムのような特徴情報のみを用いて検
索を遂行する例である。しかし一般的にイメージを記述
する情報にはキーワードのようなテキスト情報と、カラ
ーヒストグラムのような特徴情報を一緒に含んでいる。
その場合、特徴情報のみを用いるよりは各照会時ごとに
テキスト情報がより検索に適切であるのか、または特徴
情報を用いるのがより適切であるのかを決定して検索す
ることが効率的である。現在の照会でこのような決定を
するためにキーワード包含条件（ＩｎｃｌｕｄｉｎｇＲ
ａｔｅ）を利用することができる。
【００４２】図４は、テキスト情報と特徴情報を選択的
に用いる検索の一例を示す。まず、照会イメージをユー
ザーが作成して、この作成された照会イメージでラフな
検索を遂行した後、検索結果からユーザーが探そうとす
るイメージと類似するイメージを一つ以上選択する。以
後にはキーワードを用いた再検索や特徴情報を用いた再
検索の中でいずれか一つを選択的に用いる。すなわち、
選択された類似イメージ間に共通に記述されたテキスト
情報、すなわちキーワードがある場合その照会は共通に
記述されたキーワードを用いて検索する。これはユーザ
ーの検索の観点がそのキーワードに該当することを意味
する。例えば特定キーワードが選択されたイメージ中か
ら７０％以上（特定しきい値Ｔｈ以上）共通に含まれて
いる場合そのキーワードを用いて再検索をするように指
定することができる。
【００４３】ここで７０％は、特定キーワードが共通に
含まれた程度を示すもので、キーワードＫが共通に含ま
れた程度、ＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＝（ｎ／
ｍ）×１００（％）によって計算された。ここでｎはユ
ーザーによって選択されたイメージ中からキーワードＫ
を含むイメージの数、ｍはユーザーによって選択された
イメージの数である。
【００４４】したがって、共通に含まれたキーワードが
複数の場合には複数のキーワードを用いて検索すること
ができる。もしも７０％以上共通に含まれたキーワード
がない場合には特徴情報のみを用いて再検索を遂行する
が、その場合、前述した方法（式１及び式２参照）で加
重値を計算して、選択されたイメージから一つまたはす
べてを照会イメージと指定して検索を遂行する。すなわ
ち、ＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔｈの条件を
満足するキーワードＫが存在しなければ選択されたイメ
ージを用いて特徴情報に対する加重値を抽出して、選択
されたイメージから次の照会イメージを指定してその指
定されたイメージと前記抽出された加重値を用いて再検
索を遂行することによって探そうとするイメージを求め
る。
【００４５】前記したようにユーザーが選択した類似イ
メージの分析結果によってキーワードまたは特徴情報の
中で一つを選択的に用いて再検索する例を説明したが、
この概念を拡張すると、キーワードと特徴情報を組合せ
て再検索を行うことができる。このようにキーワードと
特徴情報を組合せて検索する場合は次のように３種の場
合を考慮することができる。
【００４６】１．３．１ キワード−特徴情報検索 前記キーワードが共通に含まれた程度、Ｉｎｃｌｕｄｉ
ｎｇＲａｔｅが指定されたしきい値Ｔｈ１より大きな値
を持つキーワードが存在する場合次のような方法でキー
ワードと特徴情報を組合せる検索を行う。
【００４７】すなわち、そのキーワードのみを用いて検
索した後、マッチング点数が一定しきい値Ｔｈ１以上に
なるイメージのみを結果候補に決定して、前記決定され
た候補を対象に、作成された照会イメージとの類似度を
特徴情報を用いて計算して、前記計算された類似度が高
い順序で検索結果を抽出することである。
【００４８】１．３．２ 特徴情報−キーワード検索 前記キーワードが共通に含まれた程度、Ｉｎｃｌｕｄｉ
ｎｇＲａｔｅが指定されたしきい値Ｔｈ１より大きな値
を持つキーワードがない場合には次のような方法でキー
ワードと特徴情報を組合せる検索を行う。
【００４９】すなわち、指定された照会イメージとの類
似度を特徴情報を利用して計算して、前記計算された類
似度が一定値以上になるイメージのみを結果の候補と決
定して、その決定された候補を対象にして、Ｉｎｃｌｕ
ｄｉｎｇＲａｔｅがしきい値Ｔｈ１を越えないがそれよ
り低いしきい値Ｔｈ２（Ｔｈ２＜Ｔｈ１）より高いＩｎ
ｃｌｕｄｉｎｇＲａｔｅを持つキーワードが存在する場
合、そのキーワードを用いて検索してマッチング点数が
高い順に検索結果を抽出する。
【００５０】このようにＩｎｃｌｕｄｉｎｇＲａｔｅに
よってキーワード−特徴情報または特徴情報−キーワー
ド検索の順に再検索する方法を図５に示した。
【００５１】図５を参照して前記検索方法１．３．１、
１．３．２をさらに詳しく説明する。
【００５２】まず、ユーザーが照会イメージを作成して
作成されたイメージを照会イメージで検索して、検索結
果からユーザーが類似であると考えるイメージを一つ以
上選択する。そうするとユーザーが選択したイメージ中
に含まれたキーワードからＩｎｃｌｕｄｉｎｇＲａｔｅ
（Ｋ）＞Ｔｈ１の条件を満足するキーワードがあるか否
かを検査して選択されたイメージから照会イメージを指
定する。そしてＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔ
ｈ１の条件を満足するキーワードＫが一つ以上存在して
いるか否かを判断する。
【００５３】その判断結果、前記条件を満足するキーワ
ードＫが一つ以上存在する場合には選択されたイメージ
を用いて特徴情報に対する加重値を抽出してキーワード
Ｋを用いて再検索を遂行する。マッチング点数がしきい
値Ｔ１以上のイメージを結果候補に指定した後に、その
結果候補を対象に前記指定された照会イメージとの類似
度を計算して、類似度が高い順に結果を抽出することに
よって探そうとするイメージを求める。しかし、判断結
果が前記条件を満足するキーワードＫがない場合には選
択されたイメージを用いて特徴情報に対する加重値を抽
出して指定された照会イメージと前記抽出された加重値
を用いて類似度を計算した後、その類似度がしきい値以
上のイメージを結果候補に指定して、Ｉｎｃｌｕｄｉｎ
ｇＲａｔｅ（Ｋ）＞Ｔｈ２（Ｔｈ２＜Ｔｈ１）を満足す
るキーワードＫを用いて前記指定された結果候補を対象
にマッチング点数を計算して、そのマッチング点数が高
い順に結果を抽出することによって探そうとするイメー
ジを求める。
【００５４】１．３．３ 特徴情報／キーワード組合せ
検索 この方法は、特徴情報とキーワードを組合せて検索する
方法であって、選択された複数の類似イメージを用いて
特徴情報の加重値を抽出し、またキーワードの加重値を
前記ＩｎｃｌｕｄｉｎｇＲａｔｅ×αに指定して、全体
の類似度を、加重値を反映した特徴情報を用いた時の類
似度＋キーワード加重値×キーワードマッチング点数で
計算した後に、この計算された全体の類似度値を利用し
て検索結果を抽出する方法である。
【００５５】このように特徴情報とキーワードを常に加
重値を用いて組合せて再検索する方法を図６に示した。
【００５６】図６を参照してこの検索方法１．３．３を
さらに詳しく説明する。まず、ユーザーが作成した照会
イメージで検索を遂行してその検索結果からユーザーが
類似イメージを一つ以上選択する。そうすると選択され
たイメージを用いて加重値を抽出し、またその選択され
たイメージを用いてＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）
＞Ｔｈ１を満足するキーワードを抽出し、この抽出され
たＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）を用いてキーワー
ドＫの加重値を抽出する。そして選択されたイメージか
ら次の照会イメージを指定してこの指定された照会イメ
ージと抽出された加重値を用いて類似度を計算し、キー
ワードＫのマッチング点数を計算する。次にその類似度
とマッチング点数をキーワードＫの加重値を反映して合
算することによって全体の類似度を求める。
【００５７】すなわち、全体の類似度＝加重値を反映し
た特徴情報を用いた時の類似度＋キーワード加重値×キ
ーワードマッチング点数で全体の類似度を計算する。こ
のように計算された全体の類似度値を利用して検索を遂
行して全体の類似度が高い順に結果を抽出することによ
って探そうとするイメージを求める。
【００５８】これまで説明したようにユーザーが選択し
た類似イメージを用いてテキスト情報と下位レベルの特
徴情報を自動的に選択して検索したりまたは組合せて検
索する方法１．３、１．３．１、１．３．２、１．３．
３はスケッチを用いたイメージ検索を既存イメージ検索
に拡張して適用する場合もある。
【００５９】例えば既存の特徴イメージを照会イメージ
として選択して類似イメージを検索する方法に適用す
る。
【００６０】この方法に適用する場合、探そうとするイ
メージをユーザーが探す際に、中間検索結果からユーザ
ーが類似するイメージを選択する。検索システムはその
選択された類似イメージを前述した方法と同じ方法（Ｉ
ｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）条件などを利用した検
索順序と照会要素などの選択方法）を用いて、次の検索
には下位レベルの特徴情報を用いるか、またはテキスト
情報を用いることかを決定することができる。
【００６１】このような拡張された使用例を図７にフロ
ーチャートで例示した。図７は前記図４の概念１．３を
拡張したものである。
【００６２】すなわち、ユーザーが照会イメージ（作成
したことはない）を、存在するイメージから選択してそ
の選択された照会イメージで検索をした結果から類似イ
メージを一つ以上選択してフィードバックをすると、検
索システムではユーザーが類似であると選択したイメー
ジ中に含まれたキーワードＫ中からＩｎｃｌｕｄｉｎｇ
Ｒａｔｅ（Ｋ）＞Ｔｈ１を満足するキーワードがあるか
否かを検査する。上記条件を満足するキーワードＫが一
つ以上存在するとそのキーワードＫを用いた再検索を遂
行し、そうでない場合にはユーザーが類似であると選択
したイメージを用いて特徴情報に対する加重値抽出、選
択されたイメージから次の照会イメージ指定（指定方法
に前述したように例えば最初選択したイメージを照会イ
メージとする方法などがあり得る）、指定された照会イ
メージと抽出された加重値を用いた再検索の手順で探そ
うとするイメージを求める。
【００６３】一方、テキスト情報と特徴情報の中でいず
れか一つを選択しないで組合せて再検索する方法１．
３．１、１．３．２、１．３．３も同様に既存イメージ
検索方法に拡張して適用できる。
【００６４】２．テキスト情報を利用した照会後、照会
イメージを利用した照会、検索 前の１．節では初期ユーザーが適切な照会イメージを探
すためにユーザーが作成した照会イメージを先に用いて
照会イメージを探した後、再検索する方法を説明した。
ここではユーザーが作成した照会イメージを用いる代わ
りキーワードのようなテキスト情報を用いる方法を説明
する。図８にテキスト情報（例：キーワード）を利用し
た照会に対するラフな検索結果から照会イメージを選択
して再検索を遂行する方法を示す。
【００６５】まず、ユーザーは、キーワードを用いてラ
フな検索結果を得る。すなわち、キーワードからの入力
によってキーワードを用いたイメージ検索を行ってその
検索結果を得る。そしてこのラフな検索結果からユーザ
ーが類似するイメージを一つ以上選択する。このように
複数の類似イメージが選択された以後には前記した‘特
徴情報加重値を用いて一つの照会イメージを用いる検索
方法’や、‘特徴情報加重値を用いて複数の照会イメー
ジを用いた検索方法’を適用して再検索を遂行すること
ができる。すなわち、ユーザーにより選択された複数の
類似イメージの加重値を抽出して、選択されたイメージ
から次の照会イメージを指定してその指定された照会イ
メージと前記抽出された加重値を適用して特徴情報を用
いた再検索を遂行することによって、探そうとするイメ
ージを求める。
【００６６】３．スケッチ／テキスト情報を利用した照
会−照会イメージを利用した照会、検索 ここではユーザーが作成した照会イメージを用いてラフ
な検索を遂行する方法と、キーワードのようなテキスト
情報を用いてラフな検索を遂行する方法を組合せてラフ
な検索を遂行する方法を説明する。
【００６７】この方法ではテキスト情報としてキーワー
ドを用いることを例に挙げて説明する。まず、ユーザー
は照会イメージを作成して、同時に適切なキーワードを
入力した後、これらを利用してラフな検索を遂行する。
このように２個の異種照会要素（本実施形態では作成さ
れた照会イメージと、キーワード）を組合せて検索する
方法は次のように３種を考慮することができる。
【００６８】３．１ キワード−スケッチ検索 キーワード−スケッチ検索は、キーワードのみを用いて
検索した後、マッチング点数が一定しきい値以上になる
イメージのみを結果候補として決定して、この決定され
た候補を対象に、作成された照会イメージとの類似度を
特徴情報を用いて計算して、前記計算された類似度が高
い順序で検索結果を抽出する方法である。
【００６９】図９にこの方法を示した。照会イメージが
作成される。そしてユーザーが入力したキーワードを用
いてイメージ検索を遂行してマッチング点数がしきい値
以上のイメージを結果候補として抽出した後に、抽出さ
れた結果候補とユーザーが作成した照会イメージとの類
似度を計算して類似度が高い順序で検索結果を抽出す
る。この検索結果イメージ中からユーザーが類似である
と考えるイメージを一つ以上選択してその選択されたイ
メージを用いて加重値を抽出した後に、ユーザーが選択
したイメージから照会イメージを指定する。
【００７０】このように照会イメージが指定されると、
その指定された照会イメージと抽出された加重値とを用
いて再検索を遂行することによって探そうとするイメー
ジを求める。 ３．２ スケッチ−キーワード検索 スケッチ−キーワード検索は、作成された照会イメージ
との類似度を特徴情報を用いて計算し、この計算された
類似度が一定値以上になるイメージのみを結果候補とし
て決定して、決定された候補の中で照会に用いられたキ
ーワードを用いて検索してマッチング点数が高い順序で
検索結果を抽出する方法であって、図１０にこの方法を
示した。
【００７１】照会イメージが作成される。そしてユーザ
ーが作成した照会イメージを用いてイメージ検索を遂行
して結果候補を抽出した後に、抽出された結果候補を対
象にユーザーが作成した照会イメージとの類似度を計算
して類似度が高い順序で検索結果候補を抽出する。そし
て類似度による検索結果候補を対象にして入力キーワー
ドとのマッチング点数を計算してマッチング点数が高い
順序で検索結果を抽出する。次にはキーワードマッチン
グ点数による検索結果イメージ中からユーザーが類似で
あると考えるイメージを一つ以上選択してその選択され
たイメージを用いて加重値を抽出した後、ユーザーが選
択したイメージから照会イメージを指定する。
【００７２】このように照会イメージが指定されると指
定された照会イメージと抽出された加重値を用いて再検
索を遂行することによって探そうとするイメージを求め
る。
【００７３】３．３ スケッチ／キーワードの組合せ検
索 スケッチ／キーワードの組合せ検索は、作成された照会
イメージとの類似度値を特徴情報を用いて計算し、照会
に用いられたキーワードを用いてキーワードマッチング
点数を計算した後、計算された類似度値とキーワードマ
ッチング点数を組合せて全体の類似度値を計算してこれ
を利用して検索結果を抽出する方法である。このとき、
二つの類似度値とマッチング点数との合計を求めるとき
に一定の加重値を実験により付与する場合もある。
【００７４】図１１にスケッチ／キーワードの組合せ検
索方法を示した。入力されたキーワードを用いたイメー
ジ検索結果と、ユーザが作成した照会イメージを用いた
検索結果に対して一緒に考慮する。すなわち、キーワー
ドマッチング点数と照会イメージとの類似度を組合せて
最終類似度を計算して、この計算された全体の類似度値
を利用して検索結果を抽出した後に、全体の類似度によ
る検索結果イメージからユーザーが類似であると考える
イメージを一つ以上選択して、その選択されたイメージ
を用いて加重値を抽出した後に、ユーザーが選択したイ
メージから照会イメージを指定する。
【００７５】このように照会イメージが指定されると、
指定された照会イメージと抽出された加重値とを用いて
再検索を遂行することによって探そうとするイメージを
求める。
【００７６】これまで３種の方法の照会−検索方法を説
明した。次には図３ないし図１１で説明されている本発
明のイメージ検索方法によるイメージ検索システムに対
して説明する。
【００７７】４． イメージ検索システム実施形態１ 図１２は、本発明によるイメージ検索システムの第１実
施形態を示す。前述したように照会イメージ（ユーザが
作成した照会イメージ、ユーザーが選択した照会イメー
ジ）と特徴情報／加重値を利用したイメージ検索方法を
適用するために、ユーザーインタフェース５と、特徴情
報を利用した検索部６と、加重値を適用して検索するこ
とができる加重値適用検索部７と、加重値を学習して適
用するためにユーザーが選択した類似イメージを用いて
加重値を計算する加重値抽出部８とを含んでいる。ユー
ザーインタフェース５はユーザーが照会イメージを作成
することができる照会イメージ作成部５ａと、ユーザー
が類似であると考えるイメージを照会イメージとして選
択するための照会イメージ選択部５ｂと、検索結果を示
す検索結果窓５ｃとを含む。
【００７８】図１２に示したイメージ検索システムは前
述したように、ユーザーが作成した照会イメージと、ユ
ーザーが選択する照会イメージ、そして特徴情報と加重
値とによる検索を遂行する方法に従うことができる。
【００７９】すなわち、照会イメージ作成部５ａは、ユ
ーザーが照会イメージを作成してラフな検索のための照
会要素として用いることができるようにし、照会イメー
ジ選択部５ｂはラフな検索或いは再検索照会要素として
一つ以上の照会イメージを選択して用いることができる
ようにし、検索結果窓５ｃは検索結果を示す。特徴情報
を利用した検索部６はイメージ検索時に特徴情報を考慮
するイメージ検索ができるようにし、加重値適用検索部
７は加重値抽出部８で計算された加重値を適用して検索
できるようにする。そして加重値抽出部８は加重値を学
習して適用するためにユーザーが選択した類似イメージ
を用いて加重値を計算する。
【００８０】５．イメージ検索システム実施形態２ 図１３は、本発明によるイメージ検索システムの第２実
施形態を示す。図１３は、図１２に示したシステムと類
似であるが、作成された照会イメージを用いる代わりキ
ーワードを用いる方法を提供するためのシステムを示す
ものであって、ユーザーインタフェース９がキーワード
照会部９ａを含んでおり、キーワードを利用した検索部
１０を含んだ例である。
【００８１】照会イメージ選択部９ｂと検索結果窓９
ｃ、加重値適用検索部１１及び加重値抽出部１２は図１
２と同様である。
【００８２】したがって、図１３のイメージ検索システ
ムではキーワードを照会要素とする本発明のイメージ検
索方法を遂行することができる。
【００８３】６．イメージ検索システム実施形態３ 図１４は、本発明によるイメージ検索システムの第３実
施形態を示す。すなわち、前述した３番目方法３、３．
１、３．２、３．３のようにユーザーが作成した照会イ
メージを用いた検索とユーザーが入力したキーワードを
用いた検索を同時に用いてラフな検索をするためのイメ
ージ検索システム構成を示す。
【００８４】図１４のイメージ検索システムは、ユーザ
ーインタフェース１３が照会イメージ作成部と１３ａキ
ーワード照会部１３ｂ、照会イメージ選択部１３ｃ、検
索結果窓１３ｄをすべて含んでいる。この場合、検索部
１４は照会イメージとの類似度を計算して検索を行う特
徴情報を利用した検索部１４ａと、入力されたキーワー
ドを用いて検索を行うキーワードを利用した検索部１４
ｂが同時に存在しなければならず、またこれらを組合せ
て最終的に類似度を計算して結果を出す検索部１４ｃが
含まれていて、前述したようにユーザが作成した照会イ
メージを用いた検索とキーワードを用いた検索とを同時
に用いてイメージ検索を遂行することができる。ここで
加重値適用検索部１５と加重値抽出部１６とは前述した
ものと同様である。
【００８５】
【発明の効果】以上で説明されたように、本発明はユー
ザーが照会イメージを探すことが簡単に出来るように初
期には作成された照会イメージやキーワードを用いた検
索を遂行して、以後に複数の照会イメージを通して検索
を行うイメージ検索方法であるので、実際にイメージ検
索を適用する観点で、既存の方法に比べて現実的な有用
性を提供する。
【００８６】すなわち、従来のものは高い性能を得るた
めに照会イメージを用いて検索を行ったが、これは最初
に適切な照会イメージを探すのが難しい短所があって、
検索を簡単にするためにキーワードや作成された照会イ
メージを用いる場合、所望するイメージを探すのが難し
いという短所があったが、本発明はこのような短所を解
決した。
【００８７】本発明は照会方法を順次組み合せて効果的
に用いるために、初期には作成されたイメージやキーワ
ードを用いて検索して、以後には照会イメージを検索結
果から選択して再検索をするが、複数の照会イメージを
選択してこれを用いて現在照会に適合な加重値を自動的
に計算した後、最適の検索がなされるようにすることに
よって、ユーザーの便宜性と高い検索性能が実現可能で
あるという効果がある。
【００８８】本発明はインターネットを利用したウェブ
イメージ検索において実用的に用いることができ、最近
多く研究されているマルチデータベースを対象にする、
すなわち複数のサーバーを対象にイメージを検索するこ
とに非常に効果的に用いることができるという効果があ
る。
【図面の簡単な説明】
【図１】本発明のイメージ検索システムに適用される照
会イメージ作成ツールの例を示した図面。
【図２】本発明のイメージ検索システムに適用される照
会イメージ作成ツールの他の例を示した図面。
【図３】本発明のイメージ検索方法第１実施形態のフロ
ーチャート。
【図４】本発明のイメージ検索方法第２実施形態のフロ
ーチャート。
【図５】本発明のイメージ検索方法第３実施形態のフロ
ーチャート。
【図６】本発明のイメージ検索方法第４実施形態のフロ
ーチャート。
【図７】本発明のイメージ検索方法第５実施形態のフロ
ーチャート。
【図８】本発明のイメージ検索方法第６実施形態のフロ
ーチャート。
【図９】本発明のイメージ検索方法第７実施形態のフロ
ーチャート。
【図１０】本発明のイメージ検索方法第８実施形態のフ
ローチャート。
【図１１】本発明のイメージ検索方法第９実施形態のフ
ローチャート。
【図１２】本発明のイメージ検索装置第１実施形態のブ
ロック図。
【図１３】本発明のイメージ検索装置第２実施形態のブ
ロック図。
【図１４】本発明のイメージ検索装置第３実施形態のブ
ロック図。
【符号の説明】
１；イメージボード ２；ブロック ３；他のイメージボード ４；図形 ５；ユーザーインタフェース ５ａ；照会イメージ作成部 ５ｂ；照会イメージ選択部 ５ｃ；検索結果窓 ６；特徴情報を利用した検索部 ７；加重値適用検索部 ８；加重値抽出部 ９；ユーザーインタフェース ９ａ；キーワード照会部 ９ｂ；照会イメージ選択部 ９ｃ；検索結果窓 １０；キーワードを利用した検索部 １１；加重値適用検索部 １２；加重値抽出部 １３；ユーザーインタフェース １３ａ；照会イメージ作成部 １３ｂ；キーワード照会部 １３ｃ；照会イメージ選択部 １３ｄ；検索結果窓 １４；検索部 １４ａ；特徴情報を利用した検索部 １４ｂ；キーワードを利用した検索部 １４ｃ；照会イメージ検索結果とキーワード検索結果組
み合せによる検索部 １５；加重値適用検索部 １６；加重値抽出部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｆ (72)発明者 キム，ヒェオン・ジュン 大韓民国・ギュンギ−ド・スンナム−シ・ スナエ−ドン・（番地なし）・ヒュンダイ パンテオン・2610 Ｆターム(参考） 5B050 CA07 DA10 EA08 EA09 EA18 GA08 5B075 ND06 PP10 PP28 PR10 QM08 5L096 AA02 FA00 HA08 JA11

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 （ａ）ユザーが作成したイメージを照会
    としてイメージを検索する段階と、 （ｂ）前記検索結果の中からユーザーが類似イメージを
    一つ以上選択する段階と、 （ｃ）前記選択された類似イメージを照会イメージとし
    て指定して再検索を遂行する段階と含むことを特徴とす
    るイメージ検索方法。
  2. 【請求項２】 ユーザーが選択した類似イメージを用い
    て特徴情報加重値を計算して、前記計算された特徴情報
    加重値を適用して再検索を遂行することを特徴とする請
    求項１記載のイメージ検索方法。
  3. 【請求項３】 前記再検索は、テキスト情報と下位レベ
    ルの特徴情報中の選択や組み合せ、順序の組み合せによ
    って行われ、ユーザーが選択した類似イメージ中に共通
    に含まれたテキスト情報の有用度を利用して遂行される
    ことを特徴とする請求項１記載のイメージ検索方法。
  4. 【請求項４】 前記テキスト情報の有用度は、選択した
    類似イメージ中にキーワードが共通にどれくらい含まれ
    たのかを意味する包含比率の計算により求められること
    を特徴とする請求項３記載のイメージ検索方法。
  5. 【請求項５】 前記ユーザーが選択した類似イメージ中
    に共通に含まれたテキスト情報の有用度が所定しきい値
    以上であればテキスト情報による再検索を行って、そう
    ではなければ下位レベル特徴情報による再検索を遂行す
    ることを特徴とする請求項３記載のイメージ検索方法。
  6. 【請求項６】 前記テキスト情報と下位レベルの特徴情
    報の順序の組み合せによって遂行される再検索は、テキ
    スト情報の有用度を計算する段階と、 特徴情報の加重値を計算する段階と、 テキスト情報の加重値をテキスト情報の有用度に比例し
    て計算する段階と、 計算された特徴情報の加重値とテキスト情報の加重値と
    を反映させて特徴情報を用いた時の類似度とテキストマ
    ッチング点数を合算したことを最終類似度で計算する段
    階と、 前記計算された最終類似度が高い順序で検索結果を出力
    する段階とを含むことを特徴とする請求項３記載のイメ
    ージ検索方法。
  7. 【請求項７】 （ａ）ユザー照会に応答して類似イメー
    ジ候補を出力する段階と、 （ｂ）前記類似イメージ候補中からユーザーが類似であ
    ると考えるイメージを選択する段階と、 （ｃ）前記選択されたイメージに含まれたテキスト情報
    の有用度を計算してその結果によって次の照会要素を決
    定して再検索を遂行する段階とを含むことを特徴とする
    イメージ検索方法。
  8. 【請求項８】 前記テキスト情報の有用度によって選択
    される次の照会要素は、テキスト情報や下位レベルの特
    徴情報中の一つを照会要素とする再検索や、二つの組み
    合せを照会要素とする再検索、または順序の組合せによ
    る再検索であることを特徴とする請求項７記載のイメー
    ジ検索方法。
  9. 【請求項９】 （ａ）キワードによるイメージ検索を遂
    行する段階と、 （ｂ）前記キーワードによるイメージ検索結果の中から
    類似イメージを選択する段階と、 （ｃ）前記選択された類似イメージの中から照会イメー
    ジを指定して再検索を遂行する段階とを含むことを特徴
    とするイメージ検索方法。
  10. 【請求項１０】 ユーザーが選択した類似イメージを用
    いて特徴情報加重値を計算して、前記計算された特徴情
    報加重値を適用して再検索を遂行することを特徴とする
    請求項９記載のイメージ検索方法。
  11. 【請求項１１】 （ａ）ユザー照会イメージを作成する
    時にユーザーキーワードを入力する段階と、 （ｂ）前記キーワードと作成照会イメージとを用いたラ
    フな検索を遂行する段階と、 （ｃ）前記ラフな検索結果の中で類似イメージを選択す
    る段階と、 （ｄ）前記選択された類似イメージの中で照会イメージ
    を一つ以上指定して再検索を遂行する段階とを含むこと
    を特徴とするイメージ検索方法。
  12. 【請求項１２】 前記ラフな検索は、ユーザー入力キー
    ワードによるイメージ検索段階と、前記ユーザー入力キ
    ーワードによる検索結果に限ってユーザが作成した照会
    イメージを用いた検索を遂行してその検索結果をラフな
    検索結果とする段階とを含むことを特徴とする請求項１
    １記載のイメージ検索方法。
  13. 【請求項１３】 前記ラフな検索は、ユーザが作成した
    照会イメージによるイメージ検索段階と、前記ユーザー
    が作成した照会イメージによる検索結果に限ってユーザ
    ー入力キーワードを用いた検索を遂行してその検索結果
    をラフな検索結果とする段階とを含むことを特徴とする
    請求項１１記載のイメージ検索方法。
  14. 【請求項１４】 前記ラフな検索は、ユーザが作成した
    照会イメージによるイメージ検索とユーザー入力キーワ
    ードによるイメージ検索を一緒に遂行し、前記作成され
    たイメージを用いて計算された類似度とキーワード情報
    とを比較して求められたキーワード情報マッチング点数
    を組み合せて遂行されることを特徴とする請求項１１記
    載のイメージ検索方法。
  15. 【請求項１５】 前記ユーザーが選択した類似イメージ
    を用いて特徴情報加重値を計算して、その計算された特
    徴情報加重値を適用して再検索を遂行することを特徴と
    する請求項１１記載のイメージ検索方法。
  16. 【請求項１６】 （ａ）複数の異種照会要素を用いたイ
    メージ検索のために異種照会要素を順序的、階層的な組
    み合せとして入力するユーザーインタフェース手段と、 （ｂ）前記ユーザーインタフェースを通して入力された
    照会要素による検索を遂行して前記照会要素の順序的、
    階層的な組合せに対応する検索結果を出力する検索手段
    とを含むことを特徴とするイメージ検索装置。
  17. 【請求項１７】 前記異種照会要素はユーザが作成した
    照会イメージと、ユーザー照会イメージと、イメージを
    記述するテキストの中で２種以上であることを特徴とす
    る請求項１６記載のイメージ検索装置。
  18. 【請求項１８】 前記ユーザーインタフェース手段は照
    会要素に基づいて照会イメージ作成部、照会イメージ選
    択部、キーワード照会部を含むことを特徴とする請求項
    １７記載のイメージ検索装置。
  19. 【請求項１９】 前記ユーザーインタフェース手段によ
    って選択された複数の類似イメージを用いて特徴情報間
    の加重値を計算する加重値抽出手段と、前記加重値を適
    用して検索を遂行する加重値適用検索手段とをさらに含
    むことを特徴とする請求項１７記載のイメージ検索装
    置。
  20. 【請求項２０】 前記ユーザーインタフェース手段によ
    って選択された複数の類似イメージを用いて次の順番の
    検索のための照会要素としてテキスト情報を用いるか、
    下位レベル特徴情報を用いるかを決定する検索情報決定
    手段をさらに含むことを特徴とする請求項１７記載のイ
    メージ検索装置。
  21. 【請求項２１】 （ａ）ラフな検索のための照会入力段
    階と、 （ｂ）前記照会を用いたラフな検索を遂行する段階と、 （ｃ）前記ラフな検索結果の中で類似イメージを選択す
    る段階と、 （ｄ）前記選択された類似イメージの中で照会イメージ
    を一つ以上指定して再検索を遂行する段階とを含むこと
    を特徴とするイメージ検索方法。
  22. 【請求項２２】 前記ラフな検索のための照会は、ユー
    ザー入力キーワードを用いるか、ユーザーが作成した照
    会イメージを用いることを特徴とする請求項２１記載の
    イメージ検索方法。
  23. 【請求項２３】 前記再検索は、ユーザーが選択した類
    似イメージから特徴情報加重値を抽出して適用するか、
    ユーザーが選択した類似イメージの中に共通に含まれた
    テキスト情報の有用度を利用して遂行することを特徴と
    する請求項２１記載のイメージ検索方法。
JP2002085130A 2001-03-26 2002-03-26 イメージ検索方法及び検索装置 Expired - Fee Related JP3781696B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2001-0015692A KR100451649B1 (ko) 2001-03-26 2001-03-26 이미지 검색방법과 장치
KR2001-15692 2001-03-26

Publications (2)

Publication Number Publication Date
JP2002366575A true JP2002366575A (ja) 2002-12-20
JP3781696B2 JP3781696B2 (ja) 2006-05-31

Family

ID=19707420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002085130A Expired - Fee Related JP3781696B2 (ja) 2001-03-26 2002-03-26 イメージ検索方法及び検索装置

Country Status (5)

Country Link
US (1) US20020168117A1 (ja)
EP (1) EP1258816A3 (ja)
JP (1) JP3781696B2 (ja)
KR (1) KR100451649B1 (ja)
CN (2) CN1378159A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217695A (ja) * 2007-03-07 2008-09-18 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2008225692A (ja) * 2007-03-09 2008-09-25 Fujitsu Ltd 画像検索方法、装置およびプログラム
JP2009517750A (ja) * 2005-12-01 2009-04-30 ユーシーエル ビジネス ピーエルシー 情報検索
JP2009093563A (ja) * 2007-10-11 2009-04-30 Fuji Xerox Co Ltd 類似画像検索装置、及び類似画像検索プログラム
JP2009193398A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 画像検索装置、画像検索方法、及び画像検索プログラム
JP2010108477A (ja) * 2008-09-30 2010-05-13 Yahoo Japan Corp 検索装置
JP2011203776A (ja) 2010-03-24 2011-10-13 Yahoo Japan Corp 類似画像検索装置、方法及びプログラム
JP2013069121A (ja) * 2011-09-22 2013-04-18 Dentsu Inc 情報提供装置、情報提供方法及び情報提供プログラム
KR101376596B1 (ko) * 2012-03-02 2014-03-27 주식회사 내비오닉스코리아 이미지 검색 시스템 및 방법
KR101412478B1 (ko) 2012-07-23 2014-07-01 주식회사 인프라웨어 선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP2016502194A (ja) * 2012-11-30 2016-01-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ検索方法及び装置
JP2016507812A (ja) * 2012-12-21 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー 画像を使用する人物検索の改良
JP2022541832A (ja) * 2019-07-23 2022-09-27 ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド 画像を検索するための方法及び装置

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2003333319A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd 画像合成用の付加画像抽出装置及び方法
JP4245872B2 (ja) * 2002-08-28 2009-04-02 富士フイルム株式会社 類似度判定方法および装置並びにプログラム
KR100510404B1 (ko) * 2002-10-08 2005-08-31 정보통신연구진흥원 전자 앨범 및 전자 앨범의 이미지 데이터 검색방법
JP4253498B2 (ja) * 2002-12-09 2009-04-15 オリンパス株式会社 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法
GB0229625D0 (en) * 2002-12-19 2003-01-22 British Telecomm Searching images
JP2004234228A (ja) * 2003-01-29 2004-08-19 Seiko Epson Corp 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム
JP2004334339A (ja) * 2003-04-30 2004-11-25 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
US8185543B1 (en) * 2004-11-10 2012-05-22 Google Inc. Video image-based querying for video content
US9092458B1 (en) * 2005-03-08 2015-07-28 Irobot Corporation System and method for managing search results including graphics
EP1732030A1 (en) * 2005-06-10 2006-12-13 BRITISH TELECOMMUNICATIONS public limited company Comparison of patterns
US8996514B1 (en) 2005-06-15 2015-03-31 Google Inc. Mobile to non-mobile document correlation
JP4849301B2 (ja) * 2005-07-27 2012-01-11 ソニー株式会社 情報処理装置および方法、並びにプログラム
EP1908013B1 (en) * 2005-07-28 2014-04-23 BRITISH TELECOMMUNICATIONS public limited company Image analysis
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
US7865492B2 (en) * 2005-09-28 2011-01-04 Nokia Corporation Semantic visual search engine
JP4413844B2 (ja) * 2005-10-17 2010-02-10 富士通株式会社 画像表示制御装置
EP1798961A1 (en) * 2005-12-19 2007-06-20 BRITISH TELECOMMUNICATIONS public limited company Method for focus control
US7647331B2 (en) * 2006-03-28 2010-01-12 Microsoft Corporation Detecting duplicate images using hash code grouping
US7860317B2 (en) * 2006-04-04 2010-12-28 Microsoft Corporation Generating search results based on duplicate image detection
JP4894336B2 (ja) * 2006-04-12 2012-03-14 株式会社デンソー 交差点検索装置および交差点検索方法
US8140530B2 (en) * 2006-08-03 2012-03-20 Nec Corporation Similarity calculation device and information search device
CN100429659C (zh) * 2006-10-10 2008-10-29 北京新岸线网络技术有限公司 基于内容的视频分析融合系统
CN100423004C (zh) * 2006-10-10 2008-10-01 北京新岸线网络技术有限公司 基于内容的视频搜索调度系统
US8108408B2 (en) * 2007-06-14 2012-01-31 Panasonic Corporation Image recognition device and image recognition method
KR100898757B1 (ko) * 2007-07-16 2009-05-25 이용환 위치정보를 기반으로 한 이미지 검색 방법 및 시스템.
US8370353B2 (en) * 2007-10-23 2013-02-05 Imaginestics Llc Component part search system with public and private communities
US7966304B2 (en) * 2007-11-30 2011-06-21 Yahoo! Inc. Enabling searching on abbreviated search terms via messaging
KR101624673B1 (ko) 2008-03-13 2016-05-26 삼성전자주식회사 태그 목록 작성 방법 및 그 시스템
US20110225196A1 (en) * 2008-03-19 2011-09-15 National University Corporation Hokkaido University Moving image search device and moving image search program
US20090307207A1 (en) * 2008-06-09 2009-12-10 Murray Thomas J Creation of a multi-media presentation
KR101477535B1 (ko) * 2008-07-17 2014-12-30 삼성전자주식회사 이미지 검색 방법 및 장치, 이를 이용한 디지털 촬영 장치
CN101340661B (zh) * 2008-08-14 2011-12-28 北京中星微电子有限公司 实现导游控制的移动设备和服务器以及导游控制方法
KR101050036B1 (ko) * 2009-12-04 2011-07-19 채순식 육류 구이기
US9015139B2 (en) 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
CN102375990B (zh) * 2010-08-17 2015-03-04 富士通株式会社 图像处理方法和设备
KR101698096B1 (ko) * 2010-10-08 2017-01-19 엘지전자 주식회사 단말기의 드로잉을 이용한 검색 방법 및 그 단말기
US20120162244A1 (en) * 2010-12-28 2012-06-28 Microsoft Corporation Image search color sketch filtering
KR101339627B1 (ko) * 2011-04-27 2013-12-09 한양대학교 산학협력단 선형 시간 거리 함수에 기반한 내용 기반 이미지 검색을 위한 방법 및 장치
US10185769B2 (en) * 2011-06-08 2019-01-22 Facebook, Inc. Presenting images as search results
US8874557B2 (en) 2011-09-02 2014-10-28 Adobe Systems Incorporated Object retrieval and localization using a spatially-constrained similarity model
US8805116B2 (en) * 2011-09-17 2014-08-12 Adobe Systems Incorporated Methods and apparatus for visual search
US9075825B2 (en) 2011-09-26 2015-07-07 The University Of Kansas System and methods of integrating visual features with textual features for image searching
US9411830B2 (en) * 2011-11-24 2016-08-09 Microsoft Technology Licensing, Llc Interactive multi-modal image search
CN103294699A (zh) * 2012-02-24 2013-09-11 联想(北京)有限公司 一种筛选对象的方法及电子设备
CN103425693B (zh) * 2012-05-23 2016-12-21 富士通株式会社 图像处理装置、图像处理方法以及电子设备
US9009188B1 (en) 2012-06-12 2015-04-14 Google Inc. Drawing-based search queries
US9087269B2 (en) 2012-08-24 2015-07-21 Google Inc. Providing image search templates
KR102019975B1 (ko) 2012-08-29 2019-11-04 삼성전자주식회사 디아비스 및 그의 컨텐츠 검색 방법
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
US20140149306A1 (en) * 2012-11-24 2014-05-29 Mark Olsen Method and System for Providing a Remote Shipping Cost Estimate Based on Image Data of Goods to be Shipped
CN103838769A (zh) * 2012-11-26 2014-06-04 鸿富锦精密工业（深圳）有限公司 搜索系统及方法
US9208176B2 (en) 2013-03-12 2015-12-08 International Business Machines Corporation Gesture-based image shape filtering
US9727901B2 (en) * 2013-06-13 2017-08-08 Yahoo! Inc. Systems and methods for image-based recommendations
JP6190887B2 (ja) * 2013-10-02 2017-08-30 株式会社日立製作所 画像検索システムおよび情報記録媒体
KR101912794B1 (ko) * 2013-11-27 2018-10-29 한화테크윈 주식회사 영상 검색 시스템 및 영상 검색 방법
CN103646120A (zh) * 2013-12-27 2014-03-19 联想(北京)有限公司 一种信息处理方法及电子设备
KR102200230B1 (ko) * 2013-12-30 2021-01-08 주식회사 케이티 문장과 매칭되는 이미지를 제공하는 장치 및 방법
CN103714349B (zh) * 2014-01-09 2017-01-25 成都淞幸科技有限责任公司 一种基于颜色和纹理特征的图像识别方法
KR102213856B1 (ko) * 2014-02-12 2021-02-08 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102213861B1 (ko) * 2014-02-25 2021-02-08 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102207514B1 (ko) * 2014-02-26 2021-01-26 십일번가 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US9965547B2 (en) * 2014-05-09 2018-05-08 Camelot Uk Bidco Limited System and methods for automating trademark and service mark searches
CN104239445A (zh) * 2014-09-01 2014-12-24 百度在线网络技术（北京）有限公司 搜索结果的展现方法和装置
CN105786858A (zh) * 2014-12-24 2016-07-20 深圳富泰宏精密工业有限公司 信息搜索系统及方法
KR102285699B1 (ko) * 2015-01-09 2021-08-04 삼성전자주식회사 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
CN106339206A (zh) * 2015-07-10 2017-01-18 联想(北京)有限公司 一种控制方法及装置
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106547744B (zh) * 2015-09-16 2020-11-06 杭州海康威视数字技术股份有限公司 一种图像检索方法及系统
RU2619526C1 (ru) * 2015-12-22 2017-05-16 Сергей Владиславович Анисимов Способ использования кодов для доступа к данным
US10891019B2 (en) 2016-02-29 2021-01-12 Huawei Technologies Co., Ltd. Dynamic thumbnail selection for search results
US10628890B2 (en) * 2017-02-23 2020-04-21 International Business Machines Corporation Visual analytics based vehicle insurance anti-fraud detection
US10353951B1 (en) * 2017-09-15 2019-07-16 Sutterstock, Inc. Search query refinement based on user image selections
CN107909088B (zh) * 2017-09-27 2022-06-28 百度在线网络技术（北京）有限公司 获取训练样本的方法、装置、设备和计算机存储介质
CN110019877A (zh) * 2017-12-29 2019-07-16 阿里巴巴集团控股有限公司 图像搜索方法、装置及系统、终端
CN108563792B (zh) * 2018-05-02 2020-02-07 百度在线网络技术（北京）有限公司 图像检索处理方法、服务器、客户端及存储介质
KR20200027589A (ko) 2018-08-31 2020-03-13 십일번가 주식회사 이미지 검색 방법 및 장치
CN110334778B (zh) * 2019-07-16 2021-08-06 同方知网数字出版技术股份有限公司 基于描述内容与图像内容特征的图像综合相似分析方法
CN111949814A (zh) * 2020-06-24 2020-11-17 百度在线网络技术（北京）有限公司 搜索方法、装置、电子设备和存储介质
US20230053495A1 (en) * 2021-08-17 2023-02-23 Verizon Media Inc. Comparable item identification for query items

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289241A (ja) * 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JPH10289240A (ja) * 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JPH10289245A (ja) * 1997-04-15 1998-10-27 Canon Inc 画像処理装置及びその制御方法
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
JP2000348179A (ja) * 1999-04-29 2000-12-15 Mitsubishi Electric Inf Technol Center Europ Bv カラー画像を表現する方法およびカラー画像を探索する方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH021057A (ja) * 1988-01-20 1990-01-05 Ricoh Co Ltd 文書検索装置
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5931907A (en) * 1996-01-23 1999-08-03 British Telecommunications Public Limited Company Software agent for comparing locally accessible keywords with meta-information and having pointers associated with distributed information
US5873080A (en) * 1996-09-20 1999-02-16 International Business Machines Corporation Using multiple search engines to search multimedia data
US6012069A (en) * 1997-01-28 2000-01-04 Dainippon Screen Mfg. Co., Ltd. Method and apparatus for retrieving a desired image from an image database using keywords
EP0872803B1 (en) * 1997-04-14 2005-12-28 Canon Kabushiki Kaisha Image processing method and control method therefor
JP3660943B2 (ja) * 1998-08-27 2005-06-15 カシオ計算機株式会社 画像検索装置および画像検索方法
KR20010002386A (ko) * 1999-06-15 2001-01-15 정선종 이미지 데이터베이스 구축 및 검색 방법
US6859802B1 (en) * 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
KR20000036647A (ko) * 2000-03-24 2000-07-05 유우영 이미지 정보를 이용한 검색방법
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
JPH10289241A (ja) * 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JPH10289240A (ja) * 1997-04-14 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JPH10289245A (ja) * 1997-04-15 1998-10-27 Canon Inc 画像処理装置及びその制御方法
JP2000348179A (ja) * 1999-04-29 2000-12-15 Mitsubishi Electric Inf Technol Center Europ Bv カラー画像を表現する方法およびカラー画像を探索する方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517750A (ja) * 2005-12-01 2009-04-30 ユーシーエル ビジネス ピーエルシー 情報検索
JP2008217695A (ja) * 2007-03-07 2008-09-18 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2008225692A (ja) * 2007-03-09 2008-09-25 Fujitsu Ltd 画像検索方法、装置およびプログラム
JP2009093563A (ja) * 2007-10-11 2009-04-30 Fuji Xerox Co Ltd 類似画像検索装置、及び類似画像検索プログラム
JP2009193398A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 画像検索装置、画像検索方法、及び画像検索プログラム
JP2010108477A (ja) * 2008-09-30 2010-05-13 Yahoo Japan Corp 検索装置
JP2011203776A (ja) 2010-03-24 2011-10-13 Yahoo Japan Corp 類似画像検索装置、方法及びプログラム
JP2013069121A (ja) * 2011-09-22 2013-04-18 Dentsu Inc 情報提供装置、情報提供方法及び情報提供プログラム
KR101376596B1 (ko) * 2012-03-02 2014-03-27 주식회사 내비오닉스코리아 이미지 검색 시스템 및 방법
KR101412478B1 (ko) 2012-07-23 2014-07-01 주식회사 인프라웨어 선택패턴 기반의 사진관리 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP2016502194A (ja) * 2012-11-30 2016-01-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ検索方法及び装置
JP2016507812A (ja) * 2012-12-21 2016-03-10 マイクロソフト テクノロジー ライセンシング，エルエルシー 画像を使用する人物検索の改良
JP2022541832A (ja) * 2019-07-23 2022-09-27 ベイジン・ジンドン・ゼンシ・インフォメーション・テクノロジー・カンパニー・リミテッド 画像を検索するための方法及び装置

Also Published As

Publication number Publication date
EP1258816A2 (en) 2002-11-20
EP1258816A3 (en) 2003-12-17
JP3781696B2 (ja) 2006-05-31
CN1378159A (zh) 2002-11-06
CN101814087A (zh) 2010-08-25
KR20020075600A (ko) 2002-10-05
KR100451649B1 (ko) 2004-10-08
US20020168117A1 (en) 2002-11-14

Similar Documents

Publication Publication Date Title
JP2002366575A (ja) イメージ検索方法及び検索装置
KR101768521B1 (ko) 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템
US7548936B2 (en) Systems and methods to present web image search results for effective image browsing
US8200695B2 (en) Database for uploading, storing, and retrieving similar documents
US8001152B1 (en) Method and system for semantic affinity search
Solli et al. Color emotions for multi‐colored images
JP5281156B2 (ja) 画像の注釈付け
JP4363792B2 (ja) 情報検索システムおよび方法
US20110191336A1 (en) Contextual image search
JP2008542951A (ja) 関連性ネットワーク
WO2016135905A1 (ja) 情報処理システム及び情報処理方法
JP4374902B2 (ja) 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
KR101818717B1 (ko) 컨셉 키워드 확장 데이터 셋을 이용한 검색방법, 장치 및 컴퓨터로 판독 가능한 기록매체
US8732187B1 (en) Link-based ranking of objects that do not include explicitly defined links
KR100876214B1 (ko) 문맥기반 광고 장치와 그 방법 및 이를 구현할 수 있는컴퓨터로 읽을 수 있는 기록 매체
CN110008396B (zh) 对象信息推送方法、装置、设备及计算机可读存储介质
Verma et al. A fuzzy-neural approach for interpretation and fusion of colour and texture features for CBIR systems
JP2006099761A (ja) マルチメディアのコンテンツ検索方法
Matsui Challenge for manga processing: Sketch-based manga retrieval
JP4544047B2 (ja) Ｗｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
KR101818716B1 (ko) 컨셉 키워드 확장 데이터 셋 생성방법, 장치 및 컴퓨터로 판독 가능한 기록매체
JP6696344B2 (ja) 情報処理装置及びプログラム
JPH08287086A (ja) 適合度順画像強調表示方法及び装置
CN110431550A (zh) 可视叶页面识别和处理
EP2056218A2 (en) Non-word or non-number search

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050715

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060307

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees