JP2000035974A - 主観的画像内容類似性に基づく検索用の方法及びコンピュ―タプログラム製品 - Google Patents

主観的画像内容類似性に基づく検索用の方法及びコンピュ―タプログラム製品

Info

Publication number
JP2000035974A
JP2000035974A JP11182073A JP18207399A JP2000035974A JP 2000035974 A JP2000035974 A JP 2000035974A JP 11182073 A JP11182073 A JP 11182073A JP 18207399 A JP18207399 A JP 18207399A JP 2000035974 A JP2000035974 A JP 2000035974A
Authority
JP
Japan
Prior art keywords
image
user
preferences
similarity
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11182073A
Other languages
English (en)
Inventor
Wei Zhu
ズゥ ウェイ
Rajiv Mehrotra
メロトラ ラジブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2000035974A publication Critical patent/JP2000035974A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/02Reservations, e.g. for tickets, services or events
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99932Access augmentation or optimizing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99934Query formulation, input preparation, or translation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99935Query augmenting and refining, e.g. inexact access
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99943Generating database or data structure, e.g. via user interface
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 所望の画像に対するユーザーの好みを自動的
に決定し、好みに基づく画像検索をなす、画像のダイナ
ミックなデータベースから検索されたユーザーの好みに
基づく画像に対するシステムを提供することにある。 【解決手段】 ユーザーの好みを決定するために所望の
画像の一以上の例又は反例を用い;所望の画像の例及び
/又は反例から一以上の画像成分又は一以上の描写特徴
のいずれかに対するユーザーの相対的な好みを抽出し;
画像成分又は描写特徴のいずれかに対する相対的な好み
を用いて所望の画像のユーザーの主観的な決定を定式化
する各段階を含む、所望の画像に対するユーザーの好み
を学習する方法。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はデジタル画像処理及
びデジタル画像理解の分野に関し、より詳細には主観的
画像内容類似性に基づく検索に関する。
【0002】
【従来の技術】より多くの情報が電子的に利用可能にな
るほど、巨大なデータベースから問題の情報を効率的に
捜索し、検索することは重要な課題となる。与えられた
画像データベースで、与えられた質問(又は例示)画像
に類似の画像の選択は内容に基づく画像データベース管
理の重要な問題である。画像類似性に基づく検索に対す
る技術の設計に関する主要な2つの問題が存在する:画
像表示及び画像類似性である。与えられた内容に基づく
再現スキームで、画像類似性はその再現に基づく類似性
の測定を用いて2つの画像の類似性/非類似性の決定に
関連する。画像内容及び画像類似性の両方は本来非常に
主観的である。マルチメディア検索システムのユーザー
の好み/主観性は与えられた画像に対して、異なる画像
内容の関心と相対的な重要性の内容は適用/見る人に依
存する故に重要である。単一の見る人又は適用に対して
すら、画像内容の翻訳は一の質問(query)から次
へと変化する。故に、内容の類似性に基づく画像検索シ
ステムは各見る人/適用の好み/主観を捕捉し、好み/
主観性による応答を発生しなければならない。
【0003】現存する商業用及び学術的画像インデック
ス化及び検索システムのほとんど全ては色及びテクスチ
ャー特性のようなより低レベルの特徴の項目で画像を表
し、画像類似性は以下の式で測定される:
【0004】
【数1】
【0005】ここでS(I,J)は画像I,J間の全体
的な画像類似性を測る関数であり、各画像はN個の特
徴:Fi,i={1,...,N}で表され、D
Fi(I,J)は特徴Fiに基づく画像I,J間の類似性
/非類似性を計算するための関数であり、wiは全体の
画像類似性決定の特徴Fiの重み又は重要性である
[W.Niblack,R.Barber,W.Equ
itz,M.Flickner,E.Glasman,
D.Petlovic,P.Yanker,D.Fal
outsos,G.Taubinによる”The QB
IC Project:Querying Image
s By Content Using ColorT
exture,and Shape”,SPIE Vo
l.1908,1993,pp173−187;R.B
arber等による1996年発行の米国特許第557
9471号、”Image Query System
and Method”;M.Stricker,
M.Orengoによる”Similarity of
Color Image Retrieval”SP
IE Vol.2420,1995;S.Santin
i,R.JainによるCVRP,1996,”Sim
ilarity Qreries in Image
Databases”;J.Smith,S.Chan
gによるSPIE Vol.2670,1996,”T
ools and Techniques forCo
lor Image Retrieval”;M.Ta
kahashi,k.Yanagi,N.Iwaiによ
る 1997年の米国特許第5652881号,”St
ill Picture Search/Retrie
bal Method Carreid Out on
the Baseis of Color Info
rmation and System For Ca
rrying Out the Same:J.K.W
u,A.D.Narasimhaalu,B.M.Me
htre,C.P.Lam,Y.J.GaoによるMu
ltimedia Systems,Vol.3,19
96,pp25−41,”CORE:a conten
t−based Retrieval Engine
for Multimedia Informatio
n Systems”;W.Y.MaによるPh.D.
Dissertation,UCSB,1997,”N
ETRA:A Toolbox for Naviga
tingLarge Image Database
s”;Y.Rui,S.Mehrotra,M.Ore
gaによるIEEE Workshop on Con
tent−based Access of Imag
e and Video Libraries,199
7,pp82−89,”A Relevance Fe
edback Archetecture for C
ontent−based Multimedia I
nformation RetrievalSyste
m”を参照]。
【0006】上記のシステムのほとんどでは、各特徴F
iに対する重みwiそれぞれは固定され、又はユーザー
がその特徴の相対的な重要性に関する好みを示すために
値を手動で設定する。普通のユーザーに対して、異なる
特徴及び重みは一般に、質問画像及び所望の質問結果の
翻訳処理に直感的に相関しない。例えば、あるシステム
は質問を処理するために、色、テクスチャー、構造、構
成のような特徴の相対的な重要さを特定するようユーザ
ーに要求する。平均的なユーザーに対して、これらの異
なる特徴により意味されること及び所望の結果を得るた
めに各々にどのくらいの重みが割り当てられているかは
決定的に不明瞭である。特定の目標に対する特定の質問
に対して用いられる重みの最適な組合せはシステムによ
り用いられた画像記述スキーム及び類似性の測定に高度
に依存し、平均的なユーザーによって容易に理解できな
い。
【0007】最近、上記の問題を解決するために、いく
つかの試みがなされている。これらの試みはユーザーが
質問応答から少数の問題画像を識別することを必要とす
る。問題の画像の集合(set)は異なる特徴の相対的
重要性又は好ましい距離測定に関するユーザーの好みを
自動的に決定するよう処理される。そのような試みの一
つは[Y.Rui,S.Mehrotra,M.Ore
gaによるIEEEWorkshop on Cont
ent−based Access ofImage
and Video Libraries,1997,
pp82−89,”A Relevance Feed
back Archetecture for Con
tent−based Multimedia Inf
ormation Retrieval Syste
m”]に記載されている。与えられた質問で、多重にラ
ンク付けされた応答の集合は種々の表示及び関連した類
似性の測定を用いて形成される。質問に対するデフォル
トの応答の集合は表示される。ユーザーは少数の問題の
画像を選択し、それらにランク付けをする。ランク付け
された問題の画像の集合に最適に適合する応答の集合は
好みに基づく質問応答として選択される。この試みの大
きな欠点は以下の通り:(i)ユーザーの好みは質問を
最初に処理することなしには特定できない;(ii)ラ
ンク付けされた問題の画像の小さな集合に対して、最終
応答の集合は唯一ではない;(iii)画像表現の個々
の部品の相対的重要性は問題の画像の集合に基づき変更
されない。
【0008】ユーザーの好みの基づく質問処理に対する
他の試みは仮想特徴空間の全てのデータベース画像を配
置することである。ユーザーは特徴空間の異なる部分集
合を「ふるい分け」可能であり、質問処理に対する所望
の特徴集合を識別可能である[A.Gupta,S.S
antini,R,JainによるCommunica
tions of the ACM,Vol.40,N
o.12,December 1997,”In Se
arch of Information in Vi
sual Media”]。この試みは固定された特徴
の重みの重荷を緩和する一方で、画像類似性のユーザー
翻訳と関連する特徴に基づく表現との間の相関の欠如は
なお残っている。更にまた、完全なグローバル画像表示
が多数の主観又は問題領域で画像に対して用いられる故
に、ユーザーの好みに対応する特徴空間の部分集合は存
在しない。
【0009】画像類似性計算に対するユーザーの好みを
捕捉する自然な試みはユーザー供給された所望の画像の
陽性(ポジティブ)例と陰性(ネガティブ)例からその
ような情報を自動的に抽出/取得することである。得ら
れた好みは類似性測定を自動的に決定するよう用いられ
る。Minka&Piard[T.P.Minkaan
d R.W.Picard,”Interactive
Learningwith a Society o
f Models”]の現存するシステム「モデルのソ
サエティー」はこの試みに適合する。このシステムはデ
ータベース内の画像のいくつかの異なる類似性に基づく
階層的クラスタを形成するために種々の特徴に基づく画
像表示及び関連する類似性測定を用いる。ユーザー供給
陽性及び陰性例はユーザーが好む画像クラスタを識別す
るために用いられる。好ましいクラスタ内の全ての画像
はユーザーにより望まれた画像の集合を形成する。画像
クラスタは所望又は所望ではない画像のユーザーから供
給された例に基づきダイナミックに適合される。クラス
タを変更するこの処理は大きなデータベースに対して非
常に時間を要する。NETRA[W.Y.MaによるP
h.D.Dissertation,UCSB,199
7,”NETRA:A Toolboxfor Nav
igating Large Image Datab
ases”]と称される他のシステムはまたユーザーの
好みに基づく質問応答を形成するために特徴類似性に基
づく画像クラスタを用いる。このシステムは限定された
特徴に基づく表現及びクラスター化スキームを有する。
これらのシステム両方の主な欠点は(i)データベース
は統計的であることが必要とされる(即ち画像は完全な
データベース再クラスター化なしにデータベースにダイ
ナミックに付加又はそれから除去できない);(ii)
通常多数の陽性及び陰性例はシステムが所望の画像の集
合に対応する画像クラスタを決定するためにユーザーに
より提供される必要がある。
【0010】
【発明が解決しようとする課題】本発明の目的はユーザ
ーの好みに基づく質問処理用の一般的なフレームワーク
又はシステムを提供することにある。このフレームワー
クは画像検索に対するユーザーの好みを捕捉し、用いる
現存する試みの欠点を克服する。本発明の目的は所望の
画像に対するユーザーの好みを自動的に決定し、好みに
基づく画像検索をなすユーザーフレンドリーなスキーム
を提供することにある。
【0011】本発明の他の目的は画像のダイナミックな
データベースから検索されたユーザーの好みに基づく画
像に対するシステムを提供することにある。即ち、画像
は完全なデータベース認識を要求せずにデータベースか
らダイナミックに付加され/除去されうる。本発明の更
に他の目的はユーザー供給例又は反対の例から画像表現
スキームのそれぞれの成分の相対的な重要性を効率よく
決定する方法を提供することにある。
【0012】
【課題を解決するための手段】これら及び他の目的は好
ましい実施例の以下の説明から明らかとなる。短く要約
すると、本発明の一特徴によれば、ユーザーの好みを決
定するために所望の画像の一以上の例又は反例を用い;
所望の画像の例及び/又は反例から一以上の画像成分又
は一以上の描写特徴のいずれかに対するユーザーの相対
的な好みを抽出し;画像成分又は描写特徴のいずれかに
対する相対的な好みを用いて所望の画像のユーザーの主
観的な決定を定式化する各段階を含む、所望の画像に対
するユーザーの好みを学習する方法が提供される。
【0013】
【発明の実施の形態】以下の説明で、本発明はソフトウ
エアプログラムとして好ましい実施例により説明され
る。当業者にはそのようなソフトウエアの等価物はハー
ドウエアにより構成可能であることは明らかである。従
って、ここで用いられる「コンピュータプログラム製
品」という用語はソフトウエアの結果を得るためにハー
ドウエアを含む電子的システムと等価である。
【0014】更にまた、ここで用いられるように、例え
ば磁気ディスク(フロッピーディスクのような)又は磁
気テープのような磁気記録媒体、光ディスク、光テープ
のような光記憶媒体、又は機械的読み出し可能なバーコ
ード;ランダムアクセスメモリ(RAM)又はリードオ
ンリーメモリ(ROM)のような固体電子記憶装置;又
はコンピュータプログラムを記憶するために用いられる
媒体または他の物理的装置のようなコンピュータ読み出
し可能記憶媒体が用いられる。
【0015】図1を参照するに本発明を実施するための
コンピュータシステム10が示される。コンピュータシ
ステム10は好ましい実施例を説明する目的のために示
されるが、本発明は示されたコンピュータシステム10
に限定されるものではなく、電子的処理システムで用い
られる。コンピュータシステム10はソフトウエアプロ
グラムを受け、処理し、他の処理機能をなすマイクロプ
ロセッサに基づくユニット20を含む。表示器30はソ
フトウエアに関するユーザー関連情報を表示するために
マイクロプロセッサに基づくユニット20に電気的に接
続される。キーボード40はまたユーザーがソフトウエ
アへ情報を入力することを許容するためにマイクロプロ
セッサに基づくユニット20に接続される。入力にキー
ボード40を用いる代わりに、マウス50が当業者によ
く知られているように表示器上のセレクタ52を動か
し、セレクタ52が重なるアイテムを選択するよう用い
られる。
【0016】コンパクトディスクリードオンリーメモリ
(CD−ROM)55はソフトウエアプログラムを受
け、典型的にはソフトウエアプログラムを含むコンパク
トディスク57を介してマイクロプロセッサに基づくユ
ニット20にソフトウエアプログラム及び他の情報を入
力する手段を提供するためにマイクロプロセッサに基づ
く手段20に接続される。加えて、フロッピーディスク
61はまたソフトウエアプログラムを含み、ソフトウエ
アプログラムを入力するためにマイクロプロセッサに基
づくユニット20に挿入される。更にまた、マイクロプ
ロセッサに基づくユニット20は当業者により知られて
いるように、ソフトウエアプログラムを内部に記憶する
ためにプログラムされる。プリンタ56はコンピュータ
システム10の出力のハードコピーをプリントするため
にマイクロプロセッサに基づくユニット20に接続され
る。
【0017】画像はまたカード62に電子的に含まれる
デジタル化された画像を含むパーソナルコンピュータカ
ード(PCカード)62又は公式に知られているパーソ
ナルコンピュータメモリカードインターナショナルアソ
シエーションカード(PCMCIAカード)を介して表
示器30上に表示される。PCカード62は表示器30
上の画像の視覚的な表示を許容するマイクロプロセッサ
に基づくユニット29に最終的に挿入される。
【0018】本発明は異なるユーザーの意向の類似性に
よりユーザーの好みに基づく質問処理システムのフレー
ムワークを提供する。全体的なシステムは3つの機能フ
ェーズからなる:画像登録フェーズ、ユーザーの好みを
理解するフェーズ、好みに基づく画像検索フェーズであ
る。システム/フレームワークの画像登録フェーズで、
データベースは画像で構成される。図2を参照するに、
画像10はコンピュータシステム10のデータベースに
挿入(又は登録)され、特徴の集合を抽出する技術は画
像を表すために必要な全ての問題の情報又はメタデータ
を抽出するために画像10にS100で適用される。当
業者にはカラー内容、テクスチャー内容、領域、境界等
々のような画像特徴を抽出する種々の方法が存在するこ
とは明らかである。例えば、図4を参照するに、画像特
徴に基づくカラー20a、テクスチャー20b、形状2
0c、組成20d、構造20eは画像10を表すよう抽
出される。次の段階は画像10をその抽出された特徴S
120の言葉で表すことである。
【0019】図3を参照するに、好ましい実施例では、
画像10は複数の多重レベル特徴に基づく表現20の集
合として表される。例えば、画像IはI={IF1
F2,...,IFN}として表されここでIFiは特徴F
i の項で表された画像Iであり、ここでiは[1..
N]の範囲である。各IFiは一以上のレベルからなる階
層表現である。IFiの表現の最高のレベルはIFi={C
IFi 1 ,CIFi 2 ,...,CIFi M }の形であり、こ
こでCIFi j (30)はIFiのj番目の成分を表す。各
IFi j は今度は、その副成分の集合により表される。
特徴に基づく画像表現の最低のレベルでは副成分の各成
分は属性値40の集合により表される。
【0020】好ましい実施例では、多数の多レベル特徴
に基づく表現が用いられる(そのような表現の2つの例
が図5、6に示される)。当業者には特徴に基づく表現
のいかなる数でもそのような画像表現階層を形成するよ
う用いられることはあきらかである。図5、6を参照す
るに、例えばカラー特徴20aを用いる画像表現の好ま
しい実施例では、画像のカラーに基づく表現はIC
{C1 ,C2 ,...,CK }の形であり、ここでCj
30は画像Iにより張られた三次元カラー空間のj番目
の主要なカラーセグメントを示す。各Cj はその一以上
の属性集合40により表される。好ましい実施例では、
一の属性集合40はそのカラー範囲40aの項でカラー
空間セグメントを記述し、これは囲む箱又は囲む楕円の
寸法のいずれかで表される。他の属性集合はカラー平
均、分散、スキューのようなそのカラーモーメント40
bの項でカラー空間セグメントを表す。更に他の属性集
合はセグメント内のカラー分布40cによりからセグメ
ントを表す。当業者にはいかなる数の他のメトリック
(metric)がセグメントを表すために用いられる
ことは明らかである。図2を参照するに、画像登録処理
の最終段階は入力画像10及びその関連する表現をデー
タベース130に記憶することである。当業者には画像
及びデータベース内でのその表現を組織するいくつかの
方法が可能であることは明らかである。例えば、フラッ
トフィルは画像表現及び関連する画像ファイルへのリン
クを組織するために用いられる。多次元空間及びポイン
トアクセス法はまた特徴に基づく画像表現を組織するた
めに用いられ得る。好ましい実施例では、R−ツリーに
基づくインデックスが画像表現を組織するために用いら
れる。構成されたデータベースは所望の画像を検索する
ために質問され得る。
【0021】システム/フレームワークのユーザーの好
みの理解のフェーズはユーザーとの対話を介して所望の
画像に対するユーザーの好みの自動的な抽出に関する。
ユーザーの好みを得るために2つの選択肢が存在する。
質問に基づく選択肢−この選択肢は応答集合を提供する
ためにデフォルトの好みで質問をなす。必要であれば、
ユーザーは応答集合から所望の応答画像の一以上の例又
は反例を提供できる。選択肢1の好ましい実施例は図7
に示される。画像はまず、問い合わせ画像S300とし
てユーザーにより選択される。次に、質問画像と類似の
画像がデフォルトの好みS320を用いて検索される。
表示に基づく類似性の測定が質問画像に類似な画像を識
別し、検索するために用いられる。故に、システムによ
り用いられる類似性の測定は基礎をなす画像表現スキー
ムに依存する。一般に、類似性測定(measure)
はS(A,B)=Sim(RA ,RB )の形である。
【0022】ここでS(A,B)はそれぞれ表現RA
B を有する画像A,Bの類似性を表す。Sim()は
表現に基づく類似性の測定を表す。多重特徴に基づく画
像表現スキームに対して、画像IがRI ={RI F1,R
I F2,...,RI FN}として表され、Sim(RA
B )は以下の形であり、
【0023】
【数2】
【0024】ここでDFi(RA ,RB )は特徴Fi に関
する画像表現RA Fi,RB Fiの類似性を示し、wi は特
徴Fi の相対的な重要性を示す。当業者にはこの類似性
スキームが多重レベル階層画像表現スキームに一般化さ
れることは明らかである。更にまたSim()を得るた
めに総計する他の方法がまた可能である。階層的表現の
最低レベルで、類似性は属性値の類似性により決定され
る。例えば、カラーに基づく画像表現の実施例で用いら
れる属性集合は以下の測定を用いて比較される。セグメ
ントの境界範囲寸法属性集合により表される2つのカラ
ー空間セグメントの類似性は2つの境界領域の重複の程
度により計算される。カラーモーメントとして表される
2つのカラー空間セグメントの類似性はユークリッドの
絶対値距離又はマハラノビス(Mahalanobi
s)距離として計算される。カラー分布により表される
2つのカラー空間セグメントの類似性は以下の距離メト
リックの一つを用いて決定される:
【0025】
【数3】
【0026】ここでx,yは比較の下で2つのカラー空
間セグメントの2つのそれぞれの分布であり、xi ,y
i は正規化された周波数値である。当業者には異なる属
性レベル表現に対して得られた類似性値は階層的表現の
次のレベルで全体の類似性を得るために種々の方法で結
合されることは明らかである。当業者には画像検索処理
はまた画像表現がデータベースで組織される方法に依存
することは明らかである。例えば、画像表現がフラット
ファイルに記憶される場合にはデータベース内の最も尤
度の高い画像毎に類似の画像を識別するために質問画像
と比較する必要がある。候補の類似画像を選択するより
効率的な方法は効率のインデックスで画像表現を組織化
することにより達成される。この実施例では多次元空間
及びポイントアクセス法は画像表現を組織化するために
用いられる。例えば、このカラーに基づく画像表現は境
界領域、カラーモーメント、及び/又はカラー分布に基
づくインデックスを用いて組織化される。好ましい実施
例で適合された方法は表現の成分の一つのみを用い、画
像類似性を計算する完全な表現成分を用いてカラーに基
づく画像表現を組織化することである。例えばカラー空
間セグメントのカラーに基づく表現の境界領域成分はR
−ツリー類似のインデックス構造のデータベース画像に
属するカラー空間セグメントの全てを組織化するようも
ちいられる。この組織化スキームに対して、与えられた
質問画像で、インデックスは質問画像カラー空間セグメ
ントの境界領域と重複する境界領域でカラー空間セグメ
ントを識別するために捜索される。これらの重複セグメ
ントと関連する画像は候補の画像と考えられる。カラー
分布値及びカラーモーメント値は候補の画像と質問画像
との間の全体的な類似性を計算するために用いられる。
計算された類似性は候補画像の集合をランク付けするた
めに用いられる。ランク付けされた画像は、次にS33
0でユーザーに表示される。ユーザーは後で使用するた
めに候補画像集合をセーブするよう選択可能である(S
332)。以下に示すように候補画像集合をセーブする
3つの選択肢が存在する(S335): 1. クラスターに基づく:この選択肢は候補の集合を
統計的な画像コレクションとして扱い、[T.P.Mi
nka and R.W.Picardによる”Int
eractive Learning with a
Societyof Models”,Pattern
Recognition,Vol.30,1997,
pp565−581]で報告されているように、種々の
画像表現成分に基づく類似性を用いて階層的クラスター
を形成する。次に、これらのクラスターは記憶媒体に記
憶される。
【0027】2. ランク集合に基づく:この選択肢は
[Y.Rui,S.Mehrotra,M.Orega
によるIEEE Workshop on Conte
nt−based Access of Image
and Video Libraries,1997,
pp82−89,”A Relevance Feed
back Archetecture for Con
tent−basedMultimedia Info
rmation Retrieval Syste
m”]に報告されているように、候補画像集合の画像の
対応するランキングを得るために、異なる表現に基づく
類似性測定の集合を用いる。次に、これらのランク付け
された候補集合は記憶媒体に記憶される。
【0028】3. 適合成分に基づく:この選択肢は単
に候補画像集合を記憶媒体内にセーブする。加えて、各
候補画像表現成分に対して、適合質問成分及び関連する
適合品質はまた記憶される。 一以上のこれらの選択肢が、システム初期化の時に選択
されうる。表示された候補集合が所望の画像に対するユ
ーザーの好みに適合した場合には(S337)、処理は
終了する(S338)。さもなければ、ユーザー対話は
所望の画像の例(図7で+で示される)及び/又は反例
(図7で−で示される)を得るように要求される(S3
40)。ユーザーの提供した例及び反例は所望の応答に
対するユーザーの好みを自動的に推測するようセーブさ
れた候補集合と連結して処理される。ユーザーの好みの
決定処理は初期候補画像集合をセーブするよう選択され
た選択肢に依存する。候補集合をセーブするクラスター
に基づく選択肢に対して、例及び反例は代表的な成分及
び例の成分を含むが、反例の成分を含まないクラスター
階層の関連するセグメントを識別するよう用いられる。
類似の試みは[T.P.Minka and R.W.
Picardによる”Interactive Lea
rning with a Society of M
odels”,Pattern Recognitio
n,Vol.30,1997,pp565−581]で
なされている。この情報は所望の画像の代表を得るため
に用いられ、即ちユーザーにより望まれる画像は得られ
た代表を有するように要求される。候補画像集合をセー
ブするランク集合に基づく選択肢に対して、ユーザーは
ある例の画像の所望のランキングを入力されるよう要求
される。ユーザーが提供したランキングは記憶されたラ
ンク付けされた候補集合を識別するよう用いられ、ここ
で例の画像のランキングがユーザーの提供するランキン
グと最も近接するように適合される。この情報は代表及
び類似性の測定の固定された集合(これは段階S335
でランク付けされた候補集合を形成するのに用いられ
た)から好みの代表及び関連する類似性測定を識別する
ために用いられる。類似の試みが[Y.Rui,S.M
ehrotra,M.OregaによるIEEEWor
kshop on Content−based Ac
cess ofImage and Video Li
braries,1997,pp82−89,”A R
elevance Feedback Archete
cture for Content−based M
ultimedia Information Ret
rieval System”]でなされている。候補
画像集合をセーブする適合された成分に基づく選択肢に
対して、例及び反例は代表階層の全てのレベルで種々の
代表成分の相対的な重要性を得るように用いられる。代
表階層のどの与えられたレベルでも、質問画像代表成分
の相対的な重要性は適合する例及び反例画像成分の数及
びそれらの適合する品質により決定される。例の画像の
適合成分の発生毎に適合の質に比例して、その質問画像
代表成分の相対的な重要性が増加する。同様に、反例画
像の適合成分の発生毎に、適合の質に比例して、その画
像の代表成分の相対的な重要性は減少する。当業者に
は、候補集合をセーブしユーザーの好みを得る他の選択
肢は本発明の範囲内でなされうる。
【0029】得られたユーザーの好みは恒久的又は一時
的に記憶されうる。ユーザーが自分のプロファイルに得
られた好みを記憶することを選択した場合(S36
0)、質問画像表現及び得られた好みを含む好みの記録
はユーザー選択された集合に付加される(S370)。
いかなる複製された好みの記録検知方法でも好みの集合
で好みの記憶の複製を回避するために用いられ得る。ユ
ーザーが得られた好みを自分のユーザープロファイルに
付加することを選択しない場合には(S360)、現在
の質問画像代表を含む好みの記録は現在のセッションで
使用されるよう維持される(S380)。
【0030】質問に基づかない選択肢:ユーザーの好み
を決定するこの選択肢はいかなる初期質問処理も含まな
い。この実施例の主な段階は図8に示される。処理は所
望の画像の例(図8に+で示される)及び反例(図8に
−で示される)を得るためにユーザー対話により開始さ
れる(S410)。ユーザーは例及び反例の画像に対す
る実際の画像IDを特定し、又はそのような画像を選択
するためにランダムブラウザを用いる。これらの例及び
反例はユーザーの好みを抽出するために用いられる(S
420)。好ましい実施例はユーザーの好みを決定する
ために2つの選択肢を提供する: 1. クラスターに基づく:この選択肢は上記の質問に
基づくユーザーの好みの理解処理での候補集合をセーブ
するクラスターに基づく選択肢(図7のS335)と原
理的に同一である。この選択肢を適用可能にするため
に、画像データベースは統計的でなければならず、階層
的クラスターは画像登録処理(S130)の終わりで形
成され、記憶されなければならない。ユーザー供給され
た例及び反例は例の成分は含むが、反例成分は含まない
代表成分及びクラスター階層の関連するセグメントを識
別するために用いられる。同様の試みは[T.P.Mi
nka and R.W.Picardによる”Int
eractive Learning with a
Society of Models”,Patter
n Recognition,Vol.30,199
7,pp565−581]でなされている。この情報は
所望の画像の代表を得るために用いられ、即ちユーザー
により求められた画像は得られた代表を有するように求
められる。
【0031】2. マッチング成分に基づく:この選択
肢は上記のような質問に基づくユーザーの好みの理解処
理で候補の集合をセーブする適合成分に基づく選択肢
(図7のS335)と原理的には同じである。疑似問い
合わせ画像代表はユーザー供給された例の画像の画像代
表全ての連合により形成される。ユーザー供給された例
及び反例は疑似質問代表の代表階層の全てのレベルで種
々の代表成分の相対的な重要性を得るために用いられ
る。表現階層の与えられたレベルで、疑似質問画像代表
成分の相対的な重要性は例及び反例の画像成分の数及び
その適合品質により決定される。例の画像の適合成分の
出現毎に適合の品質に比例して疑似質問画像代表成分の
相対的な重要性は増加する。同様にして、反例の画像の
適合成分の発生毎に、適合の品質に比例して疑似質問画
像代表成分の相対的な重要性は減少する。
【0032】得られたユーザーの好みは恒久的又は一時
的に記憶されうる。ユーザーが自分のプロファイルに得
られた好みを記憶することを選択した場合(S43
0)、疑似質問画像表現及び得られた好みを含む好みの
記録はユーザー選択された集合に付加される(S44
0)。いかなる複製された好みの記録検知方法でも好み
の集合で好みの記憶の複製を回避するために用いられ得
る。ユーザーが得られた好みを自分のユーザープロファ
イルに付加することを選択しない場合には(S43
0)、現在の質問画像代表を含む好みの記録は現在のセ
ッションで使用されるよう維持される(S450)。
【0033】ユーザーの好みの決定の上記の処理は好み
の記録を更新又は変更するために望むだけの回数繰り返
される。本発明のシステム/フレームワークのユーザー
の好みに基づく検索フェーズはユーザーがユーザー特定
された好みを用いて所望の画像に対して質問することを
許容する。この機能的フェーズの2つの実施例がこのシ
ステムで利用可能である。
【0034】1. 質問画像及び好みの組合せ:検索の
この方の実施例は図9に示される。検索のこの方に対し
て、ユーザーは質問画像を特定し(S510)、好みの
ファイルを特定する(S520)。好みが適用可能かの
自動的なチェックはこのユーザー選択さえたこのみがユ
ーザー選択された質問と両立可能であるかどうかを決定
するためになされる(S530)。適用可能なチェック
をなすために用いられる方法はまた用いられた好みの理
解に依存する。クラスターに基づく好みに対して、質問
画像は好ましいクラスターの一つに属する。ランク付け
された集合の好みに対して、ユーザー選択された質問の
成分及びセーブされた好みのファイルの成分は比較され
る。ユーザー選択された質問の成分の数は好みのファイ
ルの成分のある数に適合しなければならない。適合成分
の閾値の数は調整可能であり、初期システム設置時に設
定可能である。同じ適用可能なテストは適合成分に基づ
く好みに適用される。ユーザーにより選択された好みの
ファイルがこの特定の質問に適用できない場合にはユー
ザーは他の好みのファイルを選択するか又は、好みを特
定するためにユーザーの好みを理解するフェーズに戻
る。適用可能な好みが利用可能であるときに、プロセス
の次の段階はユーザー選択された質問に好みのファイル
の情報を結合することである。クラスターに基づく好み
の場合にはこの段階は必要ない。好みの他の2つの型に
対しては、ユーザー選択された質問の成分は実際の質問
に対して用いられ、好みのファイルはこれらの成分に関
連する重み情報を提供するのみである。成分に基づく好
みを適合するために、デフォルトの重みが好みのファイ
ルに記憶された質問/疑似質問でないユーザー供給質問
の成分と関連する。適用可能な好みのファイルが選択さ
れ、質問代表に結合された後にユーザーは画像検索に用
いられる画像コレクションを選択する(S550)。画
像コレクションは前もって記憶された候補画像の集合の
一つ又は、画像データベースの全体である。応答集合は
好み−質問の結合を用いて選択された画像コレクション
集合から形成される(S560)。応答集合を形成する
処理は好みの理解選択肢に依存する。クラスターに基づ
く好みの理解に対して、好みのファイルで識別されたク
ラスターに属する画像は応答集合を形成する。選択的
に、ランキングはいかなる代表に基づく類似性の測定を
用いた応答の画像に対しても形成される。ランク付けさ
れた集合に基づく好みの理解に対して好ましい代表スキ
ームは選択された画像コレクションから所望の画像を識
別するために用いられる。識別された画像は次に、好ま
しい類似性の測定(measure)を用いてランク付
けされる。適合成分に基づく好みに対して、選択された
質問画像代表は選択された画像コレクションから所望の
画像を識別するために用いられる。代表成分に対する好
ましい重みは所望の画像の質問画像及びそれらのランキ
ングに対する全体的な類似性を決定するために用いられ
る。ランキングに沿った所望の画像は質問に対する応答
集合を形成する。この応答集合はユーザーに表示される
(S570)。
【0035】2. 好みのみの検索:検索のこの型の実
施例は図10に示される。ユーザーは好みの集合を選択
し(S610)、画像コレクションを選択する(S62
0)。画像コレクションは前もって記憶された候補画像
集合の一つであり、又は画像データベース全体である。
応答集合は選択された好みを用いて選択された画像コレ
クション集合から形成される(S630)。応答集合を
形成する処理は好みの理解の選択肢に依存する。検索の
この型に対して、クラスターに基づく、又は適合成分に
基づく好みのみが用いられる。クラスターに基づく好み
の理解に対して、好みのファイルで識別されたクラスタ
ーに属する画像は応答の集合を形成する。選択的に、ラ
ンキングはいかなる応答に基づく類似性測定を用いる応
答集合の画像に対しても形成される。適合成分に基づく
好みに対して、質問又は疑似質問画像代表は選択された
画像コレクションから画像類似性に基づく検索がなされ
るよう用いられる。選択された画像は次に、好みのファ
イルの相対的重要性の値を用いて代表に基づく類似性測
定を用いてランク付けされる。この応答集合は次にユー
ザーに表示される(S640)。
【0036】ユーザーの好みを理解し、それを好みに基
づく質問処理に適用する処理は質問に対する所望の応答
が得られるまで繰り返される。要約すると、本発明はデ
ジタル画像処理及びデジタル画像理解の分野に関し、よ
り詳細には主観的画像内容類似性に基づく検索に関す
る。図11を参照するに、所望のデジタル画像10のユ
ーザー提供された例及び/又は反例は異なる画像成分及
び/又は描写特徴に対するユーザーの相対的な好みを決
定するためにデジタル処理される(20)。結果30は
処理段階20から得られ、これは所望の画像のユーザー
の主観的な決定であり、データベースから所望の画像の
検索が結果30に基づいてなされる操作段階40で用い
られる。
【図面の簡単な説明】
【図1】本発明を実施するために用いられるコンピュー
タワークステーションの概略を示す。
【図2】本発明の画像登録段階の概略のフローチャート
を示す。
【図3】本発明により用いられる画像から得られた画像
及びそれに関連したサブレベルを示す図である。
【図4】画像の特徴レベルの複数の特定の特徴を示す図
である。
【図5】画像のカラー特徴のサブレベルを示す図であ
る。
【図6】画像のテクスチャーレベルのサブレベルを示す
図である。
【図7】ユーザーの好みを得るための本発明のソフトウ
エアプログラムを示すフローチャートである。
【図8】図7の代替実施例である。
【図9】本発明で用いられるデータベースからの選択を
示すフローチャートである。
【図10】本発明の一部分の要約を示すフローチャート
である。
【図11】本発明の要約を示すフローチャートである。
【符号の説明】
10 コンピュータシステム 20 ユニット 30 表示器 40 キーボード 50 マウス 52 セレクタ 55 コンパクトディスクリードオンリーメモリ 56 プリンタ 57 コンパクトディスク 61 フロッピーディスク 62 カード

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】(a) ユーザーの好みを決定するために
    所望の画像の一以上の例又は反例を用い; (b) 所望の画像の例及び/又は反例から一以上の画
    像成分又は一以上の描写特徴のいずれかに対するユーザ
    ーの相対的な好みを抽出し; (c) 画像成分又は描写特徴のいずれかに対する相対
    的な好みを用いて所望の画像のユーザーの主観的な決定
    を定式化する各段階を含む、所望の画像に対するユーザ
    ーの好みを学習する方法。
  2. 【請求項2】 段階(b)は所望の画像の例及び/又は
    反例の中の類似の及び類似でない画像成分を識別するこ
    とを更に含む請求項1記載の方法。
  3. 【請求項3】 画像成分は画像全体又は画像のセグメン
    トのいずれかである請求項2記載の方法。
JP11182073A 1998-06-29 1999-06-28 主観的画像内容類似性に基づく検索用の方法及びコンピュ―タプログラム製品 Pending JP2000035974A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/106,427 US6345274B1 (en) 1998-06-29 1998-06-29 Method and computer program product for subjective image content similarity-based retrieval
US106427 2002-03-26

Publications (1)

Publication Number Publication Date
JP2000035974A true JP2000035974A (ja) 2000-02-02

Family

ID=22311362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11182073A Pending JP2000035974A (ja) 1998-06-29 1999-06-28 主観的画像内容類似性に基づく検索用の方法及びコンピュ―タプログラム製品

Country Status (3)

Country Link
US (2) US6345274B1 (ja)
EP (1) EP0969388A1 (ja)
JP (1) JP2000035974A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181143A (ja) * 2015-03-24 2016-10-13 富士ゼロックス株式会社 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
WO2022092246A1 (ja) * 2020-10-30 2022-05-05 株式会社Mellow プログラム、情報処理装置及び方法
JP2022111365A (ja) * 2018-06-08 2022-07-29 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体

Families Citing this family (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628824B1 (en) * 1998-03-20 2003-09-30 Ken Belanger Method and apparatus for image identification and comparison
US6567551B2 (en) * 1998-04-27 2003-05-20 Canon Kabushiki Kaisha Image search apparatus and method, and computer readable memory
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US6687879B1 (en) * 1998-07-09 2004-02-03 Fuji Photo Film Co., Ltd. Font retrieval apparatus and method using a font link table
JP2000148794A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ
US6564206B1 (en) * 1998-10-05 2003-05-13 Canon Kabushiki Kaisha Information search apparatus and method, and storage medium
AUPP764398A0 (en) * 1998-12-11 1999-01-14 Canon Kabushiki Kaisha Method and apparatus for computing the similarity between images
US6411953B1 (en) * 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
US6606623B1 (en) * 1999-04-09 2003-08-12 Industrial Technology Research Institute Method and apparatus for content-based image retrieval with learning function
US6477269B1 (en) * 1999-04-20 2002-11-05 Microsoft Corporation Method and system for searching for images based on color and shape of a selected image
GB2349460B (en) * 1999-04-29 2002-11-27 Mitsubishi Electric Inf Tech Method of representing colour images
US6501855B1 (en) * 1999-07-20 2002-12-31 Parascript, Llc Manual-search restriction on documents not having an ASCII index
US6859802B1 (en) * 1999-09-13 2005-02-22 Microsoft Corporation Image retrieval based on relevance feedback
KR100350792B1 (ko) * 1999-09-22 2002-09-09 엘지전자 주식회사 사용자 선호도를 반영한 사용자 프로파일 생성방법과 멀티미디어 데이타 브라우징 방법
US6999636B1 (en) * 1999-11-09 2006-02-14 Canon Kabushiki Kaisha Image search method and apparatus
FR2801991B1 (fr) * 1999-12-03 2002-05-03 Canon Kk Procede et dispositif de recherche d'images basee sur le contenu prenant en compte le contenu de regions d'interet
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
JP2001256244A (ja) * 2000-03-14 2001-09-21 Fuji Xerox Co Ltd 画像データ分類装置および画像データ分類方法
US6970859B1 (en) * 2000-03-23 2005-11-29 Microsoft Corporation Searching and sorting media clips having associated style and attributes
US20020065813A1 (en) * 2000-04-18 2002-05-30 Scanlon Henry R. Image relationships derived from thresholding of historically tracked user data for facilitating image based searching
US6766362B1 (en) * 2000-07-28 2004-07-20 Seiko Epson Corporation Providing a network-based personalized newspaper with personalized content and layout
KR100788643B1 (ko) * 2001-01-09 2007-12-26 삼성전자주식회사 색과 질감의 조합을 기반으로 하는 영상 검색 방법
US7231381B2 (en) 2001-03-13 2007-06-12 Microsoft Corporation Media content search engine incorporating text content and user log mining
US6681060B2 (en) * 2001-03-23 2004-01-20 Intel Corporation Image retrieval using distance measure
WO2002079942A2 (en) * 2001-03-29 2002-10-10 Artmecca.Com System for visual preference determination and predictive product selection
US6748398B2 (en) * 2001-03-30 2004-06-08 Microsoft Corporation Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
EP1490767B1 (en) * 2001-04-05 2014-06-11 Audible Magic Corporation Copyright detection and protection system and method
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US8972481B2 (en) 2001-07-20 2015-03-03 Audible Magic, Inc. Playlist generation method and apparatus
US20030039410A1 (en) * 2001-08-23 2003-02-27 Beeman Edward S. System and method for facilitating image retrieval
US7283992B2 (en) * 2001-11-30 2007-10-16 Microsoft Corporation Media agent to suggest contextually related media content
US6901411B2 (en) * 2002-02-11 2005-05-31 Microsoft Corporation Statistical bigram correlation model for image retrieval
JP4098539B2 (ja) * 2002-03-15 2008-06-11 富士通株式会社 プロファイル情報の推薦方法、プログラム及び装置
JP2003281153A (ja) * 2002-03-27 2003-10-03 Minolta Co Ltd 情報検索システム用サーバ及び端末装置
US7006764B2 (en) * 2002-11-12 2006-02-28 Eastman Kodak Company User interface for controlling cropping in electronic camera
US7561793B2 (en) * 2002-11-12 2009-07-14 Eastman Kodak Company User interface for controlling cropping in electronic camera
US7359930B2 (en) * 2002-11-21 2008-04-15 Arbor Networks System and method for managing computer networks
US7327890B2 (en) * 2002-12-20 2008-02-05 Eastman Kodak Company Imaging method and system for determining an area of importance in an archival image
US7315833B2 (en) * 2003-01-16 2008-01-01 Rosetta Holdings, Llc Graphical internet search system and methods
JP2004288170A (ja) * 2003-03-05 2004-10-14 Olympus Corp 三次元モデル検索方法及びシステム
US20040223649A1 (en) * 2003-05-07 2004-11-11 Eastman Kodak Company Composite imaging method and system
EP1625518A2 (en) * 2003-05-12 2006-02-15 Philips Intellectual Property & Standards GmbH Method of searching for media objects
EP1881455B1 (en) * 2003-07-04 2009-12-23 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing a group of images
US7313574B2 (en) * 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US7693899B2 (en) * 2003-10-28 2010-04-06 Media Cybernetics, Inc. Method, system, and computer program product for constructing a query with a graphical user interface
US7693855B2 (en) * 2003-10-28 2010-04-06 Media Cybernetics, Inc. Method, system, and computer program product for managing data associated with a document stored in an electronic form
US20050105374A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Media diary application for use with digital device
US7109848B2 (en) * 2003-11-17 2006-09-19 Nokia Corporation Applications and methods for providing a reminder or an alert to a digital media capture device
US20050108643A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Topographic presentation of media files in a media diary application
US8010579B2 (en) 2003-11-17 2011-08-30 Nokia Corporation Bookmarking and annotating in a media diary application
US8990255B2 (en) * 2003-11-17 2015-03-24 Nokia Corporation Time bar navigation in a media diary application
US20050108234A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Speed browsing of media items in a media diary application
US7774718B2 (en) * 2003-12-17 2010-08-10 Nokia Corporation Time handle in a media diary application for accessing media files
US20050134719A1 (en) * 2003-12-23 2005-06-23 Eastman Kodak Company Display device with automatic area of importance display
US20050187943A1 (en) * 2004-02-09 2005-08-25 Nokia Corporation Representation of media items in a media file management application for use with a digital device
US8659619B2 (en) 2004-03-26 2014-02-25 Intellectual Ventures Fund 83 Llc Display device and method for determining an area of importance in an original image
US20050286428A1 (en) * 2004-06-28 2005-12-29 Nokia Corporation Timeline management of network communicated information
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8086038B2 (en) 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8144921B2 (en) 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US7812986B2 (en) * 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8825682B2 (en) * 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US20060120686A1 (en) * 2004-12-03 2006-06-08 Frank Liebenow Method, apparatus and system for storage and retrieval of images
US7831599B2 (en) 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
US7693306B2 (en) * 2005-03-08 2010-04-06 Konami Gaming, Inc. System and method for capturing images from mobile devices for use with patron tracking system
JP4542013B2 (ja) * 2005-09-29 2010-09-08 富士フイルム株式会社 プリント注文システム、プログラム、プログラム記憶媒体、およびプリント注文サーバ
US8849821B2 (en) 2005-11-04 2014-09-30 Nokia Corporation Scalable visual search system simplifying access to network and device functionality
US20070143298A1 (en) * 2005-12-16 2007-06-21 Microsoft Corporation Browsing items related to email
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
US7814040B1 (en) 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
US20070233678A1 (en) * 2006-04-04 2007-10-04 Bigelow David H System and method for a visual catalog
US7907755B1 (en) * 2006-05-10 2011-03-15 Aol Inc. Detecting facial similarity based on human perception of facial similarity
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
TWI403912B (zh) * 2006-06-08 2013-08-01 Univ Nat Chiao Tung 圖像檢索之方法及系統
US20080002864A1 (en) * 2006-06-29 2008-01-03 Eastman Kodak Company Using background for searching image collections
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US7764849B2 (en) * 2006-07-31 2010-07-27 Microsoft Corporation User interface for navigating through images
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8073263B2 (en) * 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
JP2010504567A (ja) * 2006-08-11 2010-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツ拡張方法及びサービスセンタ
US9208174B1 (en) * 2006-11-20 2015-12-08 Disney Enterprises, Inc. Non-language-based object search
US20080118160A1 (en) * 2006-11-22 2008-05-22 Nokia Corporation System and method for browsing an image database
US20080208791A1 (en) * 2007-02-27 2008-08-28 Madirakshi Das Retrieving images based on an example image
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8050503B2 (en) * 2007-07-05 2011-11-01 General Electric Company Systems and methods for computer vision using curvelets
US8006314B2 (en) 2007-07-27 2011-08-23 Audible Magic Corporation System for identifying content of digital data
US8150098B2 (en) 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US9792414B2 (en) * 2007-12-20 2017-10-17 Koninklijke Philips N.V. Method and device for case-based decision support
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US8799259B2 (en) * 2008-11-07 2014-08-05 Core Wireless Licensing, S.a.r.l. Method and apparatus for quality ranking of media
US10210179B2 (en) * 2008-11-18 2019-02-19 Excalibur Ip, Llc Dynamic feature weighting
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US9619469B2 (en) * 2009-12-22 2017-04-11 Apple Inc. Adaptive image browsing
US8774526B2 (en) * 2010-02-08 2014-07-08 Microsoft Corporation Intelligent image search results summarization and browsing
US20120030575A1 (en) * 2010-07-27 2012-02-02 Cok Ronald S Automated image-selection system
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
US9785835B2 (en) 2011-03-22 2017-10-10 Rochester Institute Of Technology Methods for assisting with object recognition in image sequences and devices thereof
US8577876B2 (en) * 2011-06-06 2013-11-05 Met Element, Inc. System and method for determining art preferences of people
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8625904B2 (en) 2011-08-30 2014-01-07 Intellectual Ventures Fund 83 Llc Detecting recurring themes in consumer image collections
US8874557B2 (en) 2011-09-02 2014-10-28 Adobe Systems Incorporated Object retrieval and localization using a spatially-constrained similarity model
US8805116B2 (en) * 2011-09-17 2014-08-12 Adobe Systems Incorporated Methods and apparatus for visual search
JP2013068981A (ja) * 2011-09-20 2013-04-18 Fujitsu Ltd 電子計算機及び画像検索方法
EP2608062A1 (en) * 2011-12-23 2013-06-26 Thomson Licensing Method of automatic management of images in a collection of images and corresponding device
US8949253B1 (en) 2012-05-24 2015-02-03 Google Inc. Low-overhead image search result generation
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
WO2014107194A1 (en) * 2013-01-03 2014-07-10 Board Of Regents, The University Of Texas System Identifying relevant user content
US9292517B2 (en) 2013-01-03 2016-03-22 Board Of Regents, The University Of Texas System Efficiently identifying images, videos, songs or documents most relevant to the user based on attribute feedback
JP2016529612A (ja) * 2013-08-02 2016-09-23 エモティエント インコーポレイテッド 画像情動コンテンツに基づくフィルタ及びシャッター
JP2015041340A (ja) * 2013-08-23 2015-03-02 株式会社東芝 方法、電子機器およびプログラム
ES2530687B1 (es) * 2013-09-04 2016-08-19 Shot & Shop. S.L. Método implementado por ordenador para recuperación de imágenes por contenido y programa de ordenador del mismo
EP3300020A1 (en) * 2013-11-08 2018-03-28 Google LLC Image based location determination
US9288636B2 (en) 2013-11-08 2016-03-15 Google Inc. Feature selection for image based location determination
CN104778170A (zh) 2014-01-09 2015-07-15 阿里巴巴集团控股有限公司 搜索展示商品图像的方法和装置
JP6379664B2 (ja) * 2014-05-19 2018-08-29 株式会社リコー 画像処理装置、画像処理方法、および画像処理プログラム
US11170037B2 (en) 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US10171843B2 (en) 2017-01-19 2019-01-01 International Business Machines Corporation Video segment manager
CN110249387B (zh) 2017-02-06 2021-06-08 柯达阿拉里斯股份有限公司 用于创建伴随视觉影像的音频轨的方法
US10657548B2 (en) * 2017-03-08 2020-05-19 Architecture Technology Corporation Product obsolescence forecast system and method
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2696853B1 (fr) * 1992-10-12 1994-12-23 Bull Sa Procédé d'aide à l'optimisation d'une requête d'un système de gestion, de base de données relationnel et procédé d'analyse syntaxique en résultant.
US5579471A (en) 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JP3234064B2 (ja) 1993-09-02 2001-12-04 キヤノン株式会社 画像検索方法並びにその装置
JPH07146871A (ja) 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
US5903904A (en) * 1995-04-28 1999-05-11 Ricoh Company Iconic paper for alphabetic, japanese and graphic documents
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
US5987456A (en) * 1997-10-28 1999-11-16 University Of Masschusetts Image retrieval by syntactic characterization of appearance
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US6026411A (en) * 1997-11-06 2000-02-15 International Business Machines Corporation Method, apparatus, and computer program product for generating an image index and for internet searching and querying by image colors
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US6243713B1 (en) * 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types
US6233547B1 (en) * 1998-12-08 2001-05-15 Eastman Kodak Company Computer program product for retrieving multi-media objects using a natural language having a pronoun

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016181143A (ja) * 2015-03-24 2016-10-13 富士ゼロックス株式会社 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
JP2022111365A (ja) * 2018-06-08 2022-07-29 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
JP7386930B2 (ja) 2018-06-08 2023-11-27 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
WO2022092246A1 (ja) * 2020-10-30 2022-05-05 株式会社Mellow プログラム、情報処理装置及び方法

Also Published As

Publication number Publication date
EP0969388A1 (en) 2000-01-05
US20010056415A1 (en) 2001-12-27
US6345274B1 (en) 2002-02-05
US6480840B2 (en) 2002-11-12

Similar Documents

Publication Publication Date Title
JP2000035974A (ja) 主観的画像内容類似性に基づく検索用の方法及びコンピュ―タプログラム製品
JP5531443B2 (ja) 情報処理装置および方法、並びにプログラム
JP4587512B2 (ja) ドキュメントデータ照会装置
US6728752B1 (en) System and method for information browsing using multi-modal features
US6567797B1 (en) System and method for providing recommendations based on multi-modal user clusters
US6922699B2 (en) System and method for quantitatively representing data objects in vector space
US6598054B2 (en) System and method for clustering data objects in a collection
JP4752623B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US6564202B1 (en) System and method for visually representing the contents of a multiple data object cluster
US6941321B2 (en) System and method for identifying similarities among objects in a collection
JP4378646B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20120099784A1 (en) Chromatic matching game
US20020178135A1 (en) Image searching system and image searching method, and a recording medium storing an image searching program
US20030123737A1 (en) Perceptual method for browsing, searching, querying and visualizing collections of digital images
WO2001020483A2 (en) Finding perceptually similar music with precomputation
JP4374902B2 (ja) 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP2002342360A (ja) 情報提供装置、その方法、そのコンピュータ・プログラムおよびそのプログラムを記録した記録媒体
Marques et al. MUSE: A content-based image search and retrieval system using relevance feedback
JPH0934909A (ja) 情報検索装置
Kherfi et al. Combining visual features with semantics for a more effective image retrieval
Luo Concept-based large-scale video database browsing and retrieval via visualization
Djeraba Relationship extraction from large image databases
Dai Intention-based image retrieval with or without a query image
Mishra et al. Content based Image Retrieval using Implicit and Explicit Feedback with Interactive Genetic Algorithm
Celentano et al. Multiple strategies for relevance feedback in image retrieval