JP2006510114A - 概念モデル空間におけるコンテンツの表現及びこれを検索するための方法及び装置 - Google Patents

概念モデル空間におけるコンテンツの表現及びこれを検索するための方法及び装置 Download PDF

Info

Publication number
JP2006510114A
JP2006510114A JP2004560808A JP2004560808A JP2006510114A JP 2006510114 A JP2006510114 A JP 2006510114A JP 2004560808 A JP2004560808 A JP 2004560808A JP 2004560808 A JP2004560808 A JP 2004560808A JP 2006510114 A JP2006510114 A JP 2006510114A
Authority
JP
Japan
Prior art keywords
multimedia
multimedia document
scoring
document
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004560808A
Other languages
English (en)
Other versions
JP2006510114A5 (ja
Inventor
スミス、ジョン
ナファード、ミリンド
ナットセブ、アポスタル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2006510114A publication Critical patent/JP2006510114A/ja
Publication of JP2006510114A5 publication Critical patent/JP2006510114A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 モデル・ベクトルを用いてマルチメディア文書を索引付けすること。
【解決手段】 マルチメディア文書からモデル・ベクトル表現を抽出するための方法及び装置。モデル・ベクトルは、マルチメディア文書が一組のカテゴリに属すること、又は、一組の意味概念が当該文書に関連することに対する確信性の多次元的表現を与える。モデル・ベクトルはマルチメディア文書と関連して、そのコンテンツの索引又はカテゴリ化を与えることができ、当該マルチメディア文書を比較、検索、分類、又はクラスタ化するために用いることができる。モデル・ベクトルは、情報探索、マルチメディア・コンテンツの個人化、及びマルチメディア情報貯蔵庫照会、の目的のために用いることができる。

Description

本発明は、マルチメディア文書を索引付けするためにモデル・ベクトルを用いることに関し、より詳細には、モデル・ベクトル表現を形成して、モデル・ベクトルをマルチメディア文書と関連付けて索引を与え、モデル・ベクトルを用いてマルチメディア文書を検索し、分類し、クラスタ化する方法及び装置に関する。本発明は、さらに、情報の探索、マルチメディア・コンテンツの個人化、及びマルチメディア情報貯蔵庫照会、の目的のためにモデル・ベクトルを用いることに関する。
ますます増加しているビデオ、イメージ、テキストその他のマルチメディア文書形態のデジタル情報の量は、該情報を索引付けし、検索し、カテゴリ化し、かつ、組織化するためのより効率的な方法に対する必要性を駆り立てている。コンテンツ分析、形態抽出、及び分類における最近の進歩は、マルチメディア文書を効率的に検索し、フィルタ処理するための機能を改善しつつある。しかし、色、テクスチャ、形状、動きのようなマルチメディア・コンテンツから自動的に抽出することができる低レベルの形態記述と、マルチメディア・システムのユーザにとって意味のある対象、事象、シーン、人々のような意味記述との間で顕著なギャップが残る。
マルチメディアの索引付けの問題は、人為的で、半自動的な、又は完全に自動的な処理を要求する多数の手法によって対処することができる。１つの手法は、人が人為的に、ラベル、カテゴリ、又は記述をマルチメディア文書に割り当てることを可能にする注釈ツール又はカタログ化ツールを用いるものである。例えば、著者、M.Naphade、C.Y.Lin、J.R.Smith、B.Tseng及びS.Basuは、（非特許文献１）という表題の論文において、ラベルをビデオ・ショットに割り当てることを可能にするビデオ注釈ツールについて述べている。著者らは、さらに、能動的学習に基づいてラベルを割り当てる半自動的な方法を教示する。完全に自動的な手法もまた可能である。例えば、著者M.Naphade、S.Basu、及びJ.R.Smithは、（非特許文献２）において、低レベルのビジュアル形態の統計的なモデル化に基づいて、ラベルを自動的にビデオ・システムに割り当てる方法について述べている。自動ラベル付け技術は、自動的に割り当てられたラベルに基づいて、ビデオの検索を可能にすることに対して有益であるが、索引付けは、少ないボキャブラリの照合値に限定されるため、ユーザがラベル用語の１つと照合しない検索語を入力した場合には、検索によって、どのような目標マルチメディア文書も見出されることがない。
自動システムが、ラベル、カテゴリ、及び記述をマルチメディア文書に割り当てるための改善しつつある機能であるとすると、これらの記述を用いて、これらの文書を索引付けし、検索し、分類し、及びクラスタ化するためのより意味のある方法を与えるために、これらの記述を活用する新規な技術が必要になる。さらに、システムは、自動システムの不確実性又は信頼性、並びに、マルチメディア文書に割り当てられたあらゆるラベル、カテゴリ、又は記述の関連性を考慮して、効率的な索引を与えるべきである。
「Learning to Annotate VideoDatabases」IS&T/SPIE Symposium on ElectronicImaging: Science and Technology-Storage & Retrieval for Image and VideoDatabases X、カリフォリニア州サンノゼ、２００２年１月 「Statistical Modeling Approach to Content-based Video Retrieval」IEEE International Conference on Acoustics, Speech and SignalProcessing(ICA-2002)、２００２年５月
したがって、本発明の目的は、あらゆる自動的なラベル付け、及び、確信性、信頼性及び関連性といったその対応する採点の結果を取り込むモデル・ベクトル表現を用いて、マルチメディア文書を索引付けするための方法及び装置を提供することである。
本発明の別の目的は、情報の探索、マルチメディア・コンテンツの個人化、及びマルチメディア情報貯蔵庫照会、の用途において、モデル・ベクトル表現を用いることである。
上述その他の目的は、マルチメディア文書の分類又はラベル付けの結果、及びあらゆる対応する不確実性、信頼性又は関連性採点を、該マルチメディア文書の検索、分類、及びクラスタ化に用いることができる多次元ベクトルに包み込むモデル・ベクトル表現を用いて、マルチメディア文書を索引付けするための装置及び方法を提供する本発明により実現される。モデル・ベクトル表現は、字句エンティティを多次元ベクトル空間の次元にマッピングすることを含み、これにより、文書がその多次元空間において表わされ、索引付けされることが可能になる。
モデル・ベクトル表現の利点は、これが語彙目録全体にわたる広範囲のラベル付けを取り込むことである。これはまた、ラベル又は分類結果の不確実性を取り込む小型の表現を与える。モデル・ベクトル表現は、さらに、その実値多次元性質が距離空間における効率的な索引付けを可能にして、該モデル・ベクトル表現の距離又は類似性において簡単な計算を可能にすることにより、索引付けにおいても利点を有する。このことは、モデル・ベクトルを、マルチメディア文書の類似性検索、関連性フィードバックベースの検索、分類、クラスタ化、フィルタ処理などのために用いる効率的な方法を可能にする。
本発明は、以下で、添付図面を特に参照して、より詳細に述べられる。
図１は、本発明の特徴を有するマルチメディア情報検索システムの一例を示す。図示されるように、ユーザは、ユーザ・インターフェース（１００）を通して、ステップ（１０５）において、照会をマルチメディア情報検索システムに向けて発行する。この照会は、照会プロセッサ（１０１）により取り扱われる。照会プロセッサは、ステップ（１０６）において、格納された索引値（１０４）の組を検索して、ユーザの照会に対する照合を見出す。索引値がモデル・ベクトル形態である場合には、この値は、各々の索引付けされたマルチメディア文書の意味次元に関する多次元ベクトルに対応する。この照合は、ステップ（１０７）において検索エンジンに渡されて、照合するマルチメディア文書が、ステップ（１０８）においてマルチメディア貯蔵庫（１０３）から取り出される。対応するマルチメディア文書は、モデル・ベクトルと、貯蔵庫内の特定のマルチメディア文書との関連（１１０）に基づいて求められる。マルチメディア文書は、次いで、ステップ（１０９）においてユーザに戻されて、ユーザ・インターフェース（１００）で表示される。モデル・ベクトル表現は、ユーザの照会に対する照合を見出すのに用いることができる一組の格納された索引値（１０３）を表わすための１つの方法を与える。
モデル・ベクトル表現は、一連の検出器又は分類器をマルチメディア文書に適用した結果を包み込む。例えば、｛「車」、「ボート」、「列車」｝の概念がマルチメディア文書に示されているかどうかを検出することにより、以下の語彙目録｛「車」、「ボート」、「列車」｝からの字句エンティティを割り当てる一組の分類器を考慮されたい。検出問題は、各概念が存在することに対する確実性を反映する採点を割り当てることにより、各概念の有無を検出する一組のバイナリ分類器として見ることができる。例えば、このシステムは、「車」に対して採点０．７５を与えることができ、これは、「車」ラベルが割り当てられる確信性は７５％であることを意味すると解釈することができる。一方、システムは、「列車」に対しては採点０．２５を与えることができ、これは、「列車」ラベルが割り当てられる確信性は２５％であることを意味すると解釈することができる。全体的には、システムは、これらの多数の検出器に対する採点をもたらし、モデル・ベクトルはこれらの採点を単一の表現で取り込み、これは、次いで、マルチメディア文書に対する索引として用いられることになる。
図２は、マルチメディア文書又は照会に対するモデル・ベクトルを生成する工程を示す。マルチメディア文書（２００）は、最初に、複数の検出器（２０１）により操作されて、検出器の各々の基になる概念に関連して採点される。検出器自体は、固定の語彙目録（２０４）、又は固定のカテゴリ、対象、事象、シーン、又は人々の組に対応することができる。例えば、米国議会図書館グラフィック材料同意語辞典は、写真その他の種類のグラフィック文書をカタログ化するための一組のカテゴリを与える。検出器は、各検出器がＴＧＭカテゴリの１つに対応するように造り、用いることができる。語彙目録（２０４）の概念はまた、一般的、特定的、又は抽象的なものとすることができる。例えば、或る概念は、「橋を示すシーン」のような一般的なエンティティに対応することができる。或いは、或る概念は、「ゴールデンゲートブリッジを示すシーン」のような特定のエンティティに対応することができる。最後に、或る概念は、「現代文明」のような抽象的なエンティティに対応することができる。検出器（２０１）は、訓練されたモデルその他の種類の統計分類器に対応することができる。訓練（２０５）の場合においては、ラベル付けされたマルチメディア文書の例は、学習工程において、検出器（２０１）モデル及びそれらのパラメータを定義するように用いることができる。検出器（２０２）の出力は、次いで、マッピング工程（２０２）において変換されて、モデル・ベクトル（２０３）が生成される。モデル・ベクトルは、語彙目録（２０４）の概念に関連するマルチメディア文書（２００）の集合的な採点形態を与える。さらに、モデル・ベクトル（２０３）は、語彙目録に対するその採点を考慮することにより、マルチメディア文書（２００）についての推論を可能にする。
図３は、一組の検出器を用いて、マルチメディア文書が分析され採点される、マルチメディア文書に対するモデル・ベクトルを生成する１つの実施形態を示す。各マルチメディア文書（３００）は、Ｎ個の検出器（３０１ないし３０３）を適用することにより分類される。検出器は、サポートベクトルマシン、ガウス混合モデル、隠れマルコフモデル、ニューラルネット、ベイズネット、線形判別分析などを含む任意の数の形態を取ることができる。各検出器は、特定の意味概念を表わすことができる。例えば、語彙目録｛「車」、「ボート」、「列車」｝を考えると、検出器は、検出器１＝「車」、検出器２＝「ボート」、検出器３＝「列車」の概念を表わすことがある。すなわち、検出器１は、「車」の概念がマルチメディア文書に関連があるかどうかを判断し、他の検出器も同様に動作する。検出器は、以前に、供給された地上較正によりラベル付けされた例に基づいて、モデルを学習するか又は作成する技術を用いることによって、それぞれの概念を検出するように訓練されていた可能性がある。
検出器（３０１ないし３０３）は、各々の検出を実行するために、マルチメディア文書（３００）に関する様々な情報を用いることができる。例えば、検出器（３０１ないし３０３）は、マルチメディア文書（３００）構成する情報の１つ又はそれ以上の様式（視覚、オーディオ、スピーチ、テキスト）を用いることができる。検出器（３０１ないし３０３）は、さらに、マルチメディア文書（３００）からの情報についての異なる様式から抽出された色、テクスチャ、形状、動き、音の周波数、空間的又は時間的配置のようなコンテンツベースの記述子を用いることができる。例示的な記述子は、色ヒストグラム、縁ヒストグラム、動きベクトル、形状境界記述子などを含む。検出器（３０１ないし３０３）は、さらに、マルチメディア文書（３００）に関するメタデータを用いることができる。例えば、題名、著者、作成日、ジャンルなどのような情報を用いることができる。さらに、マルチメディア文書（３００）と他の文書との関連のような他の概念情報を用いることができる。検出器（３０１ないし３０３）は、さらに、語彙目録又はマルチメディア情報貯蔵庫に関する情報及び知識の組織に基づいた推測及び推論を可能にする知識ベース又は意味ネットを用いることができる。
各検出器においては、採点（３０５）が各マルチメディア文書に対して生成される。採点は、マルチメディア文書（３００）に関連する検出器により、それぞれの概念のモデル化に対する情報を与える。採点は、確信性又は不確実性（総合的に「確信性」と呼ばれる）のような多くのことを反映することができ、これによって検出器は、文書における概念、文書に対する概念の関連性、又は概念を検出する際の検出器の信頼性を検出する。例えば、上述の検出器１を考慮すると、採点は、該検出器がマルチメディア文書において「車」の表現を検出することができる確信性を示すことができる。確信性は、識別境界又はしきい値に対する近接性に関することがある。例えば、マルチメディア文書が、「車」を検出するための識別境界から遠い場合には、高い確信性があると判断される。しかし、マルチメディア文書が識別境界から近い場合には、低い確信性があると判断される。関連性採点は、概念がマルチメディア文書に対してどれだけ関連があるかを示す。例えば、「車」が部分的に示されるだけであったり、又は、マルチメディア文書の大部分を構成しない場合には、関連性採点は低いと判断することができる。或いは、信頼性採点は、検出器がそれぞれの概念を検出することに対してどれだけ信頼できるかを示すことができる。例えば、検出器１が、「車」の数個の例のみを用いて訓練された場合には、低い信頼性採点が求められることになる。しかし、これが多くの例を用いて訓練された場合には、高い信頼性採点が求められることになる。採点自体は、一次元値を生成するといったこれらの属性の１つだけを反映することができる。しかし、採点は、さらに、情報を多数の属性に与えることにより、他次元とすることができる。
検出器の各々に対して採点が生成されると、これらは、マップされて（３０４）、モデル・ベクトル（３０６）を生成する。各検出器（３０１ないし３０３）がその分類を実行するために、多数の様式（例えば、イメージ、ビデオ、オーディオ、テキスト、スピーチ）を用いる場合のような幾つかの場合においては、単一のモデル・ベクトル（３０６）が各マルチメディア文書（３００）に対して生成される。或いは、各検出器が１つの様式のみを用いるような場合においては、多数のモデル・ベクトル（３０６）を各マルチメディア文書に対して生成することができる。この場合には、多数のモデル・ベクトルを各マルチメディア文書に対して生成して、例えば、一方をオーディオ様式に対して、他方をイメージ様式に対してなどのように、多数の採点を反映することができる。
モデル・ベクトル又は複数のモデル・ベクトルを生成するためのマッピング（３０４）は、検出器から生成された採点の組み合わせ又は集合を与える。幾つかの場合においては、マッピングは、Ｎ次元のベクトルを生成するためにＮ個の採点を連結させるという単純な動作を与える。例えば、一次元の確信性採点が各検出器により生成される（すなわち、分類器１が採点Ｃ１、分類器２が採点Ｃ２、及び分類器３が採点Ｃ３を生成する）上述の３つの要素の語彙目録｛「車」、「ボート」、「列車」｝を考慮すると、連結工程は、三次元のモデル・ベクトルＭ＝［Ｃ１，Ｃ２，Ｃ３］を生成する。或いは、マッピング（３０４）は、確信性採点の線形重み付け又は変換を生成することができる。
確信性採点は、検出器の信頼性又は分類結果の関連性により重み付けすることができる。３つの検出器の各々に対する信頼性採点Ｒ１、Ｒ２、Ｒ３のそれぞれを考慮されたい。重み付けにより、マッピング（３０４）は、信頼性採点Ｒｉを確信性採点Ｃｉで乗算することにより、三次元のモデル・ベクトルＭ＝［Ｒ１＊Ｃ１，Ｒ２＊Ｃ２，Ｒ３＊Ｃ３］を生成することができる。或いは、３つの検出器の各々に対する関連性採点Ｌ１、Ｌ２、Ｌ３を考慮すると、マッピング（３０４）は、関連性採点Ｌｉを確信性採点Ｃｉで乗算することにより、三次元のモデル・ベクトルＭ＝［Ｌ１＊Ｃ１，Ｌ２＊Ｃ２，Ｌ３＊Ｃ３］を生成することができる。主要構成要素分析、特異値分解、ウェーブレット変換、離散コサイン変換といった場合におけるような他のマッピング（３０４）は、線形変換及び／又は次元数の削減を与えることができる。或いは、サポートベクトルマシン、ニューラルネットといった場合におけるようなマッピング（３０４）は、非線形変換を与えることができる。マッピング（３０４）は、さらに、離散空間又はバイナリ値空間に対する量子化を含むことができる。例えば、マッピング段階（３０４）において、検出器からの確信性採点（３０５）をしきい値化することにより、各概念がマルチメディア文書（３００）にあるかどうかを示すバイナリモデル・ベクトルを生成することができる。
全体的に、マッピング（３０４）は、個々の概念又は検出器（３０１ないし３０３）からモデル・ベクトル（３０６）の個々の次元への様々な特定のマッピングをもたらすことができる。採点（３０５）を連結するマッピング（３０４）におけるような幾つかの場合には、モデル・ベクトルの次元に対する概念の一対一のマッピングが生成される。しかし、他の場合においては、例えば、モデル・ベクトル（３０６）の次元数を元の概念空間に関連して減少させるように、多対一のマッピングを生成することが望ましいとすることができる。他の場合においては、マッピング（３０４）は、例えば、ある程度の冗長性をモデル・ベクトル（３０６）に可能にするように一対多又は多対多とすることができる。
図４は、検出器の採点に基づいて生成されたモデル・ベクトルの例を示す。固定の語彙目録＝｛「都市風景」、「顔」、「室内」、「景色」、「独白」、「野外」「人々」、「テキスト＿オーバーレイ」｝に対する検出器の結果（４００）の採点された組が与えられると、検出器の採点（４００）の各々を多次元のモデル・ベクトル（４０１）の独特な次元にマッピングすることにより、モデル・ベクトル（４０１）が生成される。本例においては、０．３５である「都市風景」の採点がモデル・ベクトルの第１次元にマップされる。０．８７である「顔」の採点が第２次元にマップされ、以下同様に続く。異なるマルチメディア文書に対応するモデル・ベクトル間の照合を助けるために、モデル・ベクトルの次元に対する検出器の採点の一貫したマッピングを用いることができる。同様に、より大きい語彙目録に対する例示的な検出器の採点（４０２）は、モデル・ベクトルの次元（４０３）にマップすることができる。この場合においては、「動物」に対する採点がモデル・ベクトルの第１次元にマップされる。「海辺」に対する採点が第２次元にマップされ、以下同様に続く。
図５は、モデル・ベクトルを用いたマルチメディア文書の索引付け工程を示す。第１に、Ｋ個のマルチメディア文書の集合（５００）がモデル・ベクトル生成工程（５０１）において分析されて、一組のＭ個のモデル・ベクトル（５０２）を生成する。モデル・ベクトル生成工程（５０１）は、マルチメディア文書（５００）のすべてにわたり、固定の語彙目録（５０５）及び対応する検出器の組を用いて、モデル・ベクトル（５０２）を生成する際の一貫性を可能にすることができる。さらに、モデル・ベクトル生成工程（５０１）はまた、同じ理由のために、マルチメディア文書（５００）のすべてにわたり、採点（３０５）及びマッピング（３０４）に対して固定のパラメータの組を用いることができる。モデル・ベクトル（５０２）が生成されると、これらは対応するマルチメディア文書（５００）と関連付けられる。例えば、この関連は、各モデル・ベクトル（５０２）と各マルチメディア文書（５００）との間の一次キー・外部キー関係を述べるデータベースのキー値を用いて表わすことができる。或いは、この関連は、各モデル・ベクトル（５０２）を、対応するマルチメディア文書（５００）のアドレスを与えるメディア・ロケータと関連付けることにより表わすことができる。或いは、各マルチメディア文書（５００）を独自に識別する識別子を用いて、モデル・ベクトル（５０２）の各々の関連が表わされるようにすることが可能である。さらに、各マルチメディア文書（５００）のヘッダ又はメタデータ・フィールドにおけるモデル・ベクトルの値を表わすことによって、又は、ウォーターマーク付け又は何らかの他の持続的な関連付け方法によりモデル・ベクトル（５０２）の値を各マルチメディア文書（５００）と持続的に関連付けることによって、モデル・ベクトル（５０２）を、直接、各マルチメディア文書（５００）と関連付けることも可能である。
モデル・ベクトル（５０２）が生成され、これらのマルチメディア文書（５００）との関連が表わされると、該モデル・ベクトル（５０２）の値に基づいて、該マルチメディア文書（５００）に対するアクセスを可能にする索引が作成される。この索引は、例えば、類似性検索又は隣接検索を可能にするような近接性をベースにしたアクセスを可能にすることができる。これらの場合においては、アクセスは、照会モデル・ベクトルを供給することにより達成することができ、同様なモデル・ベクトル又は最も近い目標モデル・ベクトルの固定サイズの組が索引から見出される。索引は、さらに、範囲をベースとしたアクセスをサポートすることができ、この場合には、照会モデル・ベクトルが供給され、該照会モデル・ベクトルから一定の距離の中にあるすべての目標モデル・ベクトルが該索引から見出される。
図６は、モデル・ベクトルを用いた照会工程を示す。モデル・ベクトルの値は、マルチメディア文書を取り出すために、ユーザの照会と照合される。ユーザ（６００）は、照会（６０１）をマルチメディア文書検索システム（６０９）に対して発行する。照会は、ユーザにより与えられた例示的なモデル・ベクトル形態とすることができる。検索インターフェースは、任意的に、例えば、ユーザが照会に関連する意味概念を識別し、モデル・ベクトル表現を構築するために採点を割り当てることを可能にするインターフェースを与えることにより、ユーザが、照会モデル・ベクトルを開発することを可能にすることができる。或いは、検索インターフェースは、任意的に、マルチメディア文書をユーザに表示して、ユーザが、どのマルチメディア文書が照会に関連するかを選択することを可能にすることができる。システムは、次いで、事前計算された関連のモデル・ベクトルを照会のために用いるか、又は、照会時にモデル・ベクトルを生成する。或いは、照会は、ユーザにより与えられたマルチメディア文書の例の形態とすることができ、この場合には、照会マルチメディア文書は、照会モデル・ベクトルを作成するためのモデル・ベクトル生成工程を用いて分析し、処理することができる。
照会モデル・ベクトルが利用可能になると、これらはステップ（６０２）において、格納されたモデル・ベクトル値（６０６）と照合される。照合工程は、索引構造体を用いて目標モデル・ベクトルの照合を識別することを含むことができる。この照合は、上述のように、類似性検索、隣接検索、又は範囲の照会を含むことができる。照合工程（６０２）は、照会モデル・ベクトルに照合する格納されたモデル・ベクトル（６０６）を識別する照合リスト（６０３）を生成する。照合リスト（６０３）は、次いで、ステップ（６０４）において、任意的に採点される。照合の採点は、モデル・ベクトル値を用いて、距離空間計算に基づいて求めることができる。例えば、単一の照会モデル・ベクトルを考慮すると、照合の採点は、ユークリッド距離又はマンハッタン距離のような距離関数を用いて、多次元モデルのベクトル空間において測定された近接性に基づくものとすることができる。或いは、照合工程は、モデル・ベクトルの次元の幾つかだけを使用することが可能である。例えば、（４００ないし４０１）におけるモデル・ベクトルを考慮すると、ユーザが「人間関連の」概念にのみ関心がある場合には、選択的に、次元２（「顔」）及び次元７（「人々」）を用いることができる。多数の照会モデル・ベクトルが与えられる場合においては、照合の採点は、個々のモデル・ベクトルからの距離の採点を組み合わせることにより取得することができる。照会モデル・ベクトルの中心を計算し、中心モデル・ベクトルを照会として用いるような他の選択肢も可能である。
採点された照合リストは、次いで、例えば、最良の照合をリストの最上位に移動させるために、任意的に、ステップ（６０５）においてランク付けされる。次いで、ランク付けされたリストは、例えば、１０個の最良の照合をリスト上に保持するために、任意的に、ステップ（６０６）において切り捨てられる。次いで、結果（６０７）がユーザに戻される。任意的に、検索システムは、これらのマルチメディア文書を結果リスト（６０７）におけるモデル・ベクトルに関連するマルチメディア貯蔵庫（６１０）から取り出して、該文書をユーザに表示する。
結果がユーザに表示されると、ユーザは、例えば、関連性フィードバック技術を用いて、肯定的な例又は否定的な例を結果リスト（６０７）から識別することにより、検索を改善することができる。検索システム（６０９）は、この情報を照会処理と併せて用いて、モデル・ベクトルの採点に基づいて照合を取り出すことができる。
モデル・ベクトルは、マルチメディア文書を取り出すために用いることができるが、これらはまた、マルチメディア文書のクラスタ化及び分類のために用いることができる。例えば、モデル・ベクトルを多次元距離空間において分析して、集積的クラスタ処理のような様々な技術を用いて、クラスタを識別することができる。モデル・ベクトルは、さらに、差別的又は生成的モデル化に基づくもののような様々な監視された学習方法を用いて分類することができる。例示的な分類器は、サボートベクトルマシン及びガウス混合モデルを含む。能動的学習及びブースティングのような他の技術もまた分類目的のためにモデル・ベクトル値に適用することができる。
モデル・ベクトルはまた、情報の探索及びマルチメディア貯蔵庫の発掘のためにも用いることができる。例えば、モデル・ベクトル集合の次元の相関を調査して、概念がマルチメディア文書に現れるときの共起性についての情報を明らかにすることができる。
図７は、モデル・ベクトルを用いたマルチメディア文書の適合を示す。このモデル・ベクトルは、マルチメディア貯蔵庫からのマルチメディア文書又は情報をフィルタ処理し、要約し、又は個人化するために用いることができる。ユーザ（７００）は、要求（７０８）をマルチメディア情報システムに向けて発行する。この要求はステップ（７０１）で取り扱われる。要求は、（６０１）におけるように特定のユーザの照会を含むことができ、この場合、ユーザは例示的なモデル・ベクトル又はマルチメディア文書を供給するか、又は意味概念を識別する。或いは、要求はログイン形態であってもよく、ここでは、ユーザのプロファイルがプリファレンス情報と併せて、すでに格納されている。この場合においては、ユーザのプリファレンス情報は、任意的に、ステップ（７０２）でチェックすることができる。プリファレンス情報はまた、例示的なモデル・ベクトル、マルチメディア文書、又は識別された意味概念の形態で格納されてもよい。ユーザの照会及びユーザのプリファレンス情報は、次いで、集約され処理されて、照会モデル・ベクトルを生成し、これらは次いで、格納されたモデル・ベクトル（７０４）と照合され、これを取り出すように用いられ、次いで、ステップ（７０６）において、マルチメディア貯蔵庫（７０５）から選択的にマルチメディア文書を取り出すための索引として用いられる。これにより、モデル・ベクトル値に基づいたマルチメディア文書のフィルタ処理が与えられる。
任意的に、ステップ（７０７）において、マルチメディア文書に関連するモデル・ベクトルを照会モデル・ベクトルと組み合わせて用いて、該マルチメディア文書のコンテンツに適合させることができる。この適合は、特定の照会に対するユーザのプリファレンスにより、マルチメディア・コンテンツを個人化することができる。例えば、ユーザのプリファレンスは、「スポーツ」の概念が重要であることを示す場合がある。この場合には、取り出されたマルチメディア文書、例えば、「ニュース」ビデオを処理して、「スポーツ」セグメントだけを抽出することができる。或いは、この適合は、例えば、「非スポーツ」セグメントを圧縮し、「スポーツ」セグメントからのハイライトを抽出することにより、コンテンツを要約することができる。
本発明は、好ましい実施形態を参照して述べられた。当業者であれば、特許請求の範囲に述べられる本発明の精神及び範囲から離れることなく修正を実行することができることが明らかであろう。
照会プロセッサが検索のためにモデル・ベクトルの索引を用いるマルチメディア情報検索システムを示す。 語彙目録及び訓練された検出器を与えられた場合のマルチメディア文書に対するモデル・ベクトルの生成を示す。 マルチメディア文書に対するモデル・ベクトルを生成するための検出、採点、及びマッピング工程を示す。 検出器の採点に基づいて生成されたモデル・ベクトルの例を示す。 モデル・ベクトルを用いたマルチメディア文書の索引付け工程を示す。 モデル・ベクトルを用いた照会工程を示す。 モデル・ベクトルを用いたマルチメディア文書の適合を示す。

Claims (30)

  1. マルチメディア文書を表わすための少なくとも１つのモデル・ベクトルを生成する方法であって、
    複数の概念検出器を前記マルチメディア文書に適用するステップと、
    前記マルチメディア文書を各々の検出器に関して採点するステップと、
    前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
    を有する方法。
  2. 前記複数の概念検出器が、カテゴリ、対象、事象、シーン、及び人々についての固定の語彙目録に対応する、請求項１に記載の方法。
  3. 前記文書が、オーディオ、ビジュアル、テキスト、及びスピーチといった多数の様式を有し、前記概念検出器が前記マルチメディア文書に存在する単一の又は多数の様式について動作する、請求項１に記載の方法。
  4. 前記概念検出器が、前記マルチメディア文書から抽出された文書形態のコンテンツベースの記述子について動作する、請求項１に記載の方法。
  5. 前記概念検出器が、前記マルチメディア文書に関連するメタデータについて動作する、請求項１に記載の方法。
  6. 前記概念検出器が、前記マルチメディア文書に関連する概念情報について動作する、請求項１に記載の方法。
  7. 前記概念検出器が知識ベースで動作する、請求項１に記載の方法。
  8. 前記検出器が、訓練されたモデル統計分類器に対応する、請求項１に記載の方法。
  9. 前記採点が、前記マルチメディア文書において概念を検出することの確信性、前記マルチメディア文書に対する概念の関連性、及び前記概念に関する前記検出器の信頼性のうちの少なくとも１つに基づく、請求項１に記載の方法。
  10. 前記マッピングが、前記採点を連結するステップ、線形変換を実行するステップ、非線形変換を実行するステップ、量子化を実行するステップ、及びしきい値化によって次元数を削減するステップのうちの少なくとも１つに対応する、請求項１に記載の方法。
  11. 前記モデル・ベクトルの次元に対する前記採点のマッピングが、一対一、一対多、多対一、又は多対多とすることができる、請求項１０に記載の方法。
  12. 前記複数の検出器が、マルチメディア文書の前記索引付けのために準備される、請求項１に記載の方法。
  13. 前記採点及びマッピング方法が、マルチメディア文書の前記索引付けのために準備される、請求項１に記載の方法。
  14. モデル・ベクトルを用いてマルチメディア文書を索引付けするための方法であって、
    １つ又はそれ以上のモデル・ベクトルを各マルチメディア文書に対して生成するステップと、
    前記モデル・ベクトルをこれと対応するマルチメディア文書と関連付けるステップと、
    前記関連付けられたモデル・ベクトルの値に基づいて、前記マルチメディア文書にアクセスするための索引を作るステップと、
    を有する方法。
  15. マルチメディア文書を表わすために少なくとも１つのモデル・ベクトルを生成する前記ステップが、
    複数の概念検出器を前記マルチメディア文書に適用するステップと、
    前記マルチメディア文書を各々の検出器に関して採点するステップと、
    前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
    を有する請求項１４に記載の方法。
  16. 前記複数の検出器が、マルチメディア文書の前記索引付けのために準備される、請求項１５に記載の方法。
  17. 前記採点方法及びマッピング方法が、マルチメディア文書の前記索引付けのために準備される、請求項１５に記載の方法。
  18. 多数のモデル・ベクトルが、多数の様式、形態、記述子、又はモデル、の各々に基づいて、各マルチメディア文書について生成される、請求項１４に記載の方法。
  19. 前記関連付けるステップが、データベースのキー値、メディア・ロケータ、又は他の種類の識別子、に基づく、請求項１４に記載の方法。
  20. 前記索引が、前記モデル・ベクトル値に基づいて、類似性検索、隣接アクセス、又は範囲検索、を可能にする、請求項１４に記載の方法。
  21. アプリケーションにおいてモデル・ベクトルをマルチメディア文書と併せて用いるための方法であって、
    各マルチメディア文書を表わすために、少なくとも１つのモデル・ベクトルを、
    複数の概念検出器を前記マルチメディア文書に適用するステップと、
    前記マルチメディア文書を各検出器に関して採点するステップと、
    前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
    によって生成するステップと、
    前記少なくとも１つのベクトル表現の値に基づいて、前記マルチメディア文書について少なくとも１つの動作を実行するステップと、
    を有する方法。
  22. 前記少なくとも１つの動作が、マルチメディア情報貯蔵庫から文書を検索して取り出すために、前記モデル・ベクトルを用いるステップを含む、請求項２１に記載の方法。
  23. 前記少なくとも１つの動作が、マルチメディア情報をフィルタ処理するステップ、要約するステップ、及び個人化するステップのうちの少なくとも１つを有する請求項２１に記載の方法。
  24. 前記少なくとも１つの動作が、データ発掘するステップを有する、請求項２１に記載の方法。
  25. 前記少なくとも１つの動作が、前記文書をクラスタ化するステップを有する請求項２１に記載の方法。
  26. 前記少なくとも１つの動作が、前記文書を分類化するステップを有する請求項２１に記載の方法。
  27. マルチメディア文書を表わすために少なくとも１つのモデル・ベクトルを生成する方法を実行する機械により実行可能な命令プログラムを実体的に具体化する機械読取可能なプログラム格納装置であって、前記方法が、
    複数の概念検出器を前記マルチメディア文書に適用するステップと、
    前記マルチメディア文書を各々の検出器に関して採点するステップと、
    前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
    を有する、プログラム格納装置。
  28. アプリケーションにおいてモデル・ベクトルをマルチメディア文書と併せて用いるための方法を実行する機械により実行可能な命令プログラムを実体的に具体化する機械読取可能なプログラム格納装置であって、前記方法が、
    各マルチメディア文書を表わすために、少なくとも１つのモデル・ベクトルを、
    複数の概念検出器を前記マルチメディア文書に適用するステップと、
    前記マルチメディア文書を各検出器に関して採点するステップと、
    前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するステップと、
    によって生成するステップと、
    前記少なくとも１つのベクトル表現の値に基づいて、前記マルチメディア文書について少なくとも１つの動作を実行するステップと、
    を有する、プログラム格納装置。
  29. アプリケーションにおいてモデル・ベクトルをマルチメディア文書と併せて用いるシステムであって、
    各マルチメディア文書を表わすために少なくとも１つのモデル・ベクトルを生成する少なくとも１つのモデル・ベクトル生成コンポーネントと、
    前記少なくとも１つのベクトル表現の値に基づいて、前記マルチメディア文書について少なくとも１つの動作を実行するための少なくとも１つの文書処理コンポーネントと、
    を有するシステム。
  30. 前記少なくとも１つのモデル・ベクトル生成コンポーネントが、
    複数の概念検出器を前記マルチメディア文書に適用するための少なくとも１つの概念検出器適用コンポーネントと、
    前記マルチメディア文書を各検出器に関して採点するための採点コンポーネントと、
    前記採点を多次元空間にマッピングして、少なくとも１つのベクトル表現を形成するためのマッピング・コンポーネントと、
    を有する、請求項２９に記載のシステム。
JP2004560808A 2002-12-13 2003-12-12 概念モデル空間におけるコンテンツの表現及びこれを検索するための方法及び装置 Pending JP2006510114A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/319,295 US7124149B2 (en) 2002-12-13 2002-12-13 Method and apparatus for content representation and retrieval in concept model space
PCT/US2003/039548 WO2004055639A2 (en) 2002-12-13 2003-12-12 Method and apparatus for content representation and retrieval in concept model space

Publications (2)

Publication Number Publication Date
JP2006510114A true JP2006510114A (ja) 2006-03-23
JP2006510114A5 JP2006510114A5 (ja) 2008-12-11

Family

ID=32506622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004560808A Pending JP2006510114A (ja) 2002-12-13 2003-12-12 概念モデル空間におけるコンテンツの表現及びこれを検索するための方法及び装置

Country Status (7)

Country Link
US (1) US7124149B2 (ja)
EP (1) EP1579351A4 (ja)
JP (1) JP2006510114A (ja)
CN (1) CN100485665C (ja)
AU (1) AU2003300881A1 (ja)
TW (1) TWI297842B (ja)
WO (1) WO2004055639A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526735B2 (en) 2010-01-08 2013-09-03 International Business Machines Corporation Time-series analysis of keywords

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US7133811B2 (en) * 2002-10-15 2006-11-07 Microsoft Corporation Staged mixture modeling
GB0303018D0 (en) * 2003-02-10 2003-03-12 British Telecomm Information retreival
US7394947B2 (en) * 2003-04-08 2008-07-01 The Penn State Research Foundation System and method for automatic linguistic indexing of images by a statistical modeling approach
US7941009B2 (en) * 2003-04-08 2011-05-10 The Penn State Research Foundation Real-time computerized annotation of pictures
US7639868B1 (en) * 2003-06-16 2009-12-29 Drexel University Automated learning of model classifications
EP1656626A2 (en) * 2003-08-13 2006-05-17 Koninklijke Philips Electronics N.V. Context-of-use independent content systems
US8301584B2 (en) * 2003-12-16 2012-10-30 International Business Machines Corporation System and method for adaptive pruning
TWI254221B (en) * 2004-05-06 2006-05-01 Lite On It Corp Method and apparatus for indexing multimedia data
WO2006113597A2 (en) * 2005-04-14 2006-10-26 The Regents Of The University Of California Method for information retrieval
US7630977B2 (en) 2005-06-29 2009-12-08 Xerox Corporation Categorization including dependencies between different category systems
US9396435B2 (en) 2005-10-26 2016-07-19 Cortica, Ltd. System and method for identification of deviations from periodic behavior patterns in multimedia content
US9747420B2 (en) 2005-10-26 2017-08-29 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US9529984B2 (en) * 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US9256668B2 (en) 2005-10-26 2016-02-09 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US8818916B2 (en) * 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US7734554B2 (en) * 2005-10-27 2010-06-08 Hewlett-Packard Development Company, L.P. Deploying a document classification system
US20070150802A1 (en) * 2005-12-12 2007-06-28 Canon Information Systems Research Australia Pty. Ltd. Document annotation and interface
US7779004B1 (en) 2006-02-22 2010-08-17 Qurio Holdings, Inc. Methods, systems, and products for characterizing target systems
US8005841B1 (en) * 2006-04-28 2011-08-23 Qurio Holdings, Inc. Methods, systems, and products for classifying content segments
US7840568B2 (en) * 2006-05-16 2010-11-23 Sony Corporation Sorting media objects by similarity
US7961189B2 (en) * 2006-05-16 2011-06-14 Sony Corporation Displaying artists related to an artist of interest
US9330170B2 (en) * 2006-05-16 2016-05-03 Sony Corporation Relating objects in different mediums
US20070271286A1 (en) * 2006-05-16 2007-11-22 Khemdut Purang Dimensionality reduction for content category data
US7750909B2 (en) * 2006-05-16 2010-07-06 Sony Corporation Ordering artists by overall degree of influence
US7774288B2 (en) * 2006-05-16 2010-08-10 Sony Corporation Clustering and classification of multimedia data
US8615573B1 (en) 2006-06-30 2013-12-24 Quiro Holdings, Inc. System and method for networked PVR storage and content capture
US8745684B1 (en) 2006-08-08 2014-06-03 CastTV Inc. Facilitating video search
US7519619B2 (en) * 2006-08-21 2009-04-14 Microsoft Corporation Facilitating document classification using branch associations
BRPI0605994B1 (pt) * 2006-09-29 2019-08-06 Universidade Estadual De Campinas - Unicamp Processo de randomização progressiva para análise e raciocínio em multimídia
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US20080162561A1 (en) * 2007-01-03 2008-07-03 International Business Machines Corporation Method and apparatus for semantic super-resolution of audio-visual data
US7707162B2 (en) * 2007-01-08 2010-04-27 International Business Machines Corporation Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification
US7840903B1 (en) 2007-02-26 2010-11-23 Qurio Holdings, Inc. Group content representations
US7996762B2 (en) * 2007-09-21 2011-08-09 Microsoft Corporation Correlative multi-label image annotation
EP2053523A1 (en) * 2007-10-16 2009-04-29 Sony France S.A. Method and apparatus for updating of prototypes
US8086549B2 (en) * 2007-11-09 2011-12-27 Microsoft Corporation Multi-label active learning
US7958068B2 (en) * 2007-12-12 2011-06-07 International Business Machines Corporation Method and apparatus for model-shared subspace boosting for multi-label classification
US9997260B2 (en) * 2007-12-28 2018-06-12 Koninklijke Philips N.V. Retrieval of similar patient cases based on disease probability vectors
US8775416B2 (en) * 2008-01-09 2014-07-08 Yahoo!Inc. Adapting a context-independent relevance function for identifying relevant search results
US8752184B1 (en) 2008-01-17 2014-06-10 Google Inc. Spam detection for user-generated multimedia items based on keyword stuffing
US8745056B1 (en) * 2008-03-31 2014-06-03 Google Inc. Spam detection for user-generated multimedia items based on concept clustering
US8255386B1 (en) 2008-01-30 2012-08-28 Google Inc. Selection of documents to place in search index
US8229865B2 (en) * 2008-02-04 2012-07-24 International Business Machines Corporation Method and apparatus for hybrid tagging and browsing annotation for multimedia content
US8171020B1 (en) 2008-03-31 2012-05-01 Google Inc. Spam detection for user-generated multimedia items based on appearance in popular queries
US8849832B2 (en) * 2008-04-02 2014-09-30 Honeywell International Inc. Method and system for building a support vector machine binary tree for fast object search
US7958130B2 (en) * 2008-05-26 2011-06-07 Microsoft Corporation Similarity-based content sampling and relevance feedback
US8666918B2 (en) * 2008-08-06 2014-03-04 Technische Universitat Berlin Video-genre classification
US8463051B2 (en) * 2008-10-16 2013-06-11 Xerox Corporation Modeling images as mixtures of image models
US8249343B2 (en) 2008-10-15 2012-08-21 Xerox Corporation Representing documents with runlength histograms
US8700072B2 (en) 2008-12-23 2014-04-15 At&T Mobility Ii Llc Scalable message fidelity
US8078617B1 (en) * 2009-01-20 2011-12-13 Google Inc. Model based ad targeting
US8527500B2 (en) * 2009-02-27 2013-09-03 Red Hat, Inc. Preprocessing text to enhance statistical features
US8396850B2 (en) * 2009-02-27 2013-03-12 Red Hat, Inc. Discriminating search results by phrase analysis
US8386511B2 (en) * 2009-02-27 2013-02-26 Red Hat, Inc. Measuring contextual similarity
US10891659B2 (en) * 2009-05-29 2021-01-12 Red Hat, Inc. Placing resources in displayed web pages via context modeling
JP5631125B2 (ja) * 2010-09-01 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US8489604B1 (en) 2010-10-26 2013-07-16 Google Inc. Automated resource selection process evaluation
EP2646964A4 (en) 2010-12-01 2015-06-03 Google Inc RECOMMENDATIONS BASED ON TOPICAL CLUSTERS
US20120197630A1 (en) * 2011-01-28 2012-08-02 Lyons Kenton M Methods and systems to summarize a source text as a function of contextual information
US11410072B2 (en) * 2011-10-21 2022-08-09 Educational Testing Service Computer-implemented systems and methods for detection of sentiment in writing
US10313279B2 (en) 2011-12-12 2019-06-04 Rcs Ip, Llc Live video-chat function within text messaging environment
US9424334B2 (en) * 2011-12-12 2016-08-23 Tcb Encore, Llc Keyword based identity of multi-media content for message
US9110989B2 (en) 2012-12-04 2015-08-18 At&T Intellectual Property I, L.P. Methods, systems, and products for recalling and retrieving documentary evidence
US9251433B2 (en) 2012-12-10 2016-02-02 International Business Machines Corporation Techniques for spatial semantic attribute matching for location identification
US9165217B2 (en) 2013-01-18 2015-10-20 International Business Machines Corporation Techniques for ground-level photo geolocation using digital elevation
US10387729B2 (en) 2013-07-09 2019-08-20 Outward, Inc. Tagging virtualized content
US9275306B2 (en) * 2013-11-13 2016-03-01 Canon Kabushiki Kaisha Devices, systems, and methods for learning a discriminant image representation
US9875301B2 (en) 2014-04-30 2018-01-23 Microsoft Technology Licensing, Llc Learning multimedia semantics from large-scale unstructured data
US9183507B1 (en) * 2014-11-17 2015-11-10 Microsoft Technology Licensing, Llc Context based inference of save location
US9438412B2 (en) * 2014-12-23 2016-09-06 Palo Alto Research Center Incorporated Computer-implemented system and method for multi-party data function computing using discriminative dimensionality-reducing mappings
FR3030846B1 (fr) * 2014-12-23 2017-12-29 Commissariat Energie Atomique Representation semantique du contenu d'une image
US10013637B2 (en) 2015-01-22 2018-07-03 Microsoft Technology Licensing, Llc Optimizing multi-class image classification using patch features
US9785866B2 (en) 2015-01-22 2017-10-10 Microsoft Technology Licensing, Llc Optimizing multi-class multimedia data classification using negative data
CN105991398A (zh) 2015-02-04 2016-10-05 阿里巴巴集团控股有限公司 一种即时通信im聊天记录的保存方法及装置
US9880999B2 (en) * 2015-07-03 2018-01-30 The University Of North Carolina At Charlotte Natural language relatedness tool using mined semantic analysis
BR112018000801A2 (pt) * 2015-07-16 2018-09-04 Inscape Data Inc sistema, e método
CN105005559A (zh) * 2015-08-18 2015-10-28 东南大学 一种基于主题特征的文档分类方法
CN108353213A (zh) * 2015-10-30 2018-07-31 惠普发展公司，有限责任合伙企业 视频内容概括和类选择
US10282677B2 (en) * 2015-11-05 2019-05-07 International Business Machines Corporation Individual and user group attributes discovery and comparison from social media visual content
US10685070B2 (en) * 2016-06-30 2020-06-16 Facebook, Inc. Dynamic creative optimization for effectively delivering content
US10572908B2 (en) 2017-01-03 2020-02-25 Facebook, Inc. Preview of content items for dynamic creative optimization
US10922713B2 (en) 2017-01-03 2021-02-16 Facebook, Inc. Dynamic creative optimization rule engine for effective content delivery
US20190243910A1 (en) * 2018-02-05 2019-08-08 Microsoft Technology Licensing, Llc Visual Search as a Service
US11769425B2 (en) * 2018-11-02 2023-09-26 International Business Machines Corporation Enhancing video language learning by providing catered context sensitive expressions
US11436853B1 (en) * 2019-03-25 2022-09-06 Idemia Identity & Security USA LLC Document authentication
US11783005B2 (en) 2019-04-26 2023-10-10 Bank Of America Corporation Classifying and mapping sentences using machine learning
US11328025B1 (en) 2019-04-26 2022-05-10 Bank Of America Corporation Validating mappings between documents using machine learning
US11302361B2 (en) * 2019-12-23 2022-04-12 Samsung Electronics Co., Ltd. Apparatus for video searching using multi-modal criteria and method thereof
US12086145B2 (en) 2021-07-13 2024-09-10 International Business Machines Corporation Mapping machine learning models to answer queries
CN114328989A (zh) * 2021-12-09 2022-04-12 北京达佳互联信息技术有限公司 媒体信息处理方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US6101515A (en) * 1996-05-31 2000-08-08 Oracle Corporation Learning system for classification of terminology
JP4194680B2 (ja) * 1998-01-30 2008-12-10 康 清木 データ処理装置及びその方法、及びそのプログラムを記憶した記憶媒体
US6084595A (en) * 1998-02-24 2000-07-04 Virage, Inc. Indexing method for image search engine
US6714909B1 (en) * 1998-08-13 2004-03-30 At&T Corp. System and method for automated multimedia content indexing and retrieval
US6317710B1 (en) * 1998-08-13 2001-11-13 At&T Corp. Multimedia search apparatus and method for searching multimedia content using speaker detection by audio data
US6922699B2 (en) * 1999-01-26 2005-07-26 Xerox Corporation System and method for quantitatively representing data objects in vector space
US6598054B2 (en) * 1999-01-26 2003-07-22 Xerox Corporation System and method for clustering data objects in a collection
US6819797B1 (en) * 1999-01-29 2004-11-16 International Business Machines Corporation Method and apparatus for classifying and querying temporal and spatial information in video
KR100350788B1 (ko) * 1999-10-19 2002-08-28 엘지전자 주식회사 가중치 표현 데이타 구조를 포함하는 멀티미디어 내용 묘사정보와 이를 이용한 멀티미디어 디스플레이 방법
WO2001031502A1 (fr) * 1999-10-27 2001-05-03 Fujitsu Limited Dispositif et procede de classement et de rangement d'informations multimedia
KR100767489B1 (ko) * 2000-03-18 2007-10-16 주식회사 팬택앤큐리텔 벡터 기술자 표현장치 및 이를 이용한 멀티미디어 데이터 검색장치
US7146349B2 (en) * 2000-11-06 2006-12-05 International Business Machines Corporation Network for describing multimedia information
US7444660B2 (en) * 2000-11-16 2008-10-28 Meevee, Inc. System and method for generating metadata for video programming events
US6556710B2 (en) * 2000-12-15 2003-04-29 America Online, Inc. Image searching techniques
US6915009B2 (en) * 2001-09-07 2005-07-05 Fuji Xerox Co., Ltd. Systems and methods for the automatic segmentation and clustering of ordered information
JP2003167914A (ja) * 2001-11-30 2003-06-13 Fujitsu Ltd マルチメディア情報検索方法、プログラム、記録媒体及びシステム
US7024033B2 (en) * 2001-12-08 2006-04-04 Microsoft Corp. Method for boosting the performance of machine-learning classifiers
US7050607B2 (en) * 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7298931B2 (en) * 2002-10-14 2007-11-20 Samsung Electronics Co., Ltd. Image retrieval method and apparatus using iterative matching

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526735B2 (en) 2010-01-08 2013-09-03 International Business Machines Corporation Time-series analysis of keywords

Also Published As

Publication number Publication date
AU2003300881A8 (en) 2004-07-09
CN1748213A (zh) 2006-03-15
WO2004055639A3 (en) 2004-11-04
AU2003300881A1 (en) 2004-07-09
US20040117367A1 (en) 2004-06-17
EP1579351A2 (en) 2005-09-28
EP1579351A4 (en) 2008-07-02
TWI297842B (en) 2008-06-11
US7124149B2 (en) 2006-10-17
CN100485665C (zh) 2009-05-06
WO2004055639A2 (en) 2004-07-01
TW200426622A (en) 2004-12-01

Similar Documents

Publication Publication Date Title
US7124149B2 (en) Method and apparatus for content representation and retrieval in concept model space
Patel et al. Content based video retrieval systems
Lew et al. Content-based multimedia information retrieval: State of the art and challenges
US8908997B2 (en) Methods and apparatus for automated true object-based image analysis and retrieval
Fan et al. Concept-oriented indexing of video databases: toward semantic sensitive retrieval and browsing
Monay et al. Modeling semantic aspects for cross-media image indexing
Fan et al. Classview: hierarchical video shot classification, indexing, and accessing
Djeraba Association and content-based retrieval
JP2006510114A5 (ja)
WO2009158135A2 (en) Statistical approach to large-scale image annotation
Ismail A survey on content-based image retrieval
Jiang et al. Learning image-text associations
TW202004519A (zh) 影像自動分類的方法
Abd Manaf et al. Review on statistical approaches for automatic image annotation
Lakdashti et al. Semantic-based image retrieval: A fuzzy modeling approach
Sumathy et al. Image Retrieval and Analysis Using Text and Fuzzy Shape Features: Emerging Research and Opportunities: Emerging Research and Opportunities
Dube An Architecture for Retrieval and Annotation of Images from Big Image Datasets
Dimitrovski et al. Efficient content-based image retrieval using support vector machines for feature aggregation
Grosky et al. Narrowing the semantic gap in image retrieval: A multimodal approach
Smith et al. Statistical Techniques for Video Analysis and Searching
Lin et al. Concept indexing and expansion for social multimedia websites based on semantic processing and graph analysis
Shen Advanced query processing on large multimedia databases
Ismail et al. Image annotation based on constrained clustering and semi-naive bayesian model
Magalhães et al. Searching Semantic-Multimedia Spaces
Aytar Semantic video retrieval using high level context

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081024

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20081024

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20081112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090105

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090901