JP2017220203A - 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム - Google Patents

類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム Download PDF

Info

Publication number
JP2017220203A
JP2017220203A JP2016232296A JP2016232296A JP2017220203A JP 2017220203 A JP2017220203 A JP 2017220203A JP 2016232296 A JP2016232296 A JP 2016232296A JP 2016232296 A JP2016232296 A JP 2016232296A JP 2017220203 A JP2017220203 A JP 2017220203A
Authority
JP
Japan
Prior art keywords
image
content item
metadata associated
search query
similarity score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016232296A
Other languages
English (en)
Other versions
JP6266080B2 (ja
Inventor
ジュー,ファン
Fan Zhu
コン,チー
Qi Kong
ヤン,グアン
Guang Yang
ワン,ジンガオ
Jingao Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2017220203A publication Critical patent/JP2017220203A/ja
Application granted granted Critical
Publication of JP6266080B2 publication Critical patent/JP6266080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Library & Information Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】検索クエリに応答して複数のコンテンツアイテムおよび画像から識別され選択されたコンテンツアイテムと画像とのマッチングを評価する。【解決手段】コンテンツアイテムに関連付けられた第1のメタデータ、画像に関連付けられた第2のメタデータおよび検索クエリに関連付けられた第3のメタデータを取得する。コンテンツアイテムに関連付けられた第1のメタデータおよび検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定する。画像に関連付けられた第2のメタデータおよび検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定する。検索クエリに応じたコンテンツアイテムと画像とのマッチングの評価スコアを計算する。評価スコアは、後続の検索クエリへの応答において後続のコンテンツアイテムおよび後続の画像を識別するために用いられる。【選択図】図9

Description

本出願の実施形態は、全般的に検索コンテンツに関する。より具体的には、本出願の実施形態は、検索クエリに応答して類似性スコアに基づき画像をマッチングさせてコンテンツを検索することに関する。
通常、ほとんどの検索エンジンは、その動作期間にクライアント装置で実行されたブラウザを経由してウェブページ検索を実行する。検索エンジンは、ユーザーにより入力される検索語を受信し、検索語に関連付けられたウェブページ検索結果リストを検索する。検索エンジンは、特定の標準に基づき検索結果を検索リストの一連のサブセットとして表示する。検索動作期間に使用される一般的な標準として、検索語が所定のウェブページに完全に出現するか部分的に出現するか、検索結果における検索文字列の出現回数、アルファベット順等が挙げられる。さらに、ユーザーは、リンクを開いて閲覧するように、マウスボタンをクリックすることによりリンクを開くことを決定できる。検索エンジンは、より優れる検索を提供するように、予めユーザーと検索結果との対話、および/またはユーザー情報を監視して収集することができる。
通常、検索クエリに応答して、検索を実行してコンテンツアイテムリストを識別して検索する。次に、コンテンツアイテムを検索要求側に返送する。一般的な検索エンジンは、ほとんどのコンテンツアイテムを修正しなくそのまま返送する。検索結果のコンテンツアイテムの一部は、プレインテキストまたは記述に過ぎず、魅力のないものまたはつまらないものと見なされる。時々、コンテンツアイテムとしてコンテンツアイテムに関連付けられた特定の画像が用意されると、検索結果のコンテンツがさらに魅力的なもの、または推薦できるものになる。しかしながら、適切な画像とコンテンツアイテムとをマッチングすることは、非常に困難である。コンテンツと画像とをマッチングし、コンテンツと画像とのマッチングを評価するための効率的な方法は、いまだに開発されていない。
検索クエリに応答して複数のコンテンツアイテムおよび複数の画像から識別され選択されたコンテンツアイテムと画像とのマッチングを評価する要求を受信するステップと、前記コンテンツアイテムに関連付けられた第1のメタデータ、前記画像に関連付けられた第2のメタデータ、および前記検索クエリに関連付けられた第3のメタデータを取得するステップと、前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、前記検索クエリに応じた前記コンテンツアイテムと前記画像とのマッチングの、後続の検索クエリへの応答において後続のコンテンツアイテムおよび後続の画像を識別するための評価スコアを計算するステップと、を含むコンテンツアイテムと画像とのマッチングを評価するためのコンピュータ実施方法。
命令が記憶された非一時的機械可読媒体であって、前記命令がプロセッサにより実行される場合、コンテンツアイテムと画像とのマッチングを評価する操作を前記プロセッサに実行させ、前記操作は、検索クエリに応答して複数のコンテンツアイテムおよび複数の画像から識別され選択されたコンテンツアイテムと画像とのマッチングを評価する要求を受信するステップと、前記コンテンツアイテムに関連付けられた第1のメタデータ、前記画像に関連付けられた第2のメタデータ、および前記検索クエリに関連付けられた第3のメタデータを取得するステップと、前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、前記検索クエリに応じた前記コンテンツアイテムと前記画像とのマッチングの、後続の検索クエリへの応答において後続のコンテンツアイテムおよび後続の画像を識別するための評価スコアを計算するステップと、を含む命令が記憶された非一時的機械可読媒体。
データ処理システムであって、プロセッサと、前記プロセッサに接続され、命令を記憶するために用いられるメモリとを含み、前記命令は、前記プロセッサにより実行される場合、前記プロセッサに操作を実行させ、前記操作は、検索クエリに応答して複数のコンテンツアイテムおよび複数の画像から識別され選択されたコンテンツアイテムと画像とのマッチングを評価する要求を受信するステップと、前記コンテンツアイテムに関連付けられた第1のメタデータ、前記画像に関連付けられた第2のメタデータ、および前記検索クエリに関連付けられた第3のメタデータを取得するステップと、前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、前記検索クエリに応じた前記コンテンツアイテムと前記画像とのマッチングの、後続の検索クエリへの応答において後続のコンテンツアイテムおよび後続の画像を識別するための評価スコアを計算するステップと、を含むデータ処理システム。
検索クエリに応答して識別されたコンテンツアイテムおよび複数の画像を受信するステップと、前記複数の画像のそれぞれに対して、前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、前記第1の類似性スコアおよび前記第2の類似性スコアに基づき、前記画像のランキングスコアを計算するステップと、前記画像のランキングスコアに基づき、前記複数の画像をランキングし、それにより前記複数の画像のうちの1つを選択して前記コンテンツアイテムに関連付けるステップと、を含むコンテンツアイテムと画像とをマッチングするコンピュータ実施方法。
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における類似の符号は、類似の構成要素を示す。
本出願のいくつかの実施形態に係る画像をコンテンツアイテムとマッチングするシステム構成の例を示すブロック図である。 本出願のいくつかの実施形態に係る画像をコンテンツアイテムとマッチングするシステム構成の例を示すブロック図である。 本出願の一実施形態に係る画像選択システムの例を示すブロック図である。 本出願の特定の実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本出願の特定の実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本出願の一実施形態に係る画像選択システムの例を示すブロック図である。 一実施形態に係る画像をコンテンツアイテムとマッチングしてランキングするプロセスフローを示す。 本出願の別の実施形態に係る画像ランキングのプロセスフローを示すブロック図である。 本出願の一実施形態に係るコンテンツと画像とのマッチングを評価するためのデータ解析システムの例を示すブロック図である。 本出願の一実施形態に係るコンテンツアイテムとマッチングする画像をランキングするプロセスを示すフローチャートである。 本出願の一実施形態に係るコンテンツアイテムと画像とのマッチングを評価するプロセスを示すフローチャートである。 一実施形態に係るデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら、本出願の様々な実施形態および態様を説明し、図面は、様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
本明細書において、「一実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明した特定特徴、構造または特性が、本出願の少なくとも1つの実施形態に含まれる。語句「一実施形態では」は、本明細書の全体において同一実施形態を指すとは限らない。
いくつかの実施形態によれば、検索クエリに応答して識別されるコンテンツアイテムおよび画像を受信する。コンテンツアイテムと、画像と、検索クエリとの間の類似性スコアを計算する。類似性スコアは、検索クエリと画像との類似性スコア、検索クエリとコンテンツアイテムとの類似性スコア、およびコンテンツアイテムと画像との類似性スコアを含む。類似性スコアは、検索クエリと、コンテンツアイテムと、画像との間の関係(例えば、各部分間の類似性または互換性)を表す。コンテンツアイテムと画像とをマッチングするために、コンテンツアイテムと、画像と、検索クエリとの間の類似性スコアに基づき、評価スコアまたはランキングスコアを決定する。評価スコアは、コンテンツアイテムと画像とのマッチング結果を評価することに用いられ、それは、従来より、マッチング方法またはモデルを調整したり改良したりする必要があるか否かを決定する(例えば、オフライン)ように実行された。同一メカニズムを利用して検索クエリに応答してコンテンツアイテムと画像とのペアリングをリアルタイムに動的にランキングし、例えば、オンラインで画像選択またはランキングを行うことができる。
本出願の一態様によれば、評価コンテンツアイテムと画像とのマッチング要求に応答して、コンテンツアイテム、画像および検索クエリに関連付けられたメタデータを取得し、前記コンテンツアイテムおよび画像が検索クエリに応答して識別されるものである。コンテンツアイテムおよび検索クエリに関連付けられたメタデータに基づき、第1の類似性スコアを決定する。画像および検索クエリに関連付けられたメタデータに基づき、第2の類似性スコアを決定する。第1の類似性スコアおよび第2の類似性スコアに基づき、コンテンツアイテムと画像とのマッチングを評価するための評価スコアを計算する。一実施形態では、コンテンツアイテムおよび画像に関連付けられたメタデータによって決定された第3の類似性スコアに基づき、評価スコアを決定してもよい。続いて後続の検索クエリに応答してコンテンツアイテムと画像とをマッチングする場合、評価スコアは、選択方法またはアルゴリズムを調整することに用いられてもよい。
本出願の別の態様によれば、検索クエリに応答して識別されたコンテンツアイテムおよび画像のリストを受信する。各画像に対して、コンテンツアイテムおよび検索クエリに関連付けられたメタデータに基づき、第1の類似性スコアを決定する。画像および検索クエリに関連付けられたメタデータに基づき、第2の類似性スコアを決定する。第1の類似性スコアおよび第2の類似性スコアに基づき、画像のランキングスコアを計算する。続いて、各画像のそれぞれのランキングスコアに基づき、各画像をランキングすることにより、各画像のうちの1つを選択してコンテンツアイテムに関連付ける。一実施形態では、コンテンツアイテムおよび画像に関連付けられたメタデータに基づき、第3の類似性スコアを決定する。さらに第3の類似性スコアに基づき、画像のランキングスコアを計算する。
図1Aおよび図1Bは、本出願のいくつかの実施形態に係る画像をコンテンツアイテムとマッチングするシステム構成の例を示すブロック図である。図1Aを参照し、システム100は、ネットワーク103を介してサーバ104に通信可能に接続される1つまたは複数のクライアント装置101〜102を含むが、それらに限定されない。クライアント装置101〜102は、任意のタイプのクライアント装置、例えば、パーソナルコンピュータ(例えば、デスクトップコンピュータ、ラップトップコンピュータや、タブレットコンピュータ)、「薄型」クライアント、パーソナルデジタルアシスタント(PDA)、ネットワークをサポートする装置、スマート腕時計や携帯電話(例えば、スマートフォン)等であってもよい。ネットワーク103は、任意のタイプの有線や無線ネットワーク、例えばローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)(例えば、インターネット)またはそれらの組合せであってもよい。
サーバ104は、任意のタイプのサーバまたはサーバクラスター、例えばネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはそれらの組合せであってもよい。一実施形態では、サーバ104は、検索エンジン120、画像選択モジュール110、および画像選択方法またはモデル115を含むが、それらに限定されない。サーバ104は、クライアント(例えば、クライアント装置101〜102)がサーバ104で提供されたリソースまたはサービスにアクセスすることを許可するインターフェース(図示せず)をさらに含む。インターフェースは、ネットワークインターフェース、アプリケーション・プログラミング・インターフェース(API)および/またはコマンドラインインターフェース(CLI)を含んでもよい。
例えば、クライアント(当該例ではクライアント装置101のユーザーアプリケーション(例えば、ネットワークブラウザ、モバイルアプリケーション))は、サーバ104に検索クエリを送信し、検索エンジン120は、ネットワーク103により、インターフェースを経由して該検索クエリを受信する。検索クエリに応答して、検索エンジン120は、検索クエリから1つまたは複数のキーワード(検索語とも呼ばれる)を抽出する。検索エンジン120は、主要コンテンツデータベース130および/または補助コンテンツデータベース131を含んでもよいコンテンツデータベース133において検索を実行してキーワードに関連するコンテンツアイテムリストを識別する。主要コンテンツデータベース130(マスターコンテンツデータベースとも呼ばれる)は、一般的なコンテンツデータベース、補助コンテンツデータベース131(二次または付属コンテンツデータベースとも呼ばれる)は、特殊のコンテンツデータベースであってもよい。検索エンジン120は、リストの少なくとも一部のコンテンツアイテムを有する検索結果ページをクライアント装置101に返送して表示する。検索エンジン120は、百度公司から取得されるBaidu(登録商標)検索エンジンであってもよく、Google(登録商標)検索エンジン、Microsoft Bing(商標)検索エンジン、Yahoo(登録商標)検索エンジン、またはほかの検索エンジンであってもよい。
検索エンジン、例えばウェブページ検索エンジンは、ワールドワイドウェブ上で情報を検索するソフトウェアシステムとして設計される。検索結果は、通常、一連の結果に表示され、この一連の結果は、通常、検索エンジン結果ページと呼ばれる。情報は、ウェブページ、画像、およびほかのタイプのファイルの組合せであってもよい。いくつかの検索エンジンは、さらにデータベースまたはオープンディレクトリ中の利用可能なデータをマイニングする。ヒューマンエディタのみにより維持されるウェブディレクトリと異なり、検索エンジンは、さらにウェブクローラ(web crawler)においてアルゴリズムを実行することにより、リアルタイム情報を維持する。
ウェブページ検索エンジンは、ページのハイパーテキストマークアップ言語(HTML)マークアップから検索される多数のウェブページに関連する情報を記憶することにより動作される。これらのページは、ウェブサイト上の各リンクに従う自動ウェブクローラであるウェブクローラにより検索される。次に、検索エンジンは、各ページのコンテンツを解析して如何にインデキシングされるかを決定する(例えば、タイトル、ページコンテンツ、ヘッダーまたはメタタグと呼ばれる特殊フィールドによりワードを抽出する)。ウェブページに関連するデータをインデックスデータベースに記憶し、後続のクエリに使用する。インデックスは、クエリに関連する情報をできるだけ速めに見つけることに寄与する。
ユーザーが検索エンジンに(一般的に、キーワードを使用することにより)クエリを入力する場合、前記エンジンは、クエリのインデックスを検査し、通常ドキュメントタイトルを含み且つ必要に応じて一部のテキストを含む短い概要を有する基準にしたがってベストマッチングのウェブページのリストを提供する。インデックスは、データとともに記憶された情報、および情報のインデキシング方法からなる。検索エンジンは、入力時に完全に一致する語(ワード)または語句(フレーズ)を検索する。いくつかの検索エンジンは、拡張機能を提供し(近接検索と呼ばれる)、ユーザーがキーワード間の距離を定義できる。また、概念に基づく検索もあり、その中でも前記検索はユーザーの検索する語または語句を含むページ上で統計解析を使用する。また、自然言語クエリは、ユーザーが人間に質問するような形と同様に問題を入力することができる。
検索エンジンの有用性は、返送された結果セットの関連性により決められる。特定の語または語句を含むウェブページが数百万も存在する可能性があるが、その一部のページは、他のページに比べるとさらに関連性が高く、人気があり、または信頼性が高い可能性がある。ほとんどの検索エンジンは、複数種の方法を用いて結果をランキングすることにより、「最適な」結果を優先的に提供する。検索エンジンが如何にどのページを最適なマッチングのページに決定するか、およびどんな順序で結果を表示するかについて、エンジンにより大きく異なている。
図1Aに戻って参照して、一実施形態によれば、サーバ104でクライアント装置(当該例では、クライアント装置101)から受信された検索クエリに応答して、検索エンジン120は、コンテンツデータベース133(例えば、主要コンテンツデータベース130、および/または補助コンテンツデータベース131)において検索を実行し、コンテンツアイテムリストを生成する。ユニフォームリソースリンク(URL)および/またはユニフォームリソースアイデンティファイア(URI)を経由してコンテンツアイテムのそれぞれと特定のコンテンツプロバイダの特定ウェブサイトの特定ウェブページを関連付ける。一実施形態では、主要コンテンツデータベース130はネットワーククローラにより収集された一般的なコンテンツアイテム(例えば、非スポンサー付きコンテンツ)を記憶する。補助コンテンツデータベース135は、特定、既知もしくは所定のコンテンツプロバイダに関連付けられた特定、または特殊のコンテンツアイテム(例えば、スポンサー付きコンテンツ)を記憶する。あるいは、主要コンテンツデータベース130と補助コンテンツデータベース131とを区別しない場合、コンテンツデータベース133を単一データベースとしてもよい。
ネットワーククローラまたはウェブクローラは、ネットワークのハイパーテキスト構造を自動的にトラバースするプログラムである。実際に、ネットワーククローラは、URLからドキュメントをダウンロードする1つもしくは複数のプロセスまたはスレッドを実行するようにそれぞれ構成された個別のコンピュータあるいはサーバで実行できる。ネットワーククローラは、割り当てられたURLを受信し、それらのURLでドキュメントをダウンロードする。ネットワーククローラは、さらに検索されたドキュメントに引用されるドキュメントを検索して、コンテンツ処理システム(図示せず)および/または検索エンジン120に処理させるようにしてもよい。ネットワーククローラは、例えばハイパーテキスト転送プロトコル(HTTP)やファイル転送プロトコル(FTP)のような様々なプロトコルを使用して、URLに関連付けられたページをダウンロードすることができる。
また、一実施形態によれば、画像選択モジュールまたはシステム110は、画像選択方法またはモデル115を利用し、検索クエリに関連付けられたキーワードに基づき、検索クエリに関連付けられたキーワードに関連する画像を識別する画像IDのリストを識別する。画像選択方法/モデル115は、キーワード・画像(keyword−to−image)(キーワード/画像)マッピングテーブル(図示せず)を含んでもよく、複数種のデータ構造、例えばテーブルまたはデータベースとして実現できる。画像IDに基づき、画像記憶部125に記憶された画像122から画像候補リストを識別して検索することができ、その中で、画像記憶部125は、さらに画像122(図示せず)を記述する画像メタデータを記憶してもよい。
一実施形態では、ネットワークをクロールして画像およびその周辺のメタデータを収集するように設計される1つまたは複数の画像またはネットワーククローラにより、画像122およびそれぞれのメタデータを取得するようにしてもよい。画像122は、非特権の画像、非著作権保護の画像、適切に許可された画像であってもよく、ほかの認可された画像であってもよい。キーワードと画像候補との間のランキングスコア、およびコンテンツアイテムのメタデータに基づき画像候補をランキングする。コンテンツデータベース133で検索されたコンテンツアイテムのそれぞれに対して、画像候補リストからコンテンツアイテムに関連付けられた画像を選択する。選択された画像をコンテンツアイテムと合併して、合併または合成済みのコンテンツアイテムを生成する。例えば、選択された画像は、コンテンツアイテムの背景画像としてもよい。合併済みのコンテンツアイテムおよび画像のリストは、検索結果の一部としてクライアント装置101に返送される。
一実施形態によれば、検索クエリを受信する前、(例えば、オフライン)画像選択方法/モデル115を予め設定して生成するようにしてもよく、画像選択方法/モデル115は、キーワード−画像(キーワード/画像)マッピングテーブルを含んでもよい。キーワード/画像マッピングテーブルは、多数のマッピングエントリを含み、各マッピングエントリは、キーワードを1つまたは複数の画像IDにマッピングし、あるいは1つまたは複数の画像IDをキーワードにマッピングし、図3A〜図3Bに示される。キーワードは、検索クエリに使用する可能性のあるキーワードおよび/または特定のコンテンツアイテムに関連付けられたキーワード(例えば、スポンサー付きコンテンツの入札語(bidword))として識別される。当該キーワードは、所定期間内にコンパイルされるユーザーの検索行為または検索履歴に対する解析、あるいはトラッキングに基づいて識別されてもよい。
次に、検索エンジン120は、実行時、クライアント装置から検索クエリを受信してコンテンツを検索する場合、コンテンツデータベース133において検索を実行してコンテンツアイテムリストを検索する。また、例えば、画像選択モジュール110は検索クエリを解析して、検索クエリに関連付けられた1つまたは複数のキーワードを決定する。決定されたキーワードは、検索クエリに含まれるキーワードであってもよい。決定されたキーワードは、さらに意味的に類似する、または検索クエリの最初のキーワードと同じ意味を有する特定のキーワード(例えば、同義語または語句)を含んでよい。キーワードに基づき、画像選択方法/モデル115の一部であるキーワード/画像マッピングテーブルを利用して、画像記憶部125から1つまたは複数の画像のリストを識別する。
一実施形態によれば、画像選択モジュール110は、画像選択方法/モデル115の一部である様々なランキングアルゴリズムまたはランキングモデルを利用して、識別された画像をランキングするようにしてもよい。ここで、前記画像選択方法/モデル115はデータ解析システム150(クエリ/画像マッピングシステムとも呼ばれる)により生成され、設定されたものである。コンテンツアイテムとマッチングする画像候補として識別される各画像に対して、例えば、特定のスコアリングアルゴリズムまたは方法により、各ペアの検索クエリ、コンテンツアイテム、および画像の類似性スコアを決定する。コンテンツアイテム、検索クエリおよび画像の関係を示す類似性スコアに基づき、最終ランキングスコアを決定する。その後、画像候補それぞれのランキングスコアに基づき、画像候補をランキングする。次に、各画像のうちの1つを選択してコンテンツアイテムとマッチングする。
別の実施形態によれば、同一または類似のスコアリング方法あるいはモデルを使用して、前のコンテンツアイテムと画像とのマッチング結果を評価することができる。データ解析システムまたはサーバ150は、前のコンテンツ/画像マッチングプロセスのデータに基づきオフラインで評価を実行してもよい。評価により、画像選択方法/モデル115をさらに調整して、将来の画像選択を行うことができる。
なお、例示の目的のために、サーバ104の構成のみを説明したが、それに限定されない。サーバ104は、様々なエンドユーザデバイスにフロントエンド検索サービスを提供するネットワークサーバであってもよい。また、サーバ104は、フロントエンドサーバ(例えば、ネットワークサーバや一般的なコンテンツサーバ)に、特定または特殊のコンテンツ検索サービスを提供し、画像とコンテンツデータベースまたはサーバのコンテンツアイテムをマッチングおよび/または集積するアプリケーションサーバあるいはバックエンドサーバであってもよい。データ解析システム150は、コンテンツアイテムおよびそれぞれに関連付けられたコンテンツデータベースまたはサーバ133のキーワードに基づき、画像選択方法/モデル115を作成または訓練するための個別のサーバとして実現されてもよい。
ほかのアーキテクチャや配置も適用可能である。例えば、図1Bに示すように、コンテンツデータベース133は、ネットワークを介してコンテンツサーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。同様に、画像記憶部125は画像検索エンジンを有する画像サーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。サーバ133および125は、ネットワークサーバ、アプリケーションサーバまたはバックエンドサーバであってもよい。サーバ104と同様なエンティティまたは組織により、コンテンツサーバ133および/または画像サーバ125を組織して提供するようにしてもよい。あるいは、コンテンツデータベース130〜131におけるコンテンツと画像122、およびそのメタデータを収集するための単独のエンティティ、または組織(例えば、第三者のプロバイダ)がコンテンツサーバ133および/または画像サーバ125を維持したり、ホストしたりするようにしてもよい。
なお、コンテンツデータベース/サーバ133は、主要コンテンツデータベース130および補助コンテンツデータベース131を含んでもよい。主要コンテンツデータベース130は、主要コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現されたり維持されたりしてもよい。同様に、補助コンテンツデータベース131は補助または付属コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現されたり維持されたりしてもよい。様々なマッチング式を使用して、2つのコンテンツデータベース130〜131から取得されたコンテンツアイテムを画像記憶部/サーバ125から取得された画像とマッチングする。あるいは、主要コンテンツデータベース130および補助コンテンツデータベース131のうちの一方のみから取得されたコンテンツアイテムを画像記憶部/サーバ125から取得された画像とマッチングする。例えば、補助コンテンツデータベース131から取得されたコンテンツアイテム(例えば、スポンサー付きコンテンツ)を画像記憶部/サーバ125から取得された画像とマッチングし、それに対して、主要コンテンツデータベース130から取得されたコンテンツアイテム(例えば、一般的なコンテンツ)を検索結果の一部として、修正せずにクライアント装置に返送する。
図2は、本出願の一実施形態に係る画像をコンテンツアイテムとマッチングするシステムを示すブロック図である。システム200は、図1A〜図1Bのシステム100の一部として実現されてもよい。図2を参照し、クライアント装置(例えば、図1のクライアント装置101)から検索クエリ201を受信すると、検索エンジン120は、コンテンツデータベースまたはコンテンツサーバ133において第1の検索を実行し、検索クエリ201に関連付けられた1つまたは複数のキーワードあるいは検索語に基づき、コンテンツアイテムの第1のリストを識別して検索する。また、検索エンジン120は、画像選択モジュール110と通信し、1組の画像選択方法/モデル115を使用し、検索クエリ201に関連付けられたキーワードに基づき、画像記憶部または画像サーバ125から画像リストを識別する。検索エンジン120および/または画像選択モジュール110は、クエリを解析して、検索クエリ201に含まれるキーワードおよび/または検索クエリ201のキーワードと類似するキーワード(例えば、意味的に類似した語、同義語)のリストを導出する。拡張キーワードのリストに対して、コンテンツデータベース/サーバ133および/または画像記憶部/サーバ125における検索を実行する。
一実施形態では、画像選択モジュール110および/または画像選択方法/モデル115が検索エンジン120と一体に集積されてもよい。例えば、クエリ/画像マッピングシステム150により、画像選択方法/モデル115を予め構成したりコンパイルしたりしてもよい。クエリ/画像マッピングシステム150は、APIまたはネットワークを経由してシステム200に通信可能に接続される個別のシステムまたはサーバにホストされる。クエリ/画像マッピングシステム150は、ユーザーまたは管理者が処理ロジックにより所定アルゴリズムを使用して拡張され、ランキングされる1組のクエリ/画像マッチングルールを構成するユーザーインターフェースを含む。以下、クエリ/画像マッピングシステム150のさらなる詳細を、さらに説明する。
同様に、画像収集システム230は、画像記憶部/サーバ125に記憶された画像を収集し、前記画像収集システムは、ネットワークを介してシステム200に通信可能な個別のシステムまたはサーバであってもよい。システム200と同様なまたは異なるエンティティあるいは組織によりクエリ/画像マッピングシステム150および/または画像収集システム230を操作する。当該例では、画像をシステム200に対してローカル(例えば、サーバ104に対してローカルである)である画像記憶部にキャッシュして記憶する。あるいは、画像収集システム230に関連付けられた指定したサーバにより画像を維持し、画像選択モジュール110は、APIを経由して指定されたサーバと通信して画像リストを識別して検索する。
画像記憶部/サーバ125から検索された画像リストに基づき、画像選択モジュール110は、例えばコンテンツアイテムと、画像と、検索クエリとの間の類似性スコアに基づき、ランキングアルゴリズムに従って画像をランキングする。次に、一部の画像をコンテンツデータベース/サーバ133から識別して検索した一部のコンテンツアイテムとマッチングする。続いて、マッチングしたコンテンツアイテムと画像を集積済みのコンテンツアイテムに集積する。一実施形態では、画像をコンテンツアイテムの背景画像または補足画像として選択する。例えば、コンテンツアイテム211は記述またはテキストであり、画像212はコンテンツアイテム211の背景画像として選択される。適切な方式を用いて、本明細書全体に説明されるマッチングまたはランキング技術に基づき、画像212を選択してコンテンツアイテム211を補足または記述し、またはコンテンツアイテム211を選択して画像212がそれを補足または記述する。例えば、コンテンツアイテム211のコンテンツが画像212に示されるコンテンツに関連付けられ、または画像212に示されるコンテンツが画像212に関連付けられる。集積済みの画像212とコンテンツアイテム211を検索結果215の一部としてクライアント装置に返送する。
一実施形態によれば、クライアント装置から受信された検索クエリ201に応答して、検索クエリ201に基づき1つまたは複数のキーワードを決定する。前記キーワードは検索クエリ201中のキーワードまたは検索クエリ201の解析に基づき拡張したキーワードを含んでもよい。キーワードに基づき、画像選択方法/モデル115においてルックアップ動作または検索を実行し、データベースまたはテーブルのようなデータ構造において実施してもよい。
画像選択方法/モデル115は、多数のマッピングエントリを有するキーワード/画像マッピングテーブルを含む。各マッピングエントリは、1つまたは複数のキーワードを画像記憶部/サーバ125に記憶された1つまたは複数の画像を識別する1つまたは複数の画像IDにマッピングする。検索クエリ201に基づき取得したキーワードに基づき、画像選択方法/モデル115によって1つまたは複数の画像IDのリストを取得する。画像IDに基づき、画像記憶部/サーバ125から対応する画像を画像候補として取得する。続いて、1つまたは複数の所定ランキングおよび/またはマッチングアルゴリズムを使用して画像候補をランキングしてマッチングし、前記所定ランキングおよび/またはマッチングアルゴリズムは詳細に後述する。続いて、最上位にランキングされる画像を選択してコンテンツアイテムに関連付けて検索結果215の一部として集積する。なお、図2に示されるユニットまたはモジュールの一部または全部はソフトウェア、ハードウェアまたはそれらの組合せにより実施されてもよい。
図3A〜図3Bは、本出願の特定の実施形態に係るクエリ−画像マッチングテーブルの例を示す。図3Aを参照し、クエリ/画像マッチングテーブル300は、上記の図1A〜図1Bおよび図2の画像選択方法/モデル115の一部であるクエリ/画像マッピングテーブルを表してもよい。一実施形態では、クエリ/画像マッチングテーブル300は、多数のマッチングエントリーを含む。各マッチングエントリーは、1つまたは複数のキーワード301を、画像記憶部または画像サーバ(例えば、画像記憶部/サーバ125)における対応する画像を識別する1つまたは複数の画像ID 302にマッピングする。キーワードに基づき、マッチングテーブル300をインデキシングする。当該例では、第1のエントリーは、語「花」を画像1〜5にマッピングする。第2のエントリーは、語「北京の花」を画像1のみにマッピングする。第3のエントリーは、語「上海の花」を画像2にマッピングする。第4のエントリーは、語「花の配達」を画像1〜2および4にマッピングする。従って、検索クエリが「北京の花」を含む場合に、画像1〜5を識別する。そのうち、画像1のランキング順位がより高くなってもよい。
図3Bを参照し、マッチングテーブルの代替実施形態の例を示し、このマッチングテーブルは、画像選択方法/モデル115の一部として機能する画像−キーワード(画像/キーワード)マッチングテーブルであってもよい。当該例では、画像/キーワードマッチングテーブル350は、多数のマッチングエントリーを含む。各マッチングエントリーは、画像ID 351を1つまたは複数のキーワード352にマッピングする。画像IDに基づきマッチングテーブル350をインデキシングする。2つのテーブル300および350を交換可能に使用してもよい。例えば、テーブル300が1つまたは複数のキーワードに関連するすべての画像を識別することに用いられてもよい。
図4は、本出願の一実施形態に係る画像選択システムの例を示すブロック図である。システム400は、図1A〜図1Bおよび図2のシステム100またはシステム200の一部として実現されてもよい。図4を参照し、画像選択モジュールまたはシステム110はキーワード抽出モジュール401、画像検索モジュール402、クエリ−コンテンツ(QC)スコアリングモジュール403、クエリ−画像(QI)スコアリングモジュール404、コンテンツ−画像(CI)スコアリングモジュール405および画像ランキングモジュール406を含むが、それらに限定されない。スコアリングモジュール403〜405は、コンテンツアイテム、画像および対応する検索クエリの関係を示す類似性スコアを決定し、ランキング目的を実現する。スコアリングモジュール403〜405は、ソフトウェア、ハードウェアまたはそれらの組合せにより実施されてもよい。例えば、スコアリングモジュール403〜405は、メモリにローディングされ1つまたは複数のプロセッサにより実行されてもよい。
図4〜図5を参照し、検索クエリ501または検索クエリ501の検索語に応答して、キーワード抽出モジュール401(クエリ解析モジュールとも呼ばれる)は、検索語を解析して、検索クエリ501の検索語に関連付けられた1組のキーワード502を導出する。キーワード502は、検索クエリ501の検索語に含まれるキーワードであってもよい。あるいは、キーワード502は、意味的に検索クエリ501の検索語に関連付けられる追加キーワードを含んでもよく、解析に基づき決定されてもよく。例えば、キーワード抽出モジュール401は、検索語に潜在意味解析を実行して、意味的に検索クエリ501の検索語に関連付けられた追加キーワードを導出する。解析によって、検索クエリ501から検索リクエスタのコンテンツと無関係のまたは矛盾するキーワードを削除してもよい。
自然言語処理、特に分布意味論において、潜在意味解析(LSA)は、1組のドキュメントおよびそれに含まれる語に関連する1組の概念を生成することにより、前記ドキュメントと前記語の関係を解析する技術である。LSAは、意味の近い語が類似するテキスト断片に出現するとする。各段落の文字数を含む行列(行はユニークワード、列は各段落を表す)は、長いテキストから構成され、特異値分解(SVD)と呼ばれる数学的手法により列間の類似性構造を維持しながら行数を減少させる。続いて、任意の2行により形成された2つのベクトル間の角度の余弦関数(または2つのベクトルの正規化間のドット積)を使用して語を比較する。1に近い値は、類似度が非常に高い語を表し、0に近い値は、類似度が非常に低い語を表す。
キーワード502に基づき、画像検索モジュール402は、画像記憶部125において検索を実行して、画像候補である画像504のリストおよびそれに関連付けられたメタデータを取得する。画像検索モジュール402は、キーワード502に基づきキーワード/画像マッピングテーブル411において検索を実行して、画像504を識別するための画像IDのリストを識別する。各画像504に対して、画像選択/ランキングモジュール406は、スコアリングモジュール403〜405を呼び出して、上記選択方法/モデル115から取得された適切なスコアリングアルゴリズムまたはモデルを使用して、コンテンツID 503により識別されるコンテンツアイテム、画像および検索クエリ501の類似性スコアを決定する。関連付けられた類似性スコアに基づき各画像の最終ランキングスコアを計算する。続いて、画像それぞれのランキングスコアに基づきランキングして、ランキング済みの画像候補505を生成する。
図6は、本出願の別の実施形態に係る画像ランキングのプロセスフローを示すブロック図である。図6を参照し、一実施形態では、検索クエリ601に応答して識別されるコンテンツアイテム602および画像603の応答として、キーワード抽出モジュール401は、それぞれ検索クエリ601、コンテンツアイテム602および画像603に関連付けられたキーワード611〜613を抽出または決定する。キーワードは、検索クエリ601、コンテンツアイテム602および画像603に含まれてもよい。あるいは、キーワードはさらに類似するキーワードまたは意味的に関連するキーワードを含んでもよく、これらのキーワードは、例えば検索クエリ601、コンテンツアイテム602および画像603に関連付けられたメタデータ604の解析(例えば、潜在意味解析)に基づき決定される。
タイトル、記述、ランディングページおよびコンテンツアイテム602に関連付けられたほかのメタデータに基づき、コンテンツアイテム602に関連付けられたキーワード612を取得するようにしてもよい。画像603に関連付けられたキーワード613は、そのタイトルおよび画像603に関連付けられたコンテキストにより取得されてもよく、前記コンテキストは、画像603を得るためのソースおよび/または画像603から識別されたコンテンツ、例えば、画像に示されるオブジェクト、シーン、テーマを含む。画像を得るためのソースは、画像付きウェブページまたはドキュメントであってもよい。アドレス、例えばソースページのユニバーサルリソースロケータ(URL)を収集してもよい。また、ソースページのコンテンツを解析して、画像に示されるコンテンツを決定するようにしてもよい。さらに画像を画像認識して画像のコンテンツ(例えば、画像が人物、物体、景色、テキスト、またはそれらの組合せに関わるか否か)を決定するようにしてもよい。
キーワード抽出モジュール401は、さらにキーワードを処理して無関係のキーワードを削除するようにしてもよい。一実施形態では、キーワード抽出モジュール401はキーワードをセグメント化し、語の頻度を決定し、および/またはセグメント化したキーワードに単語(ターム)の出現頻度−逆文書頻度(TF−IDF)動作を実行する。その結果、無関係の語を削除することができる。例えば、出現頻度がさらに高い語(例えば、「一(a)」、「前記(the)」「……の(of)」等)を削除してもよい。時間や地理的位置に関連する特定の語(例えば、「サンノゼ(San Jose)」)を削除することができる。
QCスコアリングモジュール403は、QCスコアリングアルゴリズムまたはモデル412を利用し、キーワード611および/または検索クエリ601、並びにコンテンツアイテム602に関連付けられたほかのメタデータに基づき、QC類似性スコア621を決定する。QIスコアリングモジュール404は、QIスコアリングアルゴリズムまたはモデル413を利用し、キーワード612および/または検索クエリ601、並びに画像603に関連付けられたほかのメタデータに基づき、QI類似性スコア622を決定する。CIスコアリングモジュール405は、CIスコアリングアルゴリズムまたはモデル414を利用し、キーワード613および/またはコンテンツアイテム602、並びに画像603に関連付けられたほかのメタデータに基づき、CI類似性スコア623を決定する。QC、QIおよびCI類似性スコアに基づき、画像ランキングモジュール406は、例えばランキングアルゴリズムまたはモデル415を使用して、コンテンツアイテム602とペアリングする候補の画像603のランキングスコア625を決定する。続いて、すべての画像候補それぞれのランキングスコアに基づき画像候補をランキングする。これらの類似性スコアは、両方に関連付けられた2組のキーワードに基づき決定されるため、二次元(2D)スコアとも呼ばれる。
一実施形態では、類似性スコアを決定する時、キーワードの対応するセットにスコアリングアルゴリズム412〜414の一部である確率的潜在意味解析(PLSA)を実行する。PLSAは、確率的潜在意味インデキシング(PLSI、特に情報検索分野では)とも呼称され、2つのモードと共起データを解析する統計技術である。実際に、潜在意味解析のように、観測変数と特定の隠れ変数の密接な関係に基づき観測変数の二次元表現を導出でき、それによりPLSAに進化する。確率的潜在意味解析は、潜在クラスモデルから導出される混合分解(mixture decomposition)に基づくものである。
一実施形態では、図6を参照し、2D類似性スコアに基づき、検索クエリ601、コンテンツアイテム602、および画像603のそれぞれのランキングスコア(例えば、3Dスコア)を決定する。例えば、2つの2D類似性スコアの積に基づき各ランキングスコアを計算する。QCスコア621とQIスコア622に基づき検索クエリ601のランキングスコアを決定する。一実施形態では、以下の式によって検索クエリ601のランキングスコアを計算する。
クエリ=QCδ1*QIδ2
式中、QCおよびQIは、QC類似性スコアおよびQI類似性スコアを表す。δ1とδ2は、検索クエリ601およびコンテンツアイテム602に関連する係数または加重係数であり、1を超えてもよい。
実施形態では、QCスコア621およびCIスコア623に基づきコンテンツアイテム602のランキングスコアを決定する。一実施形態では、以下の式によってコンテンツアイテム602のランキングスコアを計算する。
コンテンツ=QCδ1*CIδ3
式中、QCおよびCIは、QC類似性スコアおよびCI類似性スコアを表す。δ1およびδ3は、検索クエリ601および画像603に関連する係数または加重係数であり、1を超えてもよい。
一実施形態では、QIスコア622およびCIスコア623に基づき画像603のランキングスコアを決定する。一実施形態では、以下の式によって画像603のランキングスコアを計算する。
画像=QIδ2*CIδ3
式中、QIおよびCIはQI類似性スコアおよびCI類似性スコアを表す。δ2およびδ3は、コンテンツアイテム602および画像603に関連する係数または加重係数であり、1を超えてもよい。
一実施形態では、検索クエリ601、コンテンツアイテム602および画像603の各ランキングスコアに基づき、検索クエリ601に応じてコンテンツアイテム602と画像603とをマッチングする最終ランキングスコアを決定する。特定の実施形態では、以下の式によって最終ランキングスコアを計算する。
最終=(Sクエリ+Sコンテンツ+S画像)/3
別の実施形態によれば、上記アルゴリズムとランキングメカニズムを利用し、特定の検索クエリに応答してコンテンツアイテムと画像の前のマッチングを評価することができ、それにより前記マッチングが正確に実行されているか否かを決定する。この評価によりマッチング方法を調整して後続マッチングを行うことができる。
図7は、本出願の一実施形態に係るコンテンツと画像とのマッチングを評価するためのデータ解析システムの例を示すブロック図である。図7を参照し、データ解析システム150は、キーワード抽出モジュール401、QCスコアリングモジュール403、QIスコアリングモジュール404、CIスコアリングモジュール405、および評価モジュール406を含む。モジュール401および403〜406は、図4に示される対応するモジュールと同一または類似の機能を有してもよい。例示の目的のために、同一符号を維持する。モジュール401および403〜406は、図6に説明される動作と同一または類似の動作を実行する。例えば、モジュール401および403〜406は、図6に関連する同一または類似の動作を実行し、評価方法702の一部である適切なスコアリングアルゴリズム412〜415を利用して、既知の検索クエリに応答してマッチングした既知のコンテンツアイテムと画像とのマッチング情報701に基づき、コンテンツアイテムと画像とのマッチングを評価する。評価スコアを利用してコンテンツアイテムと画像の前のマッチングの品質を決定する。特定の各ランキングスコアが所定閾値より低い場合、対応する一方に問題があることを示す。例えば、画像のランキングスコアが低すぎる場合、画像を改良して後続マッチングを行う。
図8は、本出願の一実施形態に係るコンテンツアイテムとマッチングする画像をランキングするプロセスを示すフローチャートである。ソフトウェア、ハードウェアまたはそれらの組合せを含む処理ロジックにより、プロセス800を実行してもよい。例えば、図4に示されるシステム400によりプロセス800を実行することができる。図8を参照し、ブロック801では、処理ロジックは検索クエリの1つまたは複数のキーワードに基づきコンテンツアイテムおよび画像候補である1つまたは複数の画像のリストを識別する。各画像に対して、ブロック802では、処理ロジックは検索クエリおよびコンテンツアイテムに関連付けられたメタデータに基づき第1の類似性スコアを計算する。ブロック803では、処理ロジックは、検索クエリおよび画像に関連付けられたメタデータに基づき第2の類似性スコアを計算する。ブロック804では、処理ロジックは、コンテンツアイテムおよび画像に関連付けられたメタデータに基づき第3の類似性スコアを計算する。ブロック805では、処理ロジックは、第1の類似性スコア、第2の類似性スコア、および第3の類似性スコアに基づき、コンテンツアイテムとマッチングする候補の画像のランキングスコアを決定する。ブロック806では、ランキングスコアに基づき各画像のうちの1つを選択してコンテンツアイテムとマッチングする。
図9は、本出願の一実施形態に係るコンテンツアイテムと画像とのマッチングを評価するプロセスを示すフローチャートである。ソフトウェア、ハードウェアまたはそれらの組合せを含む処理ロジックにより、プロセス900を実行してもよい。例えば、図7に示されるシステム700によりプロセス900を実行する。図9を参照し、ブロック901では、処理ロジックは検索クエリに応答して識別されたコンテンツアイテムと画像とのマッチングを評価する要求を受信する。ブロック902では、処理ロジックは検索クエリおよびコンテンツアイテムに関連付けられたメタデータに基づき、第1の類似性スコアを計算する。ブロック903では、処理ロジックは検索クエリおよび画像に関連付けられたメタデータに基づき、第2の類似性スコアを計算する。ブロック904では、処理ロジックはコンテンツアイテムおよび画像に関連付けられたメタデータに基づき、第3の類似性スコアを計算する。ブロック905では、処理ロジックは第1の類似性スコア、第2の類似性スコア、および第3の類似性スコアに基づき、コンテンツアイテムとマッチングする画像の評価スコアを決定する。
上記技術は、画像とスポンサー付きコンテンツとをマッチングすることに適用できる。スポンサー付きコンテンツの一種は、広告(Ad)である。例えば、図1A〜図1Bを参照し、コンテンツデータベース(DB)またはサーバ133は、AdデータベースまたはAdサーバであってもよい。コンテンツアイテム(例えば、Ad)のそれぞれが定義したキーワード、語、語句または文のリストに関連付けられる。これらの定義したキーワード、語、語句または文は、広告プロバイダにより購入、定義または指定された入札語であってもよい。別の実施形態では、主要コンテンツDB 130は、パブリックネットワークで一般的に利用可能な一般的なコンテンツを記憶してもよい。補助コンテンツDB 131は、広告DBであってもよい。特定の広告は、プレインテキストのみであってもよい。画像と広告とをマッチングして集積し、例えば背景画像として使用することにより、広告はユーザーにとってさらに魅力的になる。サーバ104は、コンテンツを検索するネットワークサーバであってもよく、広告サーバであってもよい。
図10は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム1500は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば上記クライアント装置またはサーバ、例えば上記クライアント装置101〜102、サーバ104、コンテンツサーバ133、解析システム/サーバ150を示してもよい。
システム1500は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路(IC)、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール(例えばコンピュータシステムのマザーボードまたはアドインカード)、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
さらに、システム1500は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム1500は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント(PDA)、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント(AP)またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で1つ(または複数)の命令セットを実行することにより本明細書に説明される任意の1種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム1500は、バスまたは相互接続部材1510によって接続されたプロセッサ1501、メモリ1503および装置1505〜1508を備える。プロセッサ1501は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)等のような1つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ1501は、複雑命令セット計算(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ1501は、さらに、専用集積回路(ASIC)、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような1つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ1501(超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい)は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ(SoC)として実現できる。プロセッサ1501は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行するように構成される。また、システム1500は、選択可能なグラフィックサブシステム1504と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム1504は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
プロセッサ1501は、メモリ1503と通信してもよく、メモリ1503は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ1503は、ランダムアクセスメモリ(RAM)、動的RAM(DRAM)、シンクロナスDRAM(SDRAM)、静的RAM(SRAM)または他のタイプの記憶装置のような1つまたは複数の揮発性記憶(またはメモリ)装置を備えてもよい。メモリ1503は、プロセッサ1501または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア(例えば、入力出力基本システムまたはBIOS)および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ1503にロードされてもよく、プロセッサ1501により実行される。オペレーティングシステムは、Microsoft(登録商標)会社からのWindows(登録商標)オペレーティングシステム、アップル会社からのMac OS(登録商標)/iOS(登録商標)、Google(登録商標)会社からのAndroid(登録商標)、Linux(登録商標)、Unix(登録商標)または他のリアルタイムまたは組み込みオペレーティングシステム(例えばVxWorks)のような任意のタイプのオペレーティングシステムであってもよい。
システム1500は、IO装置、例えば装置1505〜1508をさらに備えてもよく、ネットワークインターフェース装置1505、選択可能な入力装置1506および他の選択可能なIO装置1507を備える。ネットワークインターフェース装置1505は、無線送受信機および/またはネットワークインターフェースカード(NIC)を備えてもよい。前記無線送受信機は、WiFi送受信機、赤外送受信機、ブルートゥース(登録商標)送受信機、WiMax送受信機、無線セルラーホン送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)または他の無線周波数(RF)送受信機またはそれらの組合せであってもよい。NICはイーサネット(登録商標)カードであってもよい。
入力装置1506は、マウス、タッチパッド、タッチスクリーン(それは表示装置1504と一体化されてもよい)、ポインタデバイス(例えばスタイラス)および/またはキーボード(例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード)を備えてもよい。例えば、入力装置1506は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術(容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない)のいずれか、およびタッチスクリーンの1つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
IO装置1507は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のIO装置1507は、汎用シリアルバス(USB)ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ(例えば、PCI−PCIブリッジ)、センサ(例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ)またはそれらの組合せをさらに備えてもよい。装置1507は、結像処理サブシステム(例えば、カメラ)をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能(例えば、写真およびビデオ断片の記録)を促進するための電荷カップリング装置(CCD)または相補型金属酸化物半導体(CMOS)光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ(図示せず)によって相互接続部材1510に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ(図示せず)により制御されてもよく、これはシステム1500の特定配置または設計により決められる。
データ、アプリケーション、1つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置(図示せず)は、プロセッサ1501に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置(SSD)によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ(HDD)で実現されてもよく、少量のSSD記憶量は、SSDキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース(SPI)によってプロセッサ1501に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア(BIOS)および他のファームウェアを備える。
記憶装置1508は、任意の1種または複数種の本明細書に記載の方法または機能を体現する1つまたは複数の命令セットまたはソフトウェア(例えば、モジュール、ユニットおよび/またはロジック1528)が記憶されるコンピュータアクセス可能な記憶媒体1509(機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる)を備えてもよい。モジュール/ユニット/ロジック1528は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュール、画像選択モジュールのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック1528は、さらにデータ処理システム1500により実行される期間にメモリ1503内および/またはプロセッサ1501内に完全または少なくとも部分的に存在してもよく、ここで、メモリ1503およびプロセッサ1501も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック1528は、さらにネットワークによってネットワークインターフェース装置1505を経由して送受信されてもよい。
コンピュータ可読記憶媒体1509は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体1509は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記1つまたは複数の命令セットが記憶される単一の媒体または複数の媒体(例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ)を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の1種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載のモジュール/ユニット/ロジック1528、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント(例えばASICS、FPGA、DSPまたは類似装置)の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック1528は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック1528は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム1500は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列(sequence of operations)と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本明細書の全体にわたって用語(例えば、添付している特許請求の範囲に説明された用語)による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理(例えば、電子)量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
各図に示される技術は、1つまたは複数の電子装置に記憶され前記電子装置上で実行されるコードおよびデータにより実施されてもよい。このような電子装置は、コンピュータ可読媒体を使用してコードおよびデータを記憶し、(内部で、および/またはネットワークを介してほかの電子装置を利用して)伝送し、前記コンピュータ可読媒体として、非一時的コンピュータ可読記憶媒体(例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ装置、相変化メモリ)および一時的コンピュータ可読伝送媒体(例えば、電子、光学、音響学、またはほかの形式の信号伝播、例えば搬送波、赤外信号、デジタル信号)が挙げられる。
上記図面に示されるプロセスまたは方法は、ハードウェア(例えば、回路、専用ロジック等)、ファームウェア、ソフトウェア(例えば、非一時的コンピュータ可読媒体に具現化される)、またはそれらの組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (27)

  1. 検索クエリに応答して複数のコンテンツアイテムおよび複数の画像から識別され選択されたコンテンツアイテムと画像とのマッチングを評価する要求を受信するステップと、
    前記コンテンツアイテムに関連付けられた第1のメタデータ、前記画像に関連付けられた第2のメタデータ、および前記検索クエリに関連付けられた第3のメタデータを取得するステップと、
    前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、
    前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、
    前記検索クエリに応じた前記コンテンツアイテムと前記画像とのマッチングの、後続の検索クエリへの応答において後続のコンテンツアイテムおよび後続の画像を識別するための評価スコアを計算するステップと、を含む
    コンテンツアイテムと画像とのマッチングを評価するためのコンピュータ実施方法。
  2. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップは、
    前記コンテンツアイテムに関連付けられた1つまたは複数のキーワードの第1のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第1のセットおよび前記第3のセットに第1の確率的潜在意味解析を実行して前記第1の類似性スコアを生成するステップと、を含む
    請求項1に記載の方法。
  3. 前記コンテンツアイテムのタイトル、記述、およびランディングページに基づき、キーワードの前記第1のセットを取得する請求項2に記載の方法。
  4. 前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップは、
    前記画像に関連付けられた1つまたは複数のキーワードの第2のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第2のセットおよび前記第3のセットに第2の確率的潜在意味解析を実行して前記第2の類似性スコアを生成するステップと、を含む
    請求項1に記載の方法。
  5. 前記画像のタイトル、前記画像から識別されたオブジェクトまたは記述、および前記画像を得るためのソースに基づき、キーワードの前記第2のセットを取得する
    請求項4に記載の方法。
  6. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記画像に関連付けられた第2のメタデータに基づき、第3の類似性スコアを決定するステップをさらに含み、
    前記第1の類似性スコア、前記第2の類似性スコアおよび前記第3の類似性スコアに基づき、前記評価スコアを計算する
    請求項1に記載の方法。
  7. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記画像に関連付けられた第2のメタデータに基づき、第3の類似性スコアを決定するステップは、
    前記コンテンツアイテムに関連付けられた1つまたは複数のキーワードの第1のセットを決定するステップと、
    前記画像に関連付けられた1つまたは複数のキーワードの第2のセットを決定するステップと、
    キーワードの前記第1のセットおよび前記第2のセットに第3の確率的潜在意味解析を実行して前記第3の類似性スコアを生成するステップと、を含む
    請求項6に記載の方法。
  8. 前記検索クエリに応答して、所定の選択方法により前記コンテンツアイテムおよび前記画像を識別して選択し、
    前記評価スコアを利用して前記後続のコンテンツアイテムおよび前記後続の画像を選択するための所定の選択方法を調整する
    請求項1に記載の方法。
  9. 命令が記憶された非一時的機械可読媒体であって、
    前記命令がプロセッサにより実行される場合、コンテンツアイテムと画像とのマッチングを評価する操作を前記プロセッサに実行させ、
    前記操作は、
    検索クエリに応答して複数のコンテンツアイテムおよび複数の画像から識別され選択されたコンテンツアイテムと画像とのマッチングを評価する要求を受信するステップと、
    前記コンテンツアイテムに関連付けられた第1のメタデータ、前記画像に関連付けられた第2のメタデータ、および前記検索クエリに関連付けられた第3のメタデータを取得するステップと、
    前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、
    前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、
    前記検索クエリに応じた前記コンテンツアイテムと前記画像とのマッチングの、後続の検索クエリへの応答において後続のコンテンツアイテムおよび後続の画像を識別するための評価スコアを計算するステップと、を含む
    命令が記憶された非一時的機械可読媒体。
  10. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップは、
    前記コンテンツアイテムに関連付けられた1つまたは複数のキーワードの第1のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第1のセットおよび前記第3のセットに第1の確率的潜在意味解析を実行して前記第1の類似性スコアを生成するステップと、を含む
    請求項9に記載の機械可読媒体。
  11. 前記コンテンツアイテムのタイトル、記述、およびランディングページに基づき、キーワードの前記第1のセットを取得する
    請求項10に記載の機械可読媒体。
  12. 前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップは、
    前記画像に関連付けられた1つまたは複数のキーワードの第2のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第2のセットおよび前記第3のセットに第2の確率的潜在意味解析を実行して前記第2の類似性スコアを生成するステップと、を含む
    請求項9に記載の機械可読媒体。
  13. 前記画像のタイトル、前記画像から識別されたオブジェクトまたは記述、および前記画像を得るためのソースに基づき、キーワードの前記第2のセットを取得する
    請求項12に記載の機械可読媒体。
  14. 前記操作は、前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記画像に関連付けられた第2のメタデータに基づき、第3の類似性スコアを決定するステップをさらに含み、
    前記第1の類似性スコア、前記第2の類似性スコアおよび前記第3の類似性スコアに基づき、前記評価スコアを計算する
    請求項9に記載の機械可読媒体。
  15. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記画像に関連付けられた第2のメタデータに基づき、第3の類似性スコアを決定するステップは、
    前記コンテンツアイテムに関連付けられた1つまたは複数のキーワードの第1のセットを決定するステップと、
    前記画像に関連付けられた1つまたは複数のキーワードの第2のセットを決定するステップと、
    キーワードの前記第1のセットおよび前記第2のセットに第3の確率的潜在意味解析を実行して前記第3の類似性スコアを生成するステップと、を含む
    請求項14に記載の機械可読媒体。
  16. 前記検索クエリに応答して、所定の選択方法により前記コンテンツアイテムおよび前記画像を識別して選択し、
    前記評価スコアを利用して前記後続のコンテンツアイテムおよび前記後続の画像を選択するための所定の選択方法を調整する
    請求項9に記載の機械可読媒体。
  17. データ処理システムであって、
    プロセッサと、
    前記プロセッサに接続され、命令を記憶するために用いられるメモリとを含み、
    前記命令は、前記プロセッサにより実行される場合、前記プロセッサに操作を実行させ、
    前記操作は、
    検索クエリに応答して複数のコンテンツアイテムおよび複数の画像から識別され選択されたコンテンツアイテムと画像とのマッチングを評価する要求を受信するステップと、
    前記コンテンツアイテムに関連付けられた第1のメタデータ、前記画像に関連付けられた第2のメタデータ、および前記検索クエリに関連付けられた第3のメタデータを取得するステップと、
    前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、
    前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、
    前記検索クエリに応じた前記コンテンツアイテムと前記画像とのマッチングの、後続の検索クエリへの応答において後続のコンテンツアイテムおよび後続の画像を識別するための評価スコアを計算するステップと、を含む
    データ処理システム。
  18. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップは、
    前記コンテンツアイテムに関連付けられた1つまたは複数のキーワードの第1のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第1のセットおよび前記第3のセットに第1の確率的潜在意味解析を実行して前記第1の類似性スコアを生成するステップと、を含む
    請求項17に記載のシステム。
  19. 前記コンテンツアイテムのタイトル、記述、およびランディングページに基づき、キーワードの前記第1のセットを取得する
    請求項18に記載のシステム。
  20. 前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップは、
    前記画像に関連付けられた1つまたは複数のキーワードの第2のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第2のセットおよび前記第3のセットに第2の確率的潜在意味解析を実行して前記第2の類似性スコアを生成するステップと、を含む
    請求項17に記載のシステム。
  21. 検索クエリに応答して識別されたコンテンツアイテムおよび複数の画像を受信するステップと、
    前記複数の画像のそれぞれに対して、
    前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップと、
    前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップと、
    前記第1の類似性スコアおよび前記第2の類似性スコアに基づき、前記画像のランキングスコアを計算するステップと、
    前記画像のランキングスコアに基づき、前記複数の画像をランキングし、それにより前記複数の画像のうちの1つを選択して前記コンテンツアイテムに関連付けるステップと、を含む
    コンテンツアイテムと画像とをマッチングするコンピュータ実施方法。
  22. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第1の類似性スコアを決定するステップは、
    前記コンテンツアイテムに関連付けられた1つまたは複数のキーワードの第1のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第1のセットおよび前記第3のセットに第1の確率的潜在意味解析を実行して前記第1の類似性スコアを生成するステップと、を含む
    請求項21に記載の方法。
  23. 前記コンテンツアイテムのタイトル、記述、およびランディングページに基づき、キーワードの前記第1のセットを取得する
    請求項22に記載の方法。
  24. 前記画像に関連付けられた第2のメタデータおよび前記検索クエリに関連付けられた第3のメタデータに基づき、第2の類似性スコアを決定するステップは、
    前記画像に関連付けられた1つまたは複数のキーワードの第2のセットを決定するステップと、
    前記検索クエリに関連付けられた1つまたは複数のキーワードの第3のセットを決定するステップと、
    キーワードの前記第2のセットおよび前記第3のセットに第2の確率的潜在意味解析を実行して前記第2の類似性スコアを生成するステップと、を含む
    請求項21に記載の方法。
  25. 前記画像のタイトル、前記画像から識別されたオブジェクトまたは記述、および前記画像を得るためのソースに基づき、キーワードの前記第2のセットを取得する
    請求項24に記載の方法。
  26. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記画像に関連付けられた第2のメタデータに基づき、第3の類似性スコアを決定するステップをさらに含み、
    前記第1の類似性スコア、前記第2の類似性スコアおよび前記第3の類似性スコアに基づき、前記ランキングスコアを計算する
    請求項21に記載の方法。
  27. 前記コンテンツアイテムに関連付けられた第1のメタデータおよび前記画像に関連付けられた第2のメタデータに基づき、第3の類似性スコアを決定するステップは、
    前記コンテンツアイテムに関連付けられた1つまたは複数のキーワードの第1のセットを決定するステップと、
    前記画像に関連付けられた1つまたは複数のキーワードの第2のセットを決定するステップと、
    キーワードの前記第1のセットおよび前記第2のセットに第3の確率的潜在意味解析を実行して前記第3の類似性スコアを生成するステップと、を含む
    請求項26に記載の方法。




JP2016232296A 2016-06-07 2016-11-30 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム Active JP6266080B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/175,584 2016-06-07
US15/175,584 US10459970B2 (en) 2016-06-07 2016-06-07 Method and system for evaluating and ranking images with content based on similarity scores in response to a search query

Publications (2)

Publication Number Publication Date
JP2017220203A true JP2017220203A (ja) 2017-12-14
JP6266080B2 JP6266080B2 (ja) 2018-01-24

Family

ID=57442580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016232296A Active JP6266080B2 (ja) 2016-06-07 2016-11-30 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム

Country Status (5)

Country Link
US (1) US10459970B2 (ja)
EP (1) EP3255565A1 (ja)
JP (1) JP6266080B2 (ja)
KR (1) KR101932618B1 (ja)
CN (1) CN107480158B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852337B1 (en) 2015-09-30 2017-12-26 Open Text Corporation Method and system for assessing similarity of documents
US20180032901A1 (en) * 2016-07-27 2018-02-01 International Business Machines Corporation Greedy Active Learning for Reducing User Interaction
US11138523B2 (en) 2016-07-27 2021-10-05 International Business Machines Corporation Greedy active learning for reducing labeled data imbalances
US10474703B2 (en) 2016-08-25 2019-11-12 Lakeside Software, Inc. Method and apparatus for natural language query in a workspace analytics system
US10129367B2 (en) * 2016-09-22 2018-11-13 Facebook, Inc. Delivering content items using machine learning based prediction of user actions
US11093561B2 (en) 2017-12-11 2021-08-17 Facebook, Inc. Fast indexing with graphs and compact regression codes on online social networks
CN108829757B (zh) * 2018-05-28 2022-01-28 广州麦优网络科技有限公司 一种聊天机器人的智能服务方法、服务器及存储介质
US10579230B2 (en) 2018-06-21 2020-03-03 Google Llc Digital supplement association and retrieval for visual search
US10878037B2 (en) 2018-06-21 2020-12-29 Google Llc Digital supplement association and retrieval for visual search
KR20230003388A (ko) * 2018-06-21 2023-01-05 구글 엘엘씨 시각적 검색을 위한 디지털 보충물 연관 및 검색
US11030260B2 (en) * 2018-08-29 2021-06-08 Ip.Com I, Llc System and method for dynamically normalized semantic distance and applications thereof
US11544462B2 (en) * 2018-12-07 2023-01-03 International Business Machines Corporation Processing electronic communications to promote achievement
JP6869453B2 (ja) * 2019-02-21 2021-05-12 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11170035B2 (en) * 2019-03-29 2021-11-09 Snap Inc. Context based media curation
CN110162639A (zh) * 2019-04-16 2019-08-23 深圳壹账通智能科技有限公司 识图知意的方法、装置、设备及存储介质
US11216699B2 (en) * 2019-06-13 2022-01-04 Baidu Usa Llc System to mitigate against adversarial samples for ML and AI models
CN110365866B (zh) * 2019-06-13 2021-09-14 首都师范大学 彩色图像加密方法和装置
KR102280495B1 (ko) * 2019-12-06 2021-07-26 주식회사 클리노믹스 인공지능 기반의 검색 서비스 제공 장치 및 방법
KR102280494B1 (ko) * 2019-12-06 2021-07-26 주식회사 클리노믹스 상호연관성 기반 우선순위로 정렬된 전문분야 인터넷 검색 서비스 제공 방법
US11907280B2 (en) * 2020-11-05 2024-02-20 Adobe Inc. Text adjusted visual search
KR102359167B1 (ko) * 2021-03-18 2022-02-08 쿠팡 주식회사 아이템과 관련된 정보를 제공하는 방법 및 전자 장치
US20230048742A1 (en) * 2021-08-10 2023-02-16 Verizon Media Inc. Search query generation based upon received text
US20220291930A1 (en) * 2022-05-31 2022-09-15 Intel Corporation Methods, apparatus, and articles of manufacture to improve performance of a compute device by detecting a scene change

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127077A (ja) * 2004-10-28 2006-05-18 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2010186214A (ja) * 2009-02-10 2010-08-26 Yahoo Japan Corp 検索装置
JP2011257891A (ja) * 2010-06-08 2011-12-22 Yahoo Japan Corp 検索装置
JP2011258208A (ja) * 2007-08-08 2011-12-22 Nhn Business Platform Corp 広告露出方法およびシステム
JP2012138109A (ja) * 2006-03-08 2012-07-19 Ricoh Co Ltd 検索装置、検索システム、情報処理装置、検索結果受信方法、及び情報受信プログラム
JP2015122096A (ja) * 2015-02-03 2015-07-02 ヤフー株式会社 検索情報提供装置、検索情報提供方法および検索情報提供プログラム
JP2015153094A (ja) * 2014-02-13 2015-08-24 ヤフー株式会社 抽出装置、抽出方法および抽出プログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038299A1 (en) 2000-03-20 2002-03-28 Uri Zernik Interface for presenting information
CN101165647B (zh) * 2006-10-17 2010-12-15 北京书生国际信息技术有限公司 一种文档库系统和文档库系统功能的扩展方法
US20050160107A1 (en) * 2003-12-29 2005-07-21 Ping Liang Advanced search, file system, and intelligent assistant agent
US8775436B1 (en) 2004-03-19 2014-07-08 Google Inc. Image selection for news search
CA2500573A1 (en) * 2005-03-14 2006-09-14 Oculus Info Inc. Advances in nspace - system and method for information analysis
CN100422999C (zh) * 2006-09-14 2008-10-01 浙江大学 基于内容相关性的跨媒体检索方法
US20080109285A1 (en) * 2006-10-26 2008-05-08 Mobile Content Networks, Inc. Techniques for determining relevant advertisements in response to queries
US8090222B1 (en) * 2006-11-15 2012-01-03 Google Inc. Selection of an image or images most representative of a set of images
JP5164368B2 (ja) * 2006-12-07 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
US20090012863A1 (en) * 2007-07-02 2009-01-08 Syta Saephan Automatic image advertisement generator
US20100100546A1 (en) * 2008-02-08 2010-04-22 Steven Forrest Kohler Context-aware semantic virtual community for communication, information and knowledge management
US8086048B2 (en) * 2008-05-23 2011-12-27 Yahoo! Inc. System to compile landmark image search results
US8112428B2 (en) * 2008-11-24 2012-02-07 Yahoo! Inc. Clustering image search results through voting: reciprocal election
US20100131499A1 (en) * 2008-11-24 2010-05-27 Van Leuken Reinier H Clustering Image Search Results Through Folding
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
US9384214B2 (en) * 2009-07-31 2016-07-05 Yahoo! Inc. Image similarity from disparate sources
US8135222B2 (en) * 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
US8392430B2 (en) * 2009-09-23 2013-03-05 Microsoft Corp. Concept-structured image search
US9710491B2 (en) * 2009-11-02 2017-07-18 Microsoft Technology Licensing, Llc Content-based image search
KR101139001B1 (ko) * 2010-02-23 2012-04-26 경기대학교 산학협력단 콘텐츠 제공 장치 및 방법
US20110238608A1 (en) * 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing personalized information resource recommendation based on group behaviors
WO2011153508A2 (en) * 2010-06-04 2011-12-08 Google Inc. Service for aggregating event information
US8270684B2 (en) * 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
US8645298B2 (en) * 2010-10-26 2014-02-04 Microsoft Corporation Topic models
US9110977B1 (en) * 2011-02-03 2015-08-18 Linguastat, Inc. Autonomous real time publishing
US9870376B2 (en) * 2011-04-01 2018-01-16 Excalibur Ip, Llc Method and system for concept summarization
US9678992B2 (en) * 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US10198506B2 (en) * 2011-07-11 2019-02-05 Lexxe Pty Ltd. System and method of sentiment data generation
US20130018875A1 (en) * 2011-07-11 2013-01-17 Lexxe Pty Ltd System and method for ordering semantic sub-keys utilizing superlative adjectives
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8923655B1 (en) * 2011-10-14 2014-12-30 Google Inc. Using senses of a query to rank images associated with the query
US9020244B2 (en) * 2011-12-06 2015-04-28 Yahoo! Inc. Ranking and selecting representative video images
JP6033326B2 (ja) * 2011-12-12 2016-11-30 エンパイア テクノロジー ディベロップメント エルエルシー コンテンツベースの自動的な入力プロトコルの選択
US9158857B2 (en) * 2012-06-05 2015-10-13 Google Inc. Identifying landing pages for images
US9424279B2 (en) * 2012-12-06 2016-08-23 Google Inc. Presenting image search results
US9230023B2 (en) * 2013-04-16 2016-01-05 Google Inc. Search suggestion and display environment
KR101538998B1 (ko) * 2013-09-13 2015-07-24 한국과학기술원 지식 구조를 기반으로 한 검색 서비스 제공 방법 및 장치
US10042866B2 (en) * 2015-06-30 2018-08-07 Adobe Systems Incorporated Searching untagged images with text-based queries
US10311374B2 (en) * 2015-09-11 2019-06-04 Adobe Inc. Categorization of forms to aid in form search
US9747348B2 (en) * 2015-11-12 2017-08-29 International Business Machines Corporation Personality-relevant search services
US10891019B2 (en) * 2016-02-29 2021-01-12 Huawei Technologies Co., Ltd. Dynamic thumbnail selection for search results
US10437868B2 (en) * 2016-03-04 2019-10-08 Microsoft Technology Licensing, Llc Providing images for search queries
US10909170B2 (en) * 2016-04-06 2021-02-02 Baidu Usa Llc Method for processing and rendering feed-like based images for mobile devices
US10140315B1 (en) * 2016-06-20 2018-11-27 Shutterstock, Inc. Identifying visual portions of visual media files responsive to visual portions of media files submitted as search queries

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127077A (ja) * 2004-10-28 2006-05-18 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2012138109A (ja) * 2006-03-08 2012-07-19 Ricoh Co Ltd 検索装置、検索システム、情報処理装置、検索結果受信方法、及び情報受信プログラム
JP2011258208A (ja) * 2007-08-08 2011-12-22 Nhn Business Platform Corp 広告露出方法およびシステム
JP2010186214A (ja) * 2009-02-10 2010-08-26 Yahoo Japan Corp 検索装置
JP2011257891A (ja) * 2010-06-08 2011-12-22 Yahoo Japan Corp 検索装置
JP2015153094A (ja) * 2014-02-13 2015-08-24 ヤフー株式会社 抽出装置、抽出方法および抽出プログラム
JP2015122096A (ja) * 2015-02-03 2015-07-02 ヤフー株式会社 検索情報提供装置、検索情報提供方法および検索情報提供プログラム

Also Published As

Publication number Publication date
KR20170138333A (ko) 2017-12-15
US20170351710A1 (en) 2017-12-07
EP3255565A1 (en) 2017-12-13
KR101932618B1 (ko) 2018-12-27
JP6266080B2 (ja) 2018-01-24
CN107480158A (zh) 2017-12-15
US10459970B2 (en) 2019-10-29
CN107480158B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
JP6266080B2 (ja) 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム
US10289700B2 (en) Method for dynamically matching images with content items based on keywords in response to search queries
JP6423845B2 (ja) 検索クエリに応答してコンテンツとマッチングしようとする画像を動的にランキングする方法及びシステム
CN107103016B (zh) 基于关键词表示使图像与内容匹配的方法
US10565255B2 (en) Method and system for selecting images based on user contextual information in response to search queries
US10296535B2 (en) Method and system to randomize image matching to find best images to be matched with content items
JP6165955B1 (ja) 検索クエリに応答してホワイトリストとブラックリストを使用し画像とコンテンツをマッチングする方法及びシステム
JP6363682B2 (ja) 画像とコンテンツのメタデータに基づいてコンテンツとマッチングする画像を選択する方法
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
US10496686B2 (en) Method and system for searching and identifying content items in response to a search query using a matched keyword whitelist
US10789287B2 (en) Method and system for multi-dimensional image matching with content in response to a search query
US11308154B2 (en) Method and system for dynamically overlay content provider information on images matched with content items in response to search queries
US10496698B2 (en) Method and system for determining image-based content styles

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

R150 Certificate of patent or registration of utility model

Ref document number: 6266080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250