JP2017220205A - 検索クエリに応答してコンテンツとマッチングしようとする画像を動的にランキングする方法及びシステム - Google Patents

検索クエリに応答してコンテンツとマッチングしようとする画像を動的にランキングする方法及びシステム Download PDF

Info

Publication number
JP2017220205A
JP2017220205A JP2016232331A JP2016232331A JP2017220205A JP 2017220205 A JP2017220205 A JP 2017220205A JP 2016232331 A JP2016232331 A JP 2016232331A JP 2016232331 A JP2016232331 A JP 2016232331A JP 2017220205 A JP2017220205 A JP 2017220205A
Authority
JP
Japan
Prior art keywords
image
score
keywords
matching
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016232331A
Other languages
English (en)
Other versions
JP6423845B2 (ja
Inventor
コン，チー
Qi Kong
ジュー，ファン
Fan Zhu
ヤン，グアン
Guang Yang
ワン，ジンガオ
Jingao Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2017220205A publication Critical patent/JP2017220205A/ja
Application granted granted Critical
Publication of JP6423845B2 publication Critical patent/JP6423845B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】検索クエリに応答して識別されたコンテンツアイテムとマッチングしようとする画像を識別する。【解決手段】画像のそれぞれに対して、検索クエリに関連付けられた１つ又は複数のキーワードの第１セット及び画像に関連付けられた１つ又は複数のキーワードの第２セットに基づき、マッチングタイプスコアを計算する。マッチングタイプスコア、キーワードの第１セット及びキーワードの第２セットに基づき、画像のマッチング品質スコアを計算する。画像の各マッチング品質スコアに基づき画像をランキングする。画像のうちの、マッチング品質スコアが所定の閾値より高い１つの画像を選択し、選択された画像をコンテンツアイテムに関連付ける。【選択図】図９

Description

本発明の実施形態は大体コンテンツ検索に関する。より具体的には、本発明の実施形態は、検索クエリに応答してコンテンツとマッチングしようとする画像をランキングすることに関する。
ほとんどの検索エンジンは一般的にその操作中にクライアント装置に運行されるブラウザによってウェブページへの検索を実行する。検索エンジンはユーザにより入力された検索ワードを受信して、且つ検索ワードに関連するウェブページ検索結果リストを検索する。検索エンジンはある標準に基づいて検索結果を検索リストの一連のサブセットとして表示する。検索操作中に使用される一般的な標準は、検索ワードは完全に又は一部的に所定のウェブページに出現するか、検索文字列が検索結果に現した回数、アルファベット順などである。なお、ユーザはマウスボタンをクリックすることでリンクの開きを決めて、これによりウェブページを開いてブラウズする。検索エンジンはユーザと検索結果のあるインタラクティブ及び／又はユーザ情報を監視及び収集することによって、それからより良い検索を提供する。
通常、コンテンツアイテムリストを認識及び検索するように、検索クエリに応答して検索を実行する。続いて、コンテンツアイテムを検索リクエスタに返送する。通常の検索エンジンはほとんどのコンテンツアイテムをそのまま返送して修正しない。検索結果におけるいくつかのコンテンツアイテムは単にプレーンテキスト又は記述であり、つまらないもの又は退屈なものであると考えられる。時々、コンテンツアイテムに当該コンテンツアイテムに関連するある画像が用意される場合に、検索結果におけるコンテンツはより表現力があるか又はより吸引力がある。ところが、適切な画像とコンテンツアイテムをマッチングするのは非常に挑戦的なものである。コンテンツアイテムとマッチングする画像を効率的にランキングするための方法がいまだに開発されていない。
一つの様態において、コンテンツアイテムとマッチングしようとする画像をランキングするためのコンピュータ実施方法を提供し、この方法は、検索クエリに応答して識別されたコンテンツアイテムとマッチングしようとする複数の画像を識別するステップと、前記複数の画像のそれぞれに対して、前記検索クエリに関連付けられた１つ又は複数のキーワードの第１セット及び前記画像に関連付けられた１つ又は複数のキーワードの第２セットに基づきマッチングタイプスコアを計算し、前記マッチングタイプスコア、キーワードの前記第１セット及びキーワードの前記第２セットに基づき前記画像のマッチング品質スコアを計算するステップと、前記複数の画像のそれぞれのマッチング品質スコアに基づき前記複数の画像をランキングするステップと、前記複数の画像のうちの、マッチング品質スコアが所定の閾値より高い１つの画像を選択し、選択された画像を前記コンテンツアイテムに関連付けるステップと、を含む
他の一つの様態において、命令が記憶された非一時的機械可読媒体を提供し、前記命令がプロセッサにより実行される場合、前記プロセッサに、コンテンツアイテムとマッチングしようとする画像をランキングする操作を実行させ、前記操作は、検索クエリに応答して識別されたコンテンツアイテムとマッチングしようとする複数の画像を識別するステップと、前記複数の画像のそれぞれに対して、前記検索クエリに関連付けられた１つ又は複数のキーワードの第１セット及び前記画像に関連付けられた１つ又は複数のキーワードの第２セットに基づきマッチングタイプスコアを計算し、前記マッチングタイプスコア、キーワードの前記第１セット及びキーワードの前記第２セットに基づき前記画像のマッチング品質スコアを計算するステップと、前記複数の画像のそれぞれのマッチング品質スコアに基づき前記複数の画像をランキングするステップと、前記複数の画像のうちの、マッチング品質スコアが所定の閾値より高い１つの画像を選択し、選択された画像を前記コンテンツアイテムに関連付けるステップと、を含む。
さらに、他の一つの様態において、データ処理システムを提供し、このシステムは、プロセッサと、前記プロセッサに接続され、命令を記憶するために用いられるメモリと、を備え、前記命令前記プロセッサにより実行される場合、前記プロセッサに、コンテンツアイテムとマッチングしようとする画像をランキングする操作を実行させ、前記操作は、検索クエリに応答して識別されたコンテンツアイテムとマッチングしようとする複数の画像を識別するステップと、前記複数の画像のそれぞれに対して、前記検索クエリに関連付けられた１つ又は複数のキーワードの第１セット及び前記画像に関連付けられた１つ又は複数のキーワードの第２セットに基づきマッチングタイプスコアを計算し、前記マッチングタイプスコア、キーワードの前記第１セット及びキーワードの前記第２セットに基づき前記画像のマッチング品質スコアを計算するステップと、前記複数の画像のそれぞれのマッチング品質スコアに基づき前記複数の画像をランキングするステップと、前記複数の画像のうちの、マッチング品質スコアが所定の閾値より高い１つの画像を選択し、選択された画像を前記コンテンツアイテムに関連付けるステップと、を含む
本発明の実施形態は、図面の各図に例として非限定的に示され、図面では、類似の符号は類似の構成要素を示す。
本発明のいくつかの実施形態に係る画像とコンテンツアイテムとをマッチングするシステム構成の例を示すブロック図である。 本発明のいくつかの実施形態に係る画像とコンテンツアイテムとをマッチングするシステム構成の例を示すブロック図である。 本発明の一実施形態に係る画像選択システムの例を示すブロック図である。 本発明のある実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本発明のある実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本発明の一実施形態に係るクエリ−画像マッピングシステムを示すブロック図である。 本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。 本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。 本発明の一実施形態に係るマッチングタイプの例を示すブロック図である。 本発明の一実施形態に係るマッチングスコア決定用のスコアリング行列の例を示すブロック図である。 本発明の一実施形態に係る、キーワードに基づき画像とコンテンツアイテムをマッチングするプロセスを示すフローチャートである。 一実施形態に係るデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら、本発明の様々な実施形態および態様を説明し、図面は、様々な実施形態を示す。以下の説明および図面は、本発明を説明するためのものであり、本発明を限定するものではない。本発明の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本発明の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
本明細書では「１つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明した特定特徴、構造または特性が、本発明の少なくとも１つの実施形態に含まれる。語句「１つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない
いくつかの実施形態によれば、画像ランキングメカニズムを提供することにより、検索クエリに応答して識別されたコンテンツアイテムとマッチングするための画像を効率で正確的にランキングする。コンテンツアイテムとマッチングしようとする画像候補として識別された画像のそれぞれに対して、画像から抽出又は決定した特徴（例えば、画像プロパティ又は特性、及び／又は画像に関する任意のほかのメタデータ又はデータ）のそれぞれの特徴スコアを計算する。大量の検索クエリに応答してコンテンツアイテムとマッチングするための大量の画像の特徴に基づき予め訓練又は設定された特定の特徴スコアアルゴリズムを使用して、各特徴スコアを計算してもよい。また、画像のメタデータ、検索クエリ及びコンテンツアイテムに基づき、画像とコンテンツアイテムとのマッチングタイプスコアを決定する。マッチングタイプスコアは検索クエリと、前記検索クエリに基づき識別された画像とのマッチングタイプ（例えば、検索クエリと画像のマッチングキーワード）によって異なってもよい。マッチングタイプは完全一致、部分一致又は絞り込み部分一致（例えば、セマンティック一致）であってもよい。
続いて、特徴の特徴スコアとマッチングタイプスコアとに基づき、マッチング品質スコアを計算する。画像に関連付けられた特徴は様々なメタデータ、例えば画像プロパティ又は特性（例えば、解像度、輝度、コントラスト、配向、サイズ、画像ソース、画像で表現されるコンテンツ）を含んでもよい。所定のアルゴリズムを使用し、マッチングタイプスコアと少なくとも一部の特徴スコアに基づき、マッチング品質スコアを計算するようにしてもよい。或いは、履歴画像データ、クエリデータ及びユーザ対話データを使用して訓練されたランキングモデルに、マッチングタイプスコアと特徴スコアを適用することにより、マッチング品質スコアを決定するようにしてもよい。続いて、マッチング品質スコアをランキングスコアとして、ほかの画像のマッチング品質スコアに基づき、対応する画像をランキングする。ランキングスコアが所定閾値より高い１つの画像を選択してコンテンツアイテムとマッチングしてもよく、例えばコンテンツアイテムに対する背景画像とする。
図１Ａおよび図１Ｂは、本出願のいくつかの実施形態に係る画像とコンテンツアイテムとをマッチングするシステム構成の例を示すブロック図である。図１Ａを参照し、システム１００は、ネットワーク１０３を介してサーバ１０４に通信可能に接続される１つまたは複数のクライアント装置１０１〜１０２を含むが、それらに限定されない。クライアント装置１０１〜１０２は、任意のタイプのクライアント装置、例えば、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ）、「薄型」クライアント、パーソナルデジタルアシスタント（ＰＤＡ）、インターネット対応機器、スマート腕時計や携帯電話（例えば、スマートフォン）等であってもよい。ネットワーク１０３は、任意のタイプの有線や無線ネットワーク、例えばローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）またはそれらの組合せであってもよい。
サーバ１０４は、任意のタイプのサーバまたはサーバクラスター、例えばネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはそれらの組合せであってもよい。一実施形態では、サーバ１０４は、検索エンジン１２０、画像選択モジュール１１０、およびクエリ／画像マッチングルール１１５を含むが、それらに限定されない。サーバ１０４は、クライアント（例えば、クライアント装置１０１〜１０２）がサーバ１０４で提供されたリソースまたはサービスにアクセスすることを可能にするインターフェース（図示せず）をさらに含む。インターフェースは、ネットワークインターフェース、アプリケーション・プログラミング・インターフェース（ＡＰＩ）および／またはコマンドラインインターフェース（ＣＬＩ）を含んでもよい。
例えば、クライアント（当該例ではクライアント装置１０１のユーザアプリケーション（例えば、ネットワークブラウザ、モバイルアプリケーション））は、サーバ１０４に検索クエリを送信し、検索エンジン１２０は、ネットワーク１０３により、インターフェースを経由して当該検索クエリを受信する。検索クエリに応答して、検索エンジン１２０は、検索クエリから１つまたは複数のキーワード（検索語とも呼ばれる）を抽出する。検索エンジン１２０は、主要コンテンツデータベース１３０および／または補助コンテンツデータベース１３１を含んでもよいコンテンツデータベース１３３において検索を実行してキーワードに関連するコンテンツアイテムリストを識別する。主要コンテンツデータベース１３０（マスターコンテンツデータベースとも呼ばれる）は、一般的なコンテンツデータベースであってもよく、補助コンテンツデータベース１３１（二次または付属コンテンツデータベースとも呼ばれる）は、特殊のコンテンツデータベースであってもよい。検索エンジン１２０は、リストの少なくとも一部のコンテンツアイテムを有する検索結果ページをクライアント装置１０１に返送して表示する。検索エンジン１２０は、百度会社（Ｂａｉｄｕ Ｉｎｃ）から取得されるＢａｉｄｕ（登録商標）検索エンジンであってもよく、Ｇｏｏｇｌｅ（登録商標）検索エンジン、Ｍｉｃｒｏｓｏｆｔ ＢｉｎｇＴＭ検索エンジン、Ｙａｈｏｏ（登録商標）検索エンジン、またはほかの検索エンジンであってもよい。
検索エンジン、例えばウェブページ検索エンジンは、ワールドワイドウェブ上で情報を検索するソフトウェアシステムとして設計される。検索結果は、通常、一連の結果に表示され、この一連の結果は、通常、検索エンジン結果ページと呼ばれる。情報は、ウェブページ、画像、およびほかのタイプのファイルの組合せであってもよい。いくつかの検索エンジンは、さらにデータベースまたはオープンディレクトリ中の利用可能なデータをマイニングする。ヒューマンエディタのみにより維持されるウェブディレクトリと異なり、検索エンジンは、さらにウェブクローラ(web crawler)においてアルゴリズムを実行することにより、リアルタイム情報を維持する。
ウェブページ検索エンジンは、ページのハイパーテキストマークアップ言語（ＨＴＭＬ）マークアップから検索される多数のウェブページに関連する情報を記憶することにより動作される。これらのページは、ウェブサイト上の各リンクに従う自動ウェブクローラであるウェブクローラにより検索される。次に、検索エンジンは、各ページのコンテンツを解析して如何にインデックスされるかを決定する（例えば、タイトル、ページコンテンツ、ヘッダーまたはメタタグと呼ばれる特殊フィールドによりワードを抽出する）。ウェブページに関連するデータをインデックスデータベースに記憶し、後続のクエリに使用する。インデックスは、クエリに関連する情報をできるだけ速めに見つけることに役立つ。
ユーザが検索エンジンに（一般的に、キーワードを使用することにより）クエリを入力する場合、前記エンジンは、クエリのインデックスを検査し、通常ドキュメントタイトルを含み且つ必要に応じて一部のテキストを含む短い概要を有する基準にしたがってベストマッチングのウェブページのリストを提供する。インデックスは、データとともに記憶された情報、および情報のインデキシング方法からなる。検索エンジンは、入力時に完全に一致する語（ワード）または語句（フレーズ）を検索する。いくつかの検索エンジンは、拡張機能を提供し（近接検索と呼ばれる）、ユーザがキーワード間の距離を定義できる。また、概念に基づく検索もあり、その中でも前記検索はユーザの検索する語または語句を含むページ上で統計解析を使用する。また、自然言語クエリは、ユーザが人間に質問するような形と同様に問題を入力することができる。
検索エンジンの有用性は、返送された結果セットの関連性により決められる。特定の語または語句を含むウェブページが数百万も存在する可能性があるが、その一部のページは、他のページに比べるとさらに関連性が高く、人気があり、または信頼性が高い可能性がある。ほとんどの検索エンジンは、複数種の方法を用いて結果をランキングすることにより、「最適な」結果を優先的に提供する。検索エンジンが如何にどのページを最適なマッチングのページに決定するか、およびどんな順序で結果を表示するかについて、エンジンにより大きく異なている。
図１Ａに戻って参照して、一実施形態によれば、サーバ１０４でクライアント装置（当該例では、クライアント装置１０１）から受信された検索クエリに応答して、検索エンジン１２０は、コンテンツデータベース１３３（例えば、主要コンテンツデータベース１３０、および／または補助コンテンツデータベース１３１）において検索を実行し、コンテンツアイテムリストを生成する。ユニフォームリソースリンク（ＵＲＬ）および／またはユニフォームリソースアイデンティファイア（ＵＲＩ）を経由してコンテンツアイテムのそれぞれと特定のコンテンツプロバイダの特定ウェブサイトの特定ウェブページを関連付ける。一実施形態では、主要コンテンツデータベース１３０はネットワーククローラにより収集された一般的なコンテンツアイテム（例えば、非スポンサー付きコンテンツ）を記憶する。補助コンテンツデータベース１３１は、特定、既知もしくは所定のコンテンツプロバイダに関連付けられた特定、または特殊のコンテンツアイテム（例えば、スポンサー付きコンテンツ）を記憶する。あるいは、主要コンテンツデータベース１３０と補助コンテンツデータベース１３１とを区別しない場合、コンテンツデータベース１３３を単一データベースとしてもよい。
ネットワーククローラまたはウェブクローラは、ネットワークのハイパーテキスト構造を自動的にトラバースするプログラムである。実際に、ネットワーククローラは、ＵＲＬからドキュメントをダウンロードする１つもしくは複数のプロセスまたはスレッドを実行するようにそれぞれ構成された個別のコンピュータあるいはサーバで実行できる。ネットワーククローラは、割り当てられたＵＲＬを受信し、それらのＵＲＬでドキュメントをダウンロードする。ネットワーククローラは、さらに検索されたドキュメントに引用されるドキュメントを検索して、コンテンツ処理システム（図示せず）および／または検索エンジン１２０に処理させるようにしてもよい。ネットワーククローラは、例えばハイパーテキスト転送プロトコル（ＨＴＴＰ）やファイル転送プロトコル（ＦＴＰ）のような様々なプロトコルを使用して、ＵＲＬに関連付けられたページをダウンロードすることができる。
また、一実施形態によれば、画像選択モジュール又はシステム１１０はクエリ−画像（クエリ／画像）マッチングルール又はテーブル１１５（クエリ／画像マッチングルール又はテーブルとも呼ばれる）を利用し、検索クエリに関連付けられたキーワードに基づき、検索クエリに関連付けられたキーワードに関連する画像を識別する画像ＩＤのリストを識別する。クエリ／画像マッチングルール／テーブル１１５は様々なデータ構造（例えばテーブル又はデータベース）により実現されることができる。画像ＩＤに基づき、画像メモリ１２５に記憶された画像１２３から画像候補リストを識別して検索してもよく、ここで、画像メモリ１２５はさらに画像１２２を描写する画像メタデータ（図示せず）を記憶してもよい。一実施形態では、ネットワークをクロールして画像及びその周辺のメタデータを収集するように設計される１つ又は複数の画像又はネットワーククローラにより画像１２２及びそれぞれのメタデータを取得するようにしてもよい。画像１２２は非特権的、著作権保護されない、適切にライセンスされた画像であってもよく、ほかの認可された画像であってもよい。キーワードと画像候補の間のランキングスコア及びコンテンツアイテムのメタデータに基づき画像候補をランキングする。コンテンツデータベース１３３で見つけられたコンテンツアイテムのそれぞれに対して、画像候補リストからコンテンツアイテムに関連付けられた画像を選択する。選択された画像をコンテンツアイテムと合併して、合併又は合成のコンテンツアイテムを生成することができる。例えば、選択された画像はコンテンツアイテムの背景画像としてもよい。合併のコンテンツアイテムと画像のリストは検索結果の一部としてクライアント装置１０１に返送される。
一実施形態によれば、検索クエリを受信する前に、（例えば、オフラインで）クエリ／画像マッチングルール１１５を予めコンパイルして生成しておいてもよい。１組のクエリ／画像マッチングルール１１５は１つ又は複数のキーワードを、１つ又は複数の画像を識別する１つ又は複数の画像認識子（ＩＤ）にマッピングするように設定される。キーワードは、検索クエリに使用される可能性が高いキーワード及び／又は特定のコンテンツアイテムに関連付けられたキーワードとして識別される。ユーザの検索行為又は検索履歴に対する解析又はトラッキングに基づき、当該キーワードを識別し、ここで、ユーザの検索行為又は検索履歴が一定期間においてコンパイルされることができる。
次に、検索エンジン１２０は、クライアント装置からコンテンツ検索用の検索クエリを受信するト場合に、コンテンツデータベース１３３においてサーチを実行してコンテンツアイテムリストを検索する。また、例えば、画像選択モジュール１１０によってクエリが解析され、クエリに関連付けられた１つ又は複数のキーワードが決定される。決定されたキーワードは検索クエリに含まれるキーワードであってもよい。決定されたキーワードはさらにセマンティック的に類似する又は検索クエリの最初のキーワードと同じ意味を有するあるキーワード（例えば、同義語又は語句）を含んでもよい。キーワードに基づき、１組のクエリ／画像マッチングルール１１５を利用して、画像メモリ１２５から１つ又は複数の画像のリストを識別する。
一実施形態によれば、画像選択モジュール１１０は、クエリ／画像マッチングシステム１５０により生成されて設定された様々なランキングアルゴリズム又はランキングモデルを利用して、識別された画像をランキングするようにしてもよい。コンテンツアイテムとマッチングしよとする画像候補として識別された画像のそれぞれに対して、画像から抽出又は決定された特徴（例えば、画像プロパティ又は特性、及び／又は画像に関する任意のほかのメタデータ又はデータ）のそれぞれの特徴スコアを計算する。大量の検索クエリに応答してコンテンツアイテムとマッチングするための大量の画像の特徴に基づき予め訓練又は設定された特定の特徴スコアアルゴリズムを使用して、各特徴スコアを計算してもよい。また、画像のメタデータ、検索クエリ及びコンテンツアイテムに基づき、画像とコンテンツアイテムとのマッチングタイプスコアを決定する。マッチングタイプスコアは検索クエリと、前記検索クエリに基づき識別された画像とのマッチングタイプ（例えば、検索クエリと画像のマッチングキーワード）によって異なってもよい。マッチングタイプは完全一致、部分一致又は絞り込み部分一致（例えば、セマンティック一致）であってもよく、各々のマッチングタイプがいずれも特定のマッチングタイプスコアに関連付けられた。
続いて、特徴の少なくとも一部の特徴スコアとマッチングタイプスコアに基づき、マッチング品質スコアを計算する。画像に関連付けられた特徴は様々なメタデータ、例えば画像プロパティ又は特性（例えば、解像度、輝度、コントラスト、配向、サイズ、画像ソース、画像で表現されるコンテンツ）を含んでもよい。所定のアルゴリズムを使用し、マッチングタイプスコアと特徴スコアに基づき、マッチング品質スコアを計算するようにしてもよい。或いは、履歴画像データ、クエリデータ及びユーザ対話データを使用して訓練されたランキングモデルに、マッチングタイプスコアと特徴スコアを適用することにより、マッチング品質スコアを決定するようにしてもよい。続いて、マッチング品質スコアをランキングスコアとして、ほかの画像のマッチング品質スコアに基づき、対応する画像をランキングする。ランキングスコアが所定閾値より高い１つの画像を選択してコンテンツアイテムとマッチングしてもよく、例えばコンテンツアイテムに対する背景画像とする。
なお、例示の目的のために、サーバ１０４の構成のみを説明したが、それに限定されない。サーバ１０４は、様々なエンドユーザデバイスにフロントエンド検索サービスを提供するネットワークサーバであってもよい。また、サーバ１０４は、フロントエンドサーバ（例えば、ネットワークサーバや一般的なコンテンツサーバ）に、特定または特殊のコンテンツ検索サービスを提供し、画像とコンテンツデータベースまたはサーバのコンテンツアイテムをマッチングおよび／または集積するアプリケーションサーバあるいはバックエンドサーバであってもよい。クエリ／画像マッチングシステム１５０は、コンテンツアイテムおよびそれぞれに関連付けられたコンテンツデータベースまたはサーバ１３３のキーワードに基づき、クエリ／画像マッチングルール又はテーブル１１５を作成するための個別のサーバとして実現されてもよい。
ほかのアーキテクチャや配置も適用可能である。例えば、図１Ｂに示されるように、コンテンツデータベース１３３は、ネットワークを介してコンテンツサーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。同様に、画像記憶部１２５は画像検索エンジンを有する画像サーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。サーバ１３３および１２５は、ネットワークサーバ、アプリケーションサーバまたはバックエンドサーバであってもよい。サーバ１０４と同様なエンティティまたは組織により、コンテンツサーバ１３３および／または画像サーバ１２５を組織して提供するようにしてもよい。あるいは、コンテンツデータベース１３０〜１３１におけるコンテンツと画像１２２、およびその両者のメタデータを収集するための単独のエンティティ、または組織（例えば、第三者のプロバイダ）がコンテンツサーバ１３３および／または画像サーバ１２５を維持したり、ホストしたりするようにしてもよい。
なお、コンテンツデータベース／サーバ１３３は、主要コンテンツデータベース１３０および補助コンテンツデータベース１３１を含んでもよい。主要コンテンツデータベース１３０は、主要コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現されたり維持されたりしてもよい。同様に、補助コンテンツデータベース１３１は補助または付属コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現されたり維持されたりしてもよい。様々なマッチング式を使用して、２つのコンテンツデータベース１３０〜１３１から取得されたコンテンツアイテムを画像記憶部／サーバ１２５から取得された画像とマッチングする。あるいは、主要コンテンツデータベース１３０および補助コンテンツデータベース１３１のうちの一方のみから取得されたコンテンツアイテムを画像記憶部／サーバ１２５から取得された画像とマッチングする。例えば、補助コンテンツデータベース１３１から取得されたコンテンツアイテム（例えば、スポンサー付きコンテンツ）を画像記憶部／サーバ１２５から取得された画像とマッチングし、それに対して、主要コンテンツデータベース１３０から取得されたコンテンツアイテム（例えば、一般的なコンテンツ）を検索結果の一部として、修正せずにクライアント装置に返送する。
図２は、本出願の一実施形態に係る画像とコンテンツアイテムとをマッチングするシステムを示すブロック図である。システム２００は、図１Ａ〜図１Ｂのシステム１００の一部として実現されてもよい。図２を参照し、クライアント装置（例えば、図１のクライアント装置１０１）から検索クエリ２０１を受信すると、検索エンジン１２０は、コンテンツデータベースまたはコンテンツサーバ１３３において第１の検索を実行し、検索クエリ２０１に関連付けられた１つまたは複数のキーワードあるいは検索語に基づき、コンテンツアイテムの第１のリストを識別して検索する。また、検索エンジン１２０は、画像選択モジュール１１０と通信し、１組のクエリ／画像マッチングルール１１５を使用し、検索クエリ２０１に関連付けられたキーワードに基づき、画像記憶部または画像サーバ１２５から画像リストを識別する。検索エンジン１２０および／または画像選択モジュール１１０は、クエリを解析して、検索クエリ２０１に含まれるキーワードおよび／または検索クエリ２０１のキーワードと類似するキーワード（例えば、意味的に類似した語、同義語）のリストを導出する。拡張キーワードのリストに対して、コンテンツデータベース／サーバ１３３および／または画像記憶部／サーバ１２５における検索を実行する。
一実施形態では、画像選択モジュール１１０および／またはクエリ／画像マッチングルール１１５が検索エンジン１２０と一体に集積されてもよい。例えば、クエリ／画像マッピングシステム１５０により、クエリ／画像マッチングルールを予め構成したりコンパイルしたりしてもよい。クエリ／画像マッピングシステム１５０は、ＡＰＩまたはネットワークを経由してシステム２００に通信可能に接続される個別のシステムまたはサーバにホストされる。クエリ／画像マッピングシステム１５０は、ユーザまたは管理者が処理ロジックにより所定アルゴリズムを使用して拡張され、ランキングされる１組のクエリ／画像マッチングルールを構成するユーザインターフェースを含む。以下、クエリ／画像マッピングシステム１５０のさらなる詳細を、さらに説明する。
同様に、画像収集システム２３０は、画像記憶部／サーバ１２５に記憶された画像を収集し、前記画像収集システムは、ネットワークを介してシステム２００に通信可能な個別のシステムまたはサーバであってもよい。システム２００と同様なまたは異なるエンティティあるいは組織によりクエリ／画像マッピングシステム１５０および／または画像収集システム２３０を操作する。当該例では、画像をシステム２００に対してローカル（例えば、サーバ１０４に対してローカルである）である画像記憶部にキャッシュして記憶する。あるいは、画像収集システム２３０に関連付けられた指定したサーバにより画像を維持し、画像選択モジュール１１０は、ＡＰＩを経由して指定されたサーバと通信して画像リストを識別して検索する。
画像記憶部／サーバ１２５から検索された画像リストに基づき、画像選択モジュール１１０は、ランキングアルゴリズムに従って画像をランキングする。次に、一部の画像をコンテンツデータベース／サーバ１３３から識別して検索した一部のコンテンツアイテムとマッチングする。続いて、マッチングしたコンテンツアイテムと画像を集積済みのコンテンツアイテムに集積する。一実施形態では、画像をコンテンツアイテムの背景画像または補足画像として選択する。例えば、コンテンツアイテム２１１は記述またはテキストであり、画像２１２はコンテンツアイテム２１１の背景画像として選択される。適切な方式を用いて、本明細書全体に説明されるマッチング技術に基づき、画像２１２を選択してコンテンツアイテム２１１を補足または記述し、またはコンテンツアイテム２１１を選択して画像２１２がそれを補足または記述する。例えば、コンテンツアイテム２１１のコンテンツが画像２１２に示されるコンテンツに関連付けられ、または画像２１２に示されるコンテンツが画像２１２に関連付けられる。集積済みの画像２１２とコンテンツアイテム２１１を検索結果２１５の一部としてクライアント装置に返送する。
なお、コンテンツデータベース／サーバ１３３は主要コンテンツデータベース１３０及び補助コンテンツデータベース１３１を含んでもよい。主要コンテンツデータベース１３０は主要コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現又は維持されてもよい。同様に、補助コンテンツデータベース１３１は補助コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現又は維持されてもよい。詳細に後述する様々なマッチング式を使用して、２つのコンテンツデータベース１３０〜１３１から取得されたコンテンツアイテムを画像メモリ／サーバ１２５から取得された画像とマッチングする。或いは、主要コンテンツデータベース１３０及び補助コンテンツデータベース１３１のうちのいずれか一方のみから取得されたコンテンツアイテムを画像メモリ／サーバ１２５から取得された画像とマッチングする。例えば、補助コンテンツデータベース１３１から取得されたコンテンツアイテム（例えば、スポンサー付きコンテンツ）を画像メモリ／サーバ１２５から取得された画像とマッチングし、一方、主要コンテンツデータベース１３０から取得されたコンテンツアイテム（例えば、一般的なコンテンツ）を検索結果の一部として、変更せずにクライアント装置に返送する。
一実施形態によれば、クライアント装置から受信された検索クエリ２０１に応答して、検索クエリ２０１に基づき１つ又は複数のキーワードを決定する。キーワードは検索クエリ２０１中のキーワード又は検索クエリ２０１の解析に基づき拡張されたキーワードを含んでもよい。キーワードに基づき、クエリ／画像マッチングルール１１５においてルックアップ動作又は検索を実行し、前記クエリ／画像マッチングルールは様々なデータ構造（例えば、データベース又はテーブル）で実施されてもよい。例示の目的のために、クエリ／画像マッチングルール１１５をクエリ／画像マッチングテーブルと呼ぶ。
クエリ／画像マッチングテーブル１１５は多数のマッピングエントリを含む。各マッピングエントリは１つ又は複数のキーワードを画像メモリ／サーバ１２５に記憶された１つ又は複数の画像を識別する１つ又は複数の画像ＩＤにマッピングする。検索クエリ２０１に基づき取得されたキーワードに基づき、クエリ／画像マッチングテーブル１１５によって１つ又は複数の画像ＩＤのリストを取得する。画像ＩＤに基づき、画像メモリ／サーバ１２５から対応する画像を画像候補として取得する。続いて、詳細に後述する１つ又は複数の所定ランキング及び／又はマッチングアルゴリズムを使用して画像候補をランキングしてマッチングする。続いて、検索結果２１５の一部として、最上位にランキングされる画像を選択してコンテンツアイテムに関連付けて集積する。なお、図２に示されるユニット又はモジュールの一部又は全部はソフトウェア、ハードウェア又はそれらの組合せにより実施されてもよい。
図３Ａ〜図３Ｂは、本出願の特定の実施形態に係るクエリ−画像マッチングテーブルの例を示す。図３Ａを参照し、クエリ／画像マッチングテーブル３００は、上記の図１Ａ〜図１Ｂおよび図２のクエリ／画像マッチングルール１１５を表してもよい。一実施形態では、クエリ／画像マッチングテーブル３００は、多数のマッチングエントリーを含む。各マッチングエントリーは、１つまたは複数のキーワード３０１を、画像記憶部または画像サーバ（例えば、画像記憶部／サーバ１２５）における対応する画像を識別する１つまたは複数の画像ＩＤ ３０２にマッピングする。キーワードに基づき、マッチングテーブル３００をインデキシングする。当該例では、第１のエントリーは、語「花」を画像１〜５にマッピングする。第２のエントリーは、語「北京の花」を画像１のみにマッピングする。第３のエントリーは、語「上海の花」を画像２にマッピングする。第４のエントリーは、語「花の配達」を画像１〜２および４にマッピングする。従って、検索クエリが「北京の花」を含む場合に、画像１〜５を識別する。そのうち、画像１のランキング順位がより高くなってもよい。
図３Ｂを参照し、マッチングテーブルの代替実施形態の例を示し、このマッチングテーブルは、クエリ／画像マッチングルール１１５の一部として機能する画像−キーワード（画像／キーワード）マッチングテーブルであってもよい。当該例では、画像／キーワードマッチングテーブル３５０は、多数のマッチングエントリーを含む。各マッチングエントリーは、画像ＩＤ ３５１を１つまたは複数のキーワード３５２にマッピングする。画像ＩＤに基づきマッチングテーブル３５０をインデキシングする。２つのテーブル３００および３５０を交換可能に使用してもよい。例えば、テーブル３００が１つまたは複数のキーワードに関連するすべての画像を識別することに用いられてもよい。テーブル３００により識別された画像のそれぞれに対して、キーワード３５２と検索クエリ中のキーワードとのマッチング程度又はマッチングタイプを決定して、画像ＩＤ ３５１により識別された画像をランキングする。
マッチング程度又はマッチングタイプは完全一致、部分一致（例えば、フレーズ一致）又は絞り込み部分一致（例えば、セマンティック一致）であってもよい。例えば、検索クエリマッチングキーワード３５２におけるキーワードの数に基づきマッチングタイプスコアを計算する。検索クエリ中のキーワードがフィールド３５２におけるキーワードに完全一致する場合に、フィールド３５１において識別された対応する画像のマッチング程度又はマッチングタイプスコアが最も高い。検索クエリとフィールド３５２とのマッチングキーワードが少ないほど、マッチング程度又はマッチングタイプスコアが低い。セマンティック的に一致したキーワード（例えば、実際にマッチングしていないが、意味が同様な又は類似する同義語又は異なる単語）のマッチング程度又はマッチングタイプスコアが最も低い可能性がある。マッチングタイプのそれぞれがマッチングタイプスコアに関連付けられ、前記マッチングタイプスコアが部分的に最終ランキングスコアを計算することに用いられる。一実施形態では、完全一致のマッチングタイプスコアは１、部分一致のマッチングタイプスコアは０．５、及び絞り込み部分一致のマッチングタイプスコアは０．２である。
図４は本発明の一実施形態に係るクエリ−画像マッピングシステムを示すブロック図である。システム４００は図１Ａ〜図１Ｂのシステム又はサーバ１５０の一部として実現されてもよい。図４を参照し、システム４００はクエリ／画像マッピングシステム１５０、画像メモリ１２５及びクエリ／画像マッチングルール１１５を含むが、それらに限定されない。一実施形態では、クエリ／画像マッピングシステム１５０を利用して１組のクエリ／画像マッチングルール１１５を構成して生成し、あるキーワードを画像メモリ１２５に記憶された画像にマッピングする。
画像メモリ１２５はネットワークを介して、指定されたサーバにおいてローカル又は遠隔で維持されてもよい。クエリ／画像マッチングルールにおいてマッピングを行うためのキーワードは検索クエリに使用される可能性のより高いキーワードであってもよい。画像メモリ１２５は画像１２２及びそれぞれのメタデータ１２４を記憶する。クエリ／画像マッチングルール１１５はキーワード／画像マッピングテーブル４２１及び画像ランキングアルゴリズム又はモデル４２２を含む。キーワード／画像マッピングテーブル４２１は図３Ａ〜図３Ｂに示される任意のマッピングテーブルとして実現されてもよい。
一実施形態では、クエリ／画像マッピングシステム１５０はマッチングルール構成モジュール４３１、データ収集モジュール４３２、解析モジュール４３３、マッチングモジュール４３４及び機械学習エンジン又は訓練モジュール４３５を含む。モジュール４３１〜４３５はソフトウェア、ハードウェア又はそれらの組合せにより実施されてもよい。一実施形態では、構成モジュール４３１を使用して、例えばユーザ要求に応答して、ユーザインターフェースを介してキーワード／画像マッピングテーブル４２１を構成する。キーワード／画像マッピングテーブル４２１は多数のマッピングエントリを含む。各マッピングエントリはキーワードを画像メモリ１２５に記憶された１つ又は複数の画像１２２を識別する１つ又は複数の画像ＩＤにマッピングする。データ収集モジュール４３２によって画像１２２及びメタデータ１２４が周期的に収集されて更新されてもよい。データ収集モジュール４３２はいくつかのウェブクローラによって画像及びその周囲の情報又はメタデータ１２４をクロールし、収集するようにしてもよい。
一実施形態では、メタデータ１２４は画像１２２を記述する様々な情報又はデータを含み、データ収集モジュール４３２のような指定データ収集モジュール又はシステムによりメタデータを取得してもよい。例えば、対応する画像を取得する時に、画像メタデータを収集する。画像メタデータは画像収集ソース及び収集時間を含んでもよい。画像取得ソースは画像付きウェブページ又はドキュメントであってもよい。ソースページのアドレス、例えばユニバーサルリソースロケータ（ＵＲＬ）を収集してもよい。また、ソースページのコンテンツを解析して、画像に示されるコンテンツを決定するようにしてもよい。さらに画像を認識して画像のコンテンツを決定する（例えば、画像が人物、物体、景色、テキスト又はそれらの組合せに関わるか否かを決定する）。また、画像のプロパティ、例えば縦横比、画素数、輝度、コントラスト、画像撮影時間及びスタイル（例えば、縦横比、画像サイズ）を収集してもよい。また、さらに画像に関連する前のインタラクションに基づきユーザと画像及び／又はキーワードとの履歴インタラクション（例えば、クリック率）を決定してもよい。これらの情報は画像１２４のメタデータの一部としてコンパイルされ、スコアリングの目的のため、これらの情報が画像の特徴とも呼ばれる。
メタデータに基づき、フィルタリング及びマッチングモジュール４３４はフィルタリング動作を実行して、マッチングキーワードと特定画像のメタデータとの意味論的意味により特定のキーワードが画像を十分に記述しているか否かを決定する。例えば、キーワードが画像を収集したソースページに出現する場合に、キーワードが画像に関連している。同様に、キーワードが画像認識に応答して画像の少なくとも一部のコンテンツを記述する場合に、キーワードが関連する可能性がある。メタデータの解析に基づきキーワードが特定画像を十分に記述していない或いは特定画像がキーワードを十分に記述していないと決定された場合に、当該特定画像を削除できる。ユーザと特定画像との前のインタラクションが所定の閾値より低いと決定された場合に（例えば、少ないユーザインタラクション、少ないユーザの興味又は人気がない）、キーワード／画像マッピングテーブル４２１から当該特定画像を削除できる。なお、本願全体において、例示の目的のために、用語「マッチングルール」、「マッピングルール」、「マッチングテーブル」及び「マッピングテーブル」は交換可能な用語である。しかし、これらの用語は様々なデータ構造又はフォーマットで実現されてもよい。
一実施形態では、解析モジュール４３３は画像１２２の少なくともメタデータ１２４を解析して、画像１２２及びそのメタデータ１２４に関連付けられた様々な画像特徴を抽出又は取得する。当該解析によって、画像特徴（例えば、上記した画像特徴）に基づき１組の特徴スコアリング式又はアルゴリズムを決定する。各画像に対して、スコアリング式又はアルゴリズムを生成してもよい。また、さらにマッチング品質スコアリング式又はアルゴリズムを決定してもよい。或いは、機械学習エンジン４３５により特徴及び／又は特徴スコアを訓練したり学習したりして、ランキングモデルを作成して特定画像のランキングスコアを決定する。次に、これらのアルゴリズム及び／又はモデルを画像ランキングアルゴリズム／モデル４２２の一部として記憶してもよく、前記画像ランキングアルゴリズム／モデル４２２はオンラインで検索クエリに応答してコンテンツアイテムとマッチングしようとする画像候補をランキングできる。検索クエリに応答して、キーワード／画像マッピングテーブル４２１を使用して画像候補を識別してもよい。
図５は本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。システム５００は図２のシステム２００の一部として実現されてもよい。図５を参照し、システム５００は図２のシステム２００と合併してもよい。或いは、システム５００は例えばネットワーク又は接続部材を介してＡＰＩ又は通信プロトコルにより図２のシステム２００に通信可能に接続される独立式システム又はサーバとして実現されてもよい。一実施形態では、システム５００は、コンテンツを検索するための検索クエリに応答して、実行時間において、検索クエリに応答して検索されたコンテンツアイテムとマッチングしようとする画像の識別、ランキング、選択のために用いられる。
一実施形態では、画像選択モジュール１１０はクエリ解析モジュール５０１、画像マッチングモジュール５０２及び画像ランキングモジュール５０３を備え、これらのモジュールの一部又は全部はソフトウェア、ハードウェア又はそれらの組合せにより実施されてもよい。一実施形態では、クライアント装置から受信されたコンテンツを検索するための検索クエリに応答して、クエリ解析モジュール５０１は検索クエリを解析して１つ又は複数のキーワードを決定する。画像マッチングモジュール５０２はキーワード／画像マッピングテーブル４２１においてキーワードに基づき検索又はルックアップ動作を実行する。キーワード／画像マッピングテーブル４２１は多数のエントリーを含み、各エントリーは画像を識別する画像ＩＤを、１つ又は複数のキーワードにマッピングし、或いは１つ又は複数のキーワードを、画像を識別する画像ＩＤにマッピングする（例えば、図３Ａ〜図３Ｂに示されるマッチングテーブル）。画像候補として識別された画像のそれぞれに対して、画像ランキングモジュール５０３はランキングプロセスを実行して、画像のランキングスコアを決定する。画像ランキングアルゴリズム又はモデル４２２に基づき画像をランキング又は分類してもよく、前記画像ランキングアルゴリズム又はモデルは上記図４のシステム４００により構成されてもよい。
図６は本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。システム６００は上記マッチングシステムの一部として実現されてもよい。同一符号を用いて機能が上記部材と同一又は類似の部材を引用する。同一符号を有する部材についての上記説明は本明細書にも適用できる。
図６を参照し、一実施形態によれば、検索クエリ６０１を受信する場合に、検索エンジン１２０はコンテンツデータベースにおいて又はコンテンツサーバを経由して検索を実行して、コンテンツアイテム６０３のリストを識別して検索し、前記コンテンツアイテムリストは検索結果に組み込んでもよい。一般的なコンテンツデータベース／サーバ、補助コンテンツデータベース／サーバ（例えば、スポンサー付きコンテンツ、特殊コンテンツ）又は両方からコンテンツアイテム６０３を検索してもよい。それと同時に、クエリ解析モジュール５０１は検索クエリ６０１のキーワード又は検索語を解析して、キーワード６０２のリストを導出する。上記のように、キーワード６０２に基づき、画像マッチングモジュール５０２はクエリ／画像マッピングテーブル又はルール１１５において検索又はルックアップを実行して画像候補６０４のリストを識別する。
画像候補６０４とコンテンツアイテム６０３に応じて、ランキングモジュール５０３はコンテンツアイテム６０３、コンテンツアイテム６０３に関連付けられたメタデータ６１１、画像候補６０４及び画像候補６０４に関連付けられたメタデータ６１２に基づき、ランキングプロセスを実行する。所定のランキング式６１０を使用して、コンテンツアイテム６０３、コンテンツアイテム６０３に関連付けられたメタデータ６１１、画像候補６０４及び画像候補６０４に関連付けられたメタデータ６１２の関係に基づき、ランキングプロセスを実行してもよい。ランキングプロセスの結果として、コンテンツアイテムと画像のマッチングペア６０５を生成する。マッチングされたコンテンツアイテムと画像を集積済みのコンテンツアイテムに集積してもよい。例えば、コンテンツアイテム（例えば、テキスト）をマッチングされた画像に重ね合わせ、マッチングされた画像を背景画像とする。或いは、マッチングされた画像をコンテンツアイテム周辺に配置してコンテンツアイテムを補足する。集積済みのコンテンツアイテムを有する検索結果を検索クエリ６０１を開始するクライアント装置に伝送する。
一実施形態では、コンテンツアイテム６０３に基づき画像候補６０４をランキングするプロセスで、ランキングモジュール５０３は画像候補６０４とコンテンツアイテム６０３に関連するすべての情報又はデータを考慮し、これらの情報又はデータはコンテンツアイテムメタデータ６１１及び画像メタデータ６１２と総称される。各コンテンツアイテム６０３と各画像候補６０４とのマッチングスコアに基づきスコア行列を計算する。１つのコンテンツアイテムと１つの画像候補とを有する各ペアについて、マッチングスコア（ランキングスコアとも呼ばれる）を計算するプロセスで、当該ペアのコンテンツアイテムと画像候補に関連する所定プロパティ又はパラメータのそれぞれに対して、各マッチングスコアを計算する。対応するプロパティ又はパラメータに関連する各スコアリング式を使用し、コンテンツアイテムメタデータ６１１及び／又は画像メタデータ６１２から取得された対応するデータに基づき、各マッチングスコアを決定してもよい。続いて、総合的なスコアリング式又はランキング式を使用し、各マッチングスコアに基づき総合的なマッチングスコア又は最終ランキングスコアを決定する。１つ以上のマッチングが同一のマッチングスコアを有する場合に、タイブレーク（ｔｉｅ−ｂｒｅａｋｉｎｇ）式を使用して異なる画像を異なるコンテンツアイテムに割り当ててもよい。或いは、必要に応じて、１つの画像を複数のコンテンツアイテムに割り当ててもよい。
メタデータ６１１〜６１２から取得された、コンテンツアイテムと画像候補をスコアリングするプロセスに使用されるプロパティ又はパラメータはデータ収集モジュール（図示せず）が所定期間内に収集した様々なデータであってもよい。一実施形態では、コンテンツアイテムと画像候補とのマッチング品質に基づき、コンテンツアイテムと画像候補とのマッチングスコアを部分的に決定する。用語「マッチング品質」はコンテンツアイテムがマッチングした画像から認識されたコンテンツを記述するか否かを示してもよい。例えば、見出し及び／又は記述が画像に表現されるコンテンツにマッチングしたか否かに基づきマッチング品質を決定する。画像認識モジュール又はシステム（図示せず）により実行される画像認識プロセスで、画像に表現されるコンテンツを決定してもよい。さらにコンテンツアイテムと画像が同一又は類似ソースから得られるか否か（例えば、ＵＲＬのような同一アドレス、同一ドメイン、又は同一又は類似のプロバイダにより提供される）に基づきマッチング品質を決定してもよい。
一実施形態では、コンテンツアイテムと画像との、クリック率と呼ばれる前のユーザインタラクション（例えば、以前のユーザアクセスパターン又は挙動）に基づきコンテンツアイテムと画像候補とのマッチングスコアを部分的に決定する。前のユーザインタラクションはデータ収集モジュール又はデータ収集システム（図示せず）が所定期間内に収集されたユーザインタラクションの履歴から取得できる。履歴においてユーザ及びユーザがアクセスと閲覧するコンテンツ及び／又は画像とのインタラクションが記録され、ユーザを識別する情報（例えば、ＩＰアドレス、ドメイン、ユーザ名）、コンテンツアイテム及び／又は画像にアクセスしたユーザの数、アクセス時間、コンテンツアイテム及び／又は画像を表現するコンテンツページでユーザの滞留時間、ユーザがコンテンツページにアクセスする頻度を含む。クリック率はさらにコンテンツアイテム、画像又はユーザにより同時に表示されるコンテンツアイテムと画像の両方に対するクリックを記録してもよい。
一実施形態では、画像の画像品質に基づき、コンテンツアイテムと画像候補とのマッチングスコアを部分的に決定する。画像品質は画像のサイズ（例えば、高さ及び幅）、解像度（例えば、画素数）、アスペクト比、レイアウト（例えば、景色、肖像）、画像の撮影時間（例えば、画像が最新のものであるか否か）を含むが、それらに限定されない。マッチングスコアはさらに画像の革新又はスタイル、例えば輝度、コントラスト、カメラ設定又は画像に関連する任意のほかのメタデータに基づき決定されてもよい。これらのプロパティ又は特性は画像の特徴と呼ばれてもよい。各特徴は特徴スコアに関連付けられてもよい。
一実施形態では、マッチングタイプスコアとマッチング品質スコアに基づき、画像のランキングスコアを決定する。検索クエリに関連付けられたキーワードと画像に関連付けられたキーワードとのマッチングタイプに基づきマッチングタイプスコアを計算する。画像に関連付けられたキーワードは図３Ａ〜図３Ｂに示されるキーワード／画像マッピングテーブル４２１から取得されてもよい。マッチングタイプは完全一致、部分一致及び絞り込み部分一致であってもよい。一実施形態によれば、完全一致のマッチングスコアは１、部分一致、絞り込み部分一致のマッチングスコアはそれぞれ０．５、０．２である。完全一致とは、検索クエリのキーワードと画像のキーワードが完全に一致することを意味する。部分一致は検索クエリの一部のキーワードのみが画像のキーワードに一致することを意味する。絞り込み部分一致は検索クエリと画像とのキーワードが一致していないが、検索クエリと画像の少なくとも一部のキーワードがセマンティック的に関連付けられる又は類似する（例えば、セマンティック的に一致する）ことを意味する。
図７は本発明の一実施形態に係るマッチングタイプの例を示すブロック図である。図７を参照し、検索クエリ７０１及びキーワード／画像マッピングテーブル７０２が示され、画像７１２はマッチングタイプが完全一致であるため、マッチングタイプスコアが１である。画像７１１及び７１３はキーワードが部分一致であるため、マッチングタイプスコアが０．５である。画像７１４は、対応するマッチングタイプが絞り込み部分一致（キーワードがセマンティック的に一致する）であるため、マッチングタイプスコアが０．２である。
一実施形態によれば、コンテンツアイテムを生成する、対応した検索クエリと画像に対応した特定エントリーのキーワードとがマッチングするキーワードの数、検索クエリに含まれるキーワードの数及び／又は当該特定エントリーに含まれるキーワードの数、及び検索クエリと画像とのマッチングタイプスコアに基づき、コンテンツアイテムと画像とのマッチング品質スコアを決定することができる。一実施形態では、マッチングキーワードの数と検索クエリにおけるキーワードの数との第１比率、及びマッチングキーワードの数と画像に関連付けられたキーワードの数との第２比率に基づき、マッチング品質スコアを決定する。第１比率と第２比率の積に基づき、マッチング品質スコアを決定してもよい。１つの具体的な実施形態では、特定画像のマッチング品質スコアは以下の式により計算されてもよく、即ち、
マッチング品質スコア＝マッチングタイプスコア＊（マッチングキーワードの数／検索クエリ中のキーワードの数）α＊（マッチングキーワードの数／マッチングエントリー中の画像に対応したキーワードの数）β
ただし、係数α及びβは重み付け因数として調整又は訓練できる。
図８は本発明の一実施形態に係るマッチングスコア決定用のスコアリング行列の例を示すブロック図である。ランキングモジュール（例えば、図５の画像ランキングモジュール５０３）によりスコアリング行列８００をコンパイルして生成するようにしてもよい。図８を参照し、検索エンジンが検索クエリに関連付けられた１つ又は複数のキーワードに基づきコンテンツデータベース又はコンテンツサーバからコンテンツアイテム８０１（例えば、スポンサー付きコンテンツ）を識別して検索したことを仮定する。また、上記のように、検索クエリに関連するあるキーワードに関連付けられた画像候補８２１〜８２３のリストを識別した。
一実施形態では、コンテンツアイテム８０１のそれぞれに対して、１組の所定プロパティ又はパラメータ８０２〜８０７の各マッチングスコアを計算する。対応するマッチングスコア計算器は特定又は対応した各マッチングスコア式を利用して各マッチングスコア８０２〜８０７を計算してもよい。上記のように、プロパティ、特徴又はパラメータ８０２〜８０７のそれぞれは各マッチングスコアを計算するプロセスにおける特定重み付け因数又は係数に関連付けられるようにしてもよい。図示していないが、画像８２２〜８２３のそれぞれに対して各マッチングスコアを計算してもよい。コンテンツアイテム８０１のそれぞれに対して、画像８２１〜８２３のそれぞれの合計スコア又は最終スコア８１０を計算する。続いて、特定コンテンツアイテムに対して算出した画像８２１〜８２３の総合的な又は最終ランキングスコアを使用して、画像８２１〜８２３のうちの１つを選択して当該特定コンテンツアイテムに関連付ける。
一実施形態では、特定コンテンツアイテムに対して総合的なランキングスコアが最も高い画像を選択してコンテンツアイテムに関連付ける。例えば、画像８２１〜８２３のうちに画像８２１の総合的なランキングスコアが最も高いとする。画像８２１を選択してコンテンツアイテム１に関連付けることができる。１つ以上のコンテンツアイテム（当該例では、コンテンツアイテム１及び２）に対して同一画像が同一の最も高いランキングスコアを有する場合に、タイブレーク式で解決できる。一実施形態では、コンテンツアイテム８０１のそれぞれに対してすべての画像８２１〜８２３のすべての総合的なランキングスコアの和を計算する。和が最も高いコンテンツアイテムは高い優先順位で画像を選択する。他の構成が存在してもよい。
別の実施形態によれば、履歴データに基づき機械学習により作成されたマッチングスコアリング又はランキングモデルを使用して、各マッチングスコアの一部を決定することができる。例えば、画像及び／又はコンテンツアイテムとの履歴ユーザインタラクションに基づくモデルを使用して、クリック率８０３を決定することができる。或いは、各マッチングスコアの一部又は全部をランキングモデルに提供してもよく、前記ランキングモデルが対応する画像をランキングするための最終ランキングスコアを生成する。既知の履歴データ及び／又は検索クエリ、画像及びコンテンツアイテムに関連付けられたメタデータを使用してランキングモデルを訓練してもよい。
図９は本発明の一実施形態に係る、キーワードに基づき画像とコンテンツアイテムをマッチングするプロセスを示すフローチャートである。ソフトウェア、ハードウェア又はそれらの組合せを含む処理ロジックにより、プロセス９００を実行してもよい。例えば、図５のシステム５００によりプロセス９００を実行する。図９を参照し、ブロック９０１では、処理ロジックは検索クエリに基づき識別されたコンテンツアイテム（例えば、Ａｄのようなスポンサー付きコンテンツアイテム）及び１組の画像を受信する。各画像に対して、ブロック９０２では、処理ロジックは検索クエリと画像とのマッチングタイプを決定し、マッチングタイプに応じたマッチングタイプスコアを計算する。検索クエリに関連付けられたキーワード及び画像に関連付けられたキーワードに基づき、マッチングタイプを決定することができる。マッチングタイプは上記の完全一致、部分一致又は絞り込み部分一致であってもよい。
ブロック９０３では、処理ロジックは画像のメタデータ、画像に示されるコンテンツ及び画像についての任意のほかの情報に基づき、画像の１つ又は複数の特徴を決定する。各特徴に対して、処理ロジックは対応した特徴スコアリング式を使用して特徴を示すための特徴スコアを計算する。ブロック９０４では、処理ロジックは上記マッチング品質スコアリングアルゴリズムを使用し、検索クエリと画像とのマッチングキーワードに基づきマッチング品質スコアを決定する。さらにマッチングタイプスコアに基づきマッチング品質スコアを決定することができる。ブロック９０５では、マッチング品質スコア、マッチングタイプスコア及び特徴スコアのうちの１つ以上に基づき最終ランキングスコアを計算し、コンテンツアイテムと画像をペアリングする。一実施形態では、ランキング式又はランキングモデルを利用し、これらのスコアを所定のランキングモデルに使用することによりランキングスコアを決定する。既知の検索クエリ、既知のコンテンツアイテム、既知の画像及び既知のユーザインタラクションに関連付けられた履歴データに基づき、ランキングモデルを訓練して構成するようにしてもよい。ブロック９０６では、すべての画像のそれぞれのランキングスコアに基づき、これらの画像をランキングし、これらの画像のうちの１つを選択してコンテンツアイテムとペアリングする。
上記技術は、画像とポンサー付きコンテンツとをマッチングすることに適用できる。スポンサー付きコンテンツの一種は広告（Ａｄ）である。例えば、図１Ａ〜図１Ｂを参照し、コンテンツデータベース（ＤＢ）またはサーバ１３３は、ＡｄデータベースまたはＡｄサーバであってもよい。コンテンツアイテム（例えば、Ａｄ）のそれぞれが定義したキーワード、語、語句または文のリストに関連付けられる。これらの定義したキーワード、語、語句または文は、広告プロバイダにより購入、定義または指定された入札語であってもよい。別の実施形態では、主要コンテンツＤＢ １３０は、パブリックネットワークで一般的に利用可能な一般的なコンテンツを記憶してもよい。補助コンテンツＤＢ １３１は、広告ＤＢであってもよい。特定の広告は、プレインテキストのみであってもよい。画像と広告とをマッチングして集積し、例えば背景画像として使用することにより、広告はユーザにとってさらに魅力的になる。サーバ１０４は、コンテンツを検索するネットワークサーバであってもよく、広告サーバであってもよい。
図１０は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば上記クライアント装置またはサーバ、例えば上記クライアント１０１〜１０２、サーバ１０４、コンテンツサーバ１３３、コンテンツ／画像マッピングシステム／サーバ１５０を示してもよい。
システム１５００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックスプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ１５０１は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行するように構成される。また、システム１５００は、選択可能なグラフィックスサブシステム１５０４と通信するグラフィックスインターフェースをさらに含み、グラフィックスサブシステム１５０４は、表示コントローラ、グラフィックスプロセッサおよび／または表示装置をさらに備えてもよい。
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および／またはアプリケーションの実行可能なコードおよび／またはデータはメモリ１５０３にロードされてもよく、プロセッサ１５０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ(登録商標)会社からのＷｉｎｄｏｗｓ(登録商標)オペレーティングシステム、アップル会社からのＭａｃ ＯＳ(登録商標)／ｉＯＳ(登録商標)、Ｇｏｏｇｌｅ(登録商標)会社からのＡｎｄｒｏｉｄ(登録商標)、Ｌｉｎｕｘ(登録商標)、Ｕｎｉｘ(登録商標)または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
システム１５００は、ＩＯ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他の選択可能なＩＯ装置１５０７を備える。ネットワークインターフェース装置１５０５は、無線送受信機および／またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネット（登録商標）カードであってもよい。
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および／またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
ＩＯ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび／またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および／または電話機能のような音声サポートの機能を促進する。他のＩＯ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設計により決められる。
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力／出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび／またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール／ユニット／ロジック１５２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュール、画像選択モジュールのような上記構成要素のいずれかを示してもよい。モジュール／ユニット／ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内および／またはプロセッサ１５０１内に完全または少なくとも部分的に存在してもよく、ここで、メモリ１５０３およびプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。モジュール／ユニット／ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および／または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載のモジュール／ユニット／ロジック１５２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール／ユニット／ロジック１５２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール／ユニット／ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび／または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本明細書の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
各図に示される技術は、１つまたは複数の電子装置に記憶され前記電子装置上で実行されるコードおよびデータにより実施されてもよい。このような電子装置は、コンピュータ可読媒体を使用してコードおよびデータを記憶し、（内部で、および／またはネットワークを介してほかの電子装置を利用して）伝送し、前記コンピュータ可読媒体として、非一時的コンピュータ可読記憶媒体（例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ装置、相変化メモリ）および一時的コンピュータ可読伝送媒体（例えば、電子、光学、音響学、またはほかの形式の信号伝播、例えば搬送波、赤外信号、デジタル信号）が挙げられる。
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ファームウェア、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、またはそれらの組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (27)

  1. コンテンツアイテムとマッチングしようとする画像をランキングするためのコンピュータ実施方法であって、
    検索クエリに応答して識別されたコンテンツアイテムとマッチングしようとする複数の画像を識別するステップと、
    前記複数の画像のそれぞれに対して、
    前記検索クエリに関連付けられた１つ又は複数のキーワードの第１セット及び前記画像に関連付けられた１つ又は複数のキーワードの第２セットに基づきマッチングタイプスコアを計算し、
    前記マッチングタイプスコア、キーワードの前記第１セット及びキーワードの前記第２セットに基づき前記画像のマッチング品質スコアを計算するステップと、
    前記複数の画像のそれぞれのマッチング品質スコアに基づき前記複数の画像をランキングするステップと、
    前記複数の画像のうちの、マッチング品質スコアが所定の閾値より高い１つの画像を選択し、選択された画像を前記コンテンツアイテムに関連付けるステップと、を含む
    ことを特徴とするコンピュータ実施方法。
  2. キーワードの前記第１セット及びキーワードの前記第２セットに基づきマッチングタイプスコアを計算するステップにおいては、
    前記第１セットのキーワードと前記第２セットのキーワードが完全一致すると決定されたことに応答して、第１スコアを前記マッチングタイプスコアとして指定するステップと、
    前記第１セットのキーワードと前記第２セットのキーワードが部分一致すると決定されたことに応答して、第２スコアを前記マッチングタイプスコアとして指定するステップと、
    前記第１セットのキーワードと前記第２セットのキーワードがセマンティック的に一致すると決定されたことに応答して、第３スコアを前記マッチングタイプスコアとして指定するステップと、を含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記第１スコア、前記第２スコア及び前記第３スコアがそれぞれ異なる
    ことを特徴とする請求項２に記載の方法。
  4. 前記画像のマッチング品質スコアを計算するステップにおいては、
    キーワードの前記第１セットとキーワードの前記第２セットとのマッチングするマッチングキーワードの数を決定するステップと、
    前記マッチングキーワードの数と前記第１セットのキーワードの数に基づき決定された第１比率と、前記マッチングキーワードの数と前記第２セットのキーワードの数に基づき決定された第２比率とに基づき、前記マッチング品質スコアを計算するステップと、を含む
    ことを特徴とする請求項１に記載の方法。
  5. 前記第１比率、前記第２比率及び前記マッチングタイプスコアの積に基づき前記マッチング品質スコアを決定する
    ことを特徴とする請求項４に記載の方法。
  6. 前記画像に関連付けられた複数の特徴を取得するステップと、
    前記複数の特徴のそれぞれに対して、特徴スコア決定方法を使用して各特徴スコアを計算するステップと、
    前記画像のマッチング品質スコアと前記画像の各特徴スコアに基づき、前記画像のランキングスコアを計算するステップと、をさらに含んでおり、
    ここで、前記複数の画像がそれぞれのランキングスコアに基づきランキングされる
    ことを特徴とする請求項１に記載の方法。
  7. ランキングスコアを計算するステップにおいては、前記各特徴スコアと前記マッチング品質スコアを所定のランキングモデルに適用して前記ランキングスコアを生成するステップを含む
    ことを特徴とする請求項６に記載の方法。
  8. 所定の機械学習メカニズムを使用して、１組の既知の検索クエリに関連付けられた既知の画像の１組の特徴に基づき、前記所定のランキングモデルを訓練して生成する
    ことを特徴とする請求項７に記載の方法。
  9. 画像の前記複数の特徴は、前記画像の品質、前記画像との履歴ユーザインタラクション及び前記画像のスタイル又はサイズを示す１つ又は複数の画像プロパティを含む
    ことを特徴とする請求項６に記載の方法。
  10. 命令が記憶された非一時的機械可読媒体であって、
    前記命令がプロセッサにより実行される場合、前記プロセッサに、コンテンツアイテムとマッチングしようとする画像をランキングする操作を実行させ、
    前記操作は、
    検索クエリに応答して識別されたコンテンツアイテムとマッチングしようとする複数の画像を識別するステップと、
    前記複数の画像のそれぞれに対して、
    前記検索クエリに関連付けられた１つ又は複数のキーワードの第１セット及び前記画像に関連付けられた１つ又は複数のキーワードの第２セットに基づきマッチングタイプスコアを計算し、
    前記マッチングタイプスコア、キーワードの前記第１セット及びキーワードの前記第２セットに基づき前記画像のマッチング品質スコアを計算するステップと、
    前記複数の画像のそれぞれのマッチング品質スコアに基づき前記複数の画像をランキングするステップと、
    前記複数の画像のうちの、マッチング品質スコアが所定の閾値より高い１つの画像を選択し、選択された画像を前記コンテンツアイテムに関連付けるステップと、を含む
    ことを特徴とする命令が記憶された非一時的機械可読媒体。
  11. キーワードの前記第１セット及びキーワードの前記第２セットに基づきマッチングタイプスコアを計算するステップにおいては、
    前記第１セットのキーワードと前記第２セットのキーワードが完全一致すると決定されたことに応答して、第１スコアを前記マッチングタイプスコアとして指定するステップと、
    前記第１セットのキーワードと前記第２セットのキーワードが部分一致すると決定されたことに応答して、第２スコアを前記マッチングタイプスコアとして指定するステップと、
    前記第１セットのキーワードと前記第２セットのキーワードがセマンティック的に一致すると決定されたことに応答して、第３スコアを前記マッチングタイプスコアとして指定するステップと、を含む
    ことを特徴とする請求項１０に記載の機械可読媒体。
  12. 前記第１スコア、前記第２スコア及び前記第３スコアがそれぞれ異なる
    ことを特徴とする請求項１１に記載の機械可読媒体。
  13. 前記画像のマッチング品質スコアを計算するステップにおいては、
    キーワードの前記第１セットとキーワードの前記第２セットとのマッチングするマッチングキーワードの数を決定するステップと、
    前記マッチングキーワードの数と前記第１セットのキーワードの数に基づき決定された第１比率と、前記マッチングキーワードの数と前記第２セットのキーワードの数に基づき決定された第２比率とに基づき、前記マッチング品質スコアを計算するステップと、を含む
    ことを特徴とする請求項１０に記載の機械可読媒体。
  14. 前記第１比率、前記第２比率及び前記マッチングタイプスコアの積に基づき前記マッチング品質スコアを決定する
    ことを特徴とする請求項１３に記載の機械可読媒体。
  15. 前記操作は、
    前記画像に関連付けられた複数の特徴を取得するステップと、
    前記複数の特徴のそれぞれに対して、特徴スコア決定方法を使用して各特徴スコアを計算するステップと、
    前記画像のマッチング品質スコアと前記画像の各特徴スコアに基づき、前記画像のランキングスコアを計算するステップと、をさらに含んでおり、
    ここで、前記複数の画像がそれぞれのランキングスコアに基づきランキングされる
    ことを特徴とする請求項１０に記載の機械可読媒体。
  16. ランキングスコアを計算するステップにおいては、前記各特徴スコアと前記マッチング品質スコアを所定のランキングモデルに適用して前記ランキングスコアを生成するステップを含む
    ことを特徴とする請求項１５に記載の機械可読媒体。
  17. 所定の機械学習メカニズムを使用して、１組の既知の検索クエリに関連付けられた既知の画像の１組の特徴に基づき、前記所定のランキングモデルを訓練して生成する
    ことを特徴とする請求項１６に記載の機械可読媒体。
  18. 画像の前記複数の特徴は、前記画像の品質、ユーザと前記画像との履歴インタラクション、及び前記画像のスタイル又はサイズを示す１つ又は複数の画像プロパティを含む
    ことを特徴とする請求項１５に記載の機械可読媒体。
  19. データ処理システムであって、
    プロセッサと、
    前記プロセッサに接続され、命令を記憶するために用いられるメモリと、を備え、
    前記命令前記プロセッサにより実行される場合、前記プロセッサに、コンテンツアイテムとマッチングしようとする画像をランキングする操作を実行させ、
    前記操作は、
    検索クエリに応答して識別されたコンテンツアイテムとマッチングしようとする複数の画像を識別するステップと、
    前記複数の画像のそれぞれに対して、
    前記検索クエリに関連付けられた１つ又は複数のキーワードの第１セット及び前記画像に関連付けられた１つ又は複数のキーワードの第２セットに基づきマッチングタイプスコアを計算し、
    前記マッチングタイプスコア、キーワードの前記第１セット及びキーワードの前記第２セットに基づき前記画像のマッチング品質スコアを計算するステップと、
    前記複数の画像のそれぞれのマッチング品質スコアに基づき前記複数の画像をランキングするステップと、
    前記複数の画像のうちの、マッチング品質スコアが所定の閾値より高い１つの画像を選択し、選択された画像を前記コンテンツアイテムに関連付けるステップと、を含む
    ことを特徴とするデータ処理システム。
  20. キーワードの前記第１セット及びキーワードの前記第２セットに基づきマッチングタイプスコアを計算するステップにおいては、
    前記第１セットのキーワードと前記第２セットのキーワードが完全一致すると決定されたことに応答して、第１スコアを前記マッチングタイプスコアとして指定するステップと、
    前記第１セットのキーワードと前記第２セットのキーワードが部分一致すると決定されたことに応答して、第２スコアを前記マッチングタイプスコアとして指定するステップと、
    前記第１セットのキーワードと前記第２セットのキーワードがセマンティック的に一致すると決定されたことに応答して、第３スコアを前記マッチングタイプスコアとして指定するステップと、を含む
    ことを特徴とする請求項１９に記載のシステム。
  21. 前記第１スコア、前記第２スコア及び前記第３スコアがそれぞれ異なる
    ことを特徴とする請求項２０に記載のシステム。
  22. 前記画像のマッチング品質スコアを計算するステップにおいては、
    キーワードの前記第１セットとキーワードの前記第２セットとのマッチングするマッチングキーワードの数を決定するステップと、
    前記マッチングキーワードの数と前記第１セットのキーワードの数に基づき決定された第１比率と、前記マッチングキーワードの数と前記第２セットのキーワードの数に基づき決定された第２比率とに基づき、前記マッチング品質スコアを計算するステップと、を含む
    ことを特徴とする請求項１９に記載のシステム。
  23. 前記第１比率、前記第２比率及び前記マッチングタイプスコアの積に基づき前記マッチング品質スコアを決定する
    ことを特徴とする請求項２２に記載のシステム。
  24. 前記操作は、
    前記複数の特徴のそれぞれに対して、特徴スコア決定方法を使用して各特徴スコアを計算するステップと、
    前記画像のマッチング品質スコアと前記画像の各特徴スコアに基づき、前記画像のランキングスコアを計算するステップと、をさらに含んでおり、
    ここで、前記複数の画像がそれぞれのランキングスコアに基づきランキングされる
    ことを特徴とする請求項１９に記載のシステム
  25. ランキングスコアを計算するステップにおいては、前記各特徴スコアと前記マッチング品質スコアを所定のランキングモデルに適用して前記ランキングスコアを生成するステップを含む請求項２４に記載のシステム。
  26. 所定の機械学習メカニズムを使用して、１組の既知の検索クエリに関連付けられた既知の画像の１組の特徴に基づき、前記所定のランキングモデルを訓練して生成する請求項２５に記載のシステム。
  27. 画像の前記複数の特徴は、前記画像の品質、ユーザと前記画像との履歴インタラクション及び前記画像のスタイル又はサイズを示す１つ又は複数の画像プロパティを含む請求項２４に記載のシステム。
JP2016232331A 2016-06-02 2016-11-30 検索クエリに応答してコンテンツとマッチングしようとする画像を動的にランキングする方法及びシステム Active JP6423845B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/171,283 US10489448B2 (en) 2016-06-02 2016-06-02 Method and system for dynamically ranking images to be matched with content in response to a search query
US15/171,283 2016-06-02

Publications (2)

Publication Number Publication Date
JP2017220205A true JP2017220205A (ja) 2017-12-14
JP6423845B2 JP6423845B2 (ja) 2018-11-14

Family

ID=57442581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016232331A Active JP6423845B2 (ja) 2016-06-02 2016-11-30 検索クエリに応答してコンテンツとマッチングしようとする画像を動的にランキングする方法及びシステム

Country Status (5)

Country Link
US (1) US10489448B2 (ja)
EP (1) EP3252619A1 (ja)
JP (1) JP6423845B2 (ja)
KR (1) KR101934449B1 (ja)
CN (1) CN107463591B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409824B2 (en) 2016-06-29 2019-09-10 International Business Machines Corporation System, method and recording medium for cognitive proximates
KR101796506B1 (ko) * 2016-07-20 2017-11-14 엔에이치엔엔터테인먼트 주식회사 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
US10083379B2 (en) * 2016-09-27 2018-09-25 Facebook, Inc. Training image-recognition systems based on search queries on online social networks
US10437841B2 (en) * 2016-10-10 2019-10-08 Microsoft Technology Licensing, Llc Digital assistant extension automatic ranking and selection
CN110019903A (zh) * 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 图像处理引擎组件的生成方法、搜索方法及终端、系统
KR102142986B1 (ko) * 2018-01-24 2020-08-10 충북대학교 산학협력단 학습에 기반한 검색결과 표시 방법 및 장치
CN108509493A (zh) * 2018-02-13 2018-09-07 北京邮电大学 一种ar视觉搜索推荐服务方法
US11281896B2 (en) * 2018-11-15 2022-03-22 Smith & Nephew, Inc. Physical activity quantification and monitoring
US11487823B2 (en) * 2018-11-28 2022-11-01 Sap Se Relevance of search results
US20200201915A1 (en) * 2018-12-20 2020-06-25 Google Llc Ranking image search results using machine learning models
CN109858555B (zh) * 2019-02-12 2022-05-17 北京百度网讯科技有限公司 基于图像的数据处理方法、装置、设备及可读存储介质
AU2019455964A1 (en) * 2019-07-09 2021-05-13 Visuo Technology Pty Limited A method and a system for processing an image, and for generating a contextually coherent video based on images processed thereby
US11036802B2 (en) * 2019-08-05 2021-06-15 Morgan Stanley Services Group Inc. Classification rules engine and API generator
JP7335186B2 (ja) * 2020-02-28 2023-08-29 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム
US11379490B2 (en) * 2020-06-08 2022-07-05 Google Llc Dynamic injection of related content in search results
KR102615815B1 (ko) * 2021-06-04 2023-12-20 네이버 주식회사 검색 질의의 사용자 의도에 기초한 상품 기획전 생성 방법 및 시스템
US12008054B2 (en) * 2022-01-31 2024-06-11 Walmart Apollo, Llc Systems and methods for determining and utilizing search token importance using machine learning architectures
US20240135413A1 (en) * 2022-10-15 2024-04-25 Microsoft Technology Licensing, Llc Processing of Queries using a Consolidated Matching Architecture
US20240311421A1 (en) * 2023-03-13 2024-09-19 Google Llc Multiple Dataset Search Based On a Visual Query

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215930A (ja) * 2011-03-31 2012-11-08 Gourmet Navigator Inc 電子広告配信システム
JP2015153094A (ja) * 2014-02-13 2015-08-24 ヤフー株式会社 抽出装置、抽出方法および抽出プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038299A1 (en) 2000-03-20 2002-03-28 Uri Zernik Interface for presenting information
US8775436B1 (en) * 2004-03-19 2014-07-08 Google Inc. Image selection for news search
US7580568B1 (en) 2004-03-31 2009-08-25 Google Inc. Methods and systems for identifying an image as a representative image for an article
JP4240329B2 (ja) * 2006-09-21 2009-03-18 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
JP4952567B2 (ja) * 2007-12-21 2012-06-13 富士ゼロックス株式会社 画像検索システム、画像検索装置、プログラム
CN101261630A (zh) * 2008-04-22 2008-09-10 郭诺 自主发布信息的网络服务中检查信息内容的方法和装置
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
JP5010624B2 (ja) * 2009-02-10 2012-08-29 ヤフー株式会社 検索装置
CN101901249A (zh) * 2009-05-26 2010-12-01 复旦大学 一种图像检索中基于文本的查询扩展与排序方法
KR101139001B1 (ko) * 2010-02-23 2012-04-26 경기대학교 산학협력단 콘텐츠 제공 장치 및 방법
CN102375824B (zh) * 2010-08-12 2014-10-22 富士通株式会社 获取内容彼此相对应的多种语言文本的装置和方法
US8438163B1 (en) * 2010-12-07 2013-05-07 Google Inc. Automatic learning of logos for visual recognition
US8346815B2 (en) * 2011-05-12 2013-01-01 Google Inc. Dynamic image display area and image display within web search results
US9946430B2 (en) * 2011-09-21 2018-04-17 Facebook, Inc. Displaying social networking system user information via a timeline interface
US9519661B2 (en) * 2012-04-17 2016-12-13 Excalibur Ip, Llc Method and system for updating a background picture of a web search results page for different search queries
US20150169708A1 (en) * 2012-04-24 2015-06-18 Google Inc. Providing recently selected images
US9195717B2 (en) * 2012-06-26 2015-11-24 Google Inc. Image result provisioning based on document classification
US9268469B2 (en) * 2012-11-27 2016-02-23 Google Inc. Image display environment
US9098552B2 (en) * 2013-02-05 2015-08-04 Google Inc. Scoring images related to entities
WO2014132250A1 (en) * 2013-02-26 2014-09-04 Adience SER LTD Generating user insights from images and other data
US10409822B2 (en) * 2014-05-06 2019-09-10 Shutterstock, Inc. Systems and methods for presenting ranked search results
US9779327B2 (en) * 2015-08-21 2017-10-03 International Business Machines Corporation Cognitive traits avatar for similarity matching
US20170199854A1 (en) * 2016-01-10 2017-07-13 Apple Inc. Detecting document viewing preferences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215930A (ja) * 2011-03-31 2012-11-08 Gourmet Navigator Inc 電子広告配信システム
JP2015153094A (ja) * 2014-02-13 2015-08-24 ヤフー株式会社 抽出装置、抽出方法および抽出プログラム

Also Published As

Publication number Publication date
KR20170136964A (ko) 2017-12-12
JP6423845B2 (ja) 2018-11-14
CN107463591A (zh) 2017-12-12
KR101934449B1 (ko) 2019-01-03
US20170351709A1 (en) 2017-12-07
EP3252619A1 (en) 2017-12-06
US10489448B2 (en) 2019-11-26
CN107463591B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
JP6423845B2 (ja) 検索クエリに応答してコンテンツとマッチングしようとする画像を動的にランキングする方法及びシステム
JP6266080B2 (ja) 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム
CN107145496B (zh) 基于关键词将图像与内容项目匹配的方法
CN107103016B (zh) 基于关键词表示使图像与内容匹配的方法
US10565255B2 (en) Method and system for selecting images based on user contextual information in response to search queries
US10296535B2 (en) Method and system to randomize image matching to find best images to be matched with content items
JP6363682B2 (ja) 画像とコンテンツのメタデータに基づいてコンテンツとマッチングする画像を選択する方法
JP6165955B1 (ja) 検索クエリに応答してホワイトリストとブラックリストを使用し画像とコンテンツをマッチングする方法及びシステム
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
US10496686B2 (en) Method and system for searching and identifying content items in response to a search query using a matched keyword whitelist
US11308154B2 (en) Method and system for dynamically overlay content provider information on images matched with content items in response to search queries
US10496698B2 (en) Method and system for determining image-based content styles

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180629

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181019

R150 Certificate of patent or registration of utility model

Ref document number: 6423845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250