JP2015529908A - 視覚的クエリーに応答したテキスト用語の識別 - Google Patents
視覚的クエリーに応答したテキスト用語の識別 Download PDFInfo
- Publication number
- JP2015529908A JP2015529908A JP2015526579A JP2015526579A JP2015529908A JP 2015529908 A JP2015529908 A JP 2015529908A JP 2015526579 A JP2015526579 A JP 2015526579A JP 2015526579 A JP2015526579 A JP 2015526579A JP 2015529908 A JP2015529908 A JP 2015529908A
- Authority
- JP
- Japan
- Prior art keywords
- text
- visual query
- image
- image feature
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 239
- 230000004044 response Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000002452 interceptive effect Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004891 communication Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000010191 image analysis Methods 0.000 description 12
- 238000012015 optical character recognition Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000000047 product Substances 0.000 description 10
- 238000012549 training Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
さまざまな基本システムサービスを扱うための、かつ、ハードウェア依存タスクを実行するための手順を含むオペレーティングシステム216
1又は複数の通信ネットワークインターフェース204(有線又は無線)および1又は複数の通信ネットワーク(たとえば、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなど)を介して、他のコンピュータへクライアントシステム102を接続するのに使用されるネットワーク通信モジュール218
画像取得デバイス/カメラ210により取得された各画像を処理する画像取得モジュール220。各画像は視覚的クエリーサーバシステムへ視覚的クエリーとして送信され得る(たとえば、クライアントアプリケーションモジュールによって)。
視覚的クエリーサーバシステムへ視覚的クエリーを提出する画像によるクエリー(query-by-image)の提出モジュール224と、選択的に、画像内の関心領域の選択(たとえば、タッチセンシティブディスプレイ206/209でのジェスチャ)を検出し、かつ、その関心領域を視覚的クエリーとして準備する関心領域選択モジュール225と、視覚的クエリーの結果を表示する結果ブラウザ226と、選択的に、書式に記入するような構造化注釈テキストエントリ230、又は、多様なフォーマットの注釈を許可することができる自由形式注釈テキストエントリ232、および、ユーザが注釈のための画像の特定のサブ部分を選択できるようにする画像領域選択モジュール234(結果選択モジュールと本明細書で称されるときもある)のためのオプションのモジュールを有する注釈モジュール228とを含んでいるが、これに限定されない画像によりクエリーを行うことのさまざまな態様を扱う1又は複数のクライアントアプリケーションモジュール222
画像取得デバイス210を介して画像を取得するだけというよりはむしろ、ユーザが画像を生成又は編集することによって視覚的クエリーを生み出すことができる選択的なコンテンツオーサリングアプリケーション(複数可)236。選択的に、そのようなアプリケーション236のうちの1つは、ユーザが、視覚的クエリーとして使用するために画像のサブ部分を選択することができる命令を含んでもよい。
視覚的クエリーサーバシステムに視覚的クエリーを送信する前に、視覚的クエリーを前処理するオプションのローカル画像分析モジュール238。ローカル画像分析は、画像の特定のタイプ(又は、画像内のサブ領域)を認識してもよい。そのようなモジュール238によって認識され得る画像タイプの例は、顔タイプ(視覚的クエリー内で認識された顔画像)、バーコードタイプ(視覚的クエリー内で認識されたバーコード)、および、テキストタイプ(視覚的クエリー内で認識されたテキスト)のうちの1又は複数を含む。
追加のオプションのクライアントアプリケーション240(たとえば、電子メールアプリケーション、電話アプリケーション、ブラウザアプリケーション、マッピングアプリケーション、インスタントメッセージングアプリケーション、ソーシャルネットワーキングアプリケーションなど)。一部の実施例では、アクショナブルサーチ結果(actionable search result)が選択されたとき、適切なアクショナブルサーチ結果に対応するアプリケーションを起動することができ、又は、それにアクセスすることができる。
てもよい。
さまざまな基本システムサービスを扱うための、かつ、ハードウェア依存タスクを実行するための手順を含むオペレーティングシステム316
1又は複数の通信ネットワークインターフェース304(有線又は無線)および1又は複数の通信ネットワーク(たとえば、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなど)を介して、他のコンピュータへフロントエンドサーバシステム110を接続するのに使用されるネットワーク通信モジュール318
クライアントシステム102からの入力視覚的クエリーを扱い、かつ、2つ以上の並列サーチシステムへそれらを送信するためのクエリーマネージャ320。本明細書の他の箇所に記載されたように、一部の特別な状況では(たとえば、視覚的クエリーがクライアントにより生成された命令を含むとき(たとえば、「顔認識サーチのみ」))、視覚的クエリーは、サーチシステムのうちのただ1つに向けられる。
1又は複数の並列サーチシステムからの結果を選択的にフィルタリングし、かつ、表示のため、クライアントシステム102へ上位又は「関連」結果を送信するための結果フィルタリングモジュール322
1又は複数の並列サーチシステムからの結果を選択的に順位付けし、かつ、表示のため、結果をフォーマットするための結果順位付けおよびフォーマットモジュール324
適切な場合に使用され、インタラクティブサーチ結果ドキュメントを生成するための結果ドキュメント生成モジュール326。モジュール326は、境界ボックス生成モジュール328およびリンク生成モジュール330を含んでいるが、これに限定されないサブモジュールを含んでもよい。
視覚的クエリーの各サブ部分の視覚的識別子であるラベルを生成するためのラベル生成モジュール331
ユーザから注釈を受信し、かつ、それらを注釈データベース116へ送信するための注釈モジュール332
視覚的クエリーに応答して、クライアントサイドアクションを起動するようにそれぞれ構成された1又は複数のアクショナブルサーチ結果要素を生成するためのアクショナブルサーチ結果モジュール338。アクショナブルサーチ結果要素の例は、電話の呼び出しを開始し、電子メールメッセージを開始し、住所をマッピングし、レストランを予約し、かつ、製品を購入するための選択肢を提供するボタンである。
データベースそれ自体334およびデータベースへのインデックス336を含むクエリーおよび注釈データベース116
さまざまな基本システムサービスを扱うための、かつ、ハードウェア依存タスクを実行するための手順を含むオペレーティングシステム416
1又は複数の通信ネットワークインターフェース404(有線又は無線)および1又は複数の通信ネットワーク(たとえば、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなど)を介して、他のコンピュータへ画像から用語へのサーチシステム112-Cを接続するのに使用されるネットワーク通信モジュール418
視覚的クエリーおよび他の画像から画像特徴値を抽出する画像特徴識別子419
画像関連性モデルデータベース442からの画像関連性モデルを使用して、1又は複数の用語へ視覚的クエリーからの画像特徴値をマッピングする画像から用語へのサーチアプリケーション420
テキストクエリーのために画像関連性モデルを格納する画像関連性モデルデータベース422(視覚的クエリーに関連する用語を見つけ出すために、画像から用語へのサーチアプリケーション420によってサーチされる)
画像から用語へのサーチアプリケーション420で識別された視覚的クエリーに関連する用語の順位を付ける結果順位付けおよびフォーマットモジュール424
テキストベースのクエリーサーチエンジン406からのテキストクエリーに応答して画像をサーチし、かつ、そのようなサーチを記録するオプションの用語から画像へのサーチアプリケーション425
注釈データベース(図1の116)から注釈情報を受信し、注釈情報のいずれかが画像から用語へのサーチシステム112-Cに関連するか否かを判断し、かつ、判断された注釈情報の関連部分を各注釈データベース428に格納する注釈モジュール426
108 クライアントアプリケーション
104 通信ネットワーク(複数可)
118 用語クエリーサーバシステム
106 視覚的クエリーサーバシステム
110 フロントエンド視覚的クエリー処理サーバ
116 クエリーおよび注釈データベース
112-A 顔認識サーチシステム
112-B OCRサーチシステム
112-C 画像から用語へのサーチシステム
112-N 他のサーチシステム
114-A 顔画像データベース
114-B OCRデータベース
114-C 画像サーチデータベース
114-N 他のデータベース
Claims (22)
- 視覚的クエリーに応答してテキスト用語を識別する方法であって、
1又は複数のプロセッサと、前記1又は複数のプロセッサによる実行のための1又は複数のプログラムを格納したメモリとを備えたサーバシステム上で、
クライアントシステムから視覚的クエリーを受信するステップと、
前記視覚的クエリーに、
前記視覚的クエリーの画像特徴値のセットを生成すること、
複数のテキスト用語に、前記複数のテキスト用語内の前記テキスト用語のそれぞれの重みを含む画像特徴値セットの前記セットをマッピングすること、
前記テキスト用語の前記重みに従って、前記テキスト用語を順位付けすること、および、
前記テキスト用語の前記順位付けに従って、前記クライアントシステムへ前記順位付けされたテキスト用語のうちの1又は複数を送信すること
によって応答するステップと
を含む、方法。 - 前記マッピングすることは、画像関連性モデルのセットを利用し、各モデルはあらかじめ定義されたテキスト用語に対応する、請求項1に記載の方法。
- 前記視覚的クエリーの画像特徴値の前記セットは、前記画像特徴値の画像特徴ベクトルを含み、かつ、
前記マッピングすることは、前記画像特徴ベクトルに画像関連性モデルの行列を乗算することを含み、前記行列の各行はあらかじめ定義されたテキスト用語に対応する、
請求項1又は2に記載の方法。 - 画像特徴値の前記セットは、色ヒストグラム値、輝度値、エッジ統計値を含む、請求項1乃至3のいずれか1項に記載の方法。
- 前記視覚的クエリーに応答するステップは、さらに、
前記順位付けされたテキスト用語に関連付けられた1又は複数の画像を前記クライアントシステムに送信するステップ
を含む、請求項1乃至4のいずれか1項に記載の方法。 - 前記順位付けされたテキスト用語に関連付けられた前記1又は複数の画像は、前記視覚的クエリーのために識別された前記画像特徴値に類似の画像特徴値を有する、請求項5に記載の方法。
- 前記順位付けされたテキスト用語のユーザによる用語の選択に応答して、前記選択された用語に関するテキストクエリーサーチを実行するステップをさらに含む、請求項6に記載の方法。
- 前記視覚的クエリーの各サブ部分の1又は複数の視覚的識別子を含むインタラクティブ結果ドキュメントを前記クライアントシステムに送信するステップ
をさらに含み、かつ、少なくとも前記視覚的識別子のサブセット内の各視覚的識別子について、少なくとも1つのユーザにより選択可能なリンクが、前記順位付けされたテキスト用語のうちの各テキスト用語を含む、請求項1乃至7のいずれか1項に記載の方法。 - サーバシステムであって、
1又は複数のプロセッサと、
前記1又は複数のプロセッサによる実行のための1又は複数のプログラムを格納したメモリと、
前記1又は複数のプログラムであって、
クライアントシステムから視覚的クエリーを受信するステップと、
前記視覚的クエリーに、
前記視覚的クエリーの画像特徴値のセットを生成すること、
複数のテキスト用語に、前記複数のテキスト用語内の前記テキスト用語のそれぞれの重みを含む画像特徴値セットの前記セットをマッピングすること、
前記テキスト用語の前記重みに従って、前記テキスト用語を順位付けすること、および、
前記テキスト用語の前記順位付けに従って、前記クライアントシステムへ前記順位付けされたテキスト用語のうちの1又は複数を送信すること
によって応答するステップと
のための命令を含む、前記1又は複数のプログラムと
を含む、サーバシステム。 - マッピングすることの命令は、画像関連性モデルのセットを利用することの命令を含み、各モデルはあらかじめ定義されたテキスト用語に対応する、請求項9に記載のサーバシステム。
- 前記視覚的クエリーの画像特徴値の前記セットは、前記画像特徴値の画像特徴ベクトルを含み、かつ、
前記マッピングすることの命令は、前記画像特徴ベクトルに画像関連性モデルの行列を乗算することの命令を含み、前記行列の各行はあらかじめ定義されたテキスト用語に対応する、
請求項9に記載のサーバシステム。 - 画像特徴値の前記セットは、色ヒストグラム値、輝度値、エッジ統計値を含む、請求項9乃至11のいずれか1項に記載のサーバシステム。
- 前記視覚的クエリーに応答するステップは、さらに、
前記順位付けされたテキスト用語に関連付けられた1又は複数の画像を前記クライアントシステムに送信することの命令
を含む、請求項9乃至12のいずれか1項に記載のサーバシステム。 - 前記順位付けされたテキスト用語に関連付けられた前記1又は複数の画像は、前記視覚的クエリーのために識別された前記画像特徴値に類似の画像特徴値を有する、請求項13に記載のサーバシステム。
- 前記視覚的クエリーの各サブ部分の1又は複数の視覚的識別子を含むインタラクティブ結果ドキュメントを前記クライアントシステムに送信することの命令
をさらに含み、かつ、少なくとも前記視覚的識別子のサブセット内の各視覚的識別子について、少なくとも1つのユーザにより選択可能なリンクが、前記順位付けされたテキスト用語のうちの各テキスト用語を含む、請求項9乃至14のいずれか1項に記載のサーバシステム。 - コンピュータにより実行されるように構成された1又は複数のプログラムを格納した非一時的なコンピュータ可読記録媒体であって、
前記1又は複数のプログラムは、
クライアントシステムから視覚的クエリーを受信するステップと、
前記視覚的クエリーに、
前記視覚的クエリーの画像特徴値のセットを生成すること、
複数のテキスト用語に、前記複数のテキスト用語内の前記テキスト用語のそれぞれの重みを含む画像特徴値セットの前記セットをマッピングすること、
前記テキスト用語の前記重みに従って、前記テキスト用語を順位付けすること、および、
前記テキスト用語の前記順位付けに従って、前記クライアントシステムへ前記順位付けされたテキスト用語のうちの1又は複数を送信すること
によって応答するステップと
のための命令を含む、非一時的なコンピュータ可読記録媒体。 - マッピングすることの命令は、画像関連性モデルのセットを利用することの命令を含み、各モデルはあらかじめ定義されたテキスト用語に対応する、請求項16に記載の非一時的なコンピュータ可読記録媒体。
- 前記視覚的クエリーの画像特徴値の前記セットは、前記画像特徴値の画像特徴ベクトルを含み、かつ、
前記マッピングすることの命令は、前記画像特徴ベクトルに画像関連性モデルの行列を乗算することの命令を含み、前記行列の各行はあらかじめ定義されたテキスト用語に対応する、
請求項16又は17に記載の非一時的なコンピュータ可読記録媒体。 - 画像特徴値の前記セットは、色ヒストグラム値、輝度値、エッジ統計値を含む、請求項16乃至18のいずれか1項に記載の非一時的なコンピュータ可読記録媒体。
- 前記視覚的クエリーに応答するステップは、さらに、
前記順位付けされたテキスト用語に関連付けられた1又は複数の画像を前記クライアントシステムに送信することの命令
を含む、請求項16乃至19のいずれか1項に記載の非一時的なコンピュータ可読記録媒体。 - 前記順位付けされたテキスト用語に関連付けられた前記1又は複数の画像は、前記視覚的クエリーのために識別された前記画像特徴値に類似の画像特徴値を有する、請求項20に記載の非一時的なコンピュータ可読記録媒体。
- 前記視覚的クエリーの各サブ部分の1又は複数の視覚的識別子を含むインタラクティブ結果ドキュメントを前記クライアントシステムに送信することの命令
をさらに含み、かつ、少なくとも前記視覚的識別子のサブセット内の各視覚的識別子について、少なくとも1つのユーザにより選択可能なリンクが、前記順位付けされたテキスト用語のうちの各テキスト用語を含む、請求項16乃至21のいずれか1項に記載の非一時的なコンピュータ可読記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/570,162 US8935246B2 (en) | 2012-08-08 | 2012-08-08 | Identifying textual terms in response to a visual query |
US13/570,162 | 2012-08-08 | ||
PCT/US2013/053080 WO2014025592A1 (en) | 2012-08-08 | 2013-07-31 | Identifying textual terms in response to a visual query |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015529908A true JP2015529908A (ja) | 2015-10-08 |
JP6240916B2 JP6240916B2 (ja) | 2017-12-06 |
Family
ID=48980337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015526579A Active JP6240916B2 (ja) | 2012-08-08 | 2013-07-31 | 視覚的クエリーに応答したテキスト用語の識別 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8935246B2 (ja) |
EP (1) | EP2883158B1 (ja) |
JP (1) | JP6240916B2 (ja) |
CN (2) | CN104685501B (ja) |
WO (1) | WO2014025592A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020115321A (ja) * | 2018-12-03 | 2020-07-30 | アクセンチュア グローバル ソリューションズ リミテッド | テキストドメイン画像検索 |
JP2021077394A (ja) * | 2016-11-08 | 2021-05-20 | イーベイ インク.Ebay Inc. | クラウド支援型クエリシステム |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
US8935246B2 (en) | 2012-08-08 | 2015-01-13 | Google Inc. | Identifying textual terms in response to a visual query |
JP5999582B2 (ja) * | 2012-10-11 | 2016-09-28 | カシオ計算機株式会社 | 情報出力装置及びプログラム |
KR102072113B1 (ko) | 2012-10-17 | 2020-02-03 | 삼성전자주식회사 | 사용자 단말 장치 및 제어 방법 |
US20140156704A1 (en) * | 2012-12-05 | 2014-06-05 | Google Inc. | Predictively presenting search capabilities |
US9104905B2 (en) * | 2013-05-02 | 2015-08-11 | Emotient, Inc. | Automatic analysis of individual preferences for attractiveness |
JP2015032253A (ja) * | 2013-08-06 | 2015-02-16 | ソニー株式会社 | 情報処理装置および情報処理方法 |
US9386275B2 (en) * | 2014-01-06 | 2016-07-05 | Intel IP Corporation | Interactive video conferencing |
US9348885B2 (en) * | 2014-02-04 | 2016-05-24 | Adobe Systems Incorporated | System and method for ranking and selecting data features |
US9811592B1 (en) | 2014-06-24 | 2017-11-07 | Google Inc. | Query modification based on textual resource context |
US9830391B1 (en) | 2014-06-24 | 2017-11-28 | Google Inc. | Query modification based on non-textual resource context |
US9886461B1 (en) * | 2014-07-11 | 2018-02-06 | Google Llc | Indexing mobile onscreen content |
US9516220B2 (en) | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
US10021346B2 (en) | 2014-12-05 | 2018-07-10 | Intel IP Corporation | Interactive video conferencing |
US11120478B2 (en) | 2015-01-12 | 2021-09-14 | Ebay Inc. | Joint-based item recognition |
US20160217157A1 (en) * | 2015-01-23 | 2016-07-28 | Ebay Inc. | Recognition of items depicted in images |
KR102402511B1 (ko) * | 2015-02-03 | 2022-05-27 | 삼성전자주식회사 | 영상 검색 방법 및 이를 위한 장치 |
US9940575B2 (en) * | 2015-06-04 | 2018-04-10 | Yahoo Holdings, Inc. | Image searching |
WO2017020139A1 (es) * | 2015-08-03 | 2017-02-09 | Orand S.A. | Sistema y método para buscar productos en catálogos |
US11609946B2 (en) * | 2015-10-05 | 2023-03-21 | Pinterest, Inc. | Dynamic search input selection |
US11055343B2 (en) | 2015-10-05 | 2021-07-06 | Pinterest, Inc. | Dynamic search control invocation and visual search |
US10162865B2 (en) * | 2015-10-08 | 2018-12-25 | Microsoft Technology Licensing, Llc | Generating image tags |
US11593855B2 (en) * | 2015-12-30 | 2023-02-28 | Ebay Inc. | System and method for computing features that apply to infrequent queries |
US10489410B2 (en) * | 2016-04-18 | 2019-11-26 | Google Llc | Mapping images to search queries |
US10176198B1 (en) * | 2016-05-09 | 2019-01-08 | A9.Com, Inc. | Techniques for identifying visually similar content |
US11003667B1 (en) * | 2016-05-27 | 2021-05-11 | Google Llc | Contextual information for a displayed resource |
US10152521B2 (en) | 2016-06-22 | 2018-12-11 | Google Llc | Resource recommendations for a displayed resource |
US10802671B2 (en) | 2016-07-11 | 2020-10-13 | Google Llc | Contextual information for a displayed resource that includes an image |
US10051108B2 (en) | 2016-07-21 | 2018-08-14 | Google Llc | Contextual information for a notification |
US10489459B1 (en) | 2016-07-21 | 2019-11-26 | Google Llc | Query recommendations for a displayed resource |
US10467300B1 (en) | 2016-07-21 | 2019-11-05 | Google Llc | Topical resource recommendations for a displayed resource |
US10212113B2 (en) | 2016-09-19 | 2019-02-19 | Google Llc | Uniform resource identifier and image sharing for contextual information display |
US11176189B1 (en) * | 2016-12-29 | 2021-11-16 | Shutterstock, Inc. | Relevance feedback with faceted search interface |
US10565256B2 (en) * | 2017-03-20 | 2020-02-18 | Google Llc | Contextually disambiguating queries |
US10621417B2 (en) * | 2017-04-16 | 2020-04-14 | Facebook, Inc. | Systems and methods for generating content |
US10679068B2 (en) | 2017-06-13 | 2020-06-09 | Google Llc | Media contextual information from buffered media data |
US10942966B2 (en) | 2017-09-22 | 2021-03-09 | Pinterest, Inc. | Textual and image based search |
US11126653B2 (en) * | 2017-09-22 | 2021-09-21 | Pinterest, Inc. | Mixed type image based search results |
US11841735B2 (en) | 2017-09-22 | 2023-12-12 | Pinterest, Inc. | Object based image search |
US10496364B2 (en) * | 2017-10-31 | 2019-12-03 | Baidu Usa Llc | System and method for controlling colors of smart lights based on user intent using natural language processing |
KR20230003388A (ko) * | 2018-06-21 | 2023-01-05 | 구글 엘엘씨 | 시각적 검색을 위한 디지털 보충물 연관 및 검색 |
US10878037B2 (en) | 2018-06-21 | 2020-12-29 | Google Llc | Digital supplement association and retrieval for visual search |
US10740400B2 (en) | 2018-08-28 | 2020-08-11 | Google Llc | Image analysis for results of textual image queries |
US11392659B2 (en) * | 2019-02-28 | 2022-07-19 | Adobe Inc. | Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs |
CN110688483B (zh) * | 2019-09-16 | 2022-10-18 | 重庆邮电大学 | 文景转换中基于词典的名词可视性标注方法、介质及系统 |
US11645323B2 (en) | 2020-02-26 | 2023-05-09 | Samsung Electronics Co.. Ltd. | Coarse-to-fine multimodal gallery search system with attention-based neural network models |
JP2021149439A (ja) * | 2020-03-18 | 2021-09-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277169A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像データの管理 |
JP2010271769A (ja) * | 2009-05-19 | 2010-12-02 | Seiko Epson Corp | 画像処理方法及び装置、並びに、そのためのコンピュータプログラム |
JP2010286960A (ja) * | 2009-06-10 | 2010-12-24 | Nippon Telegr & Teleph Corp <Ntt> | 食事log作成装置、食事log作成方法および食事log作成プログラム |
WO2011017557A1 (en) * | 2009-08-07 | 2011-02-10 | Google Inc. | Architecture for responding to a visual query |
JP2013535733A (ja) * | 2010-07-26 | 2013-09-12 | コーニンクレッカ フィリップス エヌ ヴェ | 検索のためのキーワードの取得 |
Family Cites Families (79)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2813728B2 (ja) | 1993-11-01 | 1998-10-22 | インターナショナル・ビジネス・マシーンズ・コーポレイション | ズーム/パン機能付パーソナル通信機 |
US5764799A (en) | 1995-06-26 | 1998-06-09 | Research Foundation Of State Of State Of New York | OCR method and apparatus using image equivalents |
US5724571A (en) | 1995-07-07 | 1998-03-03 | Sun Microsystems, Inc. | Method and apparatus for generating query responses in a computer-based document retrieval system |
US5983237A (en) * | 1996-03-29 | 1999-11-09 | Virage, Inc. | Visual dictionary |
JPH1139332A (ja) * | 1997-07-22 | 1999-02-12 | Hitachi Ltd | 画像検索方法およびその装置およびこれを利用した検索サービス |
US5987448A (en) | 1997-07-25 | 1999-11-16 | Claritech Corporation | Methodology for displaying search results using character recognition |
FR2776095B1 (fr) | 1998-03-12 | 2000-06-23 | Commissariat Energie Atomique | Procede et systeme de lecture multiple d'un ensemble dynamique d'etiquettes avec synchronisation de communication entre les etiquettes et le lecteur |
US6269188B1 (en) | 1998-03-12 | 2001-07-31 | Canon Kabushiki Kaisha | Word grouping accuracy value generation |
US6137907A (en) | 1998-09-23 | 2000-10-24 | Xerox Corporation | Method and apparatus for pixel-level override of halftone detection within classification blocks to reduce rectangular artifacts |
GB9903451D0 (en) | 1999-02-16 | 1999-04-07 | Hewlett Packard Co | Similarity searching for documents |
US6408293B1 (en) | 1999-06-09 | 2002-06-18 | International Business Machines Corporation | Interactive framework for understanding user's perception of multimedia data |
JP3738631B2 (ja) * | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
WO2002017166A2 (en) | 2000-08-24 | 2002-02-28 | Olive Software Inc. | System and method for automatic preparation and searching of scanned documents |
US6842761B2 (en) | 2000-11-21 | 2005-01-11 | America Online, Inc. | Full-text relevancy ranking |
US6748398B2 (en) | 2001-03-30 | 2004-06-08 | Microsoft Corporation | Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR) |
US7313617B2 (en) | 2001-09-28 | 2007-12-25 | Dale Malik | Methods and systems for a communications and information resource manager |
DE10245900A1 (de) | 2002-09-30 | 2004-04-08 | Neven jun., Hartmut, Prof.Dr. | Bildbasiertes Anfragesystem für Suchmaschinen für mobile Endgeräte mit eingebauter Kamera |
US7472110B2 (en) | 2003-01-29 | 2008-12-30 | Microsoft Corporation | System and method for employing social networks for information discovery |
US7394947B2 (en) * | 2003-04-08 | 2008-07-01 | The Penn State Research Foundation | System and method for automatic linguistic indexing of images by a statistical modeling approach |
JP2004348706A (ja) * | 2003-04-30 | 2004-12-09 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
US7493322B2 (en) | 2003-10-15 | 2009-02-17 | Xerox Corporation | System and method for computing a measure of similarity between documents |
US20050083413A1 (en) | 2003-10-20 | 2005-04-21 | Logicalis | Method, system, apparatus, and machine-readable medium for use in connection with a server that uses images or audio for initiating remote function calls |
US7415456B2 (en) | 2003-10-30 | 2008-08-19 | Lucent Technologies Inc. | Network support for caller identification based on biometric measurement |
US7872669B2 (en) | 2004-01-22 | 2011-01-18 | Massachusetts Institute Of Technology | Photo-based mobile deixis system and related techniques |
US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
WO2005114476A1 (en) | 2004-05-13 | 2005-12-01 | Nevengineering, Inc. | Mobile image-based information retrieval system |
CN1954018A (zh) | 2004-05-14 | 2007-04-25 | 陶氏康宁公司 | 支化聚硅烷的制备方法 |
US20060020630A1 (en) | 2004-07-23 | 2006-01-26 | Stager Reed R | Facial database methods and systems |
US7890871B2 (en) | 2004-08-26 | 2011-02-15 | Redlands Technology, Llc | System and method for dynamically generating, maintaining, and growing an online social network |
US8489583B2 (en) | 2004-10-01 | 2013-07-16 | Ricoh Company, Ltd. | Techniques for retrieving documents using an image capture device |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
EP2264622A3 (en) | 2004-12-31 | 2011-12-21 | Nokia Corp. | Provision of target specific information |
US20060150119A1 (en) | 2004-12-31 | 2006-07-06 | France Telecom | Method for interacting with automated information agents using conversational queries |
JPWO2006082979A1 (ja) | 2005-02-07 | 2008-06-26 | 松下電器産業株式会社 | 画像処理装置および画像処理方法 |
JP4267584B2 (ja) | 2005-02-28 | 2009-05-27 | 株式会社東芝 | 機器制御装置及びその方法 |
JP4332556B2 (ja) * | 2005-03-01 | 2009-09-16 | 公立大学法人大阪府立大学 | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
US7773822B2 (en) | 2005-05-02 | 2010-08-10 | Colormax, Inc. | Apparatus and methods for management of electronic images |
US7809722B2 (en) | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
US7760917B2 (en) | 2005-05-09 | 2010-07-20 | Like.Com | Computer-implemented method for performing similarity searches |
KR100754656B1 (ko) | 2005-06-20 | 2007-09-03 | 삼성전자주식회사 | 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기 |
US7457825B2 (en) * | 2005-09-21 | 2008-11-25 | Microsoft Corporation | Generating search requests from multimodal queries |
US20090060289A1 (en) | 2005-09-28 | 2009-03-05 | Alex Shah | Digital Image Search System And Method |
US7876978B2 (en) | 2005-10-13 | 2011-01-25 | Penthera Technologies, Inc. | Regions of interest in video frames |
US8849821B2 (en) | 2005-11-04 | 2014-09-30 | Nokia Corporation | Scalable visual search system simplifying access to network and device functionality |
US7725477B2 (en) | 2005-12-19 | 2010-05-25 | Microsoft Corporation | Power filter for online listing service |
US8874591B2 (en) | 2006-01-31 | 2014-10-28 | Microsoft Corporation | Using user feedback to improve search results |
US9336333B2 (en) | 2006-02-13 | 2016-05-10 | Linkedin Corporation | Searching and reference checking within social networks |
US7698332B2 (en) * | 2006-03-13 | 2010-04-13 | Microsoft Corporation | Projecting queries and images into a similarity space |
US7668405B2 (en) | 2006-04-07 | 2010-02-23 | Eastman Kodak Company | Forming connections between image collections |
US7917514B2 (en) | 2006-06-28 | 2011-03-29 | Microsoft Corporation | Visual and multi-dimensional search |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US20080031506A1 (en) | 2006-08-07 | 2008-02-07 | Anuradha Agatheeswaran | Texture analysis for mammography computer aided diagnosis |
US7934156B2 (en) | 2006-09-06 | 2011-04-26 | Apple Inc. | Deletion gestures on a portable multifunction device |
KR100811834B1 (ko) * | 2006-10-25 | 2008-03-10 | 주식회사 에스원 | 영상 특징량 추출방법 및 이를 이용한 내용 기반 영상 검색방법 |
KR100865973B1 (ko) | 2007-02-08 | 2008-10-30 | (주)올라웍스 | 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치 |
US8861898B2 (en) | 2007-03-16 | 2014-10-14 | Sony Corporation | Content image search |
CN104866469B (zh) | 2007-04-11 | 2018-10-02 | 谷歌有限责任公司 | 具有第二语言模式的输入法编辑器 |
US20080267504A1 (en) | 2007-04-24 | 2008-10-30 | Nokia Corporation | Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search |
US9591086B2 (en) | 2007-07-25 | 2017-03-07 | Yahoo! Inc. | Display of information in electronic communications |
CN101387824B (zh) * | 2007-09-13 | 2012-03-28 | 鸿富锦精密工业(深圳)有限公司 | 照片内容自动注解系统及方法 |
KR101435140B1 (ko) | 2007-10-16 | 2014-09-02 | 삼성전자 주식회사 | 영상 표시 장치 및 방법 |
US9237213B2 (en) | 2007-11-20 | 2016-01-12 | Yellowpages.Com Llc | Methods and apparatuses to initiate telephone connections |
KR100969298B1 (ko) | 2007-12-31 | 2010-07-09 | 인하대학교 산학협력단 | 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법 |
US20090237546A1 (en) | 2008-03-24 | 2009-09-24 | Sony Ericsson Mobile Communications Ab | Mobile Device with Image Recognition Processing Capability |
US8190604B2 (en) | 2008-04-03 | 2012-05-29 | Microsoft Corporation | User intention modeling for interactive image retrieval |
CN101587478B (zh) * | 2008-05-20 | 2013-07-24 | 株式会社理光 | 图像训练、自动标注、检索方法及装置 |
JP5109836B2 (ja) | 2008-07-01 | 2012-12-26 | 株式会社ニコン | 撮像装置 |
US8520979B2 (en) | 2008-08-19 | 2013-08-27 | Digimarc Corporation | Methods and systems for content processing |
US8452794B2 (en) * | 2009-02-11 | 2013-05-28 | Microsoft Corporation | Visual and textual query suggestion |
US9087059B2 (en) * | 2009-08-07 | 2015-07-21 | Google Inc. | User interface for presenting search results for multiple regions of a visual query |
US20110047163A1 (en) * | 2009-08-24 | 2011-02-24 | Google Inc. | Relevance-Based Image Selection |
US8805079B2 (en) * | 2009-12-02 | 2014-08-12 | Google Inc. | Identifying matching canonical documents in response to a visual query and in accordance with geographic information |
US8977639B2 (en) * | 2009-12-02 | 2015-03-10 | Google Inc. | Actionable search results for visual queries |
US9405772B2 (en) * | 2009-12-02 | 2016-08-02 | Google Inc. | Actionable search results for street view visual queries |
US9183224B2 (en) * | 2009-12-02 | 2015-11-10 | Google Inc. | Identifying matching canonical documents in response to a visual query |
US8489589B2 (en) * | 2010-02-05 | 2013-07-16 | Microsoft Corporation | Visual search reranking |
US9015139B2 (en) * | 2010-05-14 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for performing a search based on a media content snapshot image |
CN102012934A (zh) * | 2010-11-30 | 2011-04-13 | 百度在线网络技术(北京)有限公司 | 图片搜索方法及搜索系统 |
US8935246B2 (en) | 2012-08-08 | 2015-01-13 | Google Inc. | Identifying textual terms in response to a visual query |
-
2012
- 2012-08-08 US US13/570,162 patent/US8935246B2/en active Active
-
2013
- 2013-07-31 EP EP13748212.1A patent/EP2883158B1/en active Active
- 2013-07-31 CN CN201380051799.0A patent/CN104685501B/zh active Active
- 2013-07-31 WO PCT/US2013/053080 patent/WO2014025592A1/en active Application Filing
- 2013-07-31 CN CN201810750391.7A patent/CN108959586B/zh active Active
- 2013-07-31 JP JP2015526579A patent/JP6240916B2/ja active Active
-
2015
- 2015-01-13 US US14/596,081 patent/US9372920B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277169A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像データの管理 |
JP2010271769A (ja) * | 2009-05-19 | 2010-12-02 | Seiko Epson Corp | 画像処理方法及び装置、並びに、そのためのコンピュータプログラム |
JP2010286960A (ja) * | 2009-06-10 | 2010-12-24 | Nippon Telegr & Teleph Corp <Ntt> | 食事log作成装置、食事log作成方法および食事log作成プログラム |
WO2011017557A1 (en) * | 2009-08-07 | 2011-02-10 | Google Inc. | Architecture for responding to a visual query |
JP2013535733A (ja) * | 2010-07-26 | 2013-09-12 | コーニンクレッカ フィリップス エヌ ヴェ | 検索のためのキーワードの取得 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021077394A (ja) * | 2016-11-08 | 2021-05-20 | イーベイ インク.Ebay Inc. | クラウド支援型クエリシステム |
JP7055228B2 (ja) | 2016-11-08 | 2022-04-15 | イーベイ インク. | クラウド支援型クエリシステム |
US11386125B2 (en) | 2016-11-08 | 2022-07-12 | Ebay Inc. | Crowd assisted query system |
US11995106B2 (en) | 2016-11-08 | 2024-05-28 | Ebay Inc. | Crowd assisted query system |
JP2020115321A (ja) * | 2018-12-03 | 2020-07-30 | アクセンチュア グローバル ソリューションズ リミテッド | テキストドメイン画像検索 |
US11080324B2 (en) | 2018-12-03 | 2021-08-03 | Accenture Global Solutions Limited | Text domain image retrieval |
JP2022103227A (ja) * | 2018-12-03 | 2022-07-07 | アクセンチュア グローバル ソリューションズ リミテッド | テキストドメイン画像検索 |
Also Published As
Publication number | Publication date |
---|---|
CN104685501A (zh) | 2015-06-03 |
CN108959586A (zh) | 2018-12-07 |
JP6240916B2 (ja) | 2017-12-06 |
EP2883158B1 (en) | 2019-11-06 |
US20150193528A1 (en) | 2015-07-09 |
EP2883158A1 (en) | 2015-06-17 |
US8935246B2 (en) | 2015-01-13 |
US20140046935A1 (en) | 2014-02-13 |
US9372920B2 (en) | 2016-06-21 |
WO2014025592A1 (en) | 2014-02-13 |
CN108959586B (zh) | 2022-02-01 |
CN104685501B (zh) | 2018-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6240916B2 (ja) | 視覚的クエリーに応答したテキスト用語の識別 | |
JP6148367B2 (ja) | 視覚クエリに応答するためのアーキテクチャ | |
JP6025812B2 (ja) | 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス | |
JP6470713B2 (ja) | 画像に基づいて検索結果を提供する方法、システム、およびコンピュータ読取可能記憶装置 | |
AU2016200659B2 (en) | Architecture for responding to a visual query |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6240916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |