JP2013501976A5 - - Google Patents

Download PDF

Info

Publication number
JP2013501976A5
JP2013501976A5 JP2012523961A JP2012523961A JP2013501976A5 JP 2013501976 A5 JP2013501976 A5 JP 2013501976A5 JP 2012523961 A JP2012523961 A JP 2012523961A JP 2012523961 A JP2012523961 A JP 2012523961A JP 2013501976 A5 JP2013501976 A5 JP 2013501976A5
Authority
JP
Japan
Prior art keywords
visual query
visual
entity
query image
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012523961A
Other languages
English (en)
Other versions
JP2013501976A (ja
Filing date
Publication date
Priority claimed from US12/850,513 external-priority patent/US9087059B2/en
Application filed filed Critical
Priority claimed from PCT/US2010/044604 external-priority patent/WO2011017558A1/en
Publication of JP2013501976A publication Critical patent/JP2013501976A/ja
Publication of JP2013501976A5 publication Critical patent/JP2013501976A5/ja
Pending legal-status Critical Current

Links

Claims (27)

  1. 視覚クエリを処理する、コンピュータによって実施される方法であって、
    1個または複数個のプロセッサ、および前記1個または複数個のプロセッサが実行するための1つまたは複数のプログラムを記憶するメモリを有するサーバシステムにおいて、
    クライアントシステムから、第1のエンティティおよび第2のエンティティを中に有する視覚クエリ画像を受け取るステップと、
    前記視覚クエリ画像を得ることに応答して、
    前記視覚クエリ画像内の前記第1のエンティティおよび前記第2のエンティティを用いて複数の視覚クエリ検索結果を得るステップと、
    前記複数の視覚クエリ検索結果において前記第1のエンティティに対応する視覚クエリ検索結果の第1の組を特定するステップと、
    前記視覚クエリ検索結果の前記第1の組に対する前記視覚クエリ画像内の第1の視覚的識別子を得るステップであって、前記第1の視覚的識別子は前記視覚クエリ画像において前記第2のエンティティとは視覚的に区別できる方法で前記第1のエンティティを識別し、前記第1の視覚的識別子は前記視覚クエリ検索結果の前記第1の組への第1のユーザ選択可能リンクを含む、ステップと
    対話型結果ドキュメントを作成するステップであって、前記対話型結果ドキュメントは(i)前記視覚クエリ画像に含まれる前記第1のエンティティおよび(ii)前記第1の視覚的識別子を含む、ステップと、
    前記対話型結果ドキュメントを前記クライアントシステムに送るステップと
    を含む、コンピュータによって実施される方法。
  2. 1つまたは複数のテキスト要素を含む前記視覚クエリ画像の一部からテキストを得るステップをさらに含み、前記視覚クエリ検索結果の前記第1の組は前記テキストに応じて得られる検索結果を含む、請求項に記載のコンピュータによって実施される方法。
  3. 記視覚クエリ画像の第1の部分がテキスト用語を含む場合、前記視覚クエリ検索結果の前記第1の組が、前記テキスト用語に応じて得られる検索結果を含む、請求項に記載のコンピュータによって実施される方法。
  4. 記視覚クエリ画像の第1の部分が人物の顔を識別した場合、前記視覚クエリ検索結果の前記第1の組は、顔が特定されている前記人物、顔が特定されている前記人物の他の画像、および前記人物の顔に関する潜在的な画像の一致に関連する名前、ハンドル、連絡先情報、アカウント情報、アドレス情報、モバイル機器の現在地のうちの1つまたは複数を含む、請求項に記載のコンピュータによって実施される方法。
  5. 前記視覚クエリ画像の第1の部分が製品に対する識別子を含む場合、前記視覚クエリ検索結果の前記第1の組は、製品情報、製品レビュー、前記製品の購入を開始するオプション、前記製品に対する入札を開始するオプション、同様の製品の一覧、および関連製品の一覧のうちの1つまたは複数を含む、請求項に記載のコンピュータによって実施される方法。
  6. 前記第1のエンティティの種類に応じて視覚的に区別できる方法で表示するために前記第1の視覚的識別子をフォーマットするステップをさらに含む、請求項に記載のコンピュータによって実施される方法。
  7. 前記視覚的に区別できる方法は、オーバーレイの色、オーバーレイパターン、ラベルの背景色、ラベルの背景パターン、ラベルのフォントの色、および枠線色からなる群から選択される、請求項に記載のコンピュータによって実施される方法。
  8. 前記第1の視覚的識別子が、前記視覚クエリ画像の第1の部分に関連する少なくとも1つの用語を含むラベルを含み、前記ラベルは、前記視覚クエリ画像の前記第1の部分上またはその付近において前記対話型結果ドキュメント内で提示するためにフォーマットされる、請求項に記載のコンピュータによって実施される方法。
  9. 前記送信するステップが、前記対話型結果ドキュメントとともに同時提示するために、前記視覚クエリ検索結果の前記第1の組の一部を送るステップをさらに含む、請求項1〜のいずれか一項に記載のコンピュータによって実施される方法。
  10. 前記第1のユーザ選択可能リンクのユーザ選択を受け取るステップと、
    前記選択されたリンクに対応する前記視覚クエリ検索結果の一部内の検索結果を特定するステップと
    をさらに含む、請求項に記載のコンピュータによって実施される方法。
  11. 前記第1の視覚的識別子が、前記第1のエンティティに対応する前記視覚クエリ画像の第1の部分を取り囲む境界ボックスを含む、請求項に記載のコンピュータによって実施される方法。
  12. 前記境界ボックスが、前記視覚クエリ画像の前記第1の部分の輪郭を描く、請求項11に記載のコンピュータによって実施される方法。
  13. 前記境界ボックスが、1つまたは複数のより小さな境界ボックスを含む、請求項11または12に記載のコンピュータによって実施される方法。
  14. 前記視覚クエリ検索結果の前記第1の組への前記第1のユーザ選択可能リンクは、前記視覚クエリ画像の前記第1の部分内に活性化領域を有する、請求項11〜13のいずれか一項に記載のコンピュータによって実施される方法。
  15. 前記視覚クエリ検索結果の前記第1の組への前記第1のユーザ選択可能リンクは、前記視覚クエリ画像の第1の部分内に活性化領域を有する、請求項に記載のコンピュータによって実施される方法。
  16. 視覚クエリを処理するためのサーバシステムであって、
    プログラムを実行するための1個または複数個の中央処理装置と、
    前記1個または複数個の中央処理装置が実行するための1つまたは複数のプログラムを記憶するメモリと
    を含み、
    前記1つまたは複数のプログラムが、
    クライアントシステムから、第1のエンティティおよび第2のエンティティを中に有する視覚クエリ画像を受け取ることと、
    前記視覚クエリ画像を得ることに応答して、
    前記視覚クエリ画像内の前記第1のエンティティおよび前記第2のエンティティを用いて複数の視覚クエリ検索結果を得ることと、
    前記複数の視覚クエリ検索結果において前記第1のエンティティに対応する視覚クエリ検索結果の第1の組を特定することと、
    前記視覚クエリ検索結果の前記第1の組に対する前記視覚クエリ画像内の第1の視覚的識別子を得ることであって、前記第1の視覚的識別子は前記視覚クエリ画像において前記第2のエンティティとは視覚的に区別できる方法で前記第1のエンティティを識別し、前記第1の視覚的識別子は前記視覚クエリ検索結果の前記第1の組への第1のユーザ選択可能リンクを含む、ことと
    対話型結果ドキュメントを作成することであって、前記対話型結果ドキュメントは(i)前記視覚クエリ画像に含まれる前記第1のエンティティおよび(ii)前記第1の視覚的識別子を含む、ことと、
    前記対話型結果ドキュメントを前記クライアントシステムに送ることと
    を行うための命令を含む、サーバシステム。
  17. 前記第1の視覚的識別子が、前記第1のエンティティに対応する前記視覚クエリ画像の第1の部分を取り囲む境界ボックスである、請求項16に記載のシステム。
  18. 前記境界ボックスが、前記視覚クエリ画像の前記第1の部分の輪郭を描く、請求項17に記載のシステム。
  19. 前記視覚クエリ検索結果の前記第1の組への前記第1のユーザ選択可能リンクは、前記視覚クエリ画像の前記第1の部分内に活性化領域を有する、請求項17または18に記載のシステム。
  20. 前記第1の視覚的識別子が、前記視覚クエリ画像の前記第1の部分に関連する少なくとも1つの用語からなるラベルを含み、前記ラベルは、前記視覚クエリ画像の前記第1の部分上またはその付近において前記対話型結果ドキュメント内で提示するためにフォーマットされる、請求項16〜19のいずれか一項に記載のシステム。
  21. コンピュータが実行するように構成される1つまたは複数のプログラムを記憶する持続性コンピュータ可読記憶媒体であって、前記1つまたは複数のプログラムは、
    クライアントシステムから、第1のエンティティおよび第2のエンティティを中に有する視覚クエリ画像を受け取ることと、
    前記視覚クエリ画像を得ることに応答して、
    前記視覚クエリ画像内の前記第1のエンティティおよび前記第2のエンティティを用いて複数の視覚クエリ検索結果を得ることと、
    前記複数の視覚クエリ検索結果において前記第1のエンティティに対応する視覚クエリ検索結果の第1の組を特定することと、
    前記視覚クエリ検索結果の前記第1の組に対する前記視覚クエリ画像内の第1の視覚的識別子を得ることであって、前記第1の視覚的識別子は前記視覚クエリ画像において前記第2のエンティティとは視覚的に区別できる方法で前記第1のエンティティを識別し、前記第1の視覚的識別子は前記視覚クエリ検索結果の前記第1の組への第1のユーザ選択可能リンクを含む、ことと
    対話型結果ドキュメントを作成することであって、前記対話型結果ドキュメントは(i)前記視覚クエリ画像に含まれる前記第1のエンティティおよび(ii)前記第1の視覚的識別子を含む、ステップと、
    前記対話型結果ドキュメントを前記クライアントシステムに送ることと
    を行うための命令を含む、コンピュータ可読記憶媒体。
  22. 前記第1の視覚的識別子が、前記第1のエンティティに対応する前記視覚クエリ画像の第1の部分を取り囲む境界ボックスである、請求項21に記載のコンピュータ可読記憶媒体。
  23. 前記境界ボックスが、前記視覚クエリ画像の前記第1の部分の輪郭を描く、請求項22に記載のコンピュータ可読記憶媒体。
  24. 前記視覚クエリ検索結果の前記第1の組への前記第1のユーザ選択可能リンクは、前記視覚クエリ画像の前記第1の部分内に活性化領域を有する、請求項22または23に記載のコンピュータ可読記憶媒体。
  25. 前記第1の視覚的識別子は、前記視覚クエリ画像の前記第1の部分に関連する少なくとも1つの用語からなるラベルを含み、前記ラベルは、前記視覚クエリ画像の前記第1の部分上またはその付近において前記対話型結果ドキュメント内で提示するためにフォーマットされる、請求項21〜24のいずれか一項に記載のコンピュータ可読記憶媒体。
  26. コンピュータシステムの1個または複数個のプロセッサが実行するように構成される1つまたは複数のプログラムを記憶する持続性コンピュータ可読記憶媒体であって、前記1つまたは複数のプログラムが、請求項1〜15のいずれか一項に記載の方法を実行するように前記1個または複数個のプロセッサが実行するための命令を含む、コンピュータ可読記憶媒体。
  27. 1個または複数個のプロセッサと、
    前記1個または複数個のプロセッサが実行するための1つまたは複数のプログラムを記憶するメモリであって、前記1つまたは複数のプログラムが、請求項1〜15のいずれか一項に記載の方法を実行するように前記1個または複数個のプロセッサが実行するための命令を含む、メモリと
    を含む、サーバシステム。
JP2012523961A 2009-08-07 2010-08-05 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス Pending JP2013501976A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US23239709P 2009-08-07 2009-08-07
US61/232,397 2009-08-07
US26612209P 2009-12-02 2009-12-02
US61/266,122 2009-12-02
US12/850,513 US9087059B2 (en) 2009-08-07 2010-08-04 User interface for presenting search results for multiple regions of a visual query
US12/850,513 2010-08-04
PCT/US2010/044604 WO2011017558A1 (en) 2009-08-07 2010-08-05 User interface for presenting search results for multiple regions of a visual query

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014254890A Division JP6025812B2 (ja) 2009-08-07 2014-12-17 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス

Publications (2)

Publication Number Publication Date
JP2013501976A JP2013501976A (ja) 2013-01-17
JP2013501976A5 true JP2013501976A5 (ja) 2013-09-19

Family

ID=43544672

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012523961A Pending JP2013501976A (ja) 2009-08-07 2010-08-05 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス
JP2014254890A Active JP6025812B2 (ja) 2009-08-07 2014-12-17 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014254890A Active JP6025812B2 (ja) 2009-08-07 2014-12-17 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス

Country Status (8)

Country Link
EP (1) EP2462518A1 (ja)
JP (2) JP2013501976A (ja)
KR (1) KR101670956B1 (ja)
CN (1) CN102667764A (ja)
AU (1) AU2010279334A1 (ja)
BR (1) BR112012002803A2 (ja)
CA (1) CA2770186C (ja)
WO (1) WO2011017558A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6153086B2 (ja) 2011-12-14 2017-06-28 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
CN102594896B (zh) * 2012-02-23 2015-02-11 广州商景网络科技有限公司 电子相片共享方法及系统
JP6046393B2 (ja) * 2012-06-25 2016-12-14 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置、情報処理システム、情報処理方法および記録媒体
EP2891068A4 (en) * 2012-08-31 2016-01-20 Hewlett Packard Development Co ACTIVE REGIONS OF AN IMAGE COMPRISING ACCESSIBLE LINKS
CN103488769B (zh) * 2013-09-27 2017-06-06 中国科学院自动化研究所 一种基于多媒体数据挖掘的地标信息检索方法
RU2580431C2 (ru) 2014-03-27 2016-04-10 Общество С Ограниченной Ответственностью "Яндекс" Способ и сервер для обработки поискового запроса и машиночитаемый носитель
KR101588950B1 (ko) * 2014-03-28 2016-01-26 주식회사 에스원 시장 점유율 판별 시스템, 시장 점유율 판별 방법 및 그 판별 시스템을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
CN105373552A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 基于显示终端的数据处理方法
WO2016049799A1 (en) * 2014-09-29 2016-04-07 Microsoft Technology Licensing, Llc Customizable data services
US20160132567A1 (en) * 2014-11-12 2016-05-12 Microsoft Corporation Multi-search and multi-task in search
US10102565B2 (en) 2014-11-21 2018-10-16 Paypal, Inc. System and method for content integrated product purchasing
CN104536995B (zh) * 2014-12-12 2016-05-11 北京奇虎科技有限公司 基于终端界面触控操作进行搜索的方法及系统
CN104462423A (zh) * 2014-12-15 2015-03-25 百度在线网络技术(北京)有限公司 搜索方法、装置和移动终端
KR102339461B1 (ko) * 2014-12-18 2021-12-15 삼성전자 주식회사 전자 장치의 텍스트 기반 컨텐츠 운용 방법 및 장치
WO2016101768A1 (zh) * 2014-12-26 2016-06-30 北京奇虎科技有限公司 终端以及基于触摸操作的搜索方法和装置
EP3149659A4 (en) * 2015-02-04 2018-01-10 Vatbox, Ltd. A system and methods for extracting document images from images featuring multiple documents
RU2015111360A (ru) 2015-03-30 2016-10-20 Общество С Ограниченной Ответственностью "Яндекс" Способ (варианты) и система (варианты) обработки поискового запроса
US10579330B2 (en) * 2015-05-13 2020-03-03 Microsoft Technology Licensing, Llc Automatic visual display of audibly presented options to increase user efficiency and interaction performance
CN108431829A (zh) * 2015-08-03 2018-08-21 奥兰德股份公司 用于在目录中搜索产品的系统和方法
BR112018008266A2 (pt) * 2015-10-25 2018-10-23 Alva Alta Lda embalagem reconhecível por diferentes tipos de meios, sistema e processo para preparação de produtos edíveis com base nas referidas embalagens reconhecíveis
US10528613B2 (en) * 2015-11-23 2020-01-07 Advanced Micro Devices, Inc. Method and apparatus for performing a parallel search operation
US9779293B2 (en) * 2016-01-27 2017-10-03 Honeywell International Inc. Method and tool for post-mortem analysis of tripped field devices in process industry using optical character recognition and intelligent character recognition
DE102016201373A1 (de) * 2016-01-29 2017-08-03 Robert Bosch Gmbh Verfahren zu einer Erkennung von Objekten, insbesondere von dreidimensionalen Objekten
US20190072407A1 (en) * 2016-07-26 2019-03-07 Google Llc Interactive Geo-Contextual Navigation Tool
CN106484817B (zh) * 2016-09-26 2020-06-26 广州致远电子有限公司 一种数据搜索方法及系统
US10346727B2 (en) * 2016-10-28 2019-07-09 Adobe Inc. Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media
US10558857B2 (en) * 2018-03-05 2020-02-11 A9.Com, Inc. Visual feedback of process state
CN109189289B (zh) * 2018-09-03 2021-12-24 聚好看科技股份有限公司 一种基于截屏图像生成图标的方法及装置
CN109168069A (zh) * 2018-09-03 2019-01-08 聚好看科技股份有限公司 一种识别结果分区域显示方法、装置及智能电视
TWI768232B (zh) * 2019-08-07 2022-06-21 上銀科技股份有限公司 線性傳動裝置的影像判定系統及其影像判定方法
CN112417192A (zh) * 2019-08-21 2021-02-26 上银科技股份有限公司 线性传动装置的影像判定系统及其影像判定方法
JP7379059B2 (ja) * 2019-10-02 2023-11-14 キヤノン株式会社 中間サーバ装置、情報処理装置、通信方法
CN114581360B (zh) * 2021-04-01 2024-03-12 正泰集团研发中心(上海)有限公司 光伏组件标签检测方法、装置、设备和计算机存储介质
CN113901257B (zh) 2021-10-28 2023-10-27 北京百度网讯科技有限公司 地图信息的处理方法、装置、设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330336A (ja) * 1996-06-11 1997-12-22 Sony Corp 情報処理装置
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
JP2003150617A (ja) * 2001-11-12 2003-05-23 Olympus Optical Co Ltd 画像処理装置およびプログラム
JP2005165461A (ja) * 2003-11-28 2005-06-23 Nifty Corp 情報提供装置及び情報提供プログラム
JP4413633B2 (ja) * 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
WO2006043319A1 (ja) * 2004-10-20 2006-04-27 Fujitsu Limited 端末及びサーバ
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
JP2007018166A (ja) * 2005-07-06 2007-01-25 Nec Corp 情報検索装置、情報検索システム、情報検索方法及び情報検索プログラム
JP2007018456A (ja) * 2005-07-11 2007-01-25 Nikon Corp 情報表示装置及び情報表示方法
JP2007026316A (ja) * 2005-07-20 2007-02-01 Yamaha Motor Co Ltd 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
US8849821B2 (en) * 2005-11-04 2014-09-30 Nokia Corporation Scalable visual search system simplifying access to network and device functionality
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search

Similar Documents

Publication Publication Date Title
JP2013501976A5 (ja)
US9633392B2 (en) Integrated finding experience systems and methods
JP2013543196A5 (ja)
JP2020517039A (ja) オーバーレイコンテンツとのページの相互作用機能の維持
CN104850388B (zh) 网页绘制方法及装置
JP2014527228A5 (ja)
JP2016512352A5 (ja)
JP2017523533A5 (ja)
CA2861617A1 (en) Method and system to provide video-based search results
JP2016504655A5 (ja)
JP2011159323A5 (ja)
JP2013528860A5 (ja)
CN103268405B (zh) 一种用于获得游戏信息的方法、装置和系统
US20140172562A1 (en) Query-refinement advertisements based on query-completion suggestions
JP2016505941A5 (ja)
JP2013536958A5 (ja)
CN108197621A (zh) 企业信息获取方法及系统和信息处理方法及系统
US8370219B1 (en) Methods and apparatus for in-line editing of web page content stored in multiple data stores
Hernandez et al. Placement of call to action buttons for higher website conversion and acquisition: An eye tracking study
WO2016135970A1 (ja) 検索システム、検索方法およびプログラム
US20140025479A1 (en) Systems And Methods For Keyword-Ad Pairing
JP2014182636A (ja) 情報処理システム
US20170221247A1 (en) Display of overlays and events in augmented reality using graph traversal
JP2018136925A5 (ja)
CN104636050B (zh) 允许嵌套对象拖放的方法及系统