JP2018523251A - カタログ内の製品を検索するためのシステムおよび方法 - Google Patents
カタログ内の製品を検索するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2018523251A JP2018523251A JP2018526283A JP2018526283A JP2018523251A JP 2018523251 A JP2018523251 A JP 2018523251A JP 2018526283 A JP2018526283 A JP 2018526283A JP 2018526283 A JP2018526283 A JP 2018526283A JP 2018523251 A JP2018523251 A JP 2018523251A
- Authority
- JP
- Japan
- Prior art keywords
- products
- query
- searching
- catalog
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000013500 data storage Methods 0.000 claims abstract description 4
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 239000000047 product Substances 0.000 description 111
- 239000013598 vector Substances 0.000 description 27
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000020121 low-fat milk Nutrition 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- -1 items such as design Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、以前に説明されたこの種類の課題を解決する従来の方法と比較して、以下の便益を含む。
− 高い表現力:本発明は、クエリとして画像自体の内容を使用し、これに加えて補足としてキーワードを含むことができ、このことがより大きな表現力を提供する。スケッチを使った伝達は、人と人との意思疎通の自然な形式であり、すなわち単純かつ高度に記述的であり、ユーザが検索したいものの構成要素を表す。
− 高速:ユーザは、そのユーザが望むものを記述するための最善のテキストをタイピング入力する必要がない。そのユーザは、単に自身のデバイス上にあるカメラの正面に製品を置くか、またはスケッチを描くだけである。検索時間は数秒であるため、ユーザは直ちに結果を得ることができる。
− 効果的:高い記述的なクエリを使用しているため、検索の質は、より高い。このことは、そのシステムにより、高い割合でそのクエリから該当対象物が抽出されることができることを意味し、そのことによりキーワード検索エンジンと比較してオンライン販売の増大を可能にする。
− タイムリ:本発明は、モバイル技術を使用するため、本発明者の技術は、購入の機会が生じたそのときに、いつでも入手可能である。例えば、ある消費者が関心のある製品を見るまたは想像する場合、その消費者は、提供された技術を使用し、お気に入りの店舗でその製品を検索する。
− ユーザに魅力的:その使いやすさ、ならびに図面作成および驚きの検索結果によるファン効果によって、本発明を極めて魅力的にし、ユーザに対して楽しい体験をもたらす。
ここで、gは核(kernel)関数であり、d(.)は距離の関数である。この核関数は、距離の値が大きいほどgの値が小さくなるように選択される。l個の特徴のベクトルは、l個の局所記述子に関して生成されたコードに対するプーリング(pooling)法を使って計算される。1つの実施形態は、合計に基づくプーリングを使用し、この方法は、局所記述子コードを合計することによりl個の特徴のベクトルを判定する。
Claims (14)
- カタログ内の製品を検索するためのシステムであって、
a.ユーザがクエリを生成し、クエリを処理装置に送信し、結果を表示することを可能にするアプリケーションを有するネットワーク接続されたデバイスであって、クエリが検索を所望する製品の視覚的な例である、デバイスと、
b.前記ユーザからのクエリを受信し、前記カタログ内の検索を解決する処理装置であって、
i.視覚特徴抽出コンポーネント、
ii.自己ラベル付けコンポーネント、
iii.類似性に基づく検索コンポーネント、および
iv.結果グループ化コンポーネントを含む、処理装置と、
c.1つ以上の店舗からのカタログからの製品に関する情報を絶えず維持するデータ記憶装置と、を含むことを特徴とする、カタログ内の製品を検索するためのシステム。 - 前記視覚的な例は、1つ以上の写真、1つ以上の手製の図面、またはビデオに相当することを特徴とする、請求項1に記載のカタログ内の製品を検索するためのシステム。
- 前記クエリは、視覚的な例、そしてまた、前記ユーザにより入力された1つ以上の単語も含むことを特徴とする、請求項1に記載のカタログ内の製品を検索するためのシステム。
- 前記自己ラベル付けコンポーネントは、トレーニングおよび神経回路網の使用に基づくことを特徴とする、請求項1に記載のカタログ内の製品を検索するためのシステム。
- 前記自己ラベル付けコンポーネントは、分類器を使用することを特徴とする、請求項1に記載のカタログ内の製品を検索するためのシステム。
- 前記分類器は、サポートベクターマシン(SVM)、神経回路網、K近傍法(KNN)、およびランダムフォレストに含まれることを特徴とする、請求項5に記載のカタログ内の製品を検索するためのシステム。
- カタログ内の製品を検索するための方法であって、
a.インストールされたアプリケーションを介してネットワーク接続されたデバイスの中へのクエリのユーザ入力ステップおよび処理装置への前記クエリの送出ステップと、
b.処理装置による前記クエリの受信ステップであって、
i.前記クエリの視覚特徴を抽出し、
ii.視覚特徴を使って、クエリとデータ記憶装置に記憶されたすべての製品との間の視覚的類似性検索を実行し、
iii.前記クエリのための一組のラベルを自動的に生成し、
iv.少なくとも1つのラベルにより前記クエリと一致するサブグループの製品に限定された類似性に基づく検索を実行し、
v.検索iiおよび検索ivの前記結果を混合し、前記クエリに対する応答を生成するための、受信ステップと、
c.ネットワーク接続されたデバイスによる前記クエリの応答の受信ステップ、および前記ユーザディスプレイの生成ステップと、を含むことを特徴とする、カタログ内の製品を検索するための方法。 - 前記視覚的な例は、1つ以上の写真、1つ以上の手製の図面、またはビデオに相当することを特徴とする、請求項7に記載のカタログ内の製品を検索するための方法。
- 前記クエリは、視覚的な例、そしてまた、前記ユーザにより入力された1つ以上の単語も含むことを特徴とする、請求項7に記載のカタログ内の製品を検索するための方法。
- 前記類似性に基づく検索の方法は、少なくとも1つの単語により前記クエリと一致するサブセットの製品に限定されることを特徴とする、請求項9に記載のカタログ内の製品を検索するための方法。
- 前記クエリの視覚特徴を抽出する前記方法が、局所記述子集約法(local descriptor aggregation methods)に基づくことを特徴とする、請求項7に記載のカタログ内の製品を検索するための方法。
- ラベル付け生成段階が、トレーニングおよび神経回路網の使用に基づくことを特徴とする、請求項7に記載のカタログ内の製品を検索するための方法。
- 前記ラベルを生成するステップは、分類器を使用することを特徴とする、請求項7に記載のカタログ内の製品を検索するための方法。
- 前記分類器は、サポートベクターマシン(SVM)、神経回路網、K近傍法(KNN)、およびランダムフォレストに含まれることを特徴とする、請求項13に記載のカタログ内の製品を検索するための方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CL2015/050027 WO2017020139A1 (es) | 2015-08-03 | 2015-08-03 | Sistema y método para buscar productos en catálogos |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018523251A true JP2018523251A (ja) | 2018-08-16 |
Family
ID=57942193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018526283A Pending JP2018523251A (ja) | 2015-08-03 | 2015-08-03 | カタログ内の製品を検索するためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180322208A1 (ja) |
EP (1) | EP3333769A4 (ja) |
JP (1) | JP2018523251A (ja) |
CN (1) | CN108431829A (ja) |
WO (1) | WO2017020139A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022534805A (ja) * | 2019-06-07 | 2022-08-03 | イーエルシー マネージメント エルエルシー | 化粧品製品推奨のための方法及び装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017020140A1 (es) * | 2015-08-03 | 2017-02-09 | Orand S.A. | Sistema de búsqueda de imágenes por sketches usando histogramas de orientaciones de celdas y extracción de contornos basado en características de nivel medio |
US11769193B2 (en) * | 2016-02-11 | 2023-09-26 | Ebay Inc. | System and method for detecting visually similar items |
US10860898B2 (en) * | 2016-10-16 | 2020-12-08 | Ebay Inc. | Image analysis and prediction based visual search |
US11861675B2 (en) | 2019-04-22 | 2024-01-02 | Home Depot Product Authority, Llc | Methods for product collection recommendations based on transaction data |
US11120313B2 (en) | 2019-07-15 | 2021-09-14 | International Business Machines Corporation | Generating search determinations for assortment planning using visual sketches |
US11176209B2 (en) * | 2019-08-06 | 2021-11-16 | International Business Machines Corporation | Dynamically augmenting query to search for content not previously known to the user |
US11200445B2 (en) | 2020-01-22 | 2021-12-14 | Home Depot Product Authority, Llc | Determining visually similar products |
CN111949814A (zh) * | 2020-06-24 | 2020-11-17 | 百度在线网络技术(北京)有限公司 | 搜索方法、装置、电子设备和存储介质 |
CN111967533B (zh) * | 2020-09-03 | 2022-09-23 | 中山大学 | 一种基于场景识别的草图图像翻译方法 |
CN111932323B (zh) * | 2020-09-29 | 2021-01-15 | 北京每日优鲜电子商务有限公司 | 物品信息界面显示方法、装置、设备和计算机可读介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6035055A (en) * | 1997-11-03 | 2000-03-07 | Hewlett-Packard Company | Digital image management system in a distributed data access network system |
JP4859025B2 (ja) * | 2005-12-16 | 2012-01-18 | 株式会社リコー | 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体 |
US8489987B2 (en) * | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
US7840076B2 (en) * | 2006-11-22 | 2010-11-23 | Intel Corporation | Methods and apparatus for retrieving images from a large collection of images |
US9195898B2 (en) * | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
US9135277B2 (en) * | 2009-08-07 | 2015-09-15 | Google Inc. | Architecture for responding to a visual query |
JP2013501976A (ja) * | 2009-08-07 | 2013-01-17 | グーグル インコーポレイテッド | 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス |
US9087059B2 (en) * | 2009-08-07 | 2015-07-21 | Google Inc. | User interface for presenting search results for multiple regions of a visual query |
US8171049B2 (en) * | 2009-09-18 | 2012-05-01 | Xerox Corporation | System and method for information seeking in a multimedia collection |
US8977639B2 (en) * | 2009-12-02 | 2015-03-10 | Google Inc. | Actionable search results for visual queries |
US8447767B2 (en) * | 2010-12-15 | 2013-05-21 | Xerox Corporation | System and method for multimedia information retrieval |
US8798362B2 (en) * | 2011-08-15 | 2014-08-05 | Hewlett-Packard Development Company, L.P. | Clothing search in images |
US8831358B1 (en) * | 2011-11-21 | 2014-09-09 | Google Inc. | Evaluating image similarity |
US9075824B2 (en) * | 2012-04-27 | 2015-07-07 | Xerox Corporation | Retrieval system and method leveraging category-level labels |
US8995716B1 (en) * | 2012-07-12 | 2015-03-31 | Google Inc. | Image search results by seasonal time period |
US8935246B2 (en) * | 2012-08-08 | 2015-01-13 | Google Inc. | Identifying textual terms in response to a visual query |
CN104346370B (zh) * | 2013-07-31 | 2018-10-23 | 阿里巴巴集团控股有限公司 | 图像搜索、获取图像文本信息的方法及装置 |
-
2015
- 2015-08-03 EP EP15899918.5A patent/EP3333769A4/en not_active Withdrawn
- 2015-08-03 US US15/750,125 patent/US20180322208A1/en not_active Abandoned
- 2015-08-03 WO PCT/CL2015/050027 patent/WO2017020139A1/es active Application Filing
- 2015-08-03 JP JP2018526283A patent/JP2018523251A/ja active Pending
- 2015-08-03 CN CN201580083505.1A patent/CN108431829A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022534805A (ja) * | 2019-06-07 | 2022-08-03 | イーエルシー マネージメント エルエルシー | 化粧品製品推奨のための方法及び装置 |
JP7257553B2 (ja) | 2019-06-07 | 2023-04-13 | イーエルシー マネージメント エルエルシー | 化粧品製品推奨のための方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3333769A4 (en) | 2019-05-01 |
WO2017020139A1 (es) | 2017-02-09 |
US20180322208A1 (en) | 2018-11-08 |
CN108431829A (zh) | 2018-08-21 |
EP3333769A1 (en) | 2018-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018523251A (ja) | カタログ内の製品を検索するためのシステムおよび方法 | |
WO2022022002A1 (zh) | 一种信息展示方法、信息搜索方法及装置 | |
US9042659B2 (en) | Method and system for fast and robust identification of specific product images | |
US20180181569A1 (en) | Visual category representation with diverse ranking | |
KR20230087622A (ko) | 스트리밍 비디오 내의 객체를 검출하고, 필터링하고 식별하기 위한 방법 및 장치 | |
US10410224B1 (en) | Determining item feature information from user content | |
US20160284007A1 (en) | Information processing apparatus, information processing method, and recording medium | |
CN110147499B (zh) | 打标签方法、推荐方法及记录介质 | |
CN104268175B (zh) | 一种数据搜索的装置及其方法 | |
San Pedro et al. | Leveraging user comments for aesthetic aware image search reranking | |
Huang et al. | Revminer: An extractive interface for navigating reviews on a smartphone | |
US10229190B2 (en) | Latent semantic indexing in application classification | |
US20140122470A1 (en) | Hierarchical ranking of facial attributes | |
US10776417B1 (en) | Parts-based visual similarity search | |
TW201411515A (zh) | 於線上商店之互動式衣服搜尋技術 | |
US9906588B2 (en) | Server and method for extracting content for commodity | |
Liu et al. | Event-based media enrichment using an adaptive probabilistic hypergraph model | |
Wankhede et al. | Content-based image retrieval from videos using CBIR and ABIR algorithm | |
KR101498944B1 (ko) | 상품 판매 업체 관련 글 판단 방법 및 그 장치 | |
US20180181570A1 (en) | Contextual ranking of photos and text in search | |
McGuinness et al. | The AXES research video search system | |
US11403697B1 (en) | Three-dimensional object identification using two-dimensional image data | |
JP7316477B1 (ja) | 処理実行システム、処理実行方法、及びプログラム | |
Ashraf et al. | Improved Ingredients-based Recipe Recommendation Software using Machine Learning | |
Martínez et al. | VETE: improving visual embeddings through text descriptions for eCommerce search engines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A525 Effective date: 20180329 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200303 |