JP2019531547A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2019531547A5 JP2019531547A5 JP2019513057A JP2019513057A JP2019531547A5 JP 2019531547 A5 JP2019531547 A5 JP 2019531547A5 JP 2019513057 A JP2019513057 A JP 2019513057A JP 2019513057 A JP2019513057 A JP 2019513057A JP 2019531547 A5 JP2019531547 A5 JP 2019531547A5
- Authority
- JP
- Japan
- Prior art keywords
- objects
- video
- product
- frame
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 claims 11
- 230000001537 neural Effects 0.000 claims 4
- 230000000875 corresponding Effects 0.000 claims 1
- 238000010200 validation analysis Methods 0.000 claims 1
Claims (11)
- 映像中のオブジェクトを検出し、オブジェクトを1または複数の製品と照合する方法であって、
a)映像を取得し、フレームまたは映像のフレームの一部に関するメタデータおよび属性を自動的に抽出するステップと、
b)類似度のしきい値を超えるフレームのペアまたはフレームシーケンス検出するために、映像が順にトラバースされ、各セグメントのためにキーフレームを識別し、類似点および相違点に関して連続するフレームのコンテンツを比較して、描写された情景およびイベントの少なくともいずれかに基づいて映像をセグメント化するステップと、
c)同一または類似の情景およびイベントの少なくともいずれかのセグメントをセグメント識別子でタグ付けしコンパイルするステップと、
d)1または複数のセグメントを分析し、1または複数のオブジェクトを検出し、フレームまたはフレームの一部は、既知のオブジェクトおよびクラスタのメタデータを規定のコンテンツとアラインすることにより規定したコンテンツであって、メタデータが、前記キーフレームから得られる1または複数のオブジェクトを検出するセグメント識別子によりフレームまたはフレームの一部がリンクし、それぞれのセグメントに対するオブジェクトの特徴ベクトルが生成されるステップと、
e)前記1または複数のオブジェクトを製品と比較するステップと、
f)畳み込みニューラルネットワーク(CNN)を用いて前記1または複数のオブジェクトに関連する製品を特定するステップと、
g)畳み込みニューラル(CNN)を用いて1または複数の視聴者に前記製品を通知するステップと、を含み、
セカンドスクリーンの拡張は、ライブ映像またはストリーミング映像のために使用されることを特徴とする方法。 - 前記データベースは、ウェブクローラを使用して既定のコンテンツが入力されることを特徴とする、請求項1に記載の方法。
- 1または複数の視聴者に前記製品を通知する前記ステップは、広告を表示するステップを含むことを特徴とする、請求項1に記載の方法。
- 1または複数の視聴者に前記製品を通知する前記ステップは、ウェブサイトまたは映像へハイパーリンクを提供するステップを含むことを特徴とする、請求項1に記載の方法。
- 前記映像に含まれるデジタルスクリーンショットにおける1または複数のオブジェクトを検出し、前記1または複数のオブジェクトを販売促進物と照合する方法であって、
a)視聴者からの問い合わせを、デジタルスクリーンショットの形式で受信するステップと、
b)前記デジタルスクリーンショットおよび/またはデジタルスクリーンショットの一部と、フレームまたはフレームに一部は、既知のオブジェクトおよびメタデータのクラスタを規定のコンテンツとアラインすることにより規定したコンテンツとを比較することで、前記デジタルスクリーンショットにおける1または複数のオブジェクトを追加するステップであって、映像におけるセグメント識別子に適合するデジタルスクリーンショットをバックオブビジュアルワード(bag of visual words)を使用し、上位N候補イメージの分類およびデータベースに追加し、
c)前記1または複数のオブジェクトを製品と比較するステップと、
d)製品の空間とマッチするか空間検証を畳み込みニューラル(CNN)を用いて前記1または複数のオブジェクトに関連付けられた製品を照合するステップと、
e)問合せを受けるとビジュアルワードクラスタはアサインすると、前記視聴者に照合された製品に関する販売促進物を連絡するステップと、を含むことを特徴とする方法。 - 前記データベースは、ウェブクローラを使用して既定のコンテンツが入力されることを特徴とする、請求項5に記載の方法。
- セカンドスクリーンのコンテンツ拡張を、ライブ映像またはストリーミング映像のために使用することを特徴とする、請求項5に記載の方法。
- 前記視聴者に、前記照合された製品に関連付けられた販売促進物を連絡する前記ステップは、宣伝を表示するステップ、および、ウェブサイトもしくは映像へのハイパーリンクを提供するステップの少なくともいずれかを含むことを特徴とする、請求項5に記載の方法。
- 映像中のオブジェクトと製品のデータベース中の製品との間の関連を生成するためのシステムであって、
ユーザーインターフェースアプリケーションを介してユーザーまたはユーザーグループにローカルまたはリモートで接続されるコンピュータネットワークおよびコンピュータシステムと、
メディアコンテンツをローカルまたはサーバ上で検出および記憶するモジュールと、
メタデータおよび視覚的特徴の少なくともいずれかを取り込むために、リモートまたはサーバベースのプロセッサに前記メディアコンテンツを送信するモジュールと、
メタデータおよび視覚的特徴の少なくともいずれかを抽出するために、リモートまたはサーバベースのプロセッサに前記メディアコンテンツを送信するモジュールと、
映像から送信された視覚的特徴を含むデジタル画像の形式で1または複数のユーザーからの入力を受信する装置と、
デジタルイメージの前記視覚的特徴を識別し、前記視覚的特徴を前記データベース内のオブジェクトおよび関連製品のグループの少なくともいずれかと関連付けるように構成されたモジュールであって、既知のオブジェクト、関連商品のグループの少なくともいずれかおよびメタデータクラスタをアラインすることによって規定のコンテンツが入力され、バックオブビジュアルワード(bag of visual words)アプローチにより視覚的特徴の確認およびデータベースにおけるオブジェクトおよび/または関連商品のグループの視覚的特徴を対応させ、デジタルイメージをセグメント識別子と対応するようにオブジェクトのリストおよび関連商品のグループのすくなくともいずれかを修正し、
視覚的特徴およびデジタルイメージのメタデータを分析し関連のあるオブジェクトおよび/または関連商品のグループにおいて、オブジェクトおよび/または関連商品のグループにおける空間とマッチするか空間検証を畳み込みニューラル(CNN)を用いて分析し、
前記オブジェクトおよび関連製品のグループの少なくともいずれかに関する情報を、入力を受け、ビジュアルワードクラスタに割り当てられたユーザーおよびユーザーのグループの少なくともいずれかに配信するネットワークサービスと、を含むことを特徴とするシステム。 - 前記オブジェクトおよび関連製品のグループの少なくともいずれかについての前記情報は、広告を含むことを特徴とする、請求項9に記載のシステム。
- 前記オブジェクトおよび関連製品のグループの少なくともいずれかについての前記情報は、前記インターネットを通じてアクセス可能なハイパーリンクまたはコンテンツを含むことを特徴とする、請求項9に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662384855P | 2016-09-08 | 2016-09-08 | |
US62/384,855 | 2016-09-08 | ||
PCT/SG2017/050449 WO2018048355A1 (en) | 2016-09-08 | 2017-09-07 | Object detection from visual search queries |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019531547A JP2019531547A (ja) | 2019-10-31 |
JP2019531547A5 true JP2019531547A5 (ja) | 2020-02-27 |
Family
ID=61562210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019513057A Pending JP2019531547A (ja) | 2016-09-08 | 2017-09-07 | 視覚検索クエリによるオブジェクト検出 |
Country Status (9)
Country | Link |
---|---|
US (1) | US10769444B2 (ja) |
EP (1) | EP3472755A4 (ja) |
JP (1) | JP2019531547A (ja) |
KR (1) | KR20190052028A (ja) |
CN (1) | CN109906455A (ja) |
MY (1) | MY198128A (ja) |
RU (1) | RU2729956C2 (ja) |
SG (1) | SG11201809634TA (ja) |
WO (1) | WO2018048355A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2010330629B2 (en) | 2009-12-10 | 2015-11-05 | Royal Bank Of Canada | Synchronized processing of data by networked computing resources |
US9940670B2 (en) | 2009-12-10 | 2018-04-10 | Royal Bank Of Canada | Synchronized processing of data by networked computing resources |
EP2652638B1 (en) | 2011-01-18 | 2020-07-29 | Hsni, Llc | System and method for recognition of items in media data and delivery of information related thereto |
US10939182B2 (en) * | 2018-01-31 | 2021-03-02 | WowYow, Inc. | Methods and apparatus for media search, characterization, and augmented reality provision |
US10814235B2 (en) * | 2018-02-08 | 2020-10-27 | Sony Interactive Entertainment Inc. | Vector-space framework for evaluating gameplay content in a game environment |
US11275833B2 (en) * | 2018-05-10 | 2022-03-15 | Endgame, Inc. | System and method for detecting a malicious file using image analysis prior to execution of the file |
EP3847811A4 (en) * | 2018-09-04 | 2022-05-25 | Pandoodle Corporation | METHOD AND SYSTEM FOR DYNAMIC ANALYSIS, MODIFICATION AND DISTRIBUTION OF DIGITAL IMAGES AND VIDEO |
WO2020064988A1 (en) | 2018-09-27 | 2020-04-02 | Deepmind Technologies Limited | Scalable and compressive neural network data storage system |
US11080358B2 (en) | 2019-05-03 | 2021-08-03 | Microsoft Technology Licensing, Llc | Collaboration and sharing of curated web data from an integrated browser experience |
US11386144B2 (en) * | 2019-09-09 | 2022-07-12 | Adobe Inc. | Identifying digital attributes from multiple attribute groups within target digital images utilizing a deep cognitive attribution neural network |
US10963702B1 (en) * | 2019-09-10 | 2021-03-30 | Huawei Technologies Co., Ltd. | Method and system for video segmentation |
US11049176B1 (en) | 2020-01-10 | 2021-06-29 | House Of Skye Ltd | Systems/methods for identifying products within audio-visual content and enabling seamless purchasing of such identified products by viewers/users of the audio-visual content |
CN111259843B (zh) * | 2020-01-21 | 2021-09-03 | 敬科(深圳)机器人科技有限公司 | 基于视觉稳定特征分类配准的多媒体导航仪测试方法 |
KR102522989B1 (ko) * | 2020-02-28 | 2023-04-18 | 주식회사 아토맘코리아 | 멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법 |
KR102415366B1 (ko) * | 2020-04-02 | 2022-07-01 | 네이버 주식회사 | 서로 다른 모달의 피처를 이용한 복합 랭킹 모델을 통해 연관 이미지를 검색하는 방법 및 시스템 |
US11589124B1 (en) | 2020-04-14 | 2023-02-21 | Worldpay Limited | Methods and systems for seamlessly transporting objects between connected devices for electronic transactions |
KR102395876B1 (ko) | 2020-04-14 | 2022-05-10 | 빅베이스 주식회사 | 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 |
WO2022031999A1 (en) * | 2020-08-05 | 2022-02-10 | Foodspace Technology, LLC | Method and apparatus for extracting product attributes from packaging |
US11386625B2 (en) * | 2020-09-30 | 2022-07-12 | Snap Inc. | 3D graphic interaction based on scan |
US11341728B2 (en) | 2020-09-30 | 2022-05-24 | Snap Inc. | Online transaction based on currency scan |
US11620829B2 (en) | 2020-09-30 | 2023-04-04 | Snap Inc. | Visual matching with a messaging application |
RU2754199C1 (ru) * | 2020-11-20 | 2021-08-30 | Акционерное Общество "Вьюэво" | Способ электронной коммерции через общественную вещательную среду |
GB2604851A (en) * | 2021-02-12 | 2022-09-21 | Tekkpro Ltd | A system for accessing a web page |
US11893792B2 (en) * | 2021-03-25 | 2024-02-06 | Adobe Inc. | Integrating video content into online product listings to demonstrate product features |
CN113313516A (zh) * | 2021-05-26 | 2021-08-27 | 广州长盛科技有限公司 | 基于音视频平台的成本核算方法 |
US11816174B2 (en) | 2022-03-29 | 2023-11-14 | Ebay Inc. | Enhanced search with morphed images |
CN114494982B (zh) * | 2022-04-08 | 2022-12-20 | 华夏文广传媒集团股份有限公司 | 一种基于人工智能的直播视频大数据精准推荐方法及系统 |
CN114880517A (zh) * | 2022-05-27 | 2022-08-09 | 支付宝(杭州)信息技术有限公司 | 用于视频检索的方法及装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080177640A1 (en) * | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
US7702681B2 (en) * | 2005-06-29 | 2010-04-20 | Microsoft Corporation | Query-by-image search and retrieval system |
US7747070B2 (en) * | 2005-08-31 | 2010-06-29 | Microsoft Corporation | Training convolutional neural networks on graphics processing units |
US9195898B2 (en) * | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
US20110082735A1 (en) * | 2009-10-06 | 2011-04-07 | Qualcomm Incorporated | Systems and methods for merchandising transactions via image matching in a content delivery system |
US8463100B2 (en) * | 2009-11-05 | 2013-06-11 | Cosmo Research Company Limited | System and method for identifying, providing, and presenting content on a mobile device |
CN102063436A (zh) * | 2009-11-18 | 2011-05-18 | 腾讯科技(深圳)有限公司 | 一种利用终端获取图像实现商品信息搜索的系统及方法 |
US20120238254A1 (en) * | 2011-03-17 | 2012-09-20 | Ebay Inc. | Video processing system for identifying items in video frames |
GB2506028B (en) * | 2011-04-12 | 2018-11-28 | Nat Univ Singapore | In-video product annotation with web information mining |
JP2012248070A (ja) * | 2011-05-30 | 2012-12-13 | Sony Corp | 情報処理装置、メタデータ設定方法、及びプログラム |
US8625887B2 (en) * | 2011-07-13 | 2014-01-07 | Google Inc. | Systems and methods for matching visual object components |
US10650442B2 (en) * | 2012-01-13 | 2020-05-12 | Amro SHIHADAH | Systems and methods for presentation and analysis of media content |
US8595773B1 (en) * | 2012-07-26 | 2013-11-26 | TCL Research America Inc. | Intelligent TV shopping system and method |
US20140100993A1 (en) * | 2012-10-04 | 2014-04-10 | Rico Farmer | Product Purchase in a Video Communication Session |
CN103020172B (zh) | 2012-11-28 | 2015-08-19 | 北京京东世纪贸易有限公司 | 一种利用视频信息搜索物品的方法和装置 |
US9560415B2 (en) * | 2013-01-25 | 2017-01-31 | TapShop, LLC | Method and system for interactive selection of items for purchase from a video |
US9323785B2 (en) * | 2013-03-06 | 2016-04-26 | Streamoid Technologies Private Limited | Method and system for mobile visual search using metadata and segmentation |
US9183583B2 (en) | 2013-05-13 | 2015-11-10 | A9.Com, Inc. | Augmented reality recommendations |
US10999637B2 (en) * | 2013-08-30 | 2021-05-04 | Adobe Inc. | Video media item selections |
US20150296250A1 (en) | 2014-04-10 | 2015-10-15 | Google Inc. | Methods, systems, and media for presenting commerce information relating to video content |
CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及系统 |
US10715862B2 (en) | 2015-02-24 | 2020-07-14 | Visenze Pte Ltd | Method and system for identifying relevant media content |
CN104715023B (zh) * | 2015-03-02 | 2018-08-03 | 北京奇艺世纪科技有限公司 | 基于视频内容的商品推荐方法和系统 |
CN104967885B (zh) * | 2015-03-27 | 2019-01-11 | 哈尔滨工业大学深圳研究生院 | 一种基于视频内容感知的广告推荐方法及系统 |
US10440435B1 (en) * | 2015-09-18 | 2019-10-08 | Amazon Technologies, Inc. | Performing searches while viewing video content |
US9959468B2 (en) * | 2015-11-06 | 2018-05-01 | The Boeing Company | Systems and methods for object tracking and classification |
CN105868238A (zh) * | 2015-12-09 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 信息处理方法及装置 |
US10482345B2 (en) * | 2016-06-23 | 2019-11-19 | Capital One Services, Llc | Systems and methods for automated object recognition |
-
2017
- 2017-09-07 US US16/331,330 patent/US10769444B2/en active Active
- 2017-09-07 EP EP17849212.0A patent/EP3472755A4/en not_active Withdrawn
- 2017-09-07 KR KR1020197009533A patent/KR20190052028A/ko not_active Application Discontinuation
- 2017-09-07 SG SG11201809634TA patent/SG11201809634TA/en unknown
- 2017-09-07 MY MYPI2018001841A patent/MY198128A/en unknown
- 2017-09-07 CN CN201780057452.5A patent/CN109906455A/zh active Pending
- 2017-09-07 WO PCT/SG2017/050449 patent/WO2018048355A1/en unknown
- 2017-09-07 RU RU2018142028A patent/RU2729956C2/ru active
- 2017-09-07 JP JP2019513057A patent/JP2019531547A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019531547A5 (ja) | ||
RU2018142028A (ru) | Обнаружение объектов из запросов визуального поиска | |
US10779037B2 (en) | Method and system for identifying relevant media content | |
CN109716327B (zh) | 视觉搜索平台的视频摄取框架 | |
US8170392B2 (en) | Method and apparatus for generation, distribution and display of interactive video content | |
JP5328934B2 (ja) | 動画像関連広告を提供する方法およびその装置 | |
US9449231B2 (en) | Computerized systems and methods for generating models for identifying thumbnail images to promote videos | |
TW201340690A (zh) | 視訊推薦系統及其方法 | |
WO2013068884A1 (en) | System and method for granular tagging and searching multimedia content based on user reaction | |
US20160267186A1 (en) | Apparatus and method for determining user attention using a deep-content-classification (dcc) system | |
KR20090093904A (ko) | 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템 | |
US11334924B2 (en) | Automated image ads | |
US20190258629A1 (en) | Data mining method based on mixed-type data | |
US20170013309A1 (en) | System and method for product placement | |
CN114390368A (zh) | 直播视频数据的处理方法及装置、设备、可读介质 | |
US20130246166A1 (en) | Method for determining an area within a multimedia content element over which an advertisement can be displayed | |
CN114467125B (zh) | 使用面部识别从视频内容中获取艺术家图像 | |
US20130138505A1 (en) | Analytics-to-content interface for interactive advertising | |
US11410216B2 (en) | Customer service assistance apparatus, customer service assistance method, and computer-readable recording medium | |
US9626567B2 (en) | Automated video campaign building | |
JP6496388B2 (ja) | 関連するメディアコンテントを識別するための方法及びシステム | |
Sabino et al. | Indirect location recommendation | |
GB2562814B (en) | Method and system for identifying relevant media content |