JP2019531547A5 - - Google Patents

Claims (11)

1. 映像中のオブジェクトを検出し、オブジェクトを１または複数の製品と照合する方法であって、
   ａ）映像を取得し、フレームまたは映像のフレームの一部に関するメタデータおよび属性を自動的に抽出するステップと、
   ｂ）類似度のしきい値を超えるフレームのペアまたはフレームシーケンス検出するために、映像が順にトラバースされ、各セグメントのためにキーフレームを識別し、類似点および相違点に関して連続するフレームのコンテンツを比較して、描写された情景およびイベントの少なくともいずれかに基づいて映像をセグメント化するステップと、
   ｃ）同一または類似の情景およびイベントの少なくともいずれかのセグメントをセグメント識別子でタグ付けしコンパイルするステップと、
   ｄ）１または複数のセグメントを分析し、１または複数のオブジェクトを検出し、フレームまたはフレームの一部は、既知のオブジェクトおよびクラスタのメタデータを規定のコンテンツとアラインすることにより規定したコンテンツであって、メタデータが、前記キーフレームから得られる１または複数のオブジェクトを検出するセグメント識別子によりフレームまたはフレームの一部がリンクし、それぞれのセグメントに対するオブジェクトの特徴ベクトルが生成されるステップと、
   ｅ）前記１または複数のオブジェクトを製品と比較するステップと、
   ｆ）畳み込みニューラルネットワーク（ＣＮＮ）を用いて前記１または複数のオブジェクトに関連する製品を特定するステップと、
   ｇ）畳み込みニューラル（ＣＮＮ）を用いて１または複数の視聴者に前記製品を通知するステップと、を含み、
   セカンドスクリーンの拡張は、ライブ映像またはストリーミング映像のために使用されることを特徴とする方法。
2. 前記データベースは、ウェブクローラを使用して既定のコンテンツが入力されることを特徴とする、請求項１に記載の方法。
3. １または複数の視聴者に前記製品を通知する前記ステップは、広告を表示するステップを含むことを特徴とする、請求項１に記載の方法。
4. １または複数の視聴者に前記製品を通知する前記ステップは、ウェブサイトまたは映像へハイパーリンクを提供するステップを含むことを特徴とする、請求項１に記載の方法。
5. 前記映像に含まれるデジタルスクリーンショットにおける１または複数のオブジェクトを検出し、前記１または複数のオブジェクトを販売促進物と照合する方法であって、
   ａ）視聴者からの問い合わせを、デジタルスクリーンショットの形式で受信するステップと、
   ｂ）前記デジタルスクリーンショットおよび／またはデジタルスクリーンショットの一部と、フレームまたはフレームに一部は、既知のオブジェクトおよびメタデータのクラスタを規定のコンテンツとアラインすることにより規定したコンテンツとを比較することで、前記デジタルスクリーンショットにおける１または複数のオブジェクトを追加するステップであって、映像におけるセグメント識別子に適合するデジタルスクリーンショットをバックオブビジュアルワード（ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓ）を使用し、上位Ｎ候補イメージの分類およびデータベースに追加し、
   ｃ）前記１または複数のオブジェクトを製品と比較するステップと、
   ｄ）製品の空間とマッチするか空間検証を畳み込みニューラル（ＣＮＮ）を用いて前記１または複数のオブジェクトに関連付けられた製品を照合するステップと、
   ｅ）問合せを受けるとビジュアルワードクラスタはアサインすると、前記視聴者に照合された製品に関する販売促進物を連絡するステップと、を含むことを特徴とする方法。
6. 前記データベースは、ウェブクローラを使用して既定のコンテンツが入力されることを特徴とする、請求項５に記載の方法。
7. セカンドスクリーンのコンテンツ拡張を、ライブ映像またはストリーミング映像のために使用することを特徴とする、請求項５に記載の方法。
8. 前記視聴者に、前記照合された製品に関連付けられた販売促進物を連絡する前記ステップは、宣伝を表示するステップ、および、ウェブサイトもしくは映像へのハイパーリンクを提供するステップの少なくともいずれかを含むことを特徴とする、請求項５に記載の方法。
9. 映像中のオブジェクトと製品のデータベース中の製品との間の関連を生成するためのシステムであって、
   ユーザーインターフェースアプリケーションを介してユーザーまたはユーザーグループにローカルまたはリモートで接続されるコンピュータネットワークおよびコンピュータシステムと、
   メディアコンテンツをローカルまたはサーバ上で検出および記憶するモジュールと、
   メタデータおよび視覚的特徴の少なくともいずれかを取り込むために、リモートまたはサーバベースのプロセッサに前記メディアコンテンツを送信するモジュールと、
   メタデータおよび視覚的特徴の少なくともいずれかを抽出するために、リモートまたはサーバベースのプロセッサに前記メディアコンテンツを送信するモジュールと、
   映像から送信された視覚的特徴を含むデジタル画像の形式で１または複数のユーザーからの入力を受信する装置と、
   デジタルイメージの前記視覚的特徴を識別し、前記視覚的特徴を前記データベース内のオブジェクトおよび関連製品のグループの少なくともいずれかと関連付けるように構成されたモジュールであって、既知のオブジェクト、関連商品のグループの少なくともいずれかおよびメタデータクラスタをアラインすることによって規定のコンテンツが入力され、バックオブビジュアルワード（ｂａｇ ｏｆ ｖｉｓｕａｌ ｗｏｒｄｓ）アプローチにより視覚的特徴の確認およびデータベースにおけるオブジェクトおよび／または関連商品のグループの視覚的特徴を対応させ、デジタルイメージをセグメント識別子と対応するようにオブジェクトのリストおよび関連商品のグループのすくなくともいずれかを修正し、
   視覚的特徴およびデジタルイメージのメタデータを分析し関連のあるオブジェクトおよび／または関連商品のグループにおいて、オブジェクトおよび／または関連商品のグループにおける空間とマッチするか空間検証を畳み込みニューラル（ＣＮＮ）を用いて分析し、
   前記オブジェクトおよび関連製品のグループの少なくともいずれかに関する情報を、入力を受け、ビジュアルワードクラスタに割り当てられたユーザーおよびユーザーのグループの少なくともいずれかに配信するネットワークサービスと、を含むことを特徴とするシステム。
10. 前記オブジェクトおよび関連製品のグループの少なくともいずれかについての前記情報は、広告を含むことを特徴とする、請求項９に記載のシステム。
11. 前記オブジェクトおよび関連製品のグループの少なくともいずれかについての前記情報は、前記インターネットを通じてアクセス可能なハイパーリンクまたはコンテンツを含むことを特徴とする、請求項９に記載のシステム。