JP2019532560A - コンテンツフィンガープリンティングのためのフィンガープリントレイアウト - Google Patents

コンテンツフィンガープリンティングのためのフィンガープリントレイアウト Download PDF

Info

Publication number
JP2019532560A
JP2019532560A JP2019511582A JP2019511582A JP2019532560A JP 2019532560 A JP2019532560 A JP 2019532560A JP 2019511582 A JP2019511582 A JP 2019511582A JP 2019511582 A JP2019511582 A JP 2019511582A JP 2019532560 A JP2019532560 A JP 2019532560A
Authority
JP
Japan
Prior art keywords
fingerprint
layout
subset
media content
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019511582A
Other languages
English (en)
Other versions
JP6750103B2 (ja
Inventor
ジュイクン チェン
ジュイクン チェン
Original Assignee
ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー
ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー, ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー filed Critical ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー
Publication of JP2019532560A publication Critical patent/JP2019532560A/ja
Application granted granted Critical
Publication of JP6750103B2 publication Critical patent/JP6750103B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541Rights Management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates

Abstract

メディアコンテンツを識別するための方法を開示する。方法は、コンテンツプロバイダからメディアコンテンツを受信し、フィンガープリントを採取して第1のフィンガープリントセットを取得することを含み、第1のフィンガープリントセットは、第1のフィンガープリントレイアウトの第1のフィンガープリントサブセットと、第2のフィンガープリントレイアウトの第2のフィンガープリントサブセットとを含む。方法は、第2のフィンガープリントセットを受信することを含むことができ、第2のフィンガープリントセットは、第1のフィンガープリントレイアウトの第3のフィンガープリントサブセットと、第2のフィンガープリントレイアウトの第4のフィンガープリントサブセットとを含む。方法は、メディアコンテンツを識別するために、第1のフィンガープリントサブセット内の第1のフィンガープリントを第3のフィンガープリントサブセット内の第2のフィンガープリントと照合し、または第2のフィンガープリントサブセット内の第3のフィンガープリントを第4のフィンガープリントサブセット内の第4のフィンガープリントと照合することを含むことができる。【選択図】図6B

Description

スマートテレビ(TV)などのメディア消費デバイスは、放送デジタルコンテンツにアクセスし、ストリーミングメディアなどのデータをデータネットワークから受信し得る。ストリーミングメディアとは、電話回線、ケーブルチャネル、インターネットチャネルなどを介してエンドユーザが映画またはニュースなどのメディアコンテンツを要求し得るサービスを指す。たとえば、ユーザは自身の住居を離れる必要なく映画を視聴し得る。また、ユーザは、学校または教育機関の物理的なクラスに参加する必要なく、ビデオ講義などの様々な種類の教育コンテンツにアクセスし得る。
メディア消費デバイスの数が増加し続けるにつれて、ビデオコンテンツの生成及び配信も同様に増加し得る。放送デジタルコンテンツ及びストリーミングメディアにアクセスするメディア消費デバイスの使用の増加に伴い、コンテンツプロバイダまたはネットワークプロバイダは、放送デジタルコンテンツまたはストリーミングメディアを消費している視聴者にコンテキスト的に関連のある素材を配信し得る。たとえば、ローカル放送局はコンテキスト的に関連のある広告及びインタラクティブコンテンツを放送デジタルコンテンツまたはストリーミングメディアに含め得る。
本開示は、以下に与える詳細な説明と、本開示の様々な実施形態の添付の図面とからより完全に理解されよう。しかしながら、図面は、本開示を特定の実施形態に限定するものと解釈されるべきではなく、説明及び理解のためのものにすぎない。
一実施形態によるコンテンツ配信ネットワークのシステム図である。 一実施形態によるコンテンツオーバレイネットワークのシステム図である。 一実施形態による、メディアコンテンツを含むためのフレームと、電子デバイスに表示する画像を生成するためのオンスクリーン表示との合成を示す図である。 一実施形態による、メディアコンテンツと、ウィンドウを含むオンスクリーン表示との合成を示す図である。 一実施形態による、メディアコンテンツと、複数のウィンドウを含むオンスクリーン表示との合成を示す図である。 一実施形態による、メディアコンテンツと、オンスクリーン表示と、電子デバイスに表示する画像を生成するためのオーバレイコンテンツとの合成を示す図である。 一実施形態による、フレームの完全細分割フィンガープリントレイアウトを示す図である。 一実施形態による、フレームの上部細分割フィンガープリントレイアウトを示す図である。 一実施形態による、複数のブロックを有する、図5Aに示したフレームの上部細分割フィンガープリントレイアウトを示す図である。 一実施形態による、図5Aに示したフレームの下部細分割フィンガープリントレイアウトを示す図である。 一実施形態による、複数のブロックを有する、図5Cに示したフレームの下部細分割フィンガープリントレイアウトを示す図である。 一実施形態によるメディアコンテンツを識別するための方法のフローチャートである。 一実施形態による、上部細分割フィンガープリントレイアウトを使用してメディアコンテンツを識別するための方法のフローチャートである。 一実施形態によるシステムの概略ブロック図である。
現在、ケーブルテレビ(TV)プロバイダ及び衛星プロバイダによって提供される数百の番組選択肢がある。また、多数のローカルテレビチャンネルを有する百を超える主要なテレビ市場地域が存在する。コンテンツプロバイダまたは放送局は、中央位置においてコンテンツフィードを生成し、コンテンツフィードを様々な場所に配信し得る。たとえば、コンテンツプロバイダはテレビチャンネルをいくつかのネットワークプロバイダに配信し得る。ネットワークプロバイダは、ローカル放送局、マルチチャンネルネットワーク、及び他のコンテンツ所有者または配給業者である場合がある。
「コンテンツ」という語は、メディアまたはマルチメディアを指す場合がある。また、「コンテンツ」という語は、メディア自体ではなくメディアの主題を意味する特定の語である場合もある。同様に、「メディア」という語、及び「メディア」を含むいくつかの複合語(たとえば、マルチメディアまたはハイパーメディア)は、その代わりにコンテンツを指すものであり、情報がエンドユーザ/視聴者に配信されるチャンネルを指すものではない。一般的にメディアの種類と呼ばれるコンテンツの種類の一例は、「フィルム」と呼ばれる「モーションピクチャ」である。他の例は「ビデオ」であり、これは典型的にはビデオフレーム及びオーディオサンプルを含む。「放送」は、ラジオ、テレビ、または他の電子デバイスによる情報(たとえば、メディアコンテンツ)の送信を指す場合がある。一例では、電子デバイスは送信機を使用してメディアコンテンツを放送することができる。他の例では、電子デバイスは、インターネットまたは他のプライベートもしくはパブリックネットワークを介してメディアコンテンツをストリーミングすることができる。「放送」はまた、電波(OTA)、ケーブル、衛星、またはインターネットベースのネットワークなどのコンテンツ配信システムを使用して、分散した視聴者に一対多モデルで配信されるビデオ及びオーディオコンテンツなどのメディアコンテンツを指す場合もある。たとえば、放送は、ラジオまたはテレビ送信機から電子デバイスで受信されるメディアコンテンツであり得る。
TV番組またはインターネット放送などのメディアコンテンツ放送またはストリーミングは、製品及びサービスを宣伝し、視聴者に情報を提供し、またはそれらの任意の組み合わせを行うための魅力的な場であり得る。多数の番組選択肢を提供するための収益を生み出すために、コンテンツプロバイダ(たとえば、テレビネットワーク)は、広告(AD)をメディアコンテンツに挿入することができる。従来、広告主は1つのメディアコンテンツのストリームをチャンネルの全視聴者に送信することに依存しており、ローカル放送局は、Nielsen Company(登録商標)によって提供される評価など、視聴者分析及び評価プロバイダに基づく視聴者のみをターゲットとしていた。
TV広告は製品またはサービスを宣伝するのに魅力的な場であるが、従来のTV広告は、異なる視聴者向けにターゲティングされパーソナライズされた広告を欠いている。自動コンテンツ認識(ACR)システムは、フィンガープリンティングを使用してメディアコンテンツを識別し、視聴者にターゲット広告及び/またはパーソナライズド広告を提供することができる。たとえば、ACRシステムはコンテンツフィンガープリンティングを使用してメディアコンテンツを識別することができる。一実施形態では、ACRシステムは、サーバまたはTVなどの電子デバイス上で実行されるソフトウェアとすることができる。他の実施形態では、ACRシステムは、インターネットを介して電子デバイスによりアクセス可能な、ベンダまたはサービスプロバイダによってホストされるサービスとすることができる。たとえば、ACRシステムは、サービスとしてのソフトウェア(SaaS)、サービスとしてのプラットフォーム(PaaS)、またはサービスとしてのインフラストラクチャ(IaaS)とすることができる。
コンテンツフィンガープリンティングは、処理デバイスがメディアコンテンツのフィンガープリント成分を識別し、抽出し、圧縮して、メディアコンテンツをその「フィンガープリント」によって一意に識別することを含むことができる。一例では、フィンガープリント成分は、視覚的なビデオの特徴、たとえば、キーフレーム分析、色、及びビデオシーケンス中の動きの変化などとすることができる。ACRシステムは、電子デバイスにより表示中のメディアコンテンツからの1つのコンテンツフィンガープリントまたはコンテンツフィンガープリントのシーケンスを、参照データベースに記憶されたフィンガープリントと照合することによって、ビデオコンテンツを識別することができる。
しかしながら、電子デバイスがメディアコンテンツ上にオンスクリーン表示をオーバレイした場合、オンスクリーン表示は、ACRシステムがメディアコンテンツを識別することを妨害する場合がある。たとえば、電子デバイスは、コンテンツプロバイダから受信したメディアコンテンツ上にオンスクリーン表示をオーバレイする場合がある。オンスクリーン表示は、ロゴ、字幕テキスト、緊急メッセージ、ボリュームバー、チャンネル番号、設定メニューなどである場合がある。
従来、電子デバイスがコンテンツフィンガープリントを生成し、ACRシステムに送信する場合、メディアコンテンツのコンテンツフィンガープリントはオンスクリーン表示を含み得、これはACRシステムがコンテンツフィンガープリントをメディアコンテンツの記憶されたフィンガープリントと照合することを妨害する場合があり、その理由は、記憶されたフィンガープリントがオンスクリーン表示を含まないためである。コンテンツフィンガープリントがオンスクリーン表示を含み、記憶されたフィンガープリントが含まない場合、記憶されたフィンガープリントの少なくとも一部はコンテンツフィンガープリントとは異なる。
本明細書で説明するのは、メディアコンテンツ上にオーバレイされた、または内部に埋め込まれたオンスクリーン表示を含むメディアコンテンツをACRシステムが識別することを可能にするための方法、システム、及びデバイスである。一実施形態では、デバイスは異なるフレームフォーマットを使用してフィンガープリントを生成することができる。デバイスは電子デバイスに通信可能に結合することができ、デバイスはフィンガープリントをACRシステムに通信することができる。ACRシステムはフィンガープリントを他のフィンガープリントと比較して、表示中のメディアコンテンツを識別することができる。ACRシステムは異なるフレームフォーマットを使用して、メディアコンテンツにおけるオンスクリーン表示からの妨害を回避することができる。本明細書の実施形態で説明するように、フィンガープリントに対して異なるフレームフォーマットを使用することによって、フィンガープリント照合時の偽陽性を回避することができる。また、異なるフレームフォーマットを使用することによって、フィンガープリント照合時の実際の一致の見逃しを回避することもできる。
図1に、一実施形態によるコンテンツ配信ネットワーク100のシステム図を示す。コンテンツ配信ネットワーク100において、コンテンツプロバイダ102はコンテンツフィードをローカルプロバイダ106に放送し得る。ローカルプロバイダ106はヘッドエンド104及びACRフィンガープリンタサーバ105を含み得る。ローカルプロバイダ106のヘッドエンド104は、コンテンツプロバイダ102からコンテンツフィードを受信することができる。ヘッドエンド104は受信したコンテンツフィードに基づいてローカルコンテンツフィードを生成し得る。たとえば、ヘッドエンド104は、国内または世界的な放送局から番組及び広告を含むネットワークチャネルを受信するローカルの系列放送局であり得る。一例では、ヘッドエンド104は、放送設備が放送フィードを送信する前の放送フィードのソースとすることができる。他の例では、ヘッドエンド104は分配増幅器とすることができる。分配増幅器はソースフィードを受信することができ、同一のソースフィードから異なるデバイスに対する複数の出力を生成することができる。出力フィードは、たとえば、電波(OTA)での放送、ケーブルプロバイダへの配信、衛星プロバイダへの配信、及び/またはオンラインストリーミングプロバイダへの配信など、様々な配信アウトレットにルーティングすることができる。
ヘッドエンド104は、ACRフィンガープリンタサーバ105、電波(OTA)放送局108、及び/または多チャンネルビデオ番組配信事業者(MVPD)110にローカルコンテンツフィードを通信し得る。一例では、ACRフィンガープリンタサーバ105は放送設備に設置されるデバイスとすることができる。ACRフィンガープリンタサーバ105はヘッドエンド104からフィードを受信することができる。ACRフィンガープリンタサーバ105はフィードのフィンガープリントを採取し、フィンガープリントをクラウドベースのウェブサービスに送信することができる。一実施形態では、ACRフィンガープリンタサーバ105は、フィードがテレビ(TV)などの表示デバイスに配信される前にフィードのフィンガープリントを採取するために、放送設備の内部に設置され得る。
OTA放送局108及び/またはMVPD110はローカルコンテンツフィードを電子デバイス115に通信し得る。電子デバイス115のいくつかの例には、電子デバイス118及び120、メディアコンテンツを電子デバイス118及び120にストリーミングするセットトップボックス114、ならびにユーザが無線などでローカルコンテンツフィードをストリーミングし得る他のデバイス116がある。一例では、電子デバイス115は、情報を表示するためのディスプレイ(たとえば、液晶ディスプレイまたはタッチスクリーンディスプレイ)を含むことができる。
一例では、OTA放送局108は、伝統的なローカルテレビチャンネルまたはラジオチャンネルを使用してローカルコンテンツフィードを放送し得る。この例では、電子デバイス118及び120は、ローカルコンテンツフィードを受信するためのアンテナ(たとえば、TVアンテナまたはラジオアンテナ)を含み得る。他の例では、MVPD110(たとえば、ケーブル放送局または衛星放送局)は、ローカルコンテンツフィードをセットトップボックス114に通信し得る。この例では、セットトップボックス114は電子デバイス118及び120に合わせてコンテンツフィードをフォーマットし得、フォーマットされたコンテンツフィードを電子デバイス118及び120に通信し得る。電子デバイス118及び120はローカルコンテンツを視聴者に表示するための表示デバイス、たとえば、テレビ画面またはタッチスクリーンを含み得る。
コンテンツ配信ネットワーク100の様々なコンポーネントは、電子デバイス118及び120に統合または結合され得る。たとえば、電子デバイス118及び120はスマートテレビとすることができる。一例では、スマートTVは、アンテナと、セットトップボックス114または一体型ACRシステムと、表示デバイスとを単一のユニット内に含むことができる。他の例では、スマートTVは処理デバイス及び無線周波数(RF)回路を含むことができる。処理デバイスはオペレーティングシステム(OS)、及び/または1つまたは複数のアプリケーション、たとえば、ビデオオンデマンド(VOD)コンテンツにアクセスするためのアプリケーションを実行することができる。処理デバイスは無線周波数(RF)回路のアンテナを使用して無線ローカルエリアネットワーク(WLAN)上で通信することができる。一例では、処理デバイスはRF回路を使用してインターネットに接続することによって、オンライン双方向メディアまたはオンデマンドストリーミングメディアにアクセスすることができる。
ACRフィンガープリントサーバ105はローカルコンテンツフィードを分析し、フィンガープリント情報(たとえば、フィンガープリント)を決定し得る。ACRフィンガープリントサーバ105はフィンガープリントをACRシステム124または126に通信し得る。ACRシステム124及び126はスマートTVメーカーなどのデバイスメーカーによって選択される異なるACRシステムであり得る。一例では、ACRシステム124または126は、命令を実行するまたはプロセスを実行するための処理ロジックまたは処理デバイスを含むことができる。他の例では、ACRシステム124及び126は、異なるACRベンダのACRウェブサービスとすることができる。
ACRフィンガープリンタサーバ105は、複数のACRベンダのインデックス化クライアントの使用を可能にすることができる。たとえば、TVメーカーなどの異なる家電メーカー(CEM)は、自社の電子デバイスへ統合するためのACRベンダを独立して選択することができる。特定のCEMのデバイス上でACRベースの機能を有効にするために、ACRシステムは、CEMがそのCEMのテレビに選択し統合したACRベンダを使用して放送フィードをインデックス化することができる。複数のACRベンダをACRフィンガープリンタサーバ105上に統合する1つの利点は、広告主、広告代理店、及びコンテンツプロバイダなどのエンティティが、単一のプラットフォームとインターフェースをとり、複数のCEMから電子デバイスに高度な広告及びコンテンツ体験を配信することが可能になることであり得る。
一例では、ACRシステム124は参照データベース125に結合することができる。他の例では、ACRシステム126は参照データベース127に結合することができる。参照データベース125及び127はフィンガープリント及びメディアコンテンツを記憶することができる。コンテンツ管理デバイス122は、ACRシステム124及び/または126からメッセージを受信するサーバコンポーネントとすることができる。メッセージは、どのメディアコンテンツを電子デバイス118または120が表示しようとしているか、または現在表示しているかを示す情報を含むことができる。一例では、コンテンツ管理デバイス122がメッセージを受信したことに応答して、コンテンツ管理デバイス122は、電子デバイス118または120と、データベース123に記憶されたメディアコンテンツとの間のインプレッションまたは関連付けを記録することができる。他の例では、コンテンツ管理デバイス122がメッセージを受信したことに応答して、コンテンツ管理デバイス122は、メディアコンテンツ上に重畳するために利用可能なオーバレイコンテンツについてデータベース123のクエリを生成し提出することができる。
一実施形態では、ACRシステム124または126はそれぞれ電子デバイス118または120にフィンガープリント要求を送信することができ、ここでフィンガープリント要求はフィンガープリントのフレームフォーマットを含む。電子デバイス118または120、あるいは電子デバイス118または120に統合されたACRシステムは、そのフレームフォーマットでフィンガープリントを生成し、フィンガープリントをACRシステム124または126に送り返すことができる。ACRシステム124または126はフィンガープリントをメディアコンテンツ識別に使用することができる。
以下の段落でより詳細に論じるように、フレームフォーマットは複数のセグメントに細分割されたフレームを含むことができる。一例では、フレームフォーマットは、複数のセグメントのうちの1つまたは複数のセグメントをACRシステム124または126による使用から除外して、コンテンツフィンガープリントを記憶されたフィンガープリントと照合することができる。たとえば、1つまたは複数の除外されたセグメントは、ロゴ、字幕テキスト、緊急メッセージなどを含むことができる。他の実施形態では、電子デバイス118または120は完全なフィンガープリントをACRシステム124または126に送信することができる。ACRシステム124または126は、フレームフォーマットによって定義されたようにフィンガープリントの1つまたは複数のセグメントを除外するようフィンガープリントを再フォーマットすることができる。一例では、ACRシステム124または126は、種々の異なるフィンガープリントレイアウトを要求することができる。他の例では、ACRシステム124または126は、コンテンツ認識に使用するための種々の異なるフォーマットにフィンガープリントを再フォーマットすることができる。
電子デバイス115からのコンテンツフィンガープリントと、参照データベースに記憶されたフィンガープリントとの一致を発見するために、ACRシステム124または126はコンテンツフィンガープリントと記憶されたフィンガープリントとの1対1の比較を行うことができる。たとえば、ACRシステム124または126は比較のためにO(n)のアルゴリズム(たとえば、線形アルゴリズム)を使用することができ、ここでnは参照データベース内の要素の数である。ACRシステムがO(n)のアルゴリズムを使用してデータベース内のエントリを検索する場合、ACRシステムは一致を発見するために参照データベースに記憶されたフィンガープリントの全てまたは比較的多数を検索する必要があり得る。
コンテンツ管理デバイス122は、電子デバイス118または120に関するデバイス情報を使用してオーバレイコンテンツをフィルタリングする。コンテンツ管理デバイス122は、ACRシステム124または126を介してオーバレイコンテンツを電子デバイス118または120に送信することができる。一実施形態では、電子デバイス118または120はオーバレイコンテンツを視聴者に表示することができる。他の実施形態では、電子デバイス118または120は、メディアコンテンツをオーバレイコンテンツと置き換え、オーバレイコンテンツを視聴者に表示することができる。
一実施形態では、ACRシステム124または126は、トリガを電子デバイス118または120に表示させることができる。電子デバイス118または120はトリガを認識し、電子デバイス118または120と、データベース123内のメディアコンテンツとの間のインプレッションまたは関連付けを記録する要求をコンテンツ管理デバイス122に送信することができる。たとえば、電子デバイス118または120は、電子デバイス118または120が選択されたメディアコンテンツを表示した場合に視聴者がチャンネルを変更したか否かを記録する要求をコンテンツ管理デバイス122に送信することができる。
本明細書に記載のように、自動コンテンツ認識は分散アーキテクチャで実行され得る。一実施形態では、ACRシステムは電子デバイス115、118、または120のいずれにも存在することができる。一実施形態では、ACRシステムは自動コンテンツ認識を実行することができる。他の実施形態では、自動コンテンツ認識を実行するために、ローカルACRシステムまたはローカルACRフィンガープリント照合器が電子デバイス115、118、または120に統合される。他の実施形態では、ACRシステムは本明細書に記載のACRフィンガープリント照合を実行し得る。他の実施形態では、ACRシステムはクライアント側の照合コンポーネントとすることができる。
電子デバイス115、118、または120は、テレビ、携帯電話、またはドングルなどのメディアデバイスとすることができる。ACRシステムは、電子デバイス115、118、または120上で実行されるまたは動作するソフトウェアまたはファームウェアとすることができる。ACRシステムは、メディアコンテンツ(たとえば、オーディオコンテンツ、ビデオコンテンツ、字幕、緊急メッセージなど)の再生中にメディアコンテンツのフィンガープリントを採取することができる。ACRシステムはACRシステム124または126と通信して、コンテンツ及びトリガイベントの識別を容易にすることによって、コンテンツオーバレイシステムに動的な広告の差し替え、及び/またはメディアコンテンツ上へのオーバレイコンテンツの重畳を行わせることができる。以下の段落では、ACRシステムとACRフィンガープリントサーバ105との対話をより詳細に説明する。
ACRフィンガープリントサーバ105は、ローカルコンテンツフィードからの順序付けられたフレームシーケンスを含み得るローカルコンテンツフィードを分析し、フィンガープリントをキャプチャし得る。ACRフィンガープリントサーバ105はフィンガープリントをACRシステム124または126に通信し得る。ACRシステム124及び126は、スマートTVメーカーなどのデバイスメーカーによって選択された異なるACRシステムであり得る。一例では、ACRフィンガープリントサーバ105は、異なるACRシステム124及び126に合わせてフィンガープリントをフォーマットし得る。
ACRシステム124及び126は、異なる電子デバイス115との通信接続を確立し得る。電子デバイス115はフィンガープリント情報をACRシステム124及び126それぞれに通信し得る。ACRシステム124または126が電子デバイス115からACRフィンガープリント情報を受信した場合、ACRシステム124または126は、受信したフィンガープリントをACRフィンガープリントサーバ105によって生成されたものと照合し得る。一致が発生し、ACRシステム124または126がコンテンツを識別した場合、ACRシステム124または126はACRイベントをコンテンツ管理デバイス122に通信し得る。
他の例では、ACRシステム124または126は、電子デバイス115のうちの1つからACRフィンガープリント情報を受信し得、受信したフィンガープリントをACRフィンガープリントサーバ105によって生成されたものと照合し得る。一致が発生し、ACRシステム124または126がコンテンツを識別した場合、ACRシステム124または126は電子デバイス115にACRイベントを通知し得る。電子デバイス115はACRイベント情報をコンテンツ管理デバイス122に通信し得る。代替的または追加的に、ACRシステム124または126は、ACRイベント情報をコンテンツ管理デバイス122に直接通信し得る。ACRイベント情報は、ローカルコンテンツフィード内の広告を示す情報、ローカルコンテンツフィード内の選択されたもしくはフラグが付与されたコンテンツを示す情報、または電子デバイス115におけるコンテンツチャンネルの新たなメディアコンテンツへの変更を示す情報を含み得る。
異なるACRシステム124及び126からのACRイベント情報は異なるフォーマットであり得、コンテンツ管理デバイス122はそのデータを共通のフォーマットに正規化し得る。コンテンツ管理デバイス122は正規化されたデータをデータベース123に記憶することができる。たとえば、コンテンツ管理デバイス122は、ACRシステム124及び126から異種のデータセットを受信し得、異種のデータセットは類似しているが同一ではないデータ、たとえば、同一のコンテンツを有するが異なってフォーマットされたデータを含む。コンテンツ管理デバイス122は異種のデータセットを処理し再フォーマットして、単一のデータモデルまたはフォーマット(たとえば、再フォーマットされたデータセット)を生成することができる。コンテンツ管理デバイス122は再フォーマットされたデータセットをデータベース123に記憶することができる。
一実施形態では、ACRシステム124及び126からの異種のデータセットを正規化するために、コンテンツ管理デバイス122はデータセット内のデータを除去またはフィルタリングし得る。たとえば、いくつかのデータセットは、コンテンツ管理デバイス122とは無関係であり得るフィールドまたはデータを含み得る。この例では、コンテンツ管理デバイス122は、無関係のデータを除去またはフィルタリングし得る。他の実施形態では、ACRシステム124及び126からの異種のデータセットを正規化するために、コンテンツ管理デバイス122はデータセット内のフィールドをマッピングし得る。たとえば、コンテンツ管理デバイス122がACRシステム124から第1のデータセットを受信し、ACRシステム126から第2のデータセットを受信した場合、第1のデータセット及び第2のデータセットのデータフィールドの少なくともいくつかは、第1のデータセット及び第2のデータセットの両方に共通であり得る。しかしながら、共通のデータフィールドは、第1のデータセット及び第2のデータセットにおいて異なる場所に配置され得る。この例では、コンテンツ管理デバイス122は、第1のデータセット及び第2のデータセットの異なるデータフィールドを正規化されたフィールドにマッピングし得る。コンテンツ管理デバイス122がデータフィールドをマッピングする場合、同一のデータフィールドがデータベース123内の同一のデータフィールド位置にマッピングされる。
他の実施形態では、ACRシステム124及び126からの異種のデータセットを正規化するために、コンテンツ管理デバイス122はデータセットからデータを導出し得る。たとえば、ACRシステム124及び126からのデータは、データベース内のデータフィールドを埋めるために必要とされるフィールド全てを含まない場合がある。しかしながら、コンテンツ管理デバイス122は、ACRシステム124及び126からのデータセット内の他のフィールドを使用してこれらのデータフィールドのデータを導出し得る。
一例では、データベース123は、国内の州のフィールド、指定マーケット地域(DMA)フィールド、ならびに郡及び/または市のフィールドについてのデータフィールドを含み得るが、ACRシステム124及び126からのデータセットは郵便集配区域改善計画(ZIP)コードのみを含み得る。この例では、コンテンツ管理デバイス122はZIPコードを使用してデータベース内のフィールドのデータを導出し得る。他の例では、データセットはいかなる地理的位置情報も含まず、ACRシステム124及び126のインターネットプロトコル(IP)アドレスを含む場合がある。この例では、コンテンツ管理デバイス122は地理的IP検索サービスを使用して、州、DMA、郡、市及びZIPコード情報を導出し得る。
他の例では、データベース123は人口統計フィールド、たとえば、年齢フィールド、性別フィールド、世帯収入フィールドなどを含み得る。しかしながら、ACRシステム124及び126からのデータセットは、人口統計フィールドまたは人口統計データを含まない場合がある。この例では、ACRシステム124及び126はコンテンツ管理デバイス122に電子デバイス115のIPアドレスを提供し得る。コンテンツ管理デバイス122はIPアドレスを使用して人口統計データを決定することによって、データベース内のデータフィールドを入力し得る。
他の例では、ACRシステム124からの第1のデータセット内のフィールドは、山岳部夏時間(MDT)ゾーンなどの現地時間帯情報を含み得、ACRシステム126からの第2のデータセットは協定世界時(UTC)ゾーンなどの他の時間帯の情報を含み得る。データベースはUTCを使用して全てのデータを記憶し得、コンテンツ管理デバイス122はデータベース123にデータを記憶する前に現地時間をUTCに変換し得る。
一実施形態では、コンテンツ管理デバイス122は正規化されたデータを使用して、異なるACR技術ベンダ及びスマートTVまたは他のインターネット接続ビデオデバイスにわたるユーザの視聴行動に関するレポートまたはデータ(視聴データ)を生成し得る。コンテンツ管理デバイス122及び電子デバイス115は、電子デバイス115とコンテンツ管理デバイス122との間でオーバレイコンテンツなどの情報を通信するための通信インターフェースを含み得る。一例では、通信インターフェースはセルラーネットワーク及び/または無線ネットワークを使用して情報を通信し得る。一例では、通信ネットワークは、third generation partnership project(3GPP)リリース8、9、10、11、もしくは12、またはInstitute of Electronics and Electrical Engineers,Inc.(IEEE(登録商標))802.16p、802.16n、802.16m−2011、802.16h−2010、802.16j−2009、802.16−2009を採用したセルラーネットワークであり得る。他の実施形態では、通信ネットワークは、Institute of Electrical and Electronics Engineers,Inc.によって開発されたIEEE(登録商標)規格、たとえば、IEEE802.11−2012、IEEE802.11ac、またはIEEE802.11ad規格に従い得る無線ネットワーク(たとえば、Wi−Fi Allianceによって開発されたWi−Fi(登録商標)技術を使用するネットワーク)であり得る。他の実施形態では、通信ネットワークは、Bluetooth(登録商標) v1.0、Bluetooth(登録商標) v2.0、Bluetooth(登録商標) v3.0、またはBluetooth(登録商標) v4.0などのBluetooth(登録商標) Special Interest Group(SIG)によって開発されたBluetooth(登録商標)接続を展開し得る。他の実施形態では、通信ネットワークは、ZigBee Allianceによって開発されたZigbee(登録商標)接続、たとえば、IEEE802.15.4−2003(Zigbee 2003)、IEEE802.15.4−2006(Zigbee 2006)、IEEE802.15.4−2007(Zigbee Pro)であり得る。
一例では、コンテンツ管理デバイス122は、OTA放送局108またはMVPD110から受信したローカルコンテンツフィードのセグメントをオーバレイコンテンツで置き換えるように電子デバイス115に指示し得る。他の例では、コンテンツ管理デバイス122は、ローカルコンテンツフィードのセグメント上にオーバレイコンテンツをオーバレイまたは重畳するように電子デバイス115に指示し得る。コンテンツ管理デバイス122は、複数のACRシステム124及び126にわたってACRイベント情報を集約し得、異なる電子デバイス115(たとえば、異なるデバイスメーカーの電子デバイス)にオーバレイコンテンツを通信し得る。
また、コンテンツ管理デバイス122は他のデバイス116との通信接続を確立し得る。一例では、他のデバイス116は電子デバイス118及び120と通信し、オーバレイコンテンツを表示するための追加の画面(たとえば第2の画面)を提供し得る。たとえば、電子デバイス118及び120は、OTA放送局108またはMVPD110からローカルコンテンツフィードを受信し、ローカルコンテンツフィードを視聴者に表示し得る。また、他のデバイス116は、先の段落で説明したように、ACRイベントが発生した場合に、ACRイベント情報をACRシステム124及び126に通信し得る。コンテンツ管理デバイス122がACRイベント情報を受信した場合、コンテンツ管理デバイス122はオーバレイコンテンツを他のデバイス116に通信し得る。
一例では、電子デバイス118及び120は、他のデバイス116がオーバレイコンテンツを表示している間に、ローカルコンテンツフィードを表示し続け得る。他の例では、電子デバイス118及び120と、他のデバイス116との両方がオーバレイコンテンツを表示し得る。他の例では、電子デバイス118及び120ならびに他のデバイス116は、オーバレイコンテンツのセグメントと、ローカルコンテンツフィードのセグメントとを表示し得る。他の例では、電子デバイス118及び120ならびに他のデバイス116は、異なるローカルコンテンツフィードと、異なるオーバレイコンテンツとを表示し得る。
一例では、電子デバイス118及び120及び/または他のデバイス116は、電子デバイス118及び120及び/または他のデバイス116がオーバレイコンテンツを受信したときにオーバレイコンテンツを表示し得る。他の例では、電子デバイス118及び120及び/または他のデバイス116は、閾値期間の間、オーバレイコンテンツの表示を遅延させ得る。一実施形態では、閾値期間は所定の期間であり得る。他の実施形態では、コンテンツ管理デバイス122は、電子デバイス118及び120ならびに他のデバイス116がオーバレイコンテンツの表示を遅延させる期間を選択し得る。
図2に、一実施形態によるコンテンツオーバレイネットワーク200のシステム図を示す。コンテンツオーバレイネットワーク200は、電子デバイス210、第1のACRシステム220、コンテンツデータベース230、オーバレイコンテンツサーバ240、レコードデータベース250、及びオーバレイコンテンツ管理システム260を含むことができる。ACRシステム220は放送デジタルコンテンツを電子デバイス210に提供する。放送デジタルコンテンツは、電子デバイス210が視聴者に表示するための、ACRシステム220がメディアセグメント上に重畳またはオーバレイするオーバレイコンテンツを含むことができる。メディアセグメントはメディアコンテンツの1セグメントまたは一部分とすることができる。たとえば、メディアセグメントは、たとえばTV番組クリップまたは映画クリップなどの、TV番組または映画のメディアコンテンツの1セグメントまたは一部分とすることができる。他の例では、メディアコンテンツのメディアセグメントは、TV番組または映画のメディアコンテンツの一部であるコマーシャルとすることができる。
一実施形態では、ACRシステム220は電子デバイス210に統合される。他の実施形態では、ACRシステム220は電子デバイス210に結合される。一例では、ACRシステム220は、電子デバイス210の入力ポートを使用して電子デバイス210に直接結合することができる。たとえば、ACRシステム220は、電子デバイス210のHDMI(登録商標)入力端子に差し込まれる高精細メディアインターフェース(HDMI(登録商標))ドングルである。この例では、ACRシステム220は、HDMI(登録商標)入力ポート、HDMI(登録商標)出力ポート、及びコンテンツプロバイダから放送コンテンツまたはメディアセグメントを受信するためのネットワークインターフェースを含むことができる。他の例では、ACRシステム220は、オーディオ及び/またはビデオ(A/V)デバイスなどの、電子デバイス210に結合された他のデバイスを介して電子デバイス210に間接的に結合することができる。
電子デバイス210はACRシステム220を使用して、視聴者にターゲティングまたはパーソナライズされたオーバレイコンテンツセグメントを表示することができる。オーバレイコンテンツセグメントは、コンテンツのオーディオセグメント、ビデオセグメント、及び/またはグラフィカルセグメントとすることができる。一例では、オーバレイコンテンツセグメントは、差し替えADであるコンテンツのオーディオセグメントまたはビデオセグメントを含むメディアオブジェクトまたはファイルとすることができる。他の例では、オーバレイコンテンツセグメントは、他のオーバレイコンテンツセグメントを含むより大きいオーディオオブジェクトまたはより大きいビデオオブジェクトのオーディオセグメントまたはビデオセグメントである。
一実施形態では、ACRシステム220は、ACR放送コンテンツに電子透かしを使用することができる。電子透かしのために、コンテンツプロバイダまたは放送局は、コンテンツ信号を放送する前に、放送コンテンツを処理して透かしデータをコンテンツ信号に挿入することができる。電子デバイス210またはACRシステム220は透かしデータを検出してメディアセグメントを識別し、放送コンテンツと同期させることができる。
他の実施形態では、ACRシステム220は、電子デバイスがメディアコンテンツを表示するときに、コンテンツフィンガープリンティングを使用して放送コンテンツのメディアコンテンツを識別することができる。コンテンツフィンガープリンティングは、ACRシステム220が、電子デバイス210が表示しているメディアコンテンツについてのコンテンツフィンガープリントのシーケンスを参照データベースに記憶されたフィンガープリントのものと照合することを含むことができる。コンテンツフィンガープリンティングの利点は、メディアセグメントが放送されている間にメディアセグメントを処理すること(たとえば、ライブ処理)、またはメディアセグメントが放送された後の閾値期間内、たとえば数秒内にこれを行うこと(たとえば、実質的にライブ処理)であり得る。コンテンツオーバレイネットワーク200は、電子デバイス210がコンテンツを表示したときに、コンテンツ放送中の視聴者の行動に基づいてオーバレイコンテンツセグメントを調整すること(たとえば、ライブ調整または実質的にライブ調整)ができる。一例では、視聴者の行動は、電子デバイス210がユーザデバイスからチャンネルを変更するための、またはメディアコンテンツの表示を一時停止するためのコマンドを受信することを含むことができる。他の例では、視聴者の行動は、電子デバイス210がタイムシフトコンテンツを表示するためのコマンドをユーザデバイスから受信することを含むことができる。視聴者がコンテンツを選択または変更すると、コンテンツオーバレイネットワーク200は、メディアコンテンツに重畳されるオーバレイコンテンツを切り替えることができる。
オーバレイコンテンツサーバ240はACRシステム220に結合される。オーバレイコンテンツサーバ240はコンテンツプロバイダまたは広告主からオーバレイコンテンツを受信することができる。オーバレイコンテンツサーバ240は、メディアセグメント、オーバレイコンテンツセグメント、ならびにメディアセグメント及びオーバレイコンテンツセグメントのフォーマット情報を記憶することができる。オーバレイコンテンツサーバ240は、オーバレイフォーマットのうちの選択されたオーバレイフォーマットでメディアセグメントを電子デバイス210に送信することができる。
レコードデータベース250はオーバレイコンテンツサーバ240に結合される。レコードデータベース250は、電子デバイス210が表示するメディアセグメントまたはオーバレイコンテンツセグメントのレコードを保持することができる。一実施形態では、電子デバイス210は、電子デバイス210を一意に識別する一意の識別子(UID)が関連付けられる。また、UIDをメディアセグメントまたはオーバレイコンテンツセグメントと関連付けて、どのメディアセグメントまたはオーバレイコンテンツセグメントを電子デバイス210が表示したかを示すことができる。
他の実施形態では、レコードデータベース250はオーバレイコンテンツサーバ240からメッセージを受信することができる。一例では、メッセージは、メディアセグメントを識別するメディアセグメントIDと、そのメディアセグメントIDに関連付けられたUIDとを含むことができる。他の例では、メッセージは、オーバレイコンテンツセグメントを識別するオーバレイコンテンツセグメントIDと、そのオーバレイコンテンツセグメントIDに関連付けられたUIDとを含むことができる。レコードデータベース250は、様々なメディアセグメントID及びオーバレイコンテンツセグメントIDを、それらに関連付けられたUIDと共に記憶して、オーバレイコンテンツサーバ240により後で検索できるようにすることができる。オーバレイコンテンツサーバ240はレコードデータベース250を検索して、メディアセグメントIDまたはオーバレイコンテンツセグメントIDにそれぞれ関連付けられたメディアセグメントまたはオーバレイコンテンツセグメントが、UIDを有する電子デバイス210に以前に表示されたときを決定することができる。
一実施形態では、オーバレイコンテンツ管理システム260は、メディアセグメント及びオーバレイコンテンツセグメントのシーケンスの構成情報を受信するための入力デバイスを含むことができる。一例では、入力デバイスは電子デバイス上のソフトウェアインターフェース(たとえば、ウェブポータル)とすることができ、ここでユーザはオーバレイコンテンツサーバ240においてメディアセグメント及びオーバレイコンテンツセグメントのシーケンスを構成するための構成情報を入力することができる。たとえば、オーバレイコンテンツ管理システム260は、オーバレイコンテンツ及び差し替えビデオを生成、視聴、更新、及び削除するための、エンドユーザがアクセス可能なウェブサイトとすることができる。
一例では、ユーザは入力デバイスを使用して、オーバレイコンテンツサーバ240がオーバレイコンテンツセットのオーバレイコンテンツセグメントを選択するために使用する規則または基準を設定することができる。一実施形態では、規則または基準は、メディアコンテンツ及びオーバレイコンテンツセグメントなどの、オーバレイコンテンツセット内の項目を表示する順序を含むことができる。他の実施形態では、規則または基準は、ユーザの人口統計情報を考慮して異なるオーバレイコンテンツセグメントを表示することを含むことができる。一例では、ユーザが男性の場合、電子デバイス210は選択されたオーバレイコンテンツセグメントを表示し得る。他の例では、ユーザが女性の場合、他のオーバレイコンテンツセグメントが表示され得る。他の実施形態では、規則または基準は、時刻を考慮して異なるオーバレイコンテンツセグメントを表示することを含むことができる。たとえば、朝に電子デバイス210は朝食に関連するオーバレイコンテンツセグメントを表示することができ、晩に電子デバイス210は夕食に関連するオーバレイコンテンツセグメントを表示することができ、夜間に電子デバイス210は成人向けテーマに関連するオーバレイコンテンツセグメントを表示することができる。他の実施形態では、オーバレイコンテンツサーバ240は、メディアコンテンツ及びオーバレイコンテンツセグメントを直線的なシーケンスに並べるための構成情報を受信するための入力デバイスを含むことができる。たとえば、ユーザはグラフィカルユーザインターフェース(GUI)を使用して、メディアセグメント及びオーバレイコンテンツセグメントのシーケンスを並べるための構成情報をオーバレイコンテンツサーバ240に送信することができる。
図3Aに、一実施形態による、メディアコンテンツ302を含むためのフレームと、電子デバイスに表示する画像を生成するためのオンスクリーン表示304との合成を示す。合成は、メディアコンテンツ302及びオンスクリーン表示304など、複数のトラック上に2つ以上のビデオまたはグラフィックを積み重ねることによって表示画像を生成する技法とすることができる。処理デバイス、たとえば、スマートTVまたはACRシステムに統合された処理デバイスは、ビデオまたはグラフィックを1つの画像に混合することができる。一実施形態では、各トラックはレイヤとすることができる。一例では、オンスクリーン表示304などの最高位レイヤまたは最上位レイヤは、主要レイヤとすることができる。主要レイヤは、メディアコンテンツ302の前に表示され得るレイヤとすることができる。一例では、オンスクリーン表示304は、メディアコンテンツ302(たとえば、最低位レイヤまたは最下位レイヤ)の少なくとも一部をカバーすることができる。
画像のレイヤは1つまたは複数のデバイスで受信され合成され得る。一実施形態では、メディアコンテンツ302は、第1のデバイスに記憶されるまたは存在することができ、高精細マルチメディアインターフェース(HDMI(登録商標))接続などのインターフェースを介して第2のデバイスに送信することができる。第2のデバイスは受信したメディアコンテンツ302をオンスクリーン表示304と合成して最終的な合成画像を表示することができる。
他の実施形態では、メディアコンテンツ302及びオンスクリーン表示304は、第1のデバイスに記憶されるまたは存在することができる。第1のデバイスは受信したメディアコンテンツ302をオンスクリーン表示304と合成して最終的な合成画像として表示することができる。次いで、第1のデバイスは最終的な合成画像をインターフェースを介して第2のデバイスに送信することができる。他の実施形態では、メディアコンテンツ302及びオンスクリーン表示304は単一のデバイス上に記憶されまたは存在し得、単一のデバイスはメディアコンテンツ302及びオンスクリーン表示304を合成して合成画像を表示することができる。
処理デバイスがメディアコンテンツ302またはオンスクリーン表示304を合成することは、メディアコンテンツ302またはオンスクリーン表示304の少なくとも1セグメントの不透明度または透明度を変更することを含むことができる。たとえば、合成は、視聴者がメディアコンテンツ302の一部を見られるように、オンスクリーン表示304(たとえば、主要レイヤ)のセグメントの不透明度レベルを変更することを含むことができる。たとえば、処理デバイスは、オンスクリーン表示304の下部の位置に対応するウィンドウ306をオンスクリーン表示304内に定義することができる。ウィンドウ306は、メディアコンテンツ302上に重畳可能な情報(たとえば、テキスト、グラフィック、またはビデオ)を含むことができる。一例では、ウィンドウ306内の情報は字幕テキストを含むことができる。処理デバイスはウィンドウ306の不透明度レベルを不透明または塗りつぶしに設定することができ、オンスクリーン表示304の残りの部分308の不透明度レベルを透明に設定することができる。残りの部分308の不透明度レベルが透明である場合、メディアコンテンツ302は視聴者に見えるようになる。
図3Bに、一実施形態による、メディアコンテンツ302と、ウィンドウ310を含むオンスクリーン表示304との合成を示す。図3Bの特徴のいくつかは、特に明記しない限り、同一の参照番号によって示された図3Aの特徴のいくつかと同一または類似している。処理デバイスは、オンスクリーン表示304の上部の位置に対応するウィンドウ310をオンスクリーン表示304内に定義することができる。ウィンドウ310はメディアコンテンツ302上に重畳可能な情報(たとえば、テキスト、グラフィック、またはビデオ)を含むことができる。一例では、ウィンドウ310内の情報は緊急メッセージ用のテキストを含むことができる。オンスクリーン表示304の残りの部分308を透明にして、残りの部分308を通してメディアコンテンツ302の少なくとも一部を見えるようにすることができる。
図3Cに、一実施形態による、メディアコンテンツ302と、ウィンドウ312〜318を含むオンスクリーン表示304との合成を示す。図3Cの特徴のいくつかは、特に明記しない限り、同一の参照番号によって示された図3Aの特徴のいくつかと同一または類似している。処理デバイスは、オンスクリーン表示304の角の位置に対応するように、ウィンドウ312〜318をオンスクリーン表示304内に定義することができる。ウィンドウ312〜318は、メディアコンテンツ302の1つまたは複数の角に重畳可能な情報(たとえば、テキスト、グラフィック、またはビデオ)を含むことができる。一例では、ウィンドウ312〜318のうちの1つまたは複数の中の情報は、ロゴのテキスト及び/またはグラフィックを含むことができる。オンスクリーン表示304の残りの部分308を透明にして、残りの部分308を通してメディアコンテンツ302の少なくとも一部を見えるようにすることができる。
図3Dに、一実施形態による、メディアコンテンツ302と、オンスクリーン表示304と、電子デバイスに表示する画像を生成するためのオーバレイコンテンツ318との合成を示す。一例では、最上位レイヤまたは主要レイヤは、オーバレイコンテンツ318とすることができる。一例では、オーバレイコンテンツ318は、メディアコンテンツ302(たとえば、最低位レイヤまたは最下位レイヤ)と、オンスクリーン表示304(たとえば、中間レイヤ)とをカバーまたはマスクすることができる。この例では、オンスクリーン表示304はメディアコンテンツ302をカバーまたはマスクすることができる。
一例では、処理デバイスは、オーバレイコンテンツ318の一部の不透明度レベルを調整して、オーバレイコンテンツ318の下または後ろにあるオンスクリーン表示304の一部を視聴者が見られるようにすることができる。他の例では、処理デバイスは、オーバレイコンテンツ318及びオンスクリーン表示304の一部の不透明度レベルを調整して、視聴者がオーバレイコンテンツ318、オンスクリーン表示304及びメディアコンテンツ302の一部を見られるようにすることができる。
図4に、一実施形態による、フレーム400の完全細分割フィンガープリントレイアウトを示す。フレーム400は、メディアコンテンツ302及びオンスクリーン表示304の合成とすることができる(図3A〜3D)。細分割フィンガープリントレイアウトは、ACRシステムが完全細分割フィンガープリントレイアウトを使用してフレーム400を複数のブロック410〜440に細分割することを含むことができる。ブロック410〜440はそれぞれ、フレーム400内の異なる定義されたセグメントまたは場所を表すことができる。一例では、ブロック410〜440は長方形または正方形とすることができる。他の例では、ブロック410〜440は多角形、円形、楕円形などとすることができる。他の例では、ブロック410〜440のそれぞれはほぼ同一のサイズとすることができる。他の例では、ブロック410〜440のうちの1つまたは複数は異なるサイズとすることができる。フレーム内のブロック数、ならびにブロックの形状及びサイズは限定的であることが意図されておらず、ブロック数ならびにブロックの形状及びサイズは変化することができる。
一実施形態では、フレーム400は、16ブロック410〜440を有する4×4グリッドに細分割することができる。角ブロック434、436、438、及び/または440は、ロゴなどのオンスクリーン表示を含み得る。たとえば、オンスクリーン表示304の角は、ロゴを表示するために利用可能な場所として定義され得る。
一例では、電子デバイス118(図1)が完全細分割フィンガープリントレイアウトを使用したフレーム400のフィンガープリントを生成する要求をACRシステム124から受信した場合、電子デバイス118はブロック410〜440を含む完全なフィンガープリントを生成することができる。この例では、電子デバイス118は次いで、角ブロック434、436、438、及び/または440のうちの1つまたは複数をフィンガープリントから除去し、フィンガープリントをACRシステム124に送信することができる。他の例では、電子デバイス118が完全細分割フィンガープリントレイアウトを使用したフレーム400のフィンガープリントを生成する要求をACRシステム124から受信した場合、電子デバイス118はフィンガープリントから角ブロック434、436、438、及び/または440のうちの1つまたは複数を除外したフィンガープリントを生成することができる。電子デバイス118は次いでフィンガープリントをACRシステム124に送信することができる。
一例では、フレーム400が、16ブロック410〜440を有する4×4グリッドのブロックに分割され、ブロック434、436、438、及び440が除去された場合、完全細分割フィンガープリントレイアウトには合計12ブロックが存在する。この例では、完全細分割フィンガープリントレイアウトは、12!通りの異なる順列(すなわち、12!=479001600通りの順列)の、12ブロックの順位の順序を有する。一実施形態では、ACRシステムは、メディアコンテンツが毎秒30フレームを有すると仮定して、フィンガープリンティングのために7日間のメディアコンテンツを記憶することができる。一例では、7日間のビデオについて、総最大フレーム数は、7日×24時間×60分×60秒×30フレーム=18144000フレームであり、479001600通りの順列/18144000フレーム=26.4倍である。他の例では、3×3ブロックの場合、フィンガープリントは9!通りの異なる順列を有することができる。他の例では、5×5ブロックの場合、フィンガープリントは25!通りの異なる順列を有することができる。
細分割フィンガープリントレイアウトのブロック数は限定的であることが意図されていない。ブロック数は2ブロックから数百万ブロックの範囲とすることができる。一例では、ACRシステム124または電子デバイス118は、参照データベース125内の複数のフィンガープリントがフレーム400のフィンガープリントと一致する閾値数の衝突を回避するのに十分な数の順列を提供するように、完全細分割フィンガープリントレイアウトに使用するブロック数を選択することができる。一実施形態では、3×3グリッドのブロックは、閾値衝突数を超える数の衝突を引き起こし得る不十分な数の順列を有し得る。
他の実施形態では、ACRシステム124または電子デバイス118は、各ブロックが少数のピクセルを含まないように、完全細分割フィンガープリントレイアウトに使用するブロック数を選択することができる。たとえば、ACRシステム124または電子デバイス118は、角ブロック434、436、438、及び/または440をフィンガープリントから除去し、ブロック410〜432はグレースケールブロックになるように再フォーマットすることができる。一例では、グレースケールブロックはそれぞれ平均値を有することができる。
グレースケールブロックの平均値は、グレースケールブロックの光度または明度レベルに基づいて増加または減少することができる。たとえば、白のグレースケールブロックは平均値0を有することができ、黒のグレースケールブロックは平均値455を有することができる。この例では、グレースケールブロックの平均値はカラーブロックよりも少ない量のデータを使用することができる。グレースケールブロックの平均値は、フィンガープリンティングに関して多量の輝度情報を保持することもできる。たとえば、グレースケールブロックの輝度情報は、フレーム400のカラーフィンガープリントの輝度情報と実質的に同様にすることができる。小さいブロック面積(たとえば、少数のピクセル)を有するブロックの平均グレースケール値のわずかな変動によって、フィンガープリントが変化し、参照データベースに記憶されたフィンガープリントとの一致が不正確になる場合がある。
ブロック410〜432に関連する平均値は順位付けまたは重み付けすることができる。たとえば、ブロック410〜432は、序数順位を使用して順位付けすることができる。序数順位は平均値のシーケンスであり、各平均値の順位はそれぞれのグレースケール平均値の序数順位とすることができる。たとえば、値のシーケンスは10、20、40、30であり、序数順位は1、2、4、3とすることができる。他の例では、値のシーケンスは12、28、43、33であり、序数順位は同様に1、2、4、3とすることができる。
他の例では、関連するブロック410〜432の平均値は昇順または降順で順位付けすることができる。ブロック410〜432に関連する12個のグレースケール平均値の順位は、たとえば16進数文字列などのシーケンスへと連結することができる。16進数文字列はフレーム400のフィンガープリント値とすることができる。
図5Aに、一実施形態による、フレーム500の上部細分割フィンガープリントレイアウトを示す。上部細分割フィンガープリントレイアウトは、複数のブロック510〜526に細分割されたフレーム500を含むことができる。上部細分割フィンガープリントレイアウトは、ブロック510〜524を有する上部セグメント528と、ブロック526を有する下部セグメント530とを含むことができる。
たとえば、フレーム500の上部セグメント528は、8つのセグメント510〜524を有する2×4のグリッドに細分割することができる。ブロック526は、ロゴ、緊急メッセージ、または字幕などのオンスクリーン表示を含む可能性がより高くなり得る。一例では、電子デバイス118が上部細分割フィンガープリントレイアウトを使用したフレーム500のフィンガープリントを生成する要求をACRシステム124から受信した場合、電子デバイス118はフィンガープリントからブロック526を除去または除外することができる。
一例では、複数のブロック510〜526は長方形または正方形とすることができる。他の例では、ブロック510〜526は多角形、円形、楕円形などとすることができる。他の例では、複数のブロック510〜524及び526のそれぞれはほぼ同一のサイズとすることができる。他の例では、複数のブロック510〜524及び526のうちの1つまたは複数は異なるサイズとすることができる。複数のブロック510〜524及び526の数、ならびに複数のブロック510〜524及び526の形状及びサイズは限定的であることが意図されておらず、変化することができる。
図5Bに、一実施形態による、ブロック532〜554を有する、図5Aに示したフレーム500の上部細分割フィンガープリントレイアウトを示す。図5Bの特徴のいくつかは、特に明記しない限り、同一の参照番号によって示された図5Aの特徴のいくつかと同一または類似している。ブロック532〜554は、図5Aのブロック510〜524のグリッド分割と比較して垂直に分割することができる。図5Bの上部細分割フィンガープリントレイアウトは他の全ての点で図5Aと実質的に同一である。
図5Cに、一実施形態による、ブロック510〜524を有する、図5Aに示したフレーム500の下部細分割フィンガープリントレイアウトを示す。図5Cの特徴のいくつかは、特に明記しない限り、同一の参照番号によって示された図5Aの特徴のいくつかと同一または類似している。下部細分割フィンガープリントレイアウトの場合、ブロック510〜524は、図5Aの上部セグメント528に配置されたブロック510〜524と比較して、下部セグメント530に配置することができる。図5Cの下部細分割フィンガープリントレイアウトは他の全ての点で図5Aと実質的に同一である。
図5Dに、一実施形態による、ブロック532〜554を有する、図5Cに示したフレーム500の下部細分割フィンガープリントレイアウトを示す。図5Dの特徴のいくつかは、特に明記しない限り、同一の参照番号で示された図5Cの特徴のいくつかと同一または類似している。ブロック532〜554は、図5Cのブロック510〜524のグリッド分割と比較して垂直に分割することができる。ブロック532〜554は、図5Bの上部セグメント528に配置されたブロック510〜524と比較して、下部セグメント530に配置することができる。図5Dの下部細分割フィンガープリントレイアウトは他の全ての点で図5Cと実質的に同一である。
図6Aに、一実施形態によるメディアコンテンツを識別するための方法600のフローチャートを示す。方法600は、ハードウェアを含む処理ロジック(たとえば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(たとえば、処理デバイスによって実行される命令)、ファームウェア、またはそれらの組み合わせによって少なくとも部分的に実行され得る。方法600は、図1のコンテンツ配信ネットワーク100の全部または一部によって実行され得る。たとえば、方法600は、電子デバイス118もしくは120、ACRシステム124もしくは126、または参照データベース125もしくは127(図1)の処理ロジックの全部または一部によって実行され得る。図6Aの特徴のいくつかは、特に明記しない限り、同一の参照番号で示された図1の特徴のいくつかと同一または類似している。
図6Aを参照すると、方法600は、コンテンツプロバイダ102またはローカルプロバイダ106によって、メディアコンテンツをACRシステム124及び電子デバイス118に放送すること(ブロック610)から開始する。方法は、ACRシステム124がメディアコンテンツを受信すること(ブロック612)を含むことができる。方法は、ACRシステム124がメディアコンテンツのフィンガープリントを採取して、第1のフィンガープリントセットを取得すること(ブロック614)を含むことができる。ACRシステム124は、完全細分割フィンガープリントレイアウトを使用して第1のフィンガープリントを生成し、上部細分割フィンガープリントレイアウトを使用して第2のフィンガープリントを生成し、上部細分割フィンガープリントレイアウトを使用して第3のフィンガープリントを生成することができる。第1のフィンガープリントセットは、第1のフィンガープリント、第2のフィンガープリント、及び第3のフィンガープリントを含むことができる。
方法は、ACRシステム124が第1のフィンガープリントセットと、メディアコンテンツに関連するメタデータとを参照データベース125に記憶すること(ブロック616)を含むことができる。方法は、電子デバイス118がメディアコンテンツを受信すること(ブロック618)を含むことができる。この方法は、電子デバイス118がメディアコンテンツのフィンガープリントを採取して、第2のフィンガープリントセットを取得すること(ブロック620)を含むことができる。電子デバイス118は、完全細分割フィンガープリントレイアウトを使用して第4のフィンガープリントを生成し、上部細分割フィンガープリントレイアウトを使用して第5のフィンガープリントを生成し、上部細分割フィンガープリントレイアウトを使用して第6のフィンガープリントを生成することができる。第2のフィンガープリントセットは、第4のフィンガープリント、第5のフィンガープリント、及び第6のフィンガープリントを含むことができる。
方法は、電子デバイス118が、第2のフィンガープリントセットと、メディアコンテンツに関連するメタデータとをACRシステム124に送信すること(ブロック622)を含むことができる。メタデータは、第1のフィンガープリントセット、第2のフィンガープリントセット、またはメディアコンテンツに関連するスケジュールデータを含むことができる。スケジュールデータは、メディアコンテンツまたはコマーシャルの放送時間のスケジュールを含むことができる。他の例では、スケジュールデータは、サードパーティのサーバまたはデータベースから得られたデータを含むことができる。他の例では、スケジュールデータは、放送システムの内部スケジューリングシステムを介して放送システムから直接得られたデータを含むことができる。他の実施形態では、メタデータは、電子デバイス118で発生したイベント、たとえば、メディアコンテンツの一時停止、メディアコンテンツの早送り、メディアコンテンツの巻き戻しなどのコマンドを電子デバイス118が入力デバイスから受信したことを含むことができる。
この方法は、ACRシステム124が、先の段落で説明したように、細分割フィンガープリントレイアウト、上部細分割フィンガープリントレイアウト、下部細分割フィンガープリントレイアウト、またはそれらの組み合わせを使用して電子デバイス118に表示されたメディアコンテンツを識別すること(ブロック624)を含むことができる。一実施形態では、ACRシステム124は、上部細分割フィンガープリントレイアウトを使用して、第2のフィンガープリント内のブロック510〜524を参照データベース125内の上部細分割フィンガープリントレイアウトのフィンガープリント全てと比較することができる。第5のフィンガープリント内のブロック510〜524が第2のフィンガープリント内の対応するブロック510〜524と一致する場合、ACRシステム124は第2のフィンガープリントに関連付けられたメディアコンテンツを識別することができる。他の実施形態では、ACRシステム124は同様に、細分割フィンガープリントレイアウトを使用して、第1のフィンガープリント内のブロック410〜432を参照データベース125内の細分割フィンガープリントレイアウトのフィンガープリント全てと比較することができる。第4のフィンガープリント内のブロック410〜432が第1のフィンガープリント内の対応するブロック510〜524と一致する場合、ACRシステム124は第1のフィンガープリントに関連付けられたメディアコンテンツを識別することができる。他の実施形態では、ACRシステム124は同様に、下部細分割フィンガープリントレイアウトを使用して、第3のフィンガープリント内のブロック510〜524を参照データベース125内の下部細分割フィンガープリントレイアウトのフィンガープリント全てと比較することができる。第6のフィンガープリント内のブロック510〜524が第3のフィンガープリント内の対応するブロック510〜524と一致する場合、ACRシステム124は第3のフィンガープリントに関連付けられたメディアコンテンツを識別することができる。
一実施形態では、ACRシステム124は、フィンガープリントの一致を検索する場合に、参照データベース125内の各種のフィンガープリントレイアウトを順次照会することができる。たとえば、ACRシステム124は、細分割フィンガープリントレイアウトのフィンガープリントのうちのいずれかが第4のフィンガープリントと一致するか否かを判定するために、細分割フィンガープリントレイアウトを有する参照データベース125内の全てのフィンガープリントの第1のクエリを実行することができる。ACRシステム124がフィンガープリントの一致を識別した場合、ACRシステム124はクエリを停止し、一致したフィンガープリントに関連付けられたメディアコンテンツを識別することができる。ACRシステム124がフィンガープリントの一致を識別しなかった場合、ACRシステム124は、上部細分割フィンガープリントレイアウトのフィンガープリントのいずれかが第5のフィンガープリントと一致するか否かを判定するために、上部細分割フィンガープリントレイアウトを有する参照データベース125内の全てのフィンガープリントの第2のクエリを実行することができる。ACRシステム124がフィンガープリントの一致を識別した場合、ACRシステム124はクエリを停止し、一致したフィンガープリントに関連付けられたメディアコンテンツを識別することができる。ACRシステム124がフィンガープリントの一致を識別しなかった場合、ACRシステム124は、下部細分割フィンガープリントレイアウトのフィンガープリントのいずれかが第6のフィンガープリントと一致するか否かを判定するために、下部細分割フィンガープリントレイアウトを有する参照データベース125内の全てのフィンガープリントの第3のクエリを実行することができる。ACRシステム124がフィンガープリントの一致を識別した場合、ACRシステム124はクエリを停止し、一致したフィンガープリントに関連付けられたメディアコンテンツを識別することができる。第1のクエリ、第2のクエリ、及び第3のクエリで使用されるフィンガープリントレイアウトは限定的であることが意図されておらず、フィンガープリントレイアウトは任意の順序で使用することができる。
他の実施形態では、ACRシステム124は、フィンガープリントの一致を検索する場合に、参照データベース125内の各種のフィンガープリントレイアウトの並列クエリを実行することができる。たとえば、ACRシステム124は第1のクエリ、第2のクエリ、及び第3のクエリを同時に実行することができる。ACRシステム124が第1のクエリ、第2のクエリ、または第3のクエリに関してフィンガープリントの一致を識別した場合、ACRシステムはそのクエリを停止し、一致したフィンガープリントに関連付けられたメディアコンテンツを識別することができる。
方法は、ACRシステム124が、メディアコンテンツ上に重畳するためのオーバレイコンテンツを識別すること(ブロック626)を含むことができる。一例では、オーバレイコンテンツは参照データベース125に、またはACRシステム124に結合されたメモリデバイスに記憶することができる。オーバレイコンテンツは、識別されたメディアコンテンツと関連を有することができる。方法は、オーバレイコンテンツを電子デバイス118に送信すること(ブロック628)を含むことができる。方法は、電子デバイス118が、メディアコンテンツの少なくとも1セグメント上にオーバレイコンテンツを重畳すること(630)を含むことができる。
図6AのACRシステム124、参照データベース125、及び電子デバイス118の使用は限定的であることが意図されておらず、他のコンポーネント(たとえば、図1に示すコンポーネント)は、図6に示す1つまたは複数のステップを実装することができる。たとえば、ACRシステム124はACRシステム126と置き換えることができ、電子デバイス118は電子デバイス120と置き換えることができ、参照データベース125は参照データベース127と置き換えることができる。
図6Bに、一実施形態による、上部細分割フィンガープリントレイアウトを使用してメディアコンテンツを識別するための方法640のフローチャートを示す。方法640は、ハードウェアを含む処理ロジック(たとえば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(たとえば、処理デバイスによって実行される命令)、ファームウェア、またはそれらの組み合わせによって少なくとも部分的に実行され得る。方法640は、図1のコンテンツ配信ネットワーク100の全部または一部によって実行され得る。たとえば、方法640は、電子デバイス118もしくは120、ACRシステム124もしくは126、または参照データベース125もしくは127(図1)の処理ロジックの全部または一部によって実行され得る。図6Bの特徴のいくつかは、特に明記しない限り、同一の参照番号で示された図1の特徴のいくつかと同一または類似している。
図6Bを参照すると、方法640は、ACRシステム124が上部細分割フィンガープリントレイアウトの第1のフィンガープリントを受信すること(ブロック642)から開始する。方法は、ACRシステム124が第1のフィンガープリントと一致する第2のフィンガープリントについて参照データベース125を照会することであって、第2のフィンガープリントが上部細分割レイアウトである、照会すること(ブロック644)を含むことができる。方法は、ACRシステム124が第2のフィンガープリントに関連するオーバレイコンテンツを識別すること(ブロック646)をさらに含むことができる。たとえば、参照データベース125は複数のフィンガープリントを記憶することができる。フィンガープリントは異なるオーバレイコンテンツと関連を有することができる。オーバレイコンテンツは参照データベース125または他のメモリデバイスに記憶することができる。方法は、ACRシステム124がオーバレイコンテンツを電子デバイス118に送信すること(ブロック648)を含むことができる。第1のフィンガープリント及び第2のフィンガープリントのフォーマットは限定的であることが意図されていない。第1のフィンガープリント及び第2のフィンガープリントのフォーマットは、完全細分割フィンガープリントレイアウト、上部細分割フィンガープリントレイアウト、下部細分割フィンガープリントレイアウト、または他のフィンガープリントレイアウトとすることができる。
図7に、本明細書で論じた方法論のうちの任意の1つまたは複数を機械に実行させるための命令セットが実行され得るコンピュータシステム700の例示的形態の機械の図式表現を示す。代替的実施形態では、機械は、LAN、イントラネット、エクストラネット、またはインターネット内の他の機械に接続(たとえば、ネットワーク接続)され得る。機械は、クライアント−サーバネットワーク環境ではサーバまたは電子デバイスとして、またはピアツーピア(もしくは分散)ネットワーク環境ではピアマシンとして動作し得る。機械は、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、パーソナルデジタルアシスタント(PDA)、携帯電話、スマートフォン、ウェブ機器、サーバ、ネットワークルータ、スイッチもしくはブリッジ、またはその機械によって実施されるアクションを指定する(順次または他の)命令セットを実行することが可能な任意の機械であり得る。さらに、単一の機械のみを示しているが、「機械」という用語は、本明細書で論じた方法論のうちの任意の1つまたは複数を実行するための1つ(または複数)の命令セットを個別にまたは共同で実行する任意の機械の集合体も含むものとする。
コンピュータシステム700は図1のACRフィンガープリンタサーバ105に対応し得る。コンピュータシステム700は、クラウドベースのコンピュータシステムの少なくとも一部に対応し得る。コンピュータシステム700は、処理デバイス702、メインメモリ704(たとえば、読み出し専用メモリ(ROM)、フラッシュメモリ、ダイナミックランダムアクセスメモリ(DRAM)(たとえば、シンクロナスDRAM(SDRAM)またはDRAM(RDRAM)など)、スタティックメモリ706(たとえば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)など)、及びデータ記憶デバイス718を含み、これらはバス730を介して互いに通信する。
処理デバイス702は、マイクロプロセッサ、中央処理装置などの1つまたは複数の処理デバイスを表す。より具体的には、処理デバイスは、複数命令セット計算(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、もしくは他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであり得る。処理デバイス702は1つまたは複数の専用処理デバイス、たとえば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、ネットワークプロセッサなどでもあり得る。一実施形態では、処理デバイス702は1つまたは複数の処理コアを含み得る。処理デバイス702は、本明細書で論じる動作を実行するための、メインメモリ704に記憶されたミラーリングロジックの命令726を実行するように構成される。
コンピュータシステム700は、ネットワーク720に通信可能に結合されたネットワークインターフェースデバイス708をさらに含み得る。コンピュータシステム700は、ビデオディスプレイユニット710(たとえば、液晶ディスプレイ(LCD)またはブラウン管(CRT))、英数字入力デバイス712(たとえば、キーボード)、カーソル制御デバイス714(たとえば、マウス)、信号発生デバイス716(たとえば、スピーカ)、または他の周辺デバイスをさらに含み得る。さらに、コンピュータシステム700は、グラフィック処理ユニット722、ビデオ処理ユニット728、及びオーディオ処理ユニット732を含み得る。他の実施形態では、コンピュータシステム700は、処理デバイス702と協働し、処理デバイス702と外部デバイスとの間の通信を制御するように設計された集積回路またはチップのグループを指すチップセット(図示せず)を含み得る。たとえば、チップセットは、処理デバイス702をメインメモリ704及びグラフィックコントローラなどの非常に高速なデバイスにリンクすると共に、処理デバイス702をUSB、PCI、またはISAバスなどの周辺機器の低速周辺バスにリンクするマザーボード上のチップのセットであり得る。
データ記憶デバイス718は、本明細書に記載の機能の方法論のうちの任意の1つまたは複数を具現化する命令726が記憶されたコンピュータ可読記憶媒体725を含み得る。また、命令726は、コンピュータシステム700による実行中に、メインメモリ704内及び/または処理デバイス702内に完全にまたは少なくとも部分的に存在し得、メインメモリ704及び処理デバイス702もコンピュータ可読記憶媒体を構成する。
また、コンピュータ可読記憶媒体725は、上記のアプリケーションを呼び出す方法を含むロジック及び/またはソフトウェアライブラリを利用する命令726を記憶するために使用され得る。コンピュータ可読記憶媒体725は一例示的実施形態では単一の媒体であるように示しているが、「コンピュータ可読記憶媒体」または「コンピュータ可読媒体」という用語は、1つまたは複数の命令セットを記憶する単一の媒体または複数の媒体(たとえば、集中型または分散型データベース、及び/または関連するキャッシュ及びサーバ)を含むように解釈されるべきである。また、「コンピュータ可読記憶媒体」という用語は、機械により実行される命令セットを記憶、符号化、または搬送することが可能であって、本実施形態の方法論の任意の1つまたは複数を機械に実行させる任意の媒体を含むように解釈されるものとする。したがって、「コンピュータ可読記憶媒体」という用語は、限定はしないが、ソリッドステートメモリならびに光媒体及び磁気媒体を含むように解釈されるものとする。
上記の説明では、多数の詳細を述べている。しかしながら、本開示の利益を享受する当業者には、これらの具体的な詳細がなくても実施形態が実施され得ることは明らかであろう。いくつかの実例では、説明を不明瞭にしないように、よく知られている構造及びデバイスは、詳細にではなくブロック図形式で示している。
本明細書では、コンピューティングプラットフォームまたはマイクロプロセッサなどにおける特定の集積回路を参照して実施形態を説明している場合があるが、他の実施形態は他の種類の集積回路及び論理デバイスにも適用可能である。本明細書に記載の実施形態の同様の技法及び教示は、他の種類の回路または半導体デバイスに適用され得る。たとえば、開示した実施形態は、デスクトップコンピュータシステムまたはUltrabooks(商標)に限定されるものではなく、ハンドヘルドデバイス、タブレット、他の薄型ノートブック、システムオンチップ(SOC)デバイス、及び組み込みアプリケーションなどの他のデバイスにも使用され得る。ハンドヘルドデバイスのいくつかの例には、携帯電話、インターネットプロトコルデバイス、スマートフォン、デジタルカメラ、パーソナルデジタルアシスタント(PDA)、及びハンドヘルドPCがある。組み込みアプリケーションは、典型的には、マイクロコントローラ、デジタルシグナルプロセッサ(DSP)、システムオンチップ、ネットワークコンピュータ(NetPC)、セットトップボックス、ネットワークハブ、ワイドエリアネットワーク(WAN)スイッチ、または以下に教示する機能及び動作を実行し得る他の任意のシステムを含む。
本明細書では実施形態はプロセッサまたは処理デバイスを参照して説明しているが、他の実施形態は他の種類の集積回路及び論理デバイスに適用可能である。本発明の実施形態の同様の技法及び教示は、より高いパイプラインスループット及び改善された性能から利益を享受し得る他の種類の回路または半導体デバイスに適用され得る。本発明の実施形態の教示は、データ操作を実行する任意のプロセッサまたは機械に適用可能である。しかしながら、本発明は、512ビット、256ビット、128ビット、64ビット、32ビット、及び/または16ビットのデータ演算を実行するプロセッサまたは機械に限定されるものではなく、データの操作または管理が行われる任意のプロセッサ及び機械に適用され得る。また、以下の説明は例を提供するものであり、添付の図面は例示の目的で様々な例を示すものである。しかしながら、これらの例は、本発明の実施形態の全ての可能な実装形態の網羅的なリストを提供するのではなく、単に本発明の実施形態の例を提供することを意図しているので、限定的に解釈されるべきではない。
詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対するアルゴリズム及び演算の記号表現に関して提示している。これらのアルゴリズムの説明及び表現は、データ処理分野の当業者が自分の仕事の内容を他の当業者に最も効果的に伝えるために使用する手段である。本明細書では、また、一般的には、アルゴリズムは所望の結果をもたらす首尾一貫した一連の動作であると考えられる。動作は物理量の物理的操作を必要とするものである。通常、必須ではないが、これらの量は、記憶、転送、結合、比較、及び他の操作が可能な電気または磁気信号の形態をとる。主に一般的な用法上の理由から、これらの信号をビット、値、要素、記号、文字、用語、数字などと呼ぶことが時には便利であることが分かっている。本明細書に記載のブロックは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせであり得る。
しかしながら、これら及び類似の用語は全て、適切な物理量に関連付けられるべきであり、これらの量に適用された便利なラベルにすぎないことに留意されたい。特に明記しない限り、上記の考察から明らかなように、明細書全体を通じて、「検出」、「開始」、「判定」、「継続」、「停止」、「受信」、「記録」などの用語を利用した考察は、コンピューティングシステムのレジスタ及びメモリ内の物理(たとえば、電子)量として表されるデータを、同様にコンピューティングシステムのメモリもしくはレジスタまたは他のそのような情報記憶、伝送または電子デバイス内の物理量として表される他のデータへと操作し変換するコンピューティングシステムまたは類似の電子コンピューティングデバイスの動作及び処理を指すことは理解されよう。
「例」または「例示的」という語は、本明細書では、例、実例または例示として機能することを意味するために使用される。本明細書で「例」または「例示的」と記載された任意の態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「例」または「例示的」という語の使用は、概念を具体的な方法で提示することを意図している。本出願で使用する場合、「または」という用語は、排他的な「または」ではなく包含的な「または」を意味するものとする。すなわち、特に明記しない限り、または文脈から明らかでない限り、「XはAまたはBを含む」とは、自然な包含的順列の任意のものを意味するものとする。すなわち、XがAを含むか、XがBを含むか、またはXがA及びBの両方を含む場合、「XはAまたはBを含む」は前述の例のいずれの下でも満たされる。また、本出願及び添付の特許請求の範囲で使用される冠詞「a」及び「an」は、特に明記しない限り、または文脈から単数形を対象とすることが明らかでない限り、一般に「1つまたは複数」を意味するものと解釈されるべきである。さらに、「実施形態」もしくは「一実施形態」または「実装形態」もしくは「一実装形態」という用語の全体にわたる使用は、同一の実施形態または実装形態を意味することを、そのように記載していない限り意図していない。また、本明細書で使用する「第1」、「第2」、「第3」、「第4」などの用語は、異なる要素を区別するためのラベルとして意図されたものであり、必ずしもそれらの数字の指定に従う序数的な意味を有するわけではない。
本明細書に記載の実施形態は、本明細書に記載の動作を実行するための装置にも関し得る。この装置は、要求される目的のために特別に構築され得、またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成されたコンピュータを含み得る。そのようなコンピュータプログラムは、非一時的コンピュータ可読記憶媒体、たとえば、限定はしないが、フロッピーディスク、光ディスク、CD−ROM及び磁気光ディスクを含む任意の種類のディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光学カード、フラッシュメモリ、または電子命令を記憶するのに適した任意の種類の媒体に記憶され得る。「コンピュータ可読記憶媒体」という用語は、1つまたは複数の命令セットを記憶する単一の媒体または複数の媒体(たとえば、集中型または分散型データベース、及び/または関連するキャッシュ及びサーバ)を含むように解釈されるべきである。また、「コンピュータ可読媒体」という用語は、機械により実行される命令セットを記憶、符号化、または搬送することが可能であって、本実施形態の方法論の任意の1つまたは複数を機械に実行させる任意の媒体を含むように解釈されるものとする。したがって、「コンピュータ可読記憶媒体」という用語は、限定はしないが、ソリッドステートメモリ、光媒体、磁気媒体、機械により実行される命令セットを記憶することが可能であって、本実施形態の方法論の任意の1つまたは複数を機械に実行させる任意の媒体を含むように解釈されるものとする。
本明細書に提示したアルゴリズム及び表示は、本質的にはいかなる特定のコンピュータまたは他の装置にも関連するものではない。様々なコンピューティングシステムが本明細書の教示によるプログラムと共に使用され得、または動作を実行するためにより専門的な装置を構築することが便利であることが証明され得る。様々なこれらのシステムに必要な構造は、以下の説明から明らかとなろう。また、本実施形態は特定のプログラミング言語を参照して説明していない。本明細書に記載の実施形態の教示を実装するために様々なプログラミング言語が使用され得ることは理解されよう。
上記の説明では、いくつかの実施形態の十分な理解を提供するために、特定のシステム、コンポーネント、方法などの例などの多数の具体的な詳細を説明している。しかしながら、少なくともいくつかの実施形態はこれらの具体的な詳細がなくとも実施され得ることは当業者には明らかであろう。他の実例では、本実施形態を不必要に不明瞭にしないように、よく知られているコンポーネントまたは方法は詳細に説明しないか、または単純なブロック図形式で提示している。したがって、上記の具体的な詳細は例示的なものにすぎない。特定の実装形態はこれらの例示的な詳細とは異なる場合があり、それでも本実施形態の範囲内にあると考えられる。
上記の説明は例示的であって、限定的なものではないことは理解されたい。上記の説明を読んで理解すれば、他の多くの実施形態が当業者に明らかとなろう。したがって、本実施形態の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を有する均等物の全範囲と併せて、決定されるべきである。

Claims (21)

  1. メモリと、
    前記メモリに結合された第1の処理デバイスであって、前記第1の処理デバイスは第1の自動コンテンツ認識(ACR)システムを実行するためのものであり、前記第1のACRシステムは、ネットワーク接続のメディアコンテンツプロバイダと通信するための第1のインターフェースと、参照データベースと通信するための第2のインターフェースと、テレビ(TV)と通信するための第3のインターフェースとを備え、前記第1のACRシステムは、
    前記第1のインターフェースを介して前記メディアコンテンツを受信し、
    前記メディアコンテンツのフィンガープリントを採取して第1のフィンガープリントセットを取得し、前記第1のフィンガープリントセットはフィンガープリントレイアウトのフィンガープリントを含み、
    前記第1のフィンガープリントセットを前記参照データベースに記憶し、
    前記第3のインターフェースを介して、前記TVに表示されたメディアコンテンツの第2のフィンガープリントセットを受信し、前記第2のフィンガープリントセットは前記フィンガープリントレイアウトのフィンガープリントを含み、
    前記第1のフィンガープリントセット内の第1のフィンガープリントを前記第2のフィンガープリントセット内の第2のフィンガープリントと照合して前記メディアコンテンツを識別し、
    オーバレイコンテンツデータベース内の前記メディアコンテンツにリンクされたオーバレイコンテンツを識別し、
    前記オーバレイコンテンツを前記TVに送信して前記メディアコンテンツ上に重畳する
    ためのものである、前記第1の処理デバイスと
    を備える、サーバ。
  2. 前記フィンガープリントレイアウトは完全細分割フィンガープリントレイアウトであり、
    前記完全細分割フィンガープリントレイアウトは、複数のブロックに分割された前記メディアコンテンツのフレームを含み、前記複数のブロックの各ブロックは前記フレーム内の異なる定義された場所を表し、
    前記完全細分割フィンガープリントレイアウトは、前記フレームの角に位置する前記複数のブロックのうちのブロックを除外する、
    請求項1に記載のサーバ。
  3. 前記フィンガープリントレイアウトは上部細分割フィンガープリントレイアウトであり、
    前記上部細分割フィンガープリントレイアウトは複数のブロックに分割された前記メディアコンテンツのフレームを含み、前記複数のブロックの各ブロックは前記フレーム内の異なる定義された場所を表し、
    前記上部細分割フィンガープリントレイアウトは、前記フレームの下部に位置する前記複数のブロックのうちの1つまたは複数のブロックを除外する、
    請求項1に記載のサーバ。
  4. 前記フィンガープリントレイアウトは下部細分割フィンガープリントレイアウトであり、
    前記下部細分割フィンガープリントレイアウトは複数のブロックに分割された前記メディアコンテンツのフレームを含み、前記複数のブロックの各ブロックは前記フレーム内の異なる定義された場所を表し、
    前記下部細分割フィンガープリントレイアウトは、前記フレームの上部に位置する前記複数のブロックのうちの1つまたは複数のブロックを除外する、
    請求項1に記載のサーバ。
  5. 前記メディアコンテンツの1つまたは複数のフレームは、前記1つまたは複数のフレームの角に位置するロゴ、前記1つまたは複数のフレームの上部に位置する緊急メッセージ、または前記1つまたは複数のフレームの下部に位置する字幕テキストを含む、請求項1に記載のサーバ。
  6. 前記第1のフィンガープリントセットは、完全細分割フィンガープリントレイアウトの第1のフィンガープリントサブセットと、上部細分割フィンガープリントレイアウトの第2のフィンガープリントサブセットと、下部細分割フィンガープリントレイアウトの第3のフィンガープリントサブセットとを含み、
    前記第2のフィンガープリントセットは、前記完全細分割フィンガープリントレイアウトの第4のフィンガープリントサブセットと、前記上部細分割フィンガープリントレイアウトの第5のフィンガープリントサブセットと、前記下部細分割フィンガープリントレイアウトの第6のフィンガープリントサブセットとを含み、
    前記第1のACRシステムはさらに、
    前記メディアコンテンツを識別するために、前記第1のフィンガープリントサブセット内の第1のフィンガープリントを前記第4のフィンガープリントサブセット内の第2のフィンガープリントと照合し、前記第2のフィンガープリントサブセット内の第3のフィンガープリントを前記第5のフィンガープリントサブセット内の第4のフィンガープリントと照合し、または前記第3のフィンガープリントサブセット内の第5のフィンガープリントを前記第6のフィンガープリントサブセット内の第6のフィンガープリントと照合し、
    フィンガープリントの一致について前記第1のフィンガープリントサブセット、前記第2のフィンガープリントサブセット、及び前記第3のフィンガープリントサブセットを並行して照会することによって、前記メディアコンテンツを識別する
    ためのものである、請求項1に記載のサーバ。
  7. 前記TVは、前記TVに表示されたメディアコンテンツのフィンガープリントを採取するための第2のACRシステムを備える、請求項1に記載のサーバ。
  8. 前記第1のACRシステムが前記メディアコンテンツを識別した場合、前記第2のACRシステムはさらに、前記フィンガープリントの一致について前記参照データベースを照会することを中止するためのものである、請求項7に記載のサーバ。
  9. 前記TVは、
    無線周波数(RF)回路を使用してオンライン双方向メディアまたはオンデマンドストリーミングメディアにアクセスし、
    オペレーティングシステム(OS)を実行し、
    1つまたは複数のアプリケーションを実行する
    ように動作可能な第2の処理デバイス
    を備え、
    前記RF回路は、前記第3のインターフェース上でデータを送信するように構成されるアンテナを備える
    スマートTVである、請求項1に記載のサーバ。
  10. 前記メディアコンテンツは1つまたは複数のビデオあるいはテレビ番組を含み、
    前記オーバレイコンテンツは前記1つまたは複数のビデオあるいはテレビ番組の一部に重畳されるコマーシャルである、
    請求項1に記載のサーバ。
  11. メモリと、
    前記メモリに結合された処理デバイスであって、
    コンテンツプロバイダから受信したメディアコンテンツのフィンガープリントを採取して第1のフィンガープリントセットを取得し、前記第1のフィンガープリントセットは、第1のフィンガープリントレイアウトの第1のフィンガープリントサブセットと、第2のフィンガープリントレイアウトの第2のフィンガープリントサブセットとを含み、
    電子デバイスから、前記電子デバイスに表示されたメディアコンテンツの第2のフィンガープリントセットを受信し、前記第2のフィンガープリントセットは、前記第1のフィンガープリントレイアウトの第3のフィンガープリントサブセットと、前記第2のフィンガープリントレイアウトの第4のフィンガープリントサブセットとを含み、
    前記メディアコンテンツを識別するために、前記第1のフィンガープリントサブセット内の第1のフィンガープリントを前記第3のフィンガープリントサブセット内の第2のフィンガープリントと照合し、または前記第2のフィンガープリントサブセット内の第3のフィンガープリントを前記第4のフィンガープリントサブセット内の第4のフィンガープリントと照合する
    ためのものである、前記処理デバイスと
    を備える、サーバ。
  12. 前記第1のフィンガープリントレイアウトは、完全細分割フィンガープリントレイアウト、上部細分割フィンガープリントレイアウト、または下部細分割フィンガープリントレイアウトであり、
    前記第2のフィンガープリントレイアウトは、前記完全細分割フィンガープリントレイアウト、前記上部細分割フィンガープリントレイアウト、または前記下部細分割フィンガープリントレイアウトであり、
    前記第1のフィンガープリントレイアウトは前記第2のフィンガープリントレイアウトとは異なるフォーマットである、
    請求項11に記載のサーバ。
  13. 前記完全細分割フィンガープリントレイアウト、前記上部細分割フィンガープリントレイアウト、及び前記下部細分割フィンガープリントレイアウトのそれぞれは、複数のブロックに分割された前記メディアコンテンツのフレームを含み、前記複数のブロックの各ブロックは前記フレーム内の異なる定義された場所を表す、請求項12に記載のサーバ。
  14. 前記複数のブロックはそれぞれほぼ同一のサイズであり、
    前記複数のブロックのそれぞれは、長方形、多角形、円形、または楕円形である、
    請求項13に記載のサーバ。
  15. 前記フレームは、16ブロックを有する4×4グリッドに分割される、請求項13に記載のサーバ。
  16. 前記メディアコンテンツの1つまたは複数のフレームは、前記1つまたは複数のフレームの角に位置するロゴ、前記1つまたは複数のフレームの上部に位置する緊急メッセージ、または前記1つまたは複数のフレームの下部に位置する字幕テキストを含む、請求項11に記載のサーバ。
  17. 前記処理デバイスはさらに、前記メディアコンテンツにリンクされたオーバレイコンテンツを前記電子デバイスに送信するためのものである、請求項11に記載のサーバ。
  18. 処理デバイスによって実行された場合に、前記処理デバイスに、
    コンテンツプロバイダからメディアコンテンツを受信し、
    前記メディアコンテンツのフィンガープリントを採取して第1のフィンガープリントセットを取得し、前記第1のフィンガープリントセットは、第1のフィンガープリントレイアウトの第1のフィンガープリントサブセットと、第2のフィンガープリントレイアウトの第2のフィンガープリントサブセットとを含み、
    電子デバイスから、前記電子デバイスに表示されたメディアコンテンツの第2のフィンガープリントセットを受信し、前記第2のフィンガープリントセットは、前記第1のフィンガープリントレイアウトの第3のフィンガープリントサブセットと、前記第2のフィンガープリントレイアウトの第4のフィンガープリントサブセットとを含み、
    前記メディアコンテンツを識別するために、前記第1のフィンガープリントサブセット内の第1のフィンガープリントを前記第3のフィンガープリントサブセット内の第2のフィンガープリントと照合し、または前記第2のフィンガープリントサブセット内の第3のフィンガープリントを前記第4のフィンガープリントサブセット内の第4のフィンガープリントと照合し、
    前記メディアコンテンツにリンクされたオーバレイコンテンツを前記電子デバイスに送信する
    ことを行わせる命令を有する、非一時的機械可読記憶媒体。
  19. 前記第1のフィンガープリントセットは第3のフィンガープリントレイアウトの第5のフィンガープリントサブセットを含み、前記第2のフィンガープリントセットは前記第3のフィンガープリントレイアウトの第6のフィンガープリントサブセットを含み、
    前記処理デバイスはさらに、前記メディアコンテンツを識別するために、前記第1のフィンガープリントサブセット内の前記第1のフィンガープリントを前記第3のフィンガープリントサブセット内の前記第2のフィンガープリントと照合し、前記第2のフィンガープリントサブセット内の前記第3のフィンガープリントを前記第4のフィンガープリントサブセット内の前記第4のフィンガープリントと照合し、または前記第5のフィンガープリントサブセット内の第5のフィンガープリントを前記第6のフィンガープリントサブセット内の第6のフィンガープリントと照合するためのものである、
    請求項18に記載の非一時的機械可読記憶媒体。
  20. 前記メディアコンテンツのフレームは複数のブロックに分割され、前記複数のブロックの各ブロックは前記フレーム内の異なる定義された場所を表し、
    前記第1のフィンガープリントレイアウトは、前記フレームの角に位置する前記複数のブロックのうちのブロックを除外した完全細分割フィンガープリントレイアウトであり、
    前記第2のフィンガープリントレイアウトは、前記フレームの下部に位置する前記複数のブロックのうちの1つまたは複数のブロックを除外した上部細分割フィンガープリントレイアウトであり、
    前記第3のフィンガープリントレイアウトは、前記フレームの上部に位置する前記複数のブロックのうちの1つまたは複数のブロックを除外した下部細分割フィンガープリントレイアウトである、
    請求項19に記載の非一時的機械可読記憶媒体。
  21. 処理デバイスによって実行された場合に、前記処理デバイスに、
    コンテンツプロバイダから受信したメディアコンテンツのフィンガープリントを採取して、フィンガープリントレイアウトの第1のフィンガープリントセットを取得し、
    電子デバイスから、前記フィンガープリントレイアウトの第2のフィンガープリントセットを受信し、前記第2のフィンガープリントセットは、前記電子デバイスに表示されたメディアコンテンツのものであり、
    前記メディアコンテンツを識別するために、前記第1のフィンガープリントセット内の第1のフィンガープリントを前記第2のフィンガープリントセット内の第2のフィンガープリントと照合する
    ことを行わせる命令を有する、非一時的機械可読記憶媒体。
JP2019511582A 2016-03-16 2017-03-09 コンテンツフィンガープリンティングのためのフィンガープリントレイアウト Active JP6750103B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662309366P 2016-03-16 2016-03-16
US15/243,658 2016-08-22
US15/243,658 US10063917B2 (en) 2016-03-16 2016-08-22 Fingerprint layouts for content fingerprinting
PCT/US2017/021690 WO2018038766A1 (en) 2016-03-16 2017-03-09 Fingerprint layouts for content fingerprinting

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020136267A Division JP7059327B2 (ja) 2016-03-16 2020-08-12 コンテンツフィンガープリンティングのためのフィンガープリントレイアウト

Publications (2)

Publication Number Publication Date
JP2019532560A true JP2019532560A (ja) 2019-11-07
JP6750103B2 JP6750103B2 (ja) 2020-09-02

Family

ID=59856305

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019511582A Active JP6750103B2 (ja) 2016-03-16 2017-03-09 コンテンツフィンガープリンティングのためのフィンガープリントレイアウト
JP2020136267A Active JP7059327B2 (ja) 2016-03-16 2020-08-12 コンテンツフィンガープリンティングのためのフィンガープリントレイアウト

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020136267A Active JP7059327B2 (ja) 2016-03-16 2020-08-12 コンテンツフィンガープリンティングのためのフィンガープリントレイアウト

Country Status (6)

Country Link
US (4) US10063917B2 (ja)
EP (1) EP3500943B1 (ja)
JP (2) JP6750103B2 (ja)
KR (2) KR102173417B1 (ja)
CN (1) CN109906611B (ja)
WO (1) WO2018038766A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063917B2 (en) 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting
US11341540B2 (en) 2018-03-30 2022-05-24 At&T Intellectual Property I, L.P. Methods, systems and devices for selecting advertisements based on media profiles and advertisement profiles
US10791312B2 (en) * 2018-07-16 2020-09-29 Gracenote, Inc. Modifying playback of replacement content responsive to detection of remote control signals that modify operation of the playback device
US11272252B2 (en) 2018-07-19 2022-03-08 Roku, Inc. Modifying playback of replacement content based on control messages
US11917240B2 (en) * 2018-08-14 2024-02-27 Inscape Data, Inc. Dynamic content serving using automated content recognition (ACR) and digital media watermarks
US10846506B1 (en) * 2019-05-10 2020-11-24 The Nielsen Company (Us), Llc Content-modification system with geographic area-based feature
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
US11354323B2 (en) * 2019-05-10 2022-06-07 Roku, Inc. Content-modification system with geographic area-based feature
US20200356757A1 (en) * 2019-05-10 2020-11-12 The Nielsen Company (Us), Llc Content-Modification System With Geographic Area-Based Feature
CN113722540A (zh) * 2020-05-25 2021-11-30 中国移动通信集团重庆有限公司 基于视频字幕的知识图谱构建方法、装置及计算设备
US11694147B1 (en) * 2020-06-12 2023-07-04 Amazon Technologies, Inc. Location confirmation using crowdsourced wireless fingerprints
US11641495B2 (en) * 2020-12-07 2023-05-02 Roku, Inc. Use of video frame format as basis for differential handling of automatic content recognition and associated action
CN116567648B (zh) * 2023-07-05 2023-09-19 四川创智联恒科技有限公司 一种数据波束下的波位图谱生成方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009542081A (ja) * 2006-06-20 2009-11-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号のフィンガープリントの生成
WO2014080783A1 (ja) * 2012-11-23 2014-05-30 ソニー株式会社 情報処理装置、および情報処理方法
WO2015033500A1 (ja) * 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738704B2 (en) * 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
US20050149968A1 (en) * 2003-03-07 2005-07-07 Richard Konig Ending advertisement insertion
US20060195860A1 (en) * 2005-02-25 2006-08-31 Eldering Charles A Acting on known video entities detected utilizing fingerprinting
US20060271947A1 (en) * 2005-05-23 2006-11-30 Lienhart Rainer W Creating fingerprints
US8326775B2 (en) * 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
US8559516B2 (en) * 2007-06-14 2013-10-15 Sony Corporation Video sequence ID by decimated scene signature
US8265333B2 (en) * 2007-07-27 2012-09-11 Synergy Sports Technology, Llc Systems and methods for generating bookmark video fingerprints
US8416981B2 (en) * 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
US9177209B2 (en) * 2007-12-17 2015-11-03 Sinoeast Concept Limited Temporal segment based extraction and robust matching of video fingerprints
CN101241552B (zh) * 2008-01-24 2010-08-11 北京六维世纪网络技术有限公司 一种图像特征的识别方法和装置
US8189945B2 (en) * 2009-05-27 2012-05-29 Zeitera, Llc Digital video content fingerprinting based on scale invariant interest region detection with an array of anisotropic filters
US9367544B2 (en) 2008-06-18 2016-06-14 Gracenote, Inc. Method for efficient database formation and search on media devices acting synchronously with television programming
US9015741B2 (en) * 2009-04-17 2015-04-21 Gracenote, Inc. Method and system for remotely controlling consumer electronic devices
US9055335B2 (en) * 2009-05-29 2015-06-09 Cognitive Networks, Inc. Systems and methods for addressing a media database using distance associative hashing
US8930980B2 (en) 2010-05-27 2015-01-06 Cognitive Networks, Inc. Systems and methods for real-time television ad detection using an automated content recognition database
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US20120191231A1 (en) 2010-05-04 2012-07-26 Shazam Entertainment Ltd. Methods and Systems for Identifying Content in Data Stream by a Client Device
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
US20160196631A1 (en) * 2010-12-03 2016-07-07 Dolby Laboratories Licensing Corporation Hybrid Automatic Content Recognition and Watermarking
KR101770204B1 (ko) * 2010-12-28 2017-08-22 엘지전자 주식회사 영상표시기기의 애플리케이션 메뉴 제공 방법 및 그에 따른 영상표시기기
WO2012170353A1 (en) * 2011-06-10 2012-12-13 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
US8793274B2 (en) * 2011-08-08 2014-07-29 Lei Yu System and method for auto content recognition
US8737813B2 (en) * 2011-09-16 2014-05-27 Nbcuniversal Media, Llc Automatic content recognition system and method for providing supplementary content
US8776105B2 (en) * 2012-02-07 2014-07-08 Tuner Broadcasting System, Inc. Method and system for automatic content recognition protocols
WO2013119082A1 (ko) * 2012-02-10 2013-08-15 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US8719884B2 (en) * 2012-06-05 2014-05-06 Microsoft Corporation Video identification and search
US9288509B2 (en) * 2012-12-28 2016-03-15 Turner Broadcasting System, Inc. Method and system for providing synchronized advertisements and services
US9323840B2 (en) * 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
CN103605666B (zh) * 2013-10-28 2017-01-11 复旦大学 一种进行广告检测的视频拷贝检测方法
US9619854B1 (en) * 2014-01-21 2017-04-11 Google Inc. Fingerprint matching for recommending media content within a viewing session
CN106233742B (zh) * 2014-08-26 2019-07-09 松下知识产权经营株式会社 显示控制装置、显示控制方法以及记录介质
US9380325B1 (en) * 2014-09-12 2016-06-28 Sorenson Media, Inc. Overlay content and aggregation of viewing data
US9743153B2 (en) * 2014-09-12 2017-08-22 Sorenson Media, Inc Content replacement with onscreen displays
US10509824B1 (en) * 2014-12-01 2019-12-17 The Nielsen Company (Us), Llc Automatic content recognition search optimization
CN104967885B (zh) * 2015-03-27 2019-01-11 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
US10750236B2 (en) * 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
US9516377B1 (en) * 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
US9813781B2 (en) * 2015-10-27 2017-11-07 Sorenson Media, Inc. Media content matching and indexing
KR102227161B1 (ko) * 2015-12-16 2021-03-15 그레이스노트, 인코포레이티드 동적 비디오 오버레이
US9906831B2 (en) * 2016-02-24 2018-02-27 Sorenson Media, Inc. Fingerprinting media content using hashing
CN105809138B (zh) * 2016-03-15 2019-01-04 武汉大学 一种基于分块识别的道路警告标志检测与识别方法
US10063917B2 (en) * 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009542081A (ja) * 2006-06-20 2009-11-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号のフィンガープリントの生成
WO2014080783A1 (ja) * 2012-11-23 2014-05-30 ソニー株式会社 情報処理装置、および情報処理方法
WO2015033500A1 (ja) * 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム

Also Published As

Publication number Publication date
KR20200126019A (ko) 2020-11-05
KR102258407B1 (ko) 2021-06-01
CN109906611A (zh) 2019-06-18
US20190215560A1 (en) 2019-07-11
JP2020205594A (ja) 2020-12-24
EP3500943A1 (en) 2019-06-26
US10743062B2 (en) 2020-08-11
CN109906611B (zh) 2021-06-25
EP3500943A4 (en) 2020-04-29
US20200413132A1 (en) 2020-12-31
JP7059327B2 (ja) 2022-04-25
JP6750103B2 (ja) 2020-09-02
US20180343494A1 (en) 2018-11-29
WO2018038766A1 (en) 2018-03-01
US10063917B2 (en) 2018-08-28
KR102173417B1 (ko) 2020-11-04
US11128915B2 (en) 2021-09-21
KR20190045916A (ko) 2019-05-03
EP3500943B1 (en) 2024-02-21
US20170272814A1 (en) 2017-09-21
US10257570B2 (en) 2019-04-09

Similar Documents

Publication Publication Date Title
JP7059327B2 (ja) コンテンツフィンガープリンティングのためのフィンガープリントレイアウト
US11212582B2 (en) Providing restricted overlay content to an authorized client device
US11064238B2 (en) Sequentially overlaying media content
US10057657B2 (en) Content replacement with onscreen displays
KR101993913B1 (ko) 미디어 콘텐츠에 대한 주파수 캡핑
US9906831B2 (en) Fingerprinting media content using hashing
WO2016172715A1 (en) Content replacement with onscreen displays
KR102263897B1 (ko) 콘텐츠 지문화를 위한 지문 레이아웃

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200812

R150 Certificate of patent or registration of utility model

Ref document number: 6750103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250