JP2007528144A - マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置 - Google Patents

マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置 Download PDF

Info

Publication number
JP2007528144A
JP2007528144A JP2006518477A JP2006518477A JP2007528144A JP 2007528144 A JP2007528144 A JP 2007528144A JP 2006518477 A JP2006518477 A JP 2006518477A JP 2006518477 A JP2006518477 A JP 2006518477A JP 2007528144 A JP2007528144 A JP 2007528144A
Authority
JP
Japan
Prior art keywords
fingerprint
multimedia signal
segment
trigger
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006518477A
Other languages
English (en)
Inventor
セー オーストフェーン，ヨブ
カーテ，ウァルネル エル テー テン
イェー エム デニセン，アドリアニュス
ケイ ロバーツ，デイヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34042942&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2007528144(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007528144A publication Critical patent/JP2007528144A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Abstract

本発明は、マルチメディア信号と１つ又は複数のトリガー動作とを関係付ける方法及び装置と、マルチメディア信号で１つ又は複数のトリガー動作を検出する対応の方法及び装置とに関する。トリガー時点毎にマルチメディア信号のセグメントに基づいて１つのフィンガープリントが生成される。生成されたフィンガープリントはデータベースに格納され、再生装置に通信される。再生中に、マルチメディア信号のフィンガープリントが生成され、データベースのフィンガープリントとマッチングされる。合致が見つかったときに、関連のトリガー動作が取り出される。トリガー時点は、フィンガープリントを合致させるマルチメディア信号のセグメントでの又はセグメントの近くでの時点として決定される。このように、マルチメディア信号を変更せずに、トリガー動作のトリガーマーカを検出する簡単且つ信頼性のある方法が可能になる。

Description

本発明は、マルチメディア信号においてトリガー時刻／情報を検出する方法及び対応する装置に関する。本発明はまた、トリガー情報をマルチメディア信号に関連付ける方法及び対応する装置に関する。更に、本発明は、１つ又は複数の処理ユニットに本発明による方法を実行させる命令を格納したコンピュータ読取可能媒体に関する。
現在の傾向は、よりインタラクティブな番組及び／又は傾聴経験を作ることにより、又はビデオ及び／又はオーディオコンテンツの部分に外部動作を“接続”することにより、所定の再生装置での受動的なテレビの視聴及び／又は音楽の傾聴を拡張する点が挙げられる。簡単な一例として、更なる情報を備えたウェブサイトへのURLを埋め込むことにより、コマーシャルは拡張され得る。そのURLは再生装置により抽出され、取り出され得る。このような機能を促進するために、このような更なる情報が関連するテレビ番組、映画、音楽部分等における時点の信頼ある検出を可能にする必要がある。
このような更なる情報が放送番組に関して有用であり又は興味深い状況の例は、次のようなものがある。
−trigg&link：（例えば、W.ten Kate他“trig&link − A new dimension in television program making”, Lecture Notes in computer science, vol.1242, pp51−65, Springer, 1997を参照）trigg&linkはテレビ番組でインタラクティブ性を可能にする。通常の番組に加えて、番組の特定のセグメントに関する更なる情報が、異なる分配チャネルを通じて視聴者に利用可能になる。拡張（更なる情報）に関連する所定のセグメントの開始時に、アイコンが表示され、更なる情報がTVで視聴され得ることを視聴者に警告する。例えば、映画での俳優の登場時に、俳優の何らかの伝記データが利用可能になってもよい。ユーザ端末（例えばセットトップボックス等）では、関連の時刻にアイコンがビデオに重ねられ、それによってこれらの時刻がビデオストリームに示されていることを要求する。
−ローカル挿入：全国放送の間に、番組の特定の部分が、何らかの地域で地域番組と交換され得る。例えば、何らかの広告がローカルの店の広告と交換されてもよく、又はニュース放送では、何らかの地域が全国天気予報ではなくローカルの天気予報を有してもよい。全国番組制作者は、どのセグメントがそのようなローカル挿入に適しているかを指示することができる。ローカル再配信サイト（例えばケーブル・ヘッドエンド）では、指示されたセグメントは、ローカルコンテンツと交換されてもよい。
前述の状況の双方において、更なる情報が利用可能になるべきビデオストリームの特定の時刻をマーキング又は関連付けする必要がある。これらの時刻に、受信機は、何らかの種類の動作を実行又は提供するように起動されなければならない。これは、MPEG/DVBのDSM-CCのような機構により行われてもよい。しかし、これは、これらのトリガーを挿入するために放送局の協力を必要とし、それによって、拡張サービスプロバイダを放送局に依存させる。
ビデオストリームで時間マーキングを実行する１つの既知の方法は、例えばマーキング情報を保持するために使用され得るMPEGトランスポートストリーム構造の分野を使用することである。
他の既知の方法は、帰線区間を使用することである。アナログ配信では、マーキング情報は垂直帰線区間又はインタラクティブ・ビデオ・ラインに埋め込まれ得る。
双方の前記の既知の方法は、信号がその宛先に到達する前にマーキング情報が損なわれないことを確保するために、放送チェーンの全主体の協力を必要とする。例えばMPEG手法の場合、再多重化動作は、ストリームのユーザデータフィールドに書き込まれた情報を容易に除去し得る。更に、毎回のデコード及び次の再エンコードステップは、確実にこの情報を保持しない。トリガー情報を運ぶ垂直帰線を使用する場合、放送チェーンの主体が同じ位置に他の情報を書き込む可能性があるため、状況はより困難になる（垂直帰線は多くのものに使用されており、垂直帰線の使用に対する制御について一定の合意は存在しない）。また、標準コンバータ（PL-NTSC等）及び放送チェーンの他の装置は、垂直帰線区間の全情報を保持しないことがある。
更に他の方法は、透かしを使用することである。透かしは、関連の時刻にビデオフレームに埋め込まれ得る。とりわけ、Philips Watercast Systemはこの目的で販売されている。透かしの欠点は、必然的にビデオ／オーディオを変更するという事実である。
マルチメディア信号と１つ又は複数のトリガー動作とを関係付ける方法及び対応の装置と、マルチメディア信号で１つ又は複数のトリガー動作を検出する対応の方法及び装置とを提供し、前述の問題を解決することが、本発明の目的である。更なる目的は、簡単且つ効率的な方法でこれを提供することである。他の目的は、マルチメディア信号の所定の部分の簡単で信頼のある正確なローカライゼーションを可能にすることである。更なる目的は、マルチメディア信号を変更せずに、トリガー動作の検出を可能にすることである。
前記のことは、マルチメディア信号に１つ又は複数のトリガー動作を関係付ける方法（及び対応の装置）によって実現され、その方法は、
−少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、マルチメディア信号の再生中に少なくとも１つの関連のトリガー動作が利用可能になるマルチメディア信号の時点を示すステップと、
−所定のトリガー時点毎に、マルチメディア信号のセグメントに基づいてフィンガープリントを導き、そのマルチメディア信号のセグメントは所定のトリガー時点と一義的に関係するステップと
を有する。前記のことは、マルチメディア信号で１つ又は複数のトリガー動作を検出する方法（及び対応の装置）によって実現され、その方法は、
−マルチメディア信号に基づいてフィンガープリントストリームを生成するステップと、
−フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有するステップと、
−合致が存在する場合には、合致するフィンガープリントに関連する少なくとも１つの関連の動作の少なくとも１つの提示を取り出すステップと
を有する。
このように、所定の動作についてマルチメディア信号で時間マーカを処理する簡単且つ効率的な方法が得られる。それによって、フィンガープリントは、マルチメディア信号の特定の時点に関連する特定の動作、イベント等のトリガーとしての役目をする。更に、マルチメディア信号が修正される必要なく、前記のことが可能になる。更に、時間マーキング検出はマルチメディア信号の特定のコンテンツのみに依存しているため、時間と独立であり、それによって、テレビ番組等のようなマルチメディア信号が遅延したときに問題を回避する。
マルチメディアオブジェクト／コンテンツ／信号のフィンガープリントは、当該のオブジェクト／コンテンツ／信号部分の知覚的特徴の提示である。このようなフィンガープリントは、“（ロバスト）ハッシュ”としても知られている。より具体的には、オーディオ又はビデオの部分のフィンガープリントは、オーディオ又はビデオのその部分で計算され、関与するコンテンツがその後にコード変換され、フィルタリングされ又はその他に修正されたとしても変更しない識別子である。
導かれたフィンガープリントは、オーディオ及び／又はビデオのフィンガープリントであることが好ましい。代替として、アニメーション及び／又はストリーミングテキスト等が、フィンガープリントを生成するソースとして使用される。
本発明による方法及び装置の有利な実施例は従属項に記載されている。
更に、本発明はまた、１つ又は複数の処理ユニットに本発明による方法を実行させる命令を格納したコンピュータ読取可能媒体に関する。
図１ａは、本発明によるトリガーマーカとして使用されるフィンガープリントの生成を概略的に示している。ビデオ及び／又はオーディオ情報／コンテンツを有するデジタル又はアナログマルチメディア信号（101）が図示されており、１つ又は複数の‘トリガー’動作（以下、動作という）は、特定の所定の‘トリガー’時点（以下、時点という）でマルチメディア信号（101）に関連付けられる／関係付けられる。各時点に関連する１つ又は複数の動作は、再生装置での再生中にその所定の特定の時点（Tn;Tn+1）で利用可能になる（すなわち、起動される）。所定の時点での表記‘（Tn;Tn+1）’は、その時点が図示の時点Tn又はTn+1でもよく、また、概して信号（101）の如何なる適切な時点（図示せず）でもよいことを示している。複数の時点の関連の動作は、同じでもよく、異なってもよく、及び／又はその混合でもよい。
所定の時点で提示／起動される動作は、例えば、更なる情報を取り出してディスプレイに表示すること（例えば、マルチメディア信号で示す俳優の伝記データを提示すること、更なる情報を含むウェブサイトへの選択可能なURLを提示すること等）、更なる情報を取り出してスピーカを介して再生すること、所定又は可変の期間にそのマルチメディア信号（101）の代わりに他のマルチメディア信号（例えば、ローカルの天気予報、ローカルのコマーシャル等）を再生すること、及び／又は同様のことをすることを有してもよい。例えば、他の例の動作は、例えば一時的に表示／再生を中止／一時停止すること、他の制御コマンドを実行すること、及び／又はユーザ入力に対してシステムを準備すること（例えば、トリガー動作が実行されたときに、システムがユーザの特定の動作を（ある時間だけ）待機すること）が挙げられる。トリガー動作が実行されない場合、ユーザ入力は影響を与えない。例えば、インタラクティブゲームでは、トリガー動作が始動／実行された後にのみ、ユーザはユーザの回答を提示してもよい。
時点（Tn;Tn+1）毎に、マルチメディア信号（101）の部分、セグメント等（以下、セグメントという）に基づいて生成され、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）に一義的に関係する。マルチメディア信号（101）のセグメントを所定の時点（Tn;Tn+1）で実質的に終了させることにより、マルチメディア信号（101）のセグメントが所定の時点（Tn;Tn+1）に一義的に関係することが好ましい。代替実施例では、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）で実質的に開始してもよく、マルチメディア信号（101）のセグメントは、所定のトリガー時点（Tn;Tn+1）の前又は後の所定の間隔で開始又は終了してもよく、又は所定の時点（Tn;Tn+1）は、マルチメディア信号（101）のセグメントの開始と終了との間の所定の時点でもよい。
フィンガープリント及び／又はセグメントのサイズは所定の固定サイズでもよく、代替として可変サイズでもよい。
ロバストフィンガープリントを計算する１つの方法は、欧州特許出願01200505.4に記載されているが、当然のことながらロバストフィンガープリントを計算する如何なる方法も使用可能である。
欧州特許出願01200505.4は、例えばオーディオクリップのようなマルチメディアコンテンツのロバストフィンガープリントを計算する方法を記載しており、オーディオクリップは、連続する（好ましくは重複する）時間間隔に分割される。時間間隔毎に、周波数スペクトルが帯域で分割される。各帯域のロバスト特性（例えばエネルギー）が計算され、各フィンガープリントのビットで提示される。
このように、マルチメディアコンテンツは、時間間隔毎に１つのバイナリ値の連続を有するフィンガープリントで表される。フィンガープリントはマルチメディアコンテンツ全体で計算される必要はないが、特定の長さの一部が受信されたときに計算され得る。このように、フィンガープリントを計算するためにどの部分が使用されるかに応じて、１つのマルチメディアコンテンツについて複数のフィンガープリントが存在し得る。
更に、ビデオフィンガープリントのアルゴリズムは、例えば以下の開示：Job Oostveen、Ton Kalker、Jaap Haitsma：“Feature Extraction and a Database Strategy for Video Fingerprinting”.117-128.IN：Shi-Kuo Chang、Zhe Chen、Suh-Yin Lee(Eds.)：Recent Advances in Visual Information Systems, 5th International Conference, VISUAL 2002 Hsin Chu, Taiwan, 2002年3月11-13日, Proceedings. Lecture Notes in Computer Science 2314 Springer 2002から既知である。
本発明によれば、フィンガープリント（102）は、特定の時点で又は特定の時点の近くで、マルチメディア信号（101）の所定のセグメントに基づいて時点毎に生成される。
このように、所定のフィンガープリント（102）は、特定の時点を使用するのではなく、その代わりに信号（のセグメント）を使用して、信号（101）の所定の時点の非常に正確且つ非常に厳密な位置選定を可能にするトリガーマーカである。更に、これは信号を変更せずに可能になる。ビデオフィンガープリントでは、少なくともビデオ信号の何らかの歪みがひどすぎない限り、一般的にローカライゼーションはフレーム誤差がない。
フィンガープリント（102）が生成された後に、それは後の使用のためにデータベース、メモリ、記憶装置及び／又は同様のものに格納される。
マルチメディア信号自体の代わりに、データベースにマルチメディア信号（101）のフィンガープリント（102）を格納することについて複数の利点が存在する。数例を以下に挙げる。データベースについてのメモリ／記憶装置の要件が減少する。
フィンガープリントは信号より実質的に短いため、フィンガープリントの比較はマルチメディア信号自体の比較より効率的である。
合致するフィンガープリントをデータベースで検索することは、短いアイテムの合致を含むため、完全なマルチメディア信号を検索するより効率的である。
マルチメディア信号への小さな変更（異なるフォーマットでの符号化、又はビットレートの変更等）はフィンガープリントに影響を与えないため、合致するフィンガープリントを検索することは成功しやすい。
代替として、マルチメディアコンテンツが単一の信号より大きい形式である場合（例えば、別々のオーディオ信号及び別々のビデオ信号）、フィンガープリント（102）はそれら（オーディオ又はビデオ）のうち単一に基づいて又は双方で生成されてもよい。
データベースに格納されている生成されたフィンガープリント（102）は、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは本発明による再生中に使用される他の手段を介して、再生装置に配信されてもよい。他の例の配信として、例えば記憶媒体又は非電子的方法での物理的な配信（例えば、ユーザが再生装置にフィンガープリント及び動作を手動で入力することを要求すること）がある。
好ましい実施例では、関連の動作の提示もまた、フィンガープリント毎にデータベースに格納される。これらの提示もまた、再生装置に送信されることが好ましい。代替実施例では、提示はデータベースに格納されず、フィンガープリントを生成するときに全く使用されない。他の関係者が関連の再生装置に提示を提供し、各フィンガープリントとその関連の動作との間の関係を提供する。
図１ｂは、本発明によるトリガーマーカとしてのフィンガープリントの検出及び使用を概略的に示している。ビデオ及び／又はオーディオ情報／コンテンツを有するデジタル又はアナログマルチメディア信号（101）が図示されており、信号（101）は適切な再生装置で再生される。更に、マルチメディア信号（101）に基づいて継続的に又は実質的に連続的に生成されるフィンガープリントストリーム（104）が図示されている。代替として、フィンガープリントストリーム（104）はセグメントで生成される。フィンガープリントストリーム（104）（又はセグメント）は、データベースに格納されているフィンガープリント（102）と比較される。格納されているフィンガープリント（102）は、生産拠点で図１ａに関して説明したように生成されている。データベースはまた、格納されているフィンガープリント（102）毎に１つ又は複数の関連の動作（105）の提示を有することが好ましい。格納されているフィンガープリント（102）は、例えば、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは他の手段を介して、配信サイトから受信される。関連の動作（105）の提示もまた、このように受信されてもよい。代替実施例では、提示及び各フィンガープリントとその関連の動作（105）との間の関係が他の関係者により提供される。
フィンガープリントストリーム（104）のセグメントとデータベースの所定のフィンガープリント（102）との間に合致が見つかった場合、その特定のフィンガープリント（102）の関連の動作（105）の提示が、適切な時点（Tn;Tn+1）で取り出されて実行される。フィンガープリントストリーム（104）のセグメントとデータベースのフィンガープリント（102）との間の合致の際に、フィンガープリント（102）が図１ａに関して説明したように生成された適切な時点（Tn;Tn+1）も決定される。所定の時点（Tn;Tn+1）は、合致するフィンガープリントが（図１ａに従った）生成中にもともと基づいているマルチメディア信号（101）のセグメントを所定の（Tn;Tn+1）で実質的に終了させることにより、決定されることが好ましい。代替実施例では、マルチメディア信号（101）のセグメントは、所定の時点（Tn;Tn+1）で実質的に開始してもよく、マルチメディア信号（101）のセグメントは、所定のトリガー時点（Tn;Tn+1）の前又は後の所定の間隔で開始又は終了してもよく、又は所定の時点（Tn;Tn+1）は、マルチメディア信号（101）のセグメントの開始と終了との間の所定の時点でもよい。再生装置は、生成中に使用される所定の時点と所定のフィンガープリントとの間の関係を認識しさえすればよい。
合致するフィンガープリント（102）が決定されると、関連の１つ又は複数の動作も取り出される。再生装置は、これらの動作を実行し、又は例えばそれらを実行する前にユーザ確認を待機することで、ユーザにそれらを提示してもよい。
前述の欧州特許出願01200505.4は、オーディオクリップについて計算されたフィンガープリントとデータベースに格納されているフィンガープリントとを合致する様々なマッチング方法を記載している。
更なる欧州特許出願012002720.7は、未知の情報信号を表すフィンガープリントとデータベースに格納されている識別情報信号の複数のフィンガープリントとを合致させ、未知の信号を特定する効率的な方法を記載している。この方法は、抽出されたフィンガープリントのビットの信頼情報を使用する。フィンガープリントのビットは、情報信号の特徴を計算し、その特徴を閾値比較してフィンガープリントのビットを得ることにより、決定される。特徴が閾値と非常に近い値を有する場合、信号の小さな変化は反対の値を備えたフィンガープリントのビットに導き得る。各フィンガープリントのビットを信頼性のあるもの又は信頼性のないものとしてマーキングするために、特徴の値と閾値との差の絶対値が使用される。実際のマッチング手順を改善するために、その後に信頼性が使用される。
本発明の更なる利点には、何らかの理由で放送が遅延した場合に、フィンガープリントの合致は、トリガー動作が放送の正確な対応時刻に依然として現れることを確保するという点がある。その理由は、本発明は時間と独立であるが、コンテンツに依存しているからである。
図２は、本発明によるフィンガープリント生成装置の概略ブロック図を示している。１つ又は複数のマイクロプロセッサ（図示せず）の制御でバス（205）等を介して通信するマルチメディア信号入力モジュール（201）、フィンガープリントモジュール（202）、データベース、メモリ記憶装置及び／又はそれと同様のもの（203）を有するフィンガープリント生成装置（200）が図示されている。一実施例では、フィンガープリント生成装置（200）は、有線及び／又は無線ネットワーク（例えばインターネット等）を介して他のシステム、装置等と通信する送信機及び受信機（204）をも任意選択で有してもよい。
マルチメディア信号入力モジュール（201）は、例えばアナログ若しくはデジタルオーディオ及び／又はビデオ信号の形式でマルチメディアコンテンツを受信し、マルチメディアコンテンツをフィンガープリントモジュール（202）に供給する。フィンガープリントモジュール（202）は、受信したマルチメディアコンテンツに基づいてフィンガープリントを計算する。フィンガープリントは、コンテンツ全体又はコンテンツの一部について導かれてもよい。代替として、複数のフィンガープリントがそれぞれ異なる部分から導かれてもよい。本発明によれば、フィンガープリントは、図１ａに関して説明したように、トリガー動作が必要なときに毎回（すなわち、時点（Tn;Tn+1）毎に）導かれる。時点の提示はまた、フィンガープリントモジュール（202）に供給される。
フィンガープリントモジュール（202）は、好ましくはフィンガープリント毎の関連の１つ又は複数の動作と共に、計算されたフィンガープリントをデータベース（203）に供給する。図４に示すように、データベース（203）は、フィンガープリント‘FP1’、‘FP2’、‘FP3’、‘FP4’、‘FP5’等と、それぞれ関連の動作‘A1’、‘A2’、‘A3’、‘A4’、‘A2’、‘A1’等とを有する。
データベース（203）は、クエリ時間及び／又はデータ編成を最適化するように様々な方法で体系化され得る。フィンガープリントモジュール（202）の出力は、データベース（203）のテーブルを設計するときに考慮されるべきである。図４に示す実施例では、データベース（203）は、各フィンガープリントと関連の（一式の）動作とを有するエントリ（レコード）を備えた単一のテーブルを有する。
図３は、本発明に従ってフィンガープリントを検出及び使用する再生装置の概略ブロック図である。１つ又は複数のマイクロプロセッサ（図示せず）の制御でバス（205）等を介して通信するマルチメディア信号受信機（301）、フィンガープリント検出器（302）、表示／再生回路（303）、データベース、メモリ記憶装置及び／又はそれと同様のもの（203’）を有する再生装置（300）が図示されている。一実施例では、再生装置（300）は、有線及び／又は無線ネットワーク（例えばインターネット等）を介して他のシステム、装置等と通信する送信機及び受信機（204）をも任意選択で有してもよい。
マルチメディア信号受信機（301）は、例えば放送ケーブル、アンテナ、パラボラアンテナ等の構成（図示せず）から表示及び／又は再生される例えばアナログ若しくはデジタルオーディオ及び／又はビデオ信号の形式でマルチメディア信号を受信する。受信したマルチメディア信号は、それからフィンガープリントストリーム又はセグメントを導き、図１ｂに関して説明したように、データベースに格納されているフィンガープリントと何らかの合致が存在するか否かを決定するフィンガープリント検出器（302）に供給される。合致が見つかった場合には、関連の動作の提示も取り出される。関連の動作についての適切な時点は、前述のように、合致するフィンガープリントにより得られる。
受信したマルチメディア信号は、表示／再生回路（303）により表示及び／又は再生され、適切な時点で、関連の動作が実行され、又は例えば動作を実行する前にユーザ確認を待機するユーザにそれらを提示される。
データベース（203’）のデータのレイアウトは、図４に示すものと対応することが好ましい。
再生装置（300）はまた、表示／再生前にマルチメディア信号の一部をバッファするバッファ機構（図示せず）を有してもよい。
図４は、本発明によるテーブル／レコードの一例を示している。フィンガープリント（102）‘FP1’、‘FP2’、‘FP3’、‘FP4’、‘FP5’等と、それぞれ関連の動作（105）‘A1’、‘A2’、‘A3’、‘A4’、‘A2’、‘A1’等とを有するテーブルが図示されている。１つ又は複数の動作（105）がフィンガープリント（102）毎に格納されている。所定のフィンガープリント（102）はテーブルに１回のみ格納されている。
特許請求の範囲において、括弧の間にある如何なる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。“有する”という用語は、請求項に記載のもの以外の要素又はステップの存在を除外するものではない。単数の要素は、そのような要素の複数の存在を除外するものではない。
本発明は、複数の異なる要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実装され得る。複数の手段を列挙した装置の請求項において、複数のこれらの手段は、ハードウェアの同一のアイテムで具現され得る。特定の手段が相互に異なる従属項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示しているのではない。
本発明によるトリガーマーカとして使用されるフィンガープリントの生成を示した概略図である。 本発明によるトリガーマーカとしてのフィンガープリントの検出及び使用を示した概略図である。 本発明によるフィンガープリント生成装置の概略ブロック図である。 本発明に従ってフィンガープリントを検出及び使用する再生装置の概略ブロック図である。 本発明によるテーブル／レコードの一例である。

Claims (21)

  1. マルチメディア信号に１つ又は複数のトリガー動作を関係付ける方法であって、
    −少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、前記マルチメディア信号の再生中に前記少なくとも１つの関連のトリガー動作が利用可能になる前記マルチメディア信号の時点を示すステップと、
    −所定のトリガー時点毎に、前記マルチメディア信号のセグメントに基づいてフィンガープリントを導き、前記マルチメディア信号の前記セグメントは前記所定のトリガー時点と一義的に関係するステップと
    を有する方法。
  2. 請求項１に記載の方法であって、
    得られたトリガー時点毎に、前記導かれたフィンガープリントと前記少なくとも１つの関連のトリガー動作の前記少なくとも１つの提示とを第１のデータベースに格納することを更に有することを特徴とする方法。
  3. 請求項１又は２に記載の方法であって、
    前記１つ又は複数の導かれたフィンガープリント及び／又は前記マルチメディア信号の前記少なくとも１つのトリガー動作の前記少なくとも１つの提示は、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは手段を介して、再生装置に送信されることを特徴とする方法。
  4. 請求項１ないし３のうちいずれか１項に記載の方法であって、
    前記マルチメディア信号の前記セグメントは、
    −前記所定のトリガー時点で実質的に終了する前記マルチメディア信号のセグメント、
    −前記所定のトリガー時点で実質的に開始する前記マルチメディア信号のセグメント、
    −前記所定のトリガー時点の前又は後の所定の間隔で開始又は終了する前記マルチメディア信号のセグメント、又は、
    −前記マルチメディア信号のセグメントの開始と終了との間の所定の時点にある所定のトリガー時点
    に従って前記所定のトリガー時点と一義的に関係することを特徴とする方法。
  5. マルチメディア信号で１つ又は複数のトリガー動作を検出する方法であって、
    −前記マルチメディア信号に基づいてフィンガープリントストリームを生成するステップと、
    −前記フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、前記フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、前記第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有するステップと、
    −合致が存在する場合には、合致するフィンガープリントに関連する前記少なくとも１つの関連の動作の前記少なくとも１つの提示を取り出すステップと
    を有する方法。
  6. 請求項５に記載の方法であって、
    適切なトリガー時点で、前記合致するフィンガープリントに関連する前記少なくとも１つの関連の動作を実行するステップを更に有することを特徴とする方法。
  7. 請求項６に記載の方法であって、
    前記適切なトリガー時点は、前記合致するフィンガープリントの生成中に使用されるマルチメディア信号のセグメントとの一義的な関係により得られることを特徴とする方法。
  8. 請求項１ないし４又は請求項５ないし７のうちいずれか１項に記載の方法であって、
    前記マルチメディア信号は、オーディオ信号、ビデオ信号、又は結合したオーディオ／ビデオ信号であることを特徴とする方法。
  9. 請求項１ないし４又は請求項５ないし８のうちいずれか１項に記載の方法であって、
    前記少なくとも１つの関連のトリガー動作は、
    −更なる情報を取り出してディスプレイに表示すること、
    −更なる情報を取り出してスピーカを介して再生すること、
    −所定又は可変の期間に前記マルチメディア信号の代わりに他のマルチメディア信号を再生すること、
    −例えば一時的に表示／再生を中止／一時停止すること、
    −他の制御コマンドを実行すること、及び／又は、
    −ユーザ入力に対してシステムを準備すること
    のグループから選択されることを特徴とする方法。
  10. 請求項１ないし４又は請求項５ないし９のうちいずれか１項に記載の方法であって、
    前記導かれたフィンガープリント及び／又は前記第２のデータベースのフィンガープリントは、オーディオ及び／又はビデオフィンガープリントであることを特徴とする方法。
  11. マルチメディア信号に１つ又は複数のトリガー動作を関係付けるマルチメディア装置であって、
    −少なくとも１つのトリガー時点を提供し、トリガー時点毎に、少なくとも１つの関連のトリガー動作の少なくとも１つの提示を提供し、各トリガー時点は、前記マルチメディア信号の再生中に前記少なくとも１つの関連のトリガー動作が利用可能になる前記マルチメディア信号の時点を示す手段と、
    −所定のトリガー時点毎に、前記マルチメディア信号のセグメントに基づいてフィンガープリントを導き、前記マルチメディア信号の前記セグメントは前記所定のトリガー時点と一義的に関係するフィンガープリント生成器と
    を有する装置。
  12. 請求項１１に記載の装置であって、
    得られたトリガー時点毎に、前記導かれたフィンガープリントと前記少なくとも１つの関連のトリガー動作の前記少なくとも１つの提示とを格納した第１のデータベースを更に有することを特徴とする装置。
  13. 請求項１１又は１２に記載の装置であって、
    前記１つ又は複数の導かれたフィンガープリント及び／又は前記マルチメディア信号の前記少なくとも１つのトリガー動作の前記少なくとも１つの提示を、インターネットを介して、若しくは放送チャネルのサイドチャネルで、又はその他のチャネル若しくは手段を介して、再生装置に送信する送信機を更に有することを特徴とする装置。
  14. 請求項１１ないし１３のうちいずれか１項に記載の装置であって、
    前記マルチメディア信号の前記セグメントは、
    −前記所定のトリガー時点で実質的に終了する前記マルチメディア信号のセグメント、
    −前記所定のトリガー時点で実質的に開始する前記マルチメディア信号のセグメント、
    −前記所定のトリガー時点の前又は後の所定の間隔で開始又は終了する前記マルチメディア信号のセグメント、又は、
    −前記マルチメディア信号のセグメントの開始と終了との間の所定の時点にある所定のトリガー時点
    に従って前記所定のトリガー時点と一義的に関係することを特徴とする装置。
  15. マルチメディア信号で１つ又は複数のトリガー動作を検出するオーディオ及び／又はビデオ再生装置であって、
    −前記マルチメディア信号に基づいてフィンガープリントストリームを生成する手段と、
    −前記フィンガープリントストリームのセグメントと第２のデータベースのフィンガープリントとの間に合致が存在するか否かを決定するために、前記フィンガープリントストリームのセグメントと第２のデータベースに格納されている１つ又は複数のフィンガープリントとを比較し、前記第２のデータベースは、格納されているフィンガープリント毎に少なくとも１つの関連の動作の少なくとも１つの提示を更に有する手段と、
    −合致が存在する場合には、合致するフィンガープリントに関連する前記少なくとも１つの関連の動作の前記少なくとも１つの提示を取り出す手段と
    を有する装置。
  16. 請求項１５に記載の装置であって、
    適切なトリガー時点で、前記合致するフィンガープリントに関連する前記少なくとも１つの関連の動作を実行する手段を更に有することを特徴とする装置。
  17. 請求項１６に記載の装置であって、
    前記適切なトリガー時点は、前記合致するフィンガープリントの生成中に使用されるマルチメディア信号のセグメントとの一義的な関係により得られることを特徴とする装置。
  18. 請求項１１ないし１４又は請求項１５ないし１７のうちいずれか１項に記載の装置であって、
    前記マルチメディア信号は、オーディオ信号、ビデオ信号、又は結合したオーディオ／ビデオ信号であることを特徴とする装置。
  19. 請求項１１ないし１４又は請求項１５ないし１８のうちいずれか１項に記載の装置であって、
    前記少なくとも１つの関連のトリガー動作は、
    −更なる情報を取り出してディスプレイに表示すること、
    −更なる情報を取り出してスピーカを介して再生すること、
    −所定又は可変の期間に前記マルチメディア信号の代わりに他のマルチメディア信号を再生すること、
    −例えば一時的に表示／再生を中止／一時停止すること、
    −他の制御コマンドを実行すること、及び／又は、
    −ユーザ入力に対してシステムを準備すること
    のグループから選択されることを特徴とする装置。
  20. 請求項１１ないし１４又は請求項１５ないし１９のうちいずれか１項に記載の装置であって、
    前記導かれたフィンガープリント及び／又は前記第２のデータベースのフィンガープリントは、オーディオ及び／又はビデオフィンガープリントであることを特徴とする装置。
  21. １つ又は複数の処理ユニットに請求項１ないし４又は請求項５ないし１０のうちいずれか１項に記載の方法を実行させる命令を格納したコンピュータ読取可能媒体。
JP2006518477A 2003-07-11 2004-07-05 マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置 Pending JP2007528144A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03102116 2003-07-11
PCT/IB2004/051128 WO2005006758A1 (en) 2003-07-11 2004-07-05 Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal

Publications (1)

Publication Number Publication Date
JP2007528144A true JP2007528144A (ja) 2007-10-04

Family

ID=34042942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006518477A Pending JP2007528144A (ja) 2003-07-11 2004-07-05 マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置

Country Status (5)

Country Link
US (11) US8020000B2 (ja)
EP (1) EP1647144A1 (ja)
JP (1) JP2007528144A (ja)
CN (1) CN1820511A (ja)
WO (1) WO2005006758A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511611A (ja) * 2011-02-24 2014-05-15 シボリューション ビー．ブイ． ユーザ装置において適切なアクションをトリガするための特別なコンテンツを有する情報信号の放送
KR20180135464A (ko) * 2016-04-08 2018-12-20 소스 디지털, 인코포레이티드 오디오 에너지 특성에 기초한 오디오 핑거프린팅
JP2021509795A (ja) * 2018-01-02 2021-04-01 ソース デジタル， インコーポレイテッドＳｏｕｒｃｅ Ｄｉｇｉｔａｌ， Ｉｎｃ． 補助データとしての座標
JP7436704B2 (ja) 2020-04-02 2024-02-22 グーグル エルエルシー ビデオストリームを同期させるための方法、システム、および媒体

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702995B2 (en) 2000-04-24 2010-04-20 TVWorks, LLC. Method and system for transforming content for execution on multiple platforms
US8936101B2 (en) 2008-07-17 2015-01-20 Halliburton Energy Services, Inc. Interventionless set packer and setting method for same
US8296792B2 (en) 2000-04-24 2012-10-23 Tvworks, Llc Method and system to provide interactivity using an interactive channel bug
US9788058B2 (en) 2000-04-24 2017-10-10 Comcast Cable Communications Management, Llc Method and system for automatic insertion of interactive TV triggers into a broadcast data stream
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
EP1567965A1 (en) * 2002-11-12 2005-08-31 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
CN1820511A (zh) 2003-07-11 2006-08-16 皇家飞利浦电子股份有限公司 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备
EP1779659B1 (en) 2004-08-12 2020-10-07 Gracenote Inc. Selection of content from a stream of video or audio data
WO2006107531A2 (en) * 2005-03-16 2006-10-12 Cluster Resources, Inc. Simple integration of an on-demand compute environment
KR100803206B1 (ko) * 2005-11-11 2008-02-14 삼성전자주식회사 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법
US8307403B2 (en) 2005-12-02 2012-11-06 Microsoft Corporation Triggerless interactive television
WO2007072326A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. Script synchronization using fingerprints determined from a content stream
WO2007144813A2 (en) 2006-06-13 2007-12-21 Koninklijke Philips Electronics N.V. Fingerprint, apparatus, method for identifying and synchronizing video
JP4935468B2 (ja) * 2007-04-03 2012-05-23 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8044363B2 (en) 2007-04-30 2011-10-25 Kimberly-Clark Worldwide, Inc. UV detection devices and methods
US8171030B2 (en) 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
US20100225810A1 (en) * 2007-07-06 2010-09-09 Ambx Uk Limited Method for synchronizing a content stream and a script for outputting one or more sensory effects in a multimedia system
US8295363B2 (en) * 2007-09-14 2012-10-23 Yahoo! Inc. Restoring program information for clips of broadcast programs shared online
US8935796B2 (en) * 2008-03-14 2015-01-13 Microsoft Corporation Segment based digital content protection
GB2472162B (en) * 2008-03-14 2012-12-26 Ambx Uk Ltd Processing in sequence of frames
US20090327334A1 (en) * 2008-06-30 2009-12-31 Rodriguez Arturo A Generating Measures of Video Sequences to Detect Unauthorized Use
US8259177B2 (en) * 2008-06-30 2012-09-04 Cisco Technology, Inc. Video fingerprint systems and methods
US8347408B2 (en) * 2008-06-30 2013-01-01 Cisco Technology, Inc. Matching of unknown video content to protected video content
WO2010022303A1 (en) * 2008-08-22 2010-02-25 Dolby Laboratories Licensing Corporation Content identification and quality monitoring
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US8941779B2 (en) 2012-03-21 2015-01-27 Sony Corporation Non-closed caption data transport in standard caption service
US9615140B1 (en) 2010-05-27 2017-04-04 Edward Malinowski Method and device for delivery of subtitle synchronized with a media stream
EP2464114A1 (en) * 2010-12-13 2012-06-13 Alcatel-Lucent España, S.A. Procedure and device for the transport of markers
EP2658248A4 (en) 2010-12-26 2014-07-09 Lg Electronics Inc AUDIOVISUAL SERVICE TRANSMISSION METHOD, AUDIOVISUAL SERVICE RECEIVING METHOD, AND AUDIOVISUAL SERVICE RECEIVING APPARATUS
EP2700238B1 (en) 2011-04-19 2018-09-19 Nagravision S.A. Ethernet decoder device and method to access protected content
US8737679B2 (en) * 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking
US9554175B2 (en) * 2011-07-20 2017-01-24 Sony Corporation Method, computer program, reception apparatus, and information providing apparatus for trigger compaction
US8935719B2 (en) 2011-08-25 2015-01-13 Comcast Cable Communications, Llc Application triggering
TWI528749B (zh) 2011-09-06 2016-04-01 Sony Corp A signal receiving device, a signal receiving method, an information processing program and an information processing system
WO2012163013A1 (zh) * 2011-10-19 2012-12-06 华为技术有限公司 音乐查询方法和装置
JP6071184B2 (ja) * 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置、受信方法、プログラム、及び情報処理システム
US9113230B2 (en) 2011-12-21 2015-08-18 Sony Corporation Method, computer program, and reception apparatus for delivery of supplemental content
US9936231B2 (en) 2012-03-21 2018-04-03 Saturn Licensing Llc Trigger compaction
KR101404596B1 (ko) 2012-05-03 2014-06-11 (주)엔써즈 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
US10104447B2 (en) 2012-06-19 2018-10-16 Saturn Licensing Llc Extensions to trigger parameters table for interactive television
EP2690593A1 (en) 2012-07-24 2014-01-29 Nagravision S.A. Method for marking and transmitting a content and method for detecting an identifyier of said content
EP2712203A1 (en) * 2012-09-25 2014-03-26 Nagravision S.A. Method and system for enhancing redistributed audio / video content
US9317471B2 (en) 2012-11-02 2016-04-19 Google Inc. Bookmarking prospective media content on computer network
US9344759B2 (en) * 2013-03-05 2016-05-17 Google Inc. Associating audio tracks of an album with video content
US9414114B2 (en) 2013-03-13 2016-08-09 Comcast Cable Holdings, Llc Selective interactivity
US9542488B2 (en) 2013-08-02 2017-01-10 Google Inc. Associating audio tracks with video content
KR101463864B1 (ko) * 2013-08-07 2014-11-21 (주)엔써즈 직접 반응 광고 검출 및 분류 시스템 및 방법
US10318579B2 (en) 2013-09-06 2019-06-11 Gracenote, Inc. Inserting information into playing content
US11076205B2 (en) 2014-03-07 2021-07-27 Comcast Cable Communications, Llc Retrieving supplemental content
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US10264329B2 (en) * 2014-10-28 2019-04-16 Disney Enterprises, Inc. Descriptive metadata extraction and linkage with editorial content
US10299012B2 (en) * 2014-10-28 2019-05-21 Disney Enterprises, Inc. Descriptive metadata extraction and linkage with editorial content
KR102019493B1 (ko) * 2015-02-09 2019-09-06 삼성전자주식회사 디스플레이 장치 및 그 정보 제공 방법
CN106375848A (zh) * 2015-07-23 2017-02-01 无锡天脉聚源传媒科技有限公司 一种视频播放提示方法及装置
US10097882B2 (en) 2015-08-11 2018-10-09 Arris Enterprises Llc Back-end content analysis system to initiate second-screen confirmation
CN106412715A (zh) * 2016-09-14 2017-02-15 华为软件技术有限公司 一种信息检索方法、终端以及服务器
US11056105B2 (en) 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
US11043206B2 (en) 2017-05-18 2021-06-22 Aiqudo, Inc. Systems and methods for crowdsourced actions and commands
US10838746B2 (en) 2017-05-18 2020-11-17 Aiqudo, Inc. Identifying parameter values and determining features for boosting rankings of relevant distributable digital assistant operations
US11340925B2 (en) 2017-05-18 2022-05-24 Peloton Interactive Inc. Action recipes for a crowdsourced digital assistant system
US11418858B2 (en) 2017-09-01 2022-08-16 Roku, Inc. Interactive content when the secondary content is server stitched
US11234060B2 (en) 2017-09-01 2022-01-25 Roku, Inc. Weave streaming content into a linear viewing experience
WO2019152511A1 (en) 2018-01-30 2019-08-08 Aiqudo, Inc. Personalized digital assistant device and related methods
CN108900890A (zh) * 2018-06-29 2018-11-27 北京优屏科技服务有限公司 互动广告播放方法及系统
US11245959B2 (en) * 2019-06-20 2022-02-08 Source Digital, Inc. Continuous dual authentication to access media content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001061508A1 (en) * 2000-02-17 2001-08-23 Digimarc Corporation Watermark encoder and decoder enabled software and devices
WO2001071960A1 (en) * 2000-03-18 2001-09-27 Digimarc Corporation Transmarking, watermark embedding functions as rendering commands, and feature-based watermarking of multimedia signals
WO2003043329A2 (fr) * 2001-11-16 2003-05-22 Thales Signal de programme de diffusion avec commande, systemes d'inscription et de lecture de commande, chaine de production et de diffusion associes

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711564B2 (en) 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US6637032B1 (en) 1997-01-06 2003-10-21 Microsoft Corporation System and method for synchronizing enhancing content with a video program using closed captioning
US8332478B2 (en) 1998-10-01 2012-12-11 Digimarc Corporation Context sensitive connected content
US7302574B2 (en) * 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US7185201B2 (en) * 1999-05-19 2007-02-27 Digimarc Corporation Content identifiers triggering corresponding responses
CA2373511C (en) 1999-05-19 2014-07-08 Digimarc Corporation Methods and systems for controlling computers or linking to internet resources from physical and electronic objects
US6785815B1 (en) * 1999-06-08 2004-08-31 Intertrust Technologies Corp. Methods and systems for encoding and protecting data using digital signature and watermarking techniques
US6216462B1 (en) 1999-07-19 2001-04-17 The United States Of America As Represented By The Administrator Of The Environmental Protection Agency High efficiency, air bottoming engine
US7444353B1 (en) * 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7412462B2 (en) * 2000-02-18 2008-08-12 Burnside Acquisition, Llc Data repository and method for promoting network storage of data
ITSV20000017A1 (it) * 2000-04-17 2001-10-17 Esaote Spa Metodo e macchina per il rilevamento d'immagini in risonanza magnetica nucleare
AU2001277047B2 (en) 2000-07-20 2007-09-06 Digimarc Corporation Using embedded data with file sharing
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6748360B2 (en) * 2000-11-03 2004-06-08 International Business Machines Corporation System for selling a product utilizing audio content identification
US7085613B2 (en) * 2000-11-03 2006-08-01 International Business Machines Corporation System for monitoring audio content in a video broadcast
AU2002232817A1 (en) * 2000-12-21 2002-07-01 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US6959143B2 (en) * 2000-12-26 2005-10-25 Eloda Inc. Advertising extracting system
EP1362485B1 (en) 2001-02-12 2008-08-13 Gracenote, Inc. Generating and matching hashes of multimedia content
GB2375907A (en) 2001-05-14 2002-11-27 British Broadcasting Corp An automated recognition system
US7016968B2 (en) * 2001-06-22 2006-03-21 International Business Machines Corporation Method and apparatus for facilitating the providing of content
US6741684B2 (en) 2001-06-26 2004-05-25 Koninklijke Philips Electronics N.V. Interactive TV using remote control with built-in phone
US6968337B2 (en) * 2001-07-10 2005-11-22 Audible Magic Corporation Method and apparatus for identifying an unknown work
US7064796B2 (en) * 2001-12-21 2006-06-20 Eloda Inc. Method and system for re-identifying broadcast segments using statistical profiles
US20030120923A1 (en) * 2001-12-21 2003-06-26 Avaya Technology Corp. Secure data authentication apparatus
US6959865B2 (en) * 2002-03-28 2005-11-01 Hand Held Products, Inc. Customizable optical reader
EP1349405A1 (de) * 2002-03-28 2003-10-01 Siemens Aktiengesellschaft Verfahren zum Laden eines Softwareprogramms auf ein mobiles Kommunikationsendgerät
PT1504445E (pt) * 2002-04-25 2008-11-24 Landmark Digital Services Llc Emparelhamento de padrões áudio robusto e invariante
AU2003216669A1 (en) * 2002-05-10 2003-11-11 Koninklijke Philips Electronics N.V. Watermark embedding and retrieval
US7461392B2 (en) * 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US6766523B2 (en) * 2002-05-31 2004-07-20 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
GB0304663D0 (en) * 2003-02-28 2003-04-02 Ncipher Corp Ltd A method and system of securely enforcing a computer policy
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
CN1795677A (zh) * 2003-03-28 2006-06-28 皇家飞利浦电子股份有限公司 采用指纹的数据块检测
CN1820511A (zh) * 2003-07-11 2006-08-16 皇家飞利浦电子股份有限公司 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备
US20050226601A1 (en) * 2004-04-08 2005-10-13 Alon Cohen Device, system and method for synchronizing an effect to a media presentation
US20060015855A1 (en) * 2004-07-13 2006-01-19 Kumamoto Danny N Systems and methods for replacing NOP instructions in a first program with instructions of a second program
JP2008205979A (ja) * 2007-02-22 2008-09-04 Hitachi Ltd 放送データ変換装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001061508A1 (en) * 2000-02-17 2001-08-23 Digimarc Corporation Watermark encoder and decoder enabled software and devices
WO2001071960A1 (en) * 2000-03-18 2001-09-27 Digimarc Corporation Transmarking, watermark embedding functions as rendering commands, and feature-based watermarking of multimedia signals
WO2003043329A2 (fr) * 2001-11-16 2003-05-22 Thales Signal de programme de diffusion avec commande, systemes d'inscription et de lecture de commande, chaine de production et de diffusion associes

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511611A (ja) * 2011-02-24 2014-05-15 シボリューション ビー．ブイ． ユーザ装置において適切なアクションをトリガするための特別なコンテンツを有する情報信号の放送
US11223854B2 (en) 2011-02-24 2022-01-11 Teletrax B.V. Broadcasting an information signal having special content for triggering an appropriate action in a user device
KR20180135464A (ko) * 2016-04-08 2018-12-20 소스 디지털, 인코포레이티드 오디오 에너지 특성에 기초한 오디오 핑거프린팅
JP2019518248A (ja) * 2016-04-08 2019-06-27 ソース ディジタル インコーポレイテッド オーディオを含むコンテンツに対する補助データの同期化
JP2019519869A (ja) * 2016-04-08 2019-07-11 ソース ディジタル インコーポレイテッド オーディオエネルギー特性に基づくオーディオフィンガープリンティング
JP2019520011A (ja) * 2016-04-08 2019-07-11 ソース ディジタル インコーポレイテッド メディア環境駆動型コンテンツ配信プラットフォーム
KR102304197B1 (ko) 2016-04-08 2021-09-24 소스 디지털, 인코포레이티드 오디오 에너지 특성에 기초한 오디오 핑거프린팅
JP2022095945A (ja) * 2016-04-08 2022-06-28 ソース ディジタル インコーポレイテッド オーディオを含むコンテンツに対する補助データの同期化
JP7442211B2 (ja) 2016-04-08 2024-03-04 ソース ディジタル インコーポレイテッド オーディオを含むコンテンツに対する補助データの同期化
JP2021509795A (ja) * 2018-01-02 2021-04-01 ソース デジタル， インコーポレイテッドＳｏｕｒｃｅ Ｄｉｇｉｔａｌ， Ｉｎｃ． 補助データとしての座標
JP7436704B2 (ja) 2020-04-02 2024-02-22 グーグル エルエルシー ビデオストリームを同期させるための方法、システム、および媒体

Also Published As

Publication number Publication date
US20210360299A1 (en) 2021-11-18
US9407962B2 (en) 2016-08-02
US9712853B2 (en) 2017-07-18
US10045054B2 (en) 2018-08-07
EP1647144A1 (en) 2006-04-19
CN1820511A (zh) 2006-08-16
US9479831B2 (en) 2016-10-25
US20200322653A1 (en) 2020-10-08
US20190327502A1 (en) 2019-10-24
WO2005006758A1 (en) 2005-01-20
US8020000B2 (en) 2011-09-13
US8660267B2 (en) 2014-02-25
US20060190776A1 (en) 2006-08-24
US10250916B2 (en) 2019-04-02
US20170289590A1 (en) 2017-10-05
US9066114B2 (en) 2015-06-23
US10595053B2 (en) 2020-03-17
US11109074B2 (en) 2021-08-31
US20150189380A1 (en) 2015-07-02
US11641494B2 (en) 2023-05-02
US20140130077A1 (en) 2014-05-08
US20170013291A1 (en) 2017-01-12
US20190045240A1 (en) 2019-02-07
US20160269780A1 (en) 2016-09-15
US20120016876A1 (en) 2012-01-19

Similar Documents

Publication Publication Date Title
US11109074B2 (en) Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
US11805291B2 (en) Synchronizing media content tag data
JP5001362B2 (ja) カスタマイズされたマルチメディア・セグメントを作成しかつ視聴するための方法と装置
US9621963B2 (en) Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
KR20100126405A (ko) 녹화된 오디오/비디오 스트림의 오디오 데이터를 대체하는 방법 및 장치
JP6903653B2 (ja) 共通メディアセグメントの検出
JP2009542089A (ja) インバンド・データの認識および同期システム
US20210058681A1 (en) Watermark-based data recovery for content with multiple alternative components
RU2630261C2 (ru) Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения
TW202106036A (zh) 使用隱寫編碼資料作為基礎來消歧基於指紋的頻道多匹配
EP2811416A1 (en) An identification method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101025