JP2009540723A - ビデオを識別及び同期させるためのフィンガープリント、装置及び方法 - Google Patents

ビデオを識別及び同期させるためのフィンガープリント、装置及び方法 Download PDF

Info

Publication number
JP2009540723A
JP2009540723A JP2009514959A JP2009514959A JP2009540723A JP 2009540723 A JP2009540723 A JP 2009540723A JP 2009514959 A JP2009514959 A JP 2009514959A JP 2009514959 A JP2009514959 A JP 2009514959A JP 2009540723 A JP2009540723 A JP 2009540723A
Authority
JP
Japan
Prior art keywords
scene
fingerprint
video stream
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009514959A
Other languages
English (en)
Other versions
JP2009540723A5 (ja
JP5461176B2 (ja
Inventor
ヴィレム エフ ジェイ ホーヒェン−ストラーテン
コルネリス ダブリュ クヴェスタウト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009540723A publication Critical patent/JP2009540723A/ja
Publication of JP2009540723A5 publication Critical patent/JP2009540723A5/ja
Application granted granted Critical
Publication of JP5461176B2 publication Critical patent/JP5461176B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Collating Specific Patterns (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

シーン200a, 200b, 200cのシーケンスを有するビデオストリーム110のためのフィンガープリント340が提供され、フィンガープリント340は、シーン200a, 200b, 200cの継続期間を示す情報を含む。シーン200a, 200b, 200cの継続期間を示す情報は、シーン200a, 200b, 200cがビデオストリーム110中に含まれる順番で、フィンガープリント340中に含まれる。さらに、各々の継続期間は、オプションとして、ビデオフレーム260, 270の数のカウントとして定められる。本発明の方法は、より簡単に及びより効率的に、第１及び第２のデータ信号を一緒に同期させることができるフィンガープリントを生成することが可能である。

Description

本発明は、シーンのシーケンスを有するビデオストリームのためのフィンガープリントに関し、さらに一般的な及び副メディアをビデオストリームに同期させるように動作可能な装置におけるその使用に関し、例えば本発明は、ビデオストリームにambilightスクリプトを同期させる装置における課題に関係する。さらに、本発明はまた、ビデオストリームを識別するため、及び例えば上述のambilightに関連してビデオストリームに副メディアを同期させるためのフィンガープリントを用いる方法に関する。さらに、本発明はそのような方法を実現するように動作可能なコンピュータ計算ハードウェア上で実行可能なソフトウェアに関する。
"ambilight"は、テレビ及び同様の画像表示装置に対するエンハンスメントである。図1を参照すると、ambilightは、テレビ表示画面30又は同様の表示装置の周辺領域の少なくとも一部を囲むようにユーザ20に対して動作中に現れる光10の周辺ハローに関係し、表示画面30は、多少の例のみを挙げると、CRT技術、プラズマピクセル技術、液晶ディスプレイ（LCD）技術、発光ダイオード（LED）及び/又は有機発光ダイオード（OLED）技術に基づくことができる。ambilightは、ユーザ20の眼は、進化か又は別の方法によって、それらの視野の中央の領域において最も大きな空間分解能を備え、それらの視野の周辺領域において更なる広範性空間分解能（diffuse spatial resolution）を備えるという特性を利用する。したがって、改良された視聴経験をユーザ20に提供するために、その中央の領域において最高の空間情報及び色情報を含めることが必要とされる広大な表示画像をユーザ20に示すことが望ましい。データの倹約及びディスプレイ製造上の倹約のために、ambilightは、ユーザ20の眼が最も感受性がある広大な表示画像の中央領域に示される最大の空間情報及び色情報によって、ユーザ20に広大な表示画像を供給することができる。上述の周辺ハロー10は、様々な周辺光源から、例えば関連したテレビ表示画面30又は同様の装置に表示される画像に応答してその色及び光出力が変化する光源40から、生成されることができる。
ambilightのより基本的な実施態様において、周辺光源を駆動する情報は、テレビ表示画面30に示される画像から得られる。そのようなアプローチは、既存のビデオ素材から、例えば既存のビデオテープ、DVD、及び通信ネットワークを介して、例えばインターネットを介して又は衛星リンクを介してダウンロードされるビデオ素材から、可能なambilight動作を表現する。既存のビデオ素材から得られるambilightに関する運営上の懸念は、周辺ハローが、ユーザ20に対してテレビ30に表示されるビデオ素材を色に関して正しく補完しなければならないだけでなく、同様にテレビ30に示される画像の一般的な色の変化に、実質的に正確に、時間的に追従しなければならないことである。同時に、テレビジョンスクリーン30上の画像は、空間的色コンテント及びその空間的色コンテントの分析結果から得られる周辺光源40に対する対応する駆動のために分析される。そのような分析は、ディジタルハードウエア、又はそのような分析をコンピュータ計算ハードウェアに実行させるソフトウェアを実行するように動作可能なコンピュータ計算ハードウェアによって実現可能である。
上記で説明された既知のambilightに関する進歩として、ambilightスクリプトを提供するデータストリーム又はデータファイルをユーザ20に与えることが望ましい。すなわち、周辺光源40のリアルタイム駆動においてテレビジョンスクリーン30に示されるビデオ画像から得る代わりに、例えばユーザ20に対する更なるサービスとして、既存のビデオ素材、更には将来のビデオ素材に付随するように、ambilightスクリプトを提供することが望ましい。そのようなambilightスクリプトは、可能ないくつかの代替経路を介して、例えば、インターネットを介してファイルとしてダウンロードされ、独立したCD若しくはDVD又は同様の種類のデータキャリアとして、無線又は衛星リンクによって伝達されるデータストリームとして、ユーザ20に提供されることができることがさらに認識される。これらの代替経路は同時に「マルチメディア」として知られる。
図2を参照すると、本発明によって少なくとも部分的に対処され、既知のambilightにおけるそのような進歩の結果として生じる技術的な課題は、すでにユーザ20が所有しており、ユーザ20の装置によって受け取ることができ、又はデータベース120に記憶されて潜在的にユーザ20がアクセス可能な対応するビデオ素材110に、受け取られたambilightスクリプト100を同期させる方法である。スクリプト100及びビデオ素材が動作中に同期してテレビ30及びambilight光源40に出力されることができるように、ビデオ素材110へのambilightスクリプト100の時間的同期を可能にする任意の同期マーカー130又は類似のものをビデオ素材110が実質的に欠いている場合、この技術的な課題はさらに悪化する。
２つ以上の信号を一緒に同期させる方法が知られている。例えば、公開された国際PCT特許出願PCT/IB2004/051259（WO 2005/011281）において、少なくとも２つの信号の同期に利用可能な第１のフィンガープリント及び第２のフィンガープリントを生成する装置及び方法が記載されている。この方法において、フィンガープリント対は、第１の信号のセグメント及び第２の信号のセグメントに基づいて生成され、言い換えると、フィンガープリントは、第１の信号及び第２の信号の全体に対して生成されず、その一部に対してのみ生成される。例えば、第１の信号はオーディオ信号、第２の信号はビデオ信号であり、消費のためにユーザに示されるときに、オーディオ信号及びビデオ信号は正確に時間的に同期される。上述の特許出願に記載されている方法において、オーディオ及びビデオ信号に関連する生成されたフィンガープリント対は、データベース中に記憶されて、同期装置に伝達又は分配される。同期装置を用いたオーディオ及びビデオ信号の同期の間、オーディオ信号及びビデオ信号の両方のフィンガープリントは、同期装置によって生成されて、これらのフィンガープリントはデータベース中のフィンガープリントに対して照合される。一致する場合、フィンガープリントは同期時点を決定するために用いられることができ、これらの時点は、オーディオ及びビデオ信号を一緒に同期するために用いられることができる。さらに、そのような同期は、オーディオ信号又はビデオ信号のいずれも変更する必要なく、達成されることができる。
前記の公開PCT特許出願に記載されている方法は、フィンガープリント対が、オーディオ及びビデオの両方について準備されてデータベース中に記憶されなければならないという課題を被る。さらに、同期の間、フィンガープリント対を照合する目的でデータベースへアクセスすることは都合の悪い場合があり、又はリアルタイムで提供するには費用がかかる場合がある。したがって、コンシューマ機器に関しては、そこに記憶された前処理されたフィンガープリント対を持つそのようなデータベースへの接続を提供することは、必ずしも実用的でなく又は実行可能でない。この方法の更なる欠点は、要求される計算のために相当な量のリソースが必要とされる点で、計算的に魅力的ではないことである。この方法のなお更なる欠点は、それがビデオフォーマットの変更に弱いことである。例えば、標準密度のビデオに対して生成されたフィンガープリントは、そのフィンガープリントを含むビデオフォーマットが高密度のビデオフォーマットに変換されると、一般的に役に立たなくなる。同様に、21:9のフレーム比に対して生成されたフィンガープリントは、ビデオが16:9のフレーム比に切り取られた後では一般的に機能しない。
したがって、本発明によって少なくとも部分的に対処される技術的な課題は、特に上述のambilight技術に関連して、２つのデータ信号を同期させる代替方法を提供することである。
本発明の目的は、第１のデータ信号からフィンガープリントを生成するための代替方法、及びその代替方法を実現するように動作可能な装置を提供することであって、前記フィンガープリントはオプションとして、第１のデータ信号を第２のデータ信号に同期させることに、例えばambilightスクリプトとambilightに関連するビデオコンテントとを時間的に同期させるために、使用されることができる。
本発明の第１の態様によれば、シーンのシーケンスを有するビデオストリームのためのフィンガープリントが提供され、前記フィンガープリントは、前記シーンの継続期間を示す情報を含む。
ビデオストリームのためのフィンガープリントは、それが情報の圧縮された部分に基づいてビデオストリームを識別することを提供するという点で、ビデオストリームの符号化とみなされることができる。しかしながら、フィンガープリントは一般的に、それからビデオストリームを再構成するのに十分なそれ自身に関する情報を提供しない。ビデオストリームのフィンガープリントの概念は、そのようなものとして知られる。同様に、シーンの概念は、ビデオの分野において、以下で詳述されるようなものとして知られる。
フィンガープリントの基本的なアイデアは、それが入力列のコンパクトな表記としての役割を果たし、それがあたかもその列によって一意的に定義可能であるかのように用いられることができることである。本発明のフィンガープリントは、とりわけ、ビデオストリームを識別し、又はそれを同期することを目的とする。これは、ビデオストリームを比較することよりむしろ、それぞれのビデオストリームのフィンガープリントを比較することによって達成されることができる。あるいは、これは完全なビデオストリームのフィンガープリントの一部に対して、ビデオストリームの一部から取得される部分的なフィンガープリントを比較することによって達成されることができる。フィンガープリントは、完全なビデオストリーム中のビデオストリームの断片の時間的位置を決定することをさらに可能にし、前記断片は完全なビデオストリームの一部である。
このフィンガープリントは、既存のフィンガープリントと比較して少ない計算量を持つ。MPEGのようないくつかのビデオ配信フォーマットでは、復号器は既に、復号器リソースの割り当てを最適化するためのシーン変化検出を実行する。したがって、このフィンガープリントは、そのような復号器において非常にわずかな追加コストで実現されることができる。特に、フィンガープリントは、シーンの継続期間を示す情報を含むのではなく、シーンの継続期間を示す情報から成ることができる。驚くべきことに、フィンガープリントがその情報のみから成る場合であっても、それがいくつかのシーン変化のみに関連する場合、これは依然として固有のフィンガープリントになる。これは、特に単一フレームに及ぶ分解能で測定される場合、典型的なビデオストリームのシーン継続期間の大きな変動によって引き起こされる。
このフィンガープリントは、ビデオフォーマットの変更又はトランスコーディングに対して、シーン継続期間が一般的にそのような操作に影響を受けないので、堅牢である。
このフィンガープリントは、シーンのシーケンスを有する任意のビデオストリームの認識のための比較的効果的な方法を可能にする。それはまた、例えば放送される動画の途中にスキップすることによってビデオストリームの始まりを見のがした後で、特定の時点からのみ受け取られるビデオストリームを識別することを可能にする。そのような方法は、次のように動作する。最初に、フレームカウンタがリセットされる。シーン変化を検出すると、カウンタは読み出されて、その後リセットされる。読出し値は、オプションとしての搬送の後、一セットのレコードのサブセットを決定するマッチング装置に供給される。サブセット中の各々のレコードは、読出し値にマッチする関連するフィンガープリントを持つ。この値がフィンガープリントに存在する場合、フィンガープリントは読出し値にマッチする。あるいは、軽微なエラーに対応するために、更なる値がフィンガープリント中に存在し、前記値と更なる値との間の差分量が閾値を上回らない場合、フィンガープリントがその値にマッチするとしてもよい。閾値は予め定められていることができ、又はそれは、例えば比較的長いシーン中の失われたフレームに対するロバストネスを提供するために、前記値に依存することができる。
先のステップが繰り返され、マッチング装置は、取得されたサブセットがビデオストリームを識別する一つのレコードを含むまで、又は、ビデオストリームが初期のセット中に関連するレコードを持たない場合にはサブセットが空になるまで、以前に確立されたサブセットを継続する。遠隔マッチング装置の場合には、最終結果はフレームがカウントされる場所に戻されることができる。あるいは、マッチング装置は、テュープル（tuple）中に複数のフレームカウントが蓄積された場合にのみ、マッチングを始めることができる。これは、例えば、中間のサブセットが保持される必要がないので、レコードの検索がずっと効率的に行われることができるという利点を持つ。
ビデオストリームを識別することはそれ自体で、ビデオストリームに関連するメタデータ（ビデオストリームが映画である場合には、例えばタイトル、俳優、音楽、ビデオストリームが曲のビデオクリップである場合には、アーティスト、アルバム、販売場所）にリンクすることのような、いくつかのアプリケーションを持つ。
シーンの継続期間は、シーンのフレームをカウントすることによって決定されることができる。しかしながら、周知のように、異なるフレームレートが世界中で使用されている。したがって、ビデオのフレームレートの変換に対するフィンガープリントのロバストネスをさらに増加させるために、フィンガープリントはフレームレートを考慮することができる。これは様々な方法で達成されることができる。
第１の方法において、継続期間は、シーンのフレームをカウントし、取得されたフレームカウントにフレーム周期を乗じること（後者は２つの連続するフレーム間の一定量の時間である）によって決定される。このようにして、シーン継続期間は取得される。この第１の方法によって、フィンガープリントは、継続期間を示す情報を含むことのみを必要とする。この方法は、現在使用されていない将来のフレームレートに拡張可能であるという利点を持つ。取得された継続期間は、秒のようなあらかじめ決められた単位で表現されることができ、浮動小数点数としてフィンガープリント中に符号化されることができる。有利には、継続期間は、ミリ秒又はマイクロ秒のような非常に小さなあらかじめ決められた単位の整数倍数として表現され、２進整数としてフィンガープリント中に符号化される。
第２の方法において、１つの特定のフレームレートが、デフォルトとしてあらかじめ決められる。各々のフィンガープリントは、その１つの特定のフレームレートの継続期間を有する。シーン継続期間がその１つの特定のフレームレートと異なるフレームレートでフレームをカウントすることによって決定される場合、取得されたフレームカウントは、その１つの特定のフレームレートに変換される。一つの例において、この１つの特定のフレームレートは、300Hzとなるようにあらかじめ決められる。この例では、50Hzのフレームレートに関するフレームカウントは6によって乗じられ、60Hzのフレームレートに関するフレームカウントは5によって乗じられる。この方法は、この１つの特定のフレームレートがフィンガープリントに内在するので、フィンガープリント自体は追加の情報を含む必要はないという利点を有する。
第３の方法において、フィンガープリントはさらに、フレームカウントの次に、フレームがカウントされたフレームレートを示す情報を含む。一つの実施例において、フィンガープリントの１つの追加されたシングルビットが、そのフィンガープリントのフレームカウントが関連するフレームレートを示す。この例において、フィンガープリント中でその１つの追加されたシングルビットが１に設定される場合、そのフィンガープリント中のフレームカウントは60Hzのフレームレートに関連し、その１つの追加されたシングルビットが０に設定される場合、そのフィンガープリント中のフレームカウントは50Hzのフレームレートに関連する。この例は、フレームレートを符号化するために一つのビットのみを必要とするという利点を有する。複数のあらかじめ決められたフレームレートのうちの１つを示すためにいくつかのビットが用いられる他の実施例が可能である。この第３の方法は、一つのフィンガープリントフォーマットがいくつかのフレームレートをサポートするという利点を持つ。
第４の方法において、フィンガープリントはフレームカウントのみを有し、ふさわしいフレームレートを決定するために発見的手法が適用される。一つの実施例において、ビデオ信号がNTSC規格に従う場合、フレームレートは60Hzであると推測されることができ、ビデオ信号がPAL規格に従う場合、フレームレートは50Hzであると推測されることができる。
他のいくつかの方法が、例えば上記の方法の測定を組み合わせることによって、フレームカウントに基づいてシーン継続期間を決定するために適用されることができる。
請求項１に記載のフィンガープリントの１つのアプリケーションにおいて、フィンガープリントはambilightスクリプトに関連する。ambilight「光スピーカ」を備えるテレビジョン受信機、マルチメディアセンター又はPCのようなエンターテイメント装置は、そのスクリーンにビデオストリームを表示する。周知のように、例えば、光スピーカがスクリーン上の色を模倣及び拡張するように、ビデオコンテントはテレビジョン受信機によって分析されることができる。
エンターテイメント装置は、ビデオストリーム中のシーン変化を判定し、ビデオストリームの部分的なフィンガープリントを計算し、そしてambilightスクリプトに伴うフィンガープリントとその部分的なフィンガープリントとを照合する。一致が見いだされるとすぐに、今では同期されているambilightスクリプトが、分析されているビデオコンテントから光スピーカの色の決定を引き継ぐ。
ambilightスクリプトが光スピーカを制御する間、エンターテイメント装置は、同期の消失を検出するために、ビデオストリーム中のシーン変化を判定することを継続する。同期の消失が検出される場合、ambilightスクリプトは光スピーカを制御することを止めて、エンターテイメント装置は、光スピーカを制御するためのビデオコンテントの分析に復帰する。同期の消失の後、エンターテイメント装置は、ambilightスクリプトとの同期の回復を試みるために、依然としてビデオストリーム中のシーン変化を判定することを継続する。
同期の消失を検出して同期を回復するために、いくつかの発見的手法が適用されることができる。
第１の発見的手法において、同期されたフィンガープリントがシーン変化を定めていない瞬間に、ビデオストリーム中でシーン変化が検出されるとすぐに、同期の消失が検出されることができる。これは、高速な応答時間で消失を検出することができるという利点を有する。
第２の発見的手法において、同期されたフィンガープリントが何のシーン変化も定めていない２つの瞬間の両方において、２つの連続したシーン変化がビデオストリーム中に検出されるとすぐに、同期の消失が検出されることができる。これは、同期の消失を誤って検出することを防ぐことができるという利点を持つ。
第３の発見的手法において、同期の消失は、ビデオストリームから又はエンターテイメント装置を操作しているユーザから導き出される他の信号に基づいて、検出されることができる。１つの実施例として、いくつかの瞬間で、コマーシャルのブロックがビデオストリームの一部として放送されることが予想される。他の実施例では、他のチャネルへ切り替えるためにリモコンを操作しているユーザは、同期の消失の検出を直ちにもたらすことができる。これは、同期の消失の検出がシーン変化を検出することのみに依存するだけではないという利点を持つ。
同様に、同期を回復するために、様々な発見的手法が適用されることができる。
回復のための第１の発見的手法において、回復は、先行する同期の消失の前後関係に基づく。１つの実施例では、ユーザが異なるチャネルを選択することよって同期が失われた場合、エンターテイメント装置が消失の前後関係を記憶するならば、ユーザが以前のチャネルに戻った後すぐに、同期は回復されることができる。前後関係は、照合されたフィンガープリントに関連するチャネル、並びに消失が発生した際の時点又はフレームカウントを含むことができる。他の実施例で、消失がコマーシャルブレークによって生じた場合、回復は、例えばこの例ではコマーシャルブレークの典型的な長さである30秒後に試みられることができる。また、回復は、ブレーク直前のビデオストリームの一部分がブレークの後に繰り返されることを考慮することができる。そのような部分は一般的に、数秒から３０秒程の間、持続する。これは、コマーシャルブレークために部分的なフィンガープリントを修正することによって、例えば部分的なフィンガープリントからのコマーシャルブレークの一部であるシーン変化を取り除くことによって、達成されることができる。そして、修正された部分的なフィンガープリントは、ambilightスクリプトに関連する完全なフィンガープリントに対して照合される。部分的なフィンガープリントの修正は、繰り返される部分を取り除くことを必要とする場合もある。
フィンガープリントはまた、ビデオストリームに他のメディアタイプ（特に字幕）を同期させることに適している。
本発明は、より簡単に及びより効率的に第１及び第２のデータ信号を一緒に同期させることができるフィンガープリントを生成する方法を可能する際にさらに利点がある。
オプションとして、シーンの継続期間を示す情報は、シーンが前記ビデオストリーム中に含まれる順番で、フィンガープリント中に含まれる。そのようなフィンガープリントは、フィンガープリントがレコードの初期のセットにわたって十分な独自の継続期間を含むと、現在のフレームカウント数とビデオストリームの開始との間のオフセットも決定されることができるので、ビデオストリームの識別及びビデオストリームとの同期を同時に提供する。
オプションとして、フィンガープリント中で、各々の継続期間は、その中のビデオフレームの数のカウントとして定義される。
いくつかのMPEG復号器は、すでに復号器リソースの割り当てを最適化するためにシーン変化検出を実行しており、事実上、フレームカウンタのみが追加されることを必要とする。したがって、このフィンガープリントは、そのような復号器において、ごく僅かな追加コストで実現されることができる。
オプションとして、フィンガープリントにおいて、継続期間は以下の一つ以上に対応するシーン変化によって定められる。
(a) ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
本発明の第２の態様によれば、本発明の第１の態様によるフィンガープリントを生成するように動作可能な装置が提供され、当該装置は、
(a) ビデオストリームを受け取るためのデータ入力装置、
(b) 前記入力装置を介して伝達されるビデオストリームをその中のシーン変化の発生を検出するために分析し、検出されたシーン変化の発生からビデオストリーム中に含まれるシーンの継続期間を計算し、前記継続期間からフィンガープリントを生成するデータプロセッサ、
を含む。
オプションとして、この装置において、前記プロセッサは、以下の一つ以上に基づく分析によって前記ビデオストリーム内のシーン変化を検出するように動作可能である。
(a) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
本発明の第３の態様によれば、ビデオストリームから本発明の第１の態様によるフィンガープリントを生成する方法が提供され、当該方法は、
(a) 前記ビデオストリームを受け取るステップ、
(b) 前記ビデオストリーム中のシーン変化の発生を検出するステップ、
(c) 検出されたシーン変化の発生から前記ビデオストリーム中に含まれるシーンの継続期間を計算するステップ、及び
(d) 前記継続期間からフィンガープリントを生成するステップ、
を有する。
オプションとして、この方法において、ステップ（b）は、以下の一つ以上に基づく分析によって前記ビデオストリーム内のシーン変化を検出することを含む。
(a) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
シーン変化検出のための他のステップ及び技術が適用されることもできる。実のところ、部分的なフィンガープリントを取得するために、フィンガープリントの生成及びビデオストリームの分析の両方に同じ検出器が用いられる限り、何が厳密に検出されるかはある程度まで無関係である。
本発明の第４の態様によれば、シーン変化検出をビデオストリームに適用することによって装置中でビデオストリームに副メディアを同期させる方法が提供され、当該方法は、
(a) 前記装置のデータ入力装置において副メディア及びビデオストリームを受け取るステップ、
(b) 前記装置のデータプロセッサにおいて、前記入力装置を介して伝達されるビデオストリームをその中のシーン変化の発生を検出するために分析するステップ、並びに
(c) 前記装置において、ビデオストリーム中のシーン変化に対応する識別子を含む副メディアに基づいて、ユーザへの並行したビデオストリーム及び副メディアの表示を同期させるステップを有し、副メディアはambilightスクリプトを含み、当該方法は、前記装置において適応される際に、前記ビデオストリームに前記ambilightスクリプトを同期させるように動作可能である。
本発明の第５の態様によれば、本発明の第４の態様による方法を実現するために、本発明の第２の態様による装置の演算ハードウェア上で動作可能なソフトウェアが提供される。
本発明の第６の態様によれば、本発明の第２の態様による装置のための副メディアとして用いられるambilightスクリプト用のデータ構造が提供され、当該データ構造はシーン変化インジケータ及び各々のシーンに付随するambilight変化を含む。
オプションとして、前記データ構造において、ambilightスクリプトは、当該ambilightスクリプトが補完するビデオストリームのシーン変化分析を動的に制御するための一つ以上のパラメータを含む。
フレーズ「データ構造」は、以前から特許権保護を受けることができる主題であるデータ信号フォーマットと同様に解釈されるべきである。
いうまでもなく、本発明の特徴は、添付の請求の範囲によって規定される本発明の範囲内において、任意の組み合わせで組み合わせられることができる。本発明の実施の形態は、以下に添付の図面を参照して一例として説明される。
添付の図面において、下線を引かれた番号は、下線を引かれた数が配置されるアイテム又は下線を引かれた数が隣接するアイテムを表すために使用される。下線を引かれていない番号は、下線を引かれていない番号とアイテムとを結ぶラインによって識別されるアイテムに関する。番号に下線を引かれておらず、付随する矢印を伴う場合、下線が引かれていない番号は、矢印が指す一般的なアイテムを特定するために用いられる。
上記で説明された図1及び2を参照して、本発明は、２つのデータ信号を同期させるための、例えば上述のambilightスクリプト100をその対応するビデオ素材110に同期させるための自動的な方法に関する。フィンガープリントをウォーターマークして、フィンガープリントを信号から抽出することで同期することが知られている。そのようなフィンガープリントは、従来はデータ信号の一部に対して決定され、例えばフィンガープリントは、国際PCT特許出願PCT/IP2004/051259（WO 2005/011281）にて説明されるように、ビデオ素材110の２秒間の再生部分毎に導出されることができる。しかしながら、すでに既知のそのようなアプローチは計算が複雑であり、またambilight技術の場合には準最適にすぎない。さらに、フィンガープリント照合目的のために外部データベースにアクセスしなければならないことは、そのようなアクセスはコンシューマ電子ビデオ製品にとって望ましいスタンドアロン動作を妨げるので、しばしば都合が悪い。
本発明は、例えば、ユーザ20がDVDを購入し、そのDVDがその上に記録されたビデオ素材110（都合よくビデオコンテントとも呼ばれる）を備えている状況に対処することができることを目的とする。ユーザ20は、オプションとしてビデオ素材110に適用される分析から導き出されるambilightと共に、ユーザのambilightシステム30, 40上でDVDを再生し、好ましいビデオ素材110を見いだす。ユーザ20は、その後ネットサーフィンする際に、対応するambilightスクリプト100の最新バージョンが画像及び音声情報の両方を含むビデオ素材110に伴って利用可能であることを発見する場合があり、そして次にインターネットからそのスクリプト100をダウンロードする。あるいは、装置400は、いかなるユーザインタラクションをも伴わずに、スクリプトの入手可能性又はその最新版を確認することができ、ユーザが最新版を探すことを気にする必要がない点で更なる利便性を提供する。ユーザのambilightシステム30，40が本発明に従って動作可能な場合、ambilightシステム30，40は、ビデオ素材110にambilightスクリプト100の最新バージョンを同期させることが可能であり、ユーザ20に対して示されるビデオ素材110に同期するダウンロードされたスクリプト100の改良された視聴体験をユーザ20に提供することが可能である。本発明に従うビデオ素材110に対するスクリプト100の同期が以下にさらに説明される。
図3を参照して、ビデオ素材110は一般に、それが200a, 200b, 200c等によって示されるシーンのシーケンスを有する点で区別される。ビデオ素材110は、ユーザ20によって消費されるときに、矢印230によって示されるような時系列で示されることができるビデオ画像のシーケンスを有する。例えばシーケンスは、第１のシーン200a中に含まれる220によって示されるビデオ画像を含む。都合の良いことに、画像はオプションとして、Iフレームデータ、Pフレームデータ及びBフレームデータを有する最新のMPEG-4データとしてビデオ素材110中で符号化される。最新のMPEG-4データとして符号化される場合、各々のシーン200a, 200b, 200cはいくつかのIフレームを含むことができ、Iフレームは、対応する画像の全ての詳細を定義するために使用でき、B及びPフレームは、それらの最も近い先行するIフレームに対して発生する累進的な変化を定義する。MPEG-4符号化は、それによって達成可能であるデータ圧縮度のために、最新のデータ配信システムにおいてしばしば使用される。
第１のシーン200aにおいて、パニング動作が左から右に示され、そこにおいて、第１のシーン200aの画像を記録するために用いられるカメラは、人物240から、人物240の頭上に浮かぶ航空機250に徐々にパンされる。漸進的な遷移が最初の画像260から最後の画像270まで生じるが、シーン200a中の最初の画像260は、シーケンス200a中の最後の画像270とは全く異なる。さらに、第２のシーン200bにおいて、木300は、シーケンス200bの画像の右側からその左側までパンされる。シーケンス200bの最初及び最後の画像310, 320はそれぞれ、少なくとも部分的に同様の画像特徴詳細を含む。さらに、第３のシーン200cにおいて、シーン200cの各々の画像は、相互に実質的に同一である。
本発明の方法において、ビデオ素材110は、好ましくはユーザ20に示される消費の時点において、ビデオ素材110内に存在するシーンを決定するために分析される。上記において言及されたように、ビデオ素材110中のシーンの変化は、以下の一つ以上から、本発明の方法で潜在的に識別可能である。
(a)シーケンス中の所与の画像Inからシーケンス中の後の画像In+1への、画像In及びIn+1のそれぞれのピクセルの一般的な照度強度又はカラー指定に関する急な変化。例えば、画像270が開放された日が照っている環境に対応し、次の画像310が暗い森林に対応する場合、急な変化が画像270とその次の画像310との間で発生する。
(b) 所与の画像In中に存在する実質的に全ての空間的画像特徴の、その次の画像In+1に対する急な変化。
(c) 所与の画像Inに関する、その次の画像In+1に対するオーディオスペクトルコンテントの急な変化。
逆に、所与のシーン中の連続する画像は、以下の一つ以上からの方法によって識別される。
(d) 所与の画像In及びその次の画像In+1は、相互に関連し又はさもなければ画像In, In+1に共通する空間的画像特徴を持つ。例えば、シーン200b中の画像310及びその次の画像330は、両方とも実質的に同様の木の特徴を含む。
(e) 所与の画像In及びその次の画像In+1は、実質的に同様の一般的な照度強度を持つ。
(f) 所与の画像In及びその次の画像In+1は、実質的に同様の関連するオーディオスペクトルコンテントを持つ。
画像のシーケンス中の２つの連続した画像がビデオ素材110を構成するか否かを決定する際に、本発明の方法は、オプションとして、閾値比較を適用するように実施できる。したがって、類似度を記述する特徴パラメータKi、つまりシーケンス中の連続した画像間の差分の測度は、オプションとして、式1によって一般に記述される処理関数Fを適用することによる本発明の方法によって、計算又はさもなければ導き出される。
Ki=F(ΔAi, ΔSi, ΔIi) （式１）
ΔAi =画像In及びIn+1に関するオーディオスペクトル特性における差分の測度。
ΔSi =画像In及びIn+1に関する空間的特徴情報における差分の測度。
Δi =画像In及びIn+1に関する空間的特徴情報における差分の測度。
ビデオ素材110の画像のシーケンス中でシーン変化が発生したか否かを決定するための方法を適用する場合、閾値がオプションとして適用されることができ、特徴パラメータKiが閾値Tを下回る値を持つ（すなわちKi <T）場合に画像In及びIn+1がシーン内で連続するとし、パラメータKiが閾値Tを上回る場合（すなわちKi > T）、シーン変化が画像InとIn+1との間で発生したとする。オプションとして、式1の演算処理において、測度ΔAi、ΔSi、Δiの一つ以上が一つ以上の閾値と比較されることができる。多くの閾値のうちの１つを適用することと対照的に、他の識別形式が、本方法においてオプションとして用いられることができる。
したがって、ビデオ素材110及びambilightスクリプト100を受け取り、ビデオ素材110に本発明の上述の方法を適用するように動作可能なユーザ20の装置は、ビデオ素材110を構成する画像のシーケンス中に発生するシーン変化を識別することが可能であり、シーン変化から、シーンの継続期間が導き出されて、それによってビデオ素材110に関連するフィンガープリント340が導き出される。さらに、消費のためにユーザ20にそれを示すためにビデオ素材110を処理するときに、装置はリアルタイムでそのようなシーン変化を検出するように有益に動作可能である。あるいは装置は、受け取られたビデオ素材110を事前分析して、シーン変化の発生を示すマーカー130又はフィンガープリント340を含むように素材を修正するように指示されることができる。したがって、ビデオ素材110から生成される上述のフィンガープリント340は、予め生成されるか又はリアルタイムで徐々に生成されることができる。
いうまでもなく、ビデオ素材110の画像のシーケンス中に含まれる突然の効果（例えば関連する突然の光フラッシュ及び雷音によるライトニングストライク）によって、装置が場合によっては誤ってシーン変化を検出するかもしれない。しかしながら、ライトニングストライクがスクリプト100の中でシーン変化としてそこに表されるようにambilightスクリプト100が同様に符号化される場合、これは問題でない。そのようなライトニングストライクは、装置中でスクリプト100を翻訳する場合、テレビジョンスクリーン30に示されるライトニングストライクの画像と同期して、ambilightソース140にライトニング効果をシミュレートさせる。
ambilightスクリプト100は一連のシーンに関して有益に符号化され、光源40がシーンの間に駆動される態様を制御するパラメータと共に、各々のシーンを構成する画像の数がスクリプト100中に記述される。言い換えると、ambilightスクリプト100は、ビデオ素材110から導き出せる上述のフィンガープリント340にマッチするように好ましくは生成される。したがって、スクリプト100はオプションとして、シリーズ中のどのシーンが考慮されているのかを示すインデックスa、及びインデックスaを有する特定のシーン中の画像の数を示すパラメータNaを提供する。所与のシーン（例えば最初のシーン200a）中で、ambilight光源40は、所与のシーン中に含まれる画像が消費のためにユーザ20に示されるとき、変化する駆動（例えば強度及び/又は色の変化）を受け取る。オプションとして、スクリプト100は、本発明の方法を適用するときに、装置がスクリプト100中に記述されるようなシーン変化をより確実に検出することを可能にするために、式1によって記述される関数Fの計算に用いられる一つ以上の閾値パラメータ（例えば上述の閾値T）を含むことができる。
したがって一例として、ambilightスクリプト100はオプションとして、表1に示されるように構築されることができる。
Figure 2009540723
表1において、ambilightスクリプト100は、a=1のシーンで始まってa = zのシーンで終わる一連のシーンに対応するambilight命令に細別される。所与のシーンを構成する画像の数はNaによって示され、例えば第１のシーン（a = 1）はその中に200個の画像を持つ。各々のシーンのためのambilight照度の大きさは、スクリプト100中のパラメータLによって制御され、例えば最初のシーン（a = 1）は、最初のシーンの最初の150個の画像に対して10のambilight照度等級を持ち、最初のシーンの次の50個の画像に対して20のambilight照度等級を持ち、最初のシーンは全部で200個の画像を含む。同様に、最初のシーンのためのambilight照明の色は、パラメータGによって示されるように、最初のシーンの最初の150個の画像に対して特性「グレー」を持ち、最初のシーン（即ちa=1）の次の50個の画像に対して特性「ブルー」を持つ。オプションとして、各々の照明光源40によって生成される色は、存在する他の照明光源に対して、スクリプト100において個別に指定されることができる。最初のシーン(a = 1)が主としてここで説明されるが、スクリプト中の次のシーンが同類の態様に従うことはいうまでもない。オプションとしてスクリプト100は、ビデオ素材110の分析を動的に制御するために用いられることができるパラメータPaを含み、例えば、ビデオ素材110をambilightスクリプト100により確実に同期させるために、シーン変化がビデオ素材110中で発生したことを検出するために適用される閾値パラメータTを動的に変化させる。
表1はambilightスクリプト100を構築する一態様を示すが、いうまでもなく、他の配列のambilight制御スクリプトデータが、添付の請求の範囲によって規定される本発明の範囲内で実現可能である。
そのような例において、数量Qは1にされる。すなわち、ambilightスクリプトは、各々の独立したビデオフレームに対して明示の設定を有する。これは、ambilightスクリプトが高い時間分解能で完全な制御を行うことができるという利点を有する。
別の例において、ambilightスクリプトは、光スピーカを制御する内容分析アルゴリズムに影響を及ぼすパラメータを制御する。そのようなパラメータの例は、色がしかるべく適応される前に、いくつのフレームが分析されるかを決定する緩和時間である。このパラメータは、通常は非常に長く設定されて、あまりに神経質な光効果は回避されるが、稲妻の閃光に正確に追従するためには、それは非常に短くなければならず、例えば単一フレームでなければならない。本発明に従ってそのようなパラメータを制御することは、パラメータが一時的に非常に小さな値に設定されて稲妻の閃光を正確に追従することができる一方で、例えば動画の他のパッセージの間のあまりに神経質な光効果を回避するという利点を持つ。既知のコンテント分析技術と本発明によるパラメータ制御とのこの組み合わせは、パラメータを制御するためには数ビットのみで十分であるので、ambilightスクリプトが比較的小さくてよいという更なる利点を持つ。
図1において、ユーザ20の視点からのambilightシステムの典型的なパーツが図示される。図4において、システムハードウェアの構成が模式的に図示される。図4を参照すると、ambilightスクリプト100にビデオ素材110を同期させるためのシステムが400によって示される。同期システム400は、それぞれビデオ素材110及びambilightスクリプト100を受け取るためのデータバッファ410,420を有する。上記で説明されるように、素材110及びスクリプト100は、マルチメディア環境中で同時に体験されるように、相互に異なるデータソースから提供されることができる。同期システム400は、ディジタルハードウエアで実現される同期プロセッサ430を更に含み、オプションとして、プロセッサ430は演算ハードウェアを使用して実現されることができ、この演算ハードウェアは、当該演算ハードウェアに以前に説明されたような同期機能を実行させるソフトウェアを実行することが可能である。さらにシステム400は、テレビ30及びambilight照明10を提供する一つ以上のambilight光源40それぞれにビデオデータを出力するためのドライバ440，450を更に含む。スクリプト100中に含まれるデータに基づいて各々独立して駆動されることができる多数のambilight光源40が存在する場合、ドライバ450は対応する複数のドライバチャネルを含み、言い換えると、ambilight照明10は、動作中の任意の所与の瞬間において空間的に色を変えることができる。
動作中に、プロセッサ430は、例えば図3を参照して以前に説明されたように、シーン変化がそこにおいてどこで発生するかについて決定することによって、ビデオ素材110を同期させるように動作可能であり、プロセッサ430は、それによってビデオ素材110の対応するフィンガープリント340を決定するように動作可能である。プロセッサ430は、それからバッファ410の中に受け取られたスクリプト100中の対応するシーン変化のためのデータを決定し、色及び照明強度の両方に関して、一つ以上の照明光源40を駆動するためにバッファ450に出力するための適切なデータをそこから決定するように動作可能である。以前に説明されたように、シーン変化は、以下の一つ以上に基づく分析によって発見されることができる。
(a) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化。
(b) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化。
(c) 前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化。
オプションとして、ビデオ素材110内のシーン変化の検出、よって上述のフィンガープリント340の生成は、検出信頼性を向上させるために、直接隣接する画像のみに基づくのではなく、先行するいくつかの画像及び後続のいくつかの画像から集められた情報に基づいて検出されることができる。
オプションとして、ビデオ素材110をambilightスクリプト100と共にユーザ20に並列表示する間に、プロセッサ430がambilightスクリプト100をビデオ素材110に適切に同期させることができない場合、プロセッサ430は、ビデオ素材110のみに基づく、ambilight照明10のambilight制御の通常のコンテンポラリーモードへ切り替わるように動作可能である。そのような自動的な切り替えによって、ユーザ20に提供される改良された視聴体験の破綻は少なくとも部分的に回避されることができ、すなわち、プロセッサ430がビデオ素材110をビデオスクリプト100に適切に同期させることができないことが分かった場合に、ambilight照明10の突然の消失を回避する。
同期システム400は、テレビジョン受信機の一体化された部分として含まれることができる。あるいは、システム400はアドオンユニット（例えばアドオン「デジタルブラックボックス」）として、又はセットトップボックス若しくはマルチメディアPCとして公知技術であるものとして、ユーザ20に提供されることができる。さらにあるいは、同期システム400は、例えばマルチメディア又は他の通信チャネルを介して演算ハードウェアを備えるテレビにダウンロード可能であるソフトウェアとして実現されることができ、そのような実施態様は、プロセッサ430がより高度なambilightスクリプト100として効果的に更新されることができる点で有益であるならば、将来ユーザ20が利用することができる。
オプションとして、ビデオ素材110は、例えばデジタル放送プロバイダから、ビデオストリームとして提供される。さらに、ambilightスクリプト100は、副メディアとして提供される。ビデオ素材110へのambilightスクリプト100の同期が、ビデオ素材110におけるシーン認識により説明されたが、いうまでもなく、他の種類のスクリプトが同様にビデオ素材110に同期されることができる。例えば、他の種類のスクリプトは「香りスクリプト」であることができ、同期システム400は、ビデオ素材110中で発生するシーン変化の検出によって同期される香りスクリプトに基づいて選択的に活性化されることができる電子的に制御可能な香り発生器を備える。他の種類の副マルチメディアスクリプトは、ユーザの周りの気流を制御する気流スクリプトを含むが、さらに他の種類もまた実現可能である。
ambilightシステムは、より熱中できる視聴体験を生成するために、例えばTVスクリーン周囲の光効果を生成するためのシステムである。どのようにビデオコンテントから効果を導き出すかは、従来技術において周知であるが、主観的により良好な効果は、Ambilightシステムを指示又は制御する特殊効果アーティストによって生成されることができる。アーティストは、ビデオを表示して、アーティストが特殊光効果を定義することを可能にするツールを用いることができる。成果は、元のビデオコンテントに関連づけられることを必要とするスクリプトであることができる。
スクリプトを配布する比較的容易な方法は、１つの媒体（例えばDVDのような光ディスク）中で、又は放送ストリーム中で、それをビデオ素材と組み合わせることである。ambilightは現在標準の機能でないので、この同期方法は現在広く利用することができない。
インターネットのような別のソースを用いることによって、ビデオをダウンロードすることを要せずに、Ambilightシステムを制御するためのスクリプトをダウンロードすることができることは有利である。これは、スクリプトをビデオに同期させることを可能にしつつ、スクリプト及びビデオの両方が別々に取得されることを可能にする同期方法を必要とする。
本発明の実施の形態によれば、固有のフィンガープリント340は、２つのシーン変化間の時間（「シーン変化スタンプ」と呼ばれる）をカウントすることによって、ビデオストリームから導き出されることができる。N個のシーン変化スタンプのシーケンスは、「シーケンスフィンガープリント」340として定義される。スクリプト中の同じシーケンスフィンガープリントを用いることにより、ビデオにスクリプトを同期させることが可能である。本発明は、また、ビデオコンテントとの同期を必要とする他の副メディアに適している。本発明は、スクリプト及びビデオを、単に両方が同期することを保証するために、１つの媒体中に具備するという問題を解決する。本発明はまた、スクリーン上で視聴されるビデオから時間的に又は位置的に独立して生成されることができる複数のスクリプトを可能にする。
本発明の１つの特徴は、シーン変化間の時間が、コンテンツ、コンテント劣化又はビデオ/放送規格（NTSC（60Hz）、PAL（50Hz）など）に比較的鈍感で、（完全に新たなビデオをもたらす）大規模なビデオ編集に対する感度が比較的高い、低コストで信頼性が高いフィンガープリント法として用いられることができることである。
副メディアが全く異なるソースに由来する可能性があるビデオと同期することを保証するために、一意的にビデオを識別する一種のフィンガープリント法が用いられることができる。
本発明は、ビデオ素材がどこから来たとしても、それが編集（フレーム除去又は再配列）されていない場合には、シーン変化間の時間は、特にマッチングが複数のシーン変化にわたって実行される場合、ビデオシーンを識別する際の助けになるという洞察に部分的に基づく。2つのシーン変化間の時間は、ビデオフレームレート及びフレームの数から導き出されることができる。
シーン変化を検出して、ビデオフレームレートを決定する能力のみが必要であるので、本発明によるフィンガープリント340のこの実施の形態は、比較的低コストである。これらの能力は、このように単独で、従来技術において知られており、おそらく、TV中にすでに存在してほとんどハードウェアリソースを必要としない標準の機能であると考えられる。
主入力としてビデオを受けとって、ビデオ関連出力（例えば各々のシーン変化に対するシーン変化スタンプを有するAmbilightスクリプト）を生成するスクリプトオーサリングツールにおいて、本発明は実施されることができる。
結果として生じる出力、例えばスクリプトは、装置（例えばTV）にダウンロードされることができる。装置は、固有の開始鍵として最初のN個のシーン変化スタンプを取得することができる。スクリーンに表示されるビデオが分析され、シーン毎のフレームがカウントされて、フレームレートの逆数によって乗じられ、「シーン変化スタンプ」をもたらす。N個のシーン変化スタンプの最初がスクリプトに合致すると、N個のシーン変化スタンプの２番目がチェックされて、N番目のシーン変化スタンプまでチェックされる。Nはあらかじめ決められることができ、例えば、0.01%のような低い偽陽性検出及び高い検出確率（例えば99.99%スコア）を持つように十分大きく、あまりに長い同期時間を防ぐために十分小さくなるように選択される。
一旦スクリプトがロックされると、すなわちビデオに同期すると、その内容が分析又は解釈され、Ambilightシステムを制御するために用いられ、結果はTVスクリーンの周囲の視覚効果として描写される。
コマーシャルブレークが発生するとき、又はビデオが別途中断されるとき、シーン変化スタンプが整合しなくなり始めて、スクリプトは一時中断される。スクリプトの中断の前後の検索領域が、シーン変化スタンプを整合させるためにチェックされることができる。再同期のためのこの方策は、視聴者が反復して視聴することを可能にするために、実際の中断よりも若干早めに動画が開始又は継続されることに基づく。
動作しているスクリプトがない場合、又は同期が失われた場合、Ambilightシステムはそのデフォルトモードに設定されることができ、システムはビデオコンテントに従う。
Ambilightの他に、ビデオに同期することを必要とする任意の他のアプリケーションが、本発明を利用することができる。例は、例えば映画のためのダウンロード可能な字幕、リミックスのような追加のサウンドトラック、ビデオ関連アニメーション及びコメントを含む。
上記の説明された本発明の実施の形態に対する修正は、添付の請求の範囲に記載の本発明の範囲内において可能である。
本発明を説明及び請求するために用いられる「含む」、「有する」、「組み込む」、「成る」、「持つ」、「ある・存在する」のような表現は、非排他的に解釈されることが意図され、すなわち、明示的に記述されていないアイテム、構成要素又は素子もまた存在することを許容する。単数形への参照は、複数にも関連するように解釈される。
請求の範囲中の括弧内の番号は、請求の範囲の理解を助けることを意図しており、決してこの請求の範囲によって請求される主題を制限するように解釈されてはならない。
ambilightシステムの単純な描写。 図1のシステムに関連するデータ同期の図。 フィンガープリント、及び図1に図示するようなambilightシステムに示されることができるビデオ素材中のシーンを形成する画像のシーケンス。 図1のシステムを実現するように構成される装置の図。

Claims (19)

  1. シーンのシーケンスを有するビデオストリームのためのフィンガープリントであって、前記シーンの継続期間を示す情報を含むフィンガープリント。
  2. 前記シーンの継続期間を示す前記情報が、前記シーンが前記ビデオストリーム中に含まれる順番で前記フィンガープリント中に含まれる、請求項１に記載のフィンガープリント。
  3. 各々の継続期間が、その中のビデオフレームの数のカウントとして定められる、請求項１又は請求項２に記載のフィンガープリント。
  4. 前記継続期間が、
    （ａ）前記ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化、
    （ｂ）前記ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化、及び
    （ｃ）前記ビデオストリーム中の前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化、
    のうちの１つ以上に対応するシーン変化によって定められる、請求項１から請求項３のいずれか一項に記載のフィンガープリント。
  5. 請求項１に記載のフィンガープリントを生成する装置であって、
    （ａ）ビデオストリームを受け取るためのデータ入力装置、
    （ｂ）前記入力装置を介して伝達される前記ビデオストリームをその中のシーン変化の発生を検出するために分析し、検出されたシーン変化の発生から前記ビデオストリーム中に含まれるシーンの継続期間を計算し、前記継続期間から前記フィンガープリントを生成するデータプロセッサ、
    を有する装置。
  6. 前記プロセッサが、
    （ａ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化、
    （ｂ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化、及び
    （ｃ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化、
    のうちの一つ以上に基づく分析によって、前記ビデオストリーム内のシーン変化を検出する、請求項５に記載の装置。
  7. ビデオストリームから請求項１に記載のフィンガープリントを生成する方法であって、
    （ａ）前記ビデオストリームを受け取るステップ、
    （ｂ）前記ビデオストリーム中のシーン変化の発生を検出するステップ、
    （ｃ）前記検出されたシーン変化の発生から前記ビデオストリーム中に含まれるシーンの継続期間を計算するステップ、及び
    （ｄ）前記継続期間から前記フィンガープリントを生成するステップ、
    を有する方法。
  8. ステップ（ｂ）が、
    （ａ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の急なビデオ素材照度変化、
    （ｂ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間の空間的画像特徴情報中の急な変化、及び
    （ｃ）前のシーンの少なくとも最後の画像と次のシーンの少なくとも最初の画像との間のオーディオ情報中の急な変化、
    のうちの１つ以上に基づく分析によって前記ビデオストリーム内のシーン変化を検出することを含む、請求項７に記載の方法。
  9. ビデオストリームにシーン変化検出を適用することによって装置中で前記ビデオストリームに副メディアを同期させる方法であって、
    （ａ）前記装置のデータ入力装置において前記副メディア及び前記ビデオストリームを受け取るステップ、
    （ｂ）前記装置のデータプロセッサにおいて、前記入力装置を介して伝達される前記ビデオストリームをその中のシーン変化の発生を検出するために分析するステップ、並びに
    （ｃ）前記装置において、前記ビデオストリーム中の前記シーン変化に対応する識別子を含む前記副メディアに基づいて、ユーザへの並行した前記ビデオストリーム及び前記副メディアの表示を同期させるステップ、
    を含む方法。
  10. 前記識別子と前記副メディアとの間の対応が前記副メディアに含まれる請求項９に記載の方法。
  11. 前記識別子が前記副メディアに含まれる請求項１０に記載の方法。
  12. 前記副メディアが、ambilightスクリプトを含み、前記装置において適応される場合に、前記ビデオストリームに前記ambilightスクリプトを同期させる請求項９又は請求項１０に記載の方法。
  13. 請求項８又は請求項９に記載の方法を実現するように請求項５に記載の装置の演算ハードウェア上で動作するソフトウェア。
  14. 請求項５に記載の装置用の副メディアとして使用するためのambilightスクリプトのデータ構造であって、シーン変化インジケータ及び各々のシーンに付随するambilight変化を含むデータ構造。
  15. 前記ambilightスクリプトが、当該ambilightスクリプトが補完するビデオストリームのシーン変化分析を動的に制御するための一つ以上のパラメータを含む、請求項１４に記載のデータ構造。
  16. シーンのシーケンスを有するビデオストリームのフィンガープリントの使用であって、前記フィンガープリントが、前記シーンの継続期間を示す情報を含む使用。
  17. 前記フィンガープリントが前記ビデオストリームを識別するために用いられ、前記ビデオストリームの一部から取得される部分的なフィンガープリントを前記フィンガープリントの一部と比較する、請求項１６に記載のフィンガープリントの使用。
  18. 前記フィンガープリントが前記ビデオストリームの断片の時間的位置を決定するために用いられ、前記ビデオストリームの前記断片から取得される部分的なフィンガープリントを前記フィンガープリントの一部と比較する、請求項１６又は請求項１７に記載のフィンガープリントの使用。
  19. 請求項１に記載のフィンガープリントを有することを特徴とする、ビデオストリームのIDを伝達する信号。
JP2009514959A 2006-06-13 2007-06-11 ビデオを識別及び同期させるためのフィンガープリント、装置及び方法 Expired - Fee Related JP5461176B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06115337 2006-06-13
EP06115337.5 2006-06-13
PCT/IB2007/052187 WO2007144813A2 (en) 2006-06-13 2007-06-11 Fingerprint, apparatus, method for identifying and synchronizing video

Publications (3)

Publication Number Publication Date
JP2009540723A true JP2009540723A (ja) 2009-11-19
JP2009540723A5 JP2009540723A5 (ja) 2010-07-29
JP5461176B2 JP5461176B2 (ja) 2014-04-02

Family

ID=38832187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009514959A Expired - Fee Related JP5461176B2 (ja) 2006-06-13 2007-06-11 ビデオを識別及び同期させるためのフィンガープリント、装置及び方法

Country Status (9)

Country Link
US (1) US9300927B2 (ja)
EP (1) EP2033443A2 (ja)
JP (1) JP5461176B2 (ja)
KR (1) KR101453254B1 (ja)
CN (1) CN101473653B (ja)
BR (1) BRPI0712894A2 (ja)
MX (1) MX2008015819A (ja)
RU (1) RU2009100847A (ja)
WO (1) WO2007144813A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013535887A (ja) * 2010-07-21 2013-09-12 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2163137A1 (en) * 2007-05-22 2010-03-17 Koninklijke Philips Electronics N.V. An ambience lighting system for a display device and a method of operating such ambience lighting system
CN101463963B (zh) * 2007-12-21 2010-09-29 富士迈半导体精密工业（上海）有限公司 照明系统
US8205148B1 (en) * 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
DE102008009025A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines Fingerabdrucks eines Audiosignals, Vorrichtung und Verfahren zum Synchronisieren und Vorrichtung und Verfahren zum Charakterisieren eines Testaudiosignals
DE102008009024A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals
US9521453B2 (en) 2009-09-14 2016-12-13 Tivo Inc. Multifunction multimedia device
US10515523B2 (en) 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
US8928809B2 (en) * 2010-09-15 2015-01-06 Verizon Patent And Licensing Inc. Synchronizing videos
KR101133059B1 (ko) * 2011-09-02 2012-04-04 주식회사 포트론 냄새발생 시스템
US8538239B2 (en) 2011-12-22 2013-09-17 Broadcom Corporation System and method for fingerprinting video
US9226011B2 (en) 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
CN102905054B (zh) * 2012-10-23 2017-11-21 上海佰贝科技发展有限公司 一种基于图像多维特征值比对的视频同步方法
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US9323840B2 (en) * 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
EP2854392A1 (en) * 2013-09-30 2015-04-01 Advanced Digital Broadcast S.A. Lighting system for a display unit and method for providing lighting functionality for a display unit
US20150117830A1 (en) * 2013-10-30 2015-04-30 Google Inc. Light tracks for media content
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9449258B1 (en) 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
GB2552511A (en) * 2016-07-26 2018-01-31 Canon Kk Dynamic parametrization of video content analytics systems
US11134279B1 (en) 2017-07-27 2021-09-28 Amazon Technologies, Inc. Validation of media using fingerprinting
WO2019052985A1 (en) * 2017-09-18 2019-03-21 Signify Holding B.V. METHOD AND SYSTEM FOR CREATING A LIGHT SCRIPT FOR A VIDEO
US10623800B2 (en) 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US11317143B2 (en) 2018-08-17 2022-04-26 Roku, Inc. Dynamic reduction in playout of replacement content to help align end of replacement content with end of replaced content
US11178451B2 (en) * 2018-08-17 2021-11-16 Roku, Inc. Dynamic playout of transition frames while transitioning between playout of media streams
WO2020151993A1 (en) * 2019-01-21 2020-07-30 Signify Holding B.V. A controller for controlling a lighting device based on media content and a method thereof
US11321904B2 (en) 2019-08-30 2022-05-03 Maxon Computer Gmbh Methods and systems for context passing between nodes in three-dimensional modeling
FR3106783A1 (fr) * 2020-02-03 2021-08-06 Psa Automobiles Sa Combiné d’instruments numérique pour véhicule automobile doté d’un dispositif d’éclairage d’ambiance indirect
US11714928B2 (en) 2020-02-27 2023-08-01 Maxon Computer Gmbh Systems and methods for a self-adjusting node workspace
US20210352341A1 (en) * 2020-05-06 2021-11-11 At&T Intellectual Property I, L.P. Scene cut-based time alignment of video streams
US11373369B2 (en) 2020-09-02 2022-06-28 Maxon Computer Gmbh Systems and methods for extraction of mesh geometry from straight skeleton for beveled shapes
US12028561B2 (en) 2020-10-29 2024-07-02 Roku, Inc. Advanced creation of slightly-different-duration versions of a supplemental content segment, and selection and use of an appropriate-duration version, to facilitate dynamic content modification
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
CN112839257B (zh) * 2020-12-31 2023-05-09 四川金熊猫新媒体有限公司 视频内容检测方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149387A (ja) * 1995-11-24 1997-06-06 Sony Corp 受信装置
JP2002199333A (ja) * 2000-12-27 2002-07-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
WO2005006758A1 (en) * 2003-07-11 2005-01-20 Koninklijke Philips Electronics N.V. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
WO2006003624A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677466A (en) 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
JP3104681B2 (ja) 1998-06-10 2000-10-30 日本電気株式会社 オーディオ・ビデオ同期再生方法および装置
US6493872B1 (en) 1998-09-16 2002-12-10 Innovatv Method and apparatus for synchronous presentation of video and audio transmissions and their interactive enhancement streams for TV and internet environments
US6583821B1 (en) 1999-07-16 2003-06-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
US6654067B1 (en) * 1999-12-30 2003-11-25 Koninklijke Philips Electronics N.V. Finding hidden images in video based on detected proximity of cuts
CN1235408C (zh) 2001-02-12 2006-01-04 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
MXPA03010750A (es) 2001-05-25 2004-07-01 Dolby Lab Licensing Corp Metodo para la alineacion temporal de senales de audio usando caracterizaciones basadas en eventos auditivos.
EP1506550A2 (en) * 2002-05-16 2005-02-16 Koninklijke Philips Electronics N.V. Signal processing method and arrangement
CN100466708C (zh) * 2002-09-23 2009-03-04 皇家飞利浦电子股份有限公司 视频记录器装置以及操作视频记录器装置的方法
JP2006528859A (ja) 2003-07-25 2006-12-21 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーディオとビデオを同期させるための指紋生成及び検出の方法及び装置
WO2005017781A1 (en) * 2003-07-25 2005-02-24 Sony Electronics Inc. Video content scene change determination
US20070071330A1 (en) 2003-11-18 2007-03-29 Koninklijke Phillips Electronics N.V. Matching data objects by matching derived fingerprints
JP2007519995A (ja) 2004-01-05 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ内容から未レンダリング色空間を経由したマッピング変換によって導出される環境光
CN100596208C (zh) 2004-01-06 2010-03-24 皇家飞利浦电子股份有限公司 环境光脚本命令编码和动态控制环境光源的方法
KR100982517B1 (ko) 2004-02-02 2010-09-16 삼성전자주식회사 이벤트 정보가 포함된 동영상 데이터가 기록된 저장 매체 및 재생 장치
US7587064B2 (en) * 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
KR100694060B1 (ko) * 2004-10-12 2007-03-12 삼성전자주식회사 오디오 비디오 동기화 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09149387A (ja) * 1995-11-24 1997-06-06 Sony Corp 受信装置
JP2002199333A (ja) * 2000-12-27 2002-07-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
WO2005006758A1 (en) * 2003-07-11 2005-01-20 Koninklijke Philips Electronics N.V. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
WO2006003624A1 (en) * 2004-06-30 2006-01-12 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013535887A (ja) * 2010-07-21 2013-09-12 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期

Also Published As

Publication number Publication date
EP2033443A2 (en) 2009-03-11
WO2007144813A3 (en) 2008-05-02
CN101473653A (zh) 2009-07-01
US9300927B2 (en) 2016-03-29
US20090167942A1 (en) 2009-07-02
MX2008015819A (es) 2009-01-12
RU2009100847A (ru) 2010-07-20
JP5461176B2 (ja) 2014-04-02
BRPI0712894A2 (pt) 2012-10-09
CN101473653B (zh) 2011-11-16
WO2007144813A2 (en) 2007-12-21
KR20090019830A (ko) 2009-02-25
KR101453254B1 (ko) 2014-10-21

Similar Documents

Publication Publication Date Title
JP5461176B2 (ja) ビデオを識別及び同期させるためのフィンガープリント、装置及び方法
US11445258B2 (en) Method and system for presenting additional content at a media system
EP2952007B1 (en) User control of replacement television advertisements inserted by a smart television
JP2007512735A (ja) 周辺の番組コンテンツに基づいた、ビデオ・ストリームへのコマーシャルの挿入
US20090320060A1 (en) Advertisement signature tracking
JP2009521169A (ja) コンテンツストリームから決定されたフィンガープリントを使用したスクリプト同期
KR102666500B1 (ko) 스테가노그래피적으로 인코딩된 데이터를 기초로 사용하여 핑거프린트-기반 채널 다중 매칭의 명확화
US11863814B2 (en) Temporal placement of a rebuffering event
US8276182B2 (en) Television content from multiple sources
KR102697094B1 (ko) 동적 콘텐츠 수정의 포기를 제어하기 위한 워터마킹 사용
US20100254684A1 (en) Distribution system of contents
CN101848381A (zh) 用于在pvr窍门模式回放期间提供可见消息的系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140115

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees