JP2022507767A - メディア置換イベント中におけるメディア再生ラウドネスレベルの検出及び対応するオーディオの調整 - Google Patents

メディア置換イベント中におけるメディア再生ラウドネスレベルの検出及び対応するオーディオの調整 Download PDF

Info

Publication number
JP2022507767A
JP2022507767A JP2021527817A JP2021527817A JP2022507767A JP 2022507767 A JP2022507767 A JP 2022507767A JP 2021527817 A JP2021527817 A JP 2021527817A JP 2021527817 A JP2021527817 A JP 2021527817A JP 2022507767 A JP2022507767 A JP 2022507767A
Authority
JP
Japan
Prior art keywords
loudness level
media content
playback device
loudness
presenting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021527817A
Other languages
English (en)
Other versions
JP7157878B2 (ja
Inventor
マルクス ケイ クレーマー
シャシャンク マーチャント
アニーシュ ヴァルタカヴィ
Original Assignee
ロク インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロク インコーポレイテッド filed Critical ロク インコーポレイテッド
Publication of JP2022507767A publication Critical patent/JP2022507767A/ja
Application granted granted Critical
Publication of JP7157878B2 publication Critical patent/JP7157878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/22—Automatic control in amplifiers having discharge tubes
    • H03G3/24—Control dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3089—Control of digital or coded signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Computer And Data Communications (AREA)
  • Communication Control (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

１つの態様では、方法例が、（ｉ）第１のソースからの第１のメディアコンテンツを提示することと、（ｉｉ）第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することと、（ｉｉｉ）第１のメディアコンテンツの第１のラウドネスレベルを決定することと、（ｉｖ）第２のメディアコンテンツの第２のラウドネスレベルを決定することと、（ｖ）第１のラウドネスレベルと第２のラウドネスレベルとの間の差分に基づいて、第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように第２のメディアコンテンツのラウドネスレベルを調整することと、（ｖｉ）トリガに遭遇したことに応答して、第３のラウドネスレベルを有する修正されたメディアコンテンツを提示することと、を含む。【選択図】なし

Description

〔関連出願との相互参照〕
本開示は、２０１８年１１月１６日に出願された米国仮特許出願第６２／７６８，５９６号、２０１９年６月１４日に出願された米国仮特許出願第６２／８６１，４７４号、及び２０１９年１０月２日に出願された米国仮特許出願第６２／９０６，６７６号に対する優先権を主張するものであり、これらの各文献はその全体が引用により本明細書に組み入れられる。
本開示では、別途指定していない限り、及び／又は特定の文脈によって明らかに別様に決定付けられない限り、「ａ又はａｎ（英文不定冠詞）」という用語は少なくとも１つを意味し、「ｔｈｅ（英文定冠詞）」という用語も少なくとも１つを意味する。
本開示では、「接続機構」という用語は、２又は３以上のコンポーネント、装置、システム又はその他のエンティティ間の通信を容易にする機構を意味する。接続機構は、ケーブル又はシステムバスなどの比較的単純な機構、又はパケットベースの通信ネットワーク（例えば、インターネット）などの比較的複雑な機構とすることができる。いくつかの例では、（例えば、接続が無線である場合には）接続機構が無形媒体を含むこともできる。
本開示では、「コンピュータシステム」という用語は、少なくとも１つのコンピュータ装置を含むシステムを意味する。いくつかの例では、コンピュータシステムが１又は２以上の他のコンピュータシステムを含むこともできる。
今後数年間のうちに、メディアコンテンツ内の広告をターゲット広告に置き換えることがますます重要な広告手法になると予想される。一例として、動的広告挿入（ＤＡＩ：ｄｙｎａｍｉｃ ａｄｖｅｒｔｉｓｅｍｅｎｔ ｉｎｓｅｒｔｉｏｎ）システムでは、コンテンツプロバイダが、ライブコンテンツ又は録画コンテンツなどの一連のメディアコンテンツに割り込むコマーシャル時間（ａｄｖｅｒｔｉｓｅｍｅｎｔ ｂｒｅａｋｓ）に一般広告（ｇｅｎｅｒｉｃ ａｄｖｅｒｔｉｓｅｍｅｎｔｓ）を挿入することができる。各コマーシャル時間は、所定の順序で配置された広告の組を含むことができる。さらに、これらの広告のうちの特定の１つをターゲット広告などの置換メディアコンテンツに置き換えられるように指定又は動的に選択することもできる。
この構成では、再生装置が、特定の広告を表示する前に置換メディアコンテンツを取得して、この特定の広告の代わりに置換メディアコンテンツを表示のために提供することができる。例えば、再生装置は、置換すべき特定の広告の直前にコンテンツを再生している、或いはまさにコンテンツを再生しようとしていると判定したことに応答して、データベースからターゲット広告を検索し、適切な時点で特定の広告の代わりにターゲット広告を表示のために提供することができる。
１つの態様では、方法例を開示する。この方法は、（ｉ）再生装置が、第１のソースからの第１のメディアコンテンツを提示することと、（ｉｉ）再生装置が、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することと、（ｉｉｉ）再生装置が、第１のメディアコンテンツの第１のラウドネスレベルを決定することと、（ｉｖ）再生装置が、第２のメディアコンテンツの第２のラウドネスレベルを決定することと、（ｖ）再生装置が、第１のラウドネスレベルと第２のラウドネスレベルとの間の差分に基づいて、第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように第２のメディアコンテンツのラウドネスレベルを調整することと、（ｖｉ）再生装置が、トリガに遭遇したことに応答して、第３のラウドネスレベルを有する修正されたメディアコンテンツを提示することと、を含む。
別の態様では、非一時的コンピュータ可読媒体例を開示する。このコンピュータ可読媒体は、プロセッサによる実行時に、（ｉ）第１のソースからの第１のメディアコンテンツを提示することと、（ｉｉ）第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することと、（ｉｉｉ）第１のメディアコンテンツの第１のラウドネスレベルを決定することと、（ｉｖ）第２のメディアコンテンツの第２のラウドネスレベルを決定することと、（ｖ）第１のラウドネスレベルと第２のラウドネスレベルとの間の差分に基づいて、第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように第２のメディアコンテンツのラウドネスレベルを調整することと、（ｖｉ）トリガに遭遇したことに応答して、第３のラウドネスレベルを有する修正されたメディアコンテンツを提示することと、を含む一連の動作を実行させるプログラム命令を記憶している。
別の態様では、コンピュータシステム例を開示する。このコンピュータシステムは、（ｉ）第１のソースからの第１のメディアコンテンツを提示することと、（ｉｉ）第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することと、（ｉｉｉ）第１のメディアコンテンツの第１のラウドネスレベルを決定することと、（ｉｖ）第２のメディアコンテンツの第２のラウドネスレベルを決定することと、（ｖ）第１のラウドネスレベルと第２のラウドネスレベルとの間の差分に基づいて、第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように第２のメディアコンテンツのラウドネスレベルを調整することと、（ｖｉ）トリガに遭遇したことに応答して、第３のラウドネスレベルを有する修正されたメディアコンテンツを提示することと、を含む一連の動作を実行するように構成される。
コンピュータ装置例の簡略ブロック図である。 動的広告挿入（ＤＡＩ）システム例の簡略ブロック図である。 ある実施形態例による、基準フィンガープリント生成器、クエリフィンガープリント生成器及びビデオ識別システムのコンポーネントを示す簡略ブロック図である。 ある実施形態例による、再生装置及び置換コンテンツサーバのコンポーネントを示す簡略ブロック図である。 方法例のフローチャートである。
Ｉ．概要
再生装置におけるメディアコンテンツ置換イベント中には、第１のメディアコンテンツの一部の代わりに第２のメディアコンテンツ（すなわち、置換メディアコンテンツ）が提示される。例えば、メディアコンテンツ置換イベント中には、第１のソースから受け取られた第１のメディアコンテンツのセグメントが、第２のソースから受け取られた第２のメディアコンテンツに置換される。この置換を達成するために、再生装置は、第１のソースから受け取られた第１のメディアコンテンツを提示することから、第２のソースから受け取られた第２のメディアコンテンツを提示することに切り替えることができる。
いくつかの場合では、再生装置にオーディオ信号を提供する装置によって設定できる第１のソースのいずれかの音量再生情報に再生装置がアクセスできないことがある。この結果、再生装置は、第２のソースからのメディアコンテンツを提示することに切り替えた時に、第１のソースからのコンテンツが提示されているラウドネスレベルに対応しないラウドネスレベルで置換メディアコンテンツを提示することがある。例えば、再生装置は、第１のラウドネスレベルを有する第１のメディアコンテンツを提示することから、第１のラウドネスレベルとは異なる第２のラウドネスレベルを有する第２のメディアコンテンツを提示することに切り替える場合がある。これによって、視聴者のユーザ体験が貧弱又は苛立たしいものになってしまう恐れがある。例えば、ラウドネスが増加すると、視聴者がうるさいと感じることがある。これとは逆に、ラウドネスが低下すると、置換メディアコンテンツが視聴者に聞こえづらく、或いは知覚されなくなってしまうことがある。
本明細書では、この及び潜在的にその他の問題に対処する方法及びシステムを開示する。ある方法例では、再生装置が第１のソースからの第１のメディアコンテンツを提示することができる。その後、再生装置は、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することができる。さらに、再生装置は、第１のメディアコンテンツの第１のラウドネスレベル及び第２のメディアコンテンツの第２のラウドネスレベルを決定することができる。次に、再生装置は、第１のラウドネスレベルと第２のラウドネスレベルとの間の差分に基づいて、第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように第２のメディアコンテンツのラウドネスを調整することができる。そして、再生装置は、トリガに遭遇したことに応答して、第３のラウドネスレベルを有する修正されたメディアコンテンツを提示することができる。有利なことに、第１のラウドネスレベルと第３のラウドネスレベルとの間の差分は、第１のラウドネスレベルと第２のラウドネスレベルとの間の差分よりも小さくすることができ、これによって視聴者体験を改善することができる。
本開示の一部は、広告を伴うメディアコンテンツ置換イベントを参照するが、これらの例は限定を意味するものではない。本明細書に開示するシステム及び方法は、１つのソースからのコンテンツストリームの一部である任意のコンテンツセグメントを別のソースからのコンテンツセグメントに置換することにも適用可能である。他のタイプの置換可能コンテンツとしては、気象セグメント、ニュースセグメント、スポーツセグメント、ラジオ広告などを挙げることができる。置換可能コンテンツを含むコンテンツストリームは、インターネット上のサーバ又はＵＲＬなどの様々なソースから提供することもできる。従って、以下に示す例は限定を意図するものではない。
ＩＩ．アーキテクチャ例
Ａ．コンピュータ装置
図１は、コンピュータ装置例１００の簡略ブロック図である。コンピュータ装置１００は、本開示において説明するような様々な動作及び／又は機能を実行することができる。コンピュータ装置１００は、プロセッサ１０２、データストレージユニット１０４、通信インターフェイス１０６及び／又はユーザインターフェイス１０８などの様々なコンポーネントを含むことができる。これらのコンポーネントは、接続機構１１０を介して互いに（或いは別の装置、システム又はその他のエンティティに）接続することができる。
プロセッサ１０２は、汎用プロセッサ（例えば、マイクロプロセッサ）及び／又は専用プロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ））を含むことができる。
データストレージユニット１０４は、磁気ストレージ、光学ストレージ又はフラッシュストレージなどの１又は２以上の揮発性、不揮発性、取り外し可能及び／又は取り外し不可能な記憶要素を含むことができ、及び／又は全体的又は部分的にプロセッサ１０２と一体化することができる。さらに、データストレージユニット１０４は、プロセッサ１０２によって実行された時に本開示において説明するような１又は２以上の動作及び／又は機能をコンピュータ装置１００に実行させるプログラム命令（例えば、コンパイラ型又は非コンパイラ型プログラムロジック及び／又は機械コード）を記憶した非一時的コンピュータ可読記憶媒体の形態を取ることができる。従って、コンピュータ装置１００は、本開示において説明するような１又は２以上の動作及び／又は機能を実行するように構成することができる。このようなプログラム命令は、離散的ソフトウェアアプリケーション（ｄｉｓｃｒｅｔｅ ｓｏｆｔｗａｒｅ ａｐｐｌｉｃａｔｉｏｎ）を定め、及び／又はこのような離散的ソフトウェアアプリケーションの一部とすることができる。いくつかの例では、コンピュータ装置１００が、通信インターフェイス１０６及び／又はユーザインターフェイス１０８などから入力を受け取ったことに応答してプログラム命令を実行することができる。データストレージユニット１０４は、本開示において説明するタイプなどの他のタイプのデータを記憶することもできる。
通信インターフェイス１０６は、コンピュータ装置１００が１又は２以上のプロトコルに従って別のエンティティと接続及び／又は通信することを可能にすることができる。１つの例では、通信インターフェイス１０６を、イーサネットインターフェイス又は高解像度シリアルデジタルインターフェイス（ＨＤ－ＳＤＩ）などの有線インターフェイスとすることができる。別の例では、通信インターフェイス１０６を、セルラ又はＷＩ－ＦＩインターフェイスなどの無線インターフェイスとすることができる。本開示では、接続を直接的接続とすることも、或いはルータ、スイッチャ又はその他のネットワーク装置などの１又は２以上のエンティティを通過及び／又は横断する接続である間接的接続とすることもできる。同様に、本開示では、送信を直接送信又は間接送信とすることができる。
ユーザインターフェイス１０８は、妥当な場合にコンピュータ装置１００とコンピュータ装置１００のユーザとの間の相互作用を容易にすることができる。従って、ユーザインターフェイス１０８は、キーボード、キーパッド、マウス、タッチセンサ式パネル、マイク及び／又はカメラなどの入力要素、及び／又は（例えば、タッチセンサ式パネルと組み合わせることができる）ディスプレイ装置、サウンドスピーカ及び／又は触覚フィードバックシステムなどの出力要素を含むことができる。より一般的に言えば、ユーザインターフェイス１０８は、コンピュータ装置１００とコンピュータ装置１００のユーザとの間の相互作用を容易にするハードウェア及び／又はソフトウェアコンポーネントを含むことができる。
コンピュータ装置１００は、ワークステーション端末、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話機又はテレビなどの様々な形態を取ることができる。
Ｂ．動的広告挿入（ＤＡＩ）システム
図２は、ＤＡＩシステム例２００の簡略ブロック図である。ＤＡＩシステム２００は、メディアコンテンツ（例えば、オーディオコンテンツ及び／又はビデオコンテンツ）の配信及び／又は提示に関連する様々な動作及び／又は機能を実行することができ、コンピュータシステムとして実装することができる。
ＤＡＩシステム２００は、視聴ステーション（ｗａｔｃｈｉｎｇ ｓｔａｔｉｏｎ）２１０、コンテンツソース２２０、メディア装置２３０、再生装置２４０、ビデオ識別システム２５０及び置換コンテンツサーバ２６０などの様々なコンポーネントを含むことができ、これらはそれぞれコンピュータシステムとして実装することができる。視聴ステーション２１０は、放送局、ウェブサーバ又はケーブルテレビ（ＴＶ）局などのコンテンツソース２２０からビデオ及びその他のマルチメディアコンテンツを受け取ることができる。例えば、コンテンツソース２２０は、テレビチャンネルを介して視聴ステーション２１０にメディアをストリーミング又は送信するＴＶ局又はＴＶネットワークなどの放送局、及び／又はネットワーク２７０を介して視聴ステーション２１０にメディアをストリーミング又は送信するウェブサイトなどのウェブサービスとすることができる。視聴ステーション２１０は、コンテンツソース２２０から受け取られたビデオコンテンツの基準フィンガープリントを生成する基準フィンガープリント生成器２１２を含む。
メディア装置２３０は、放送チャンネル及び／又はネットワーク２７０などを介してコンテンツソース２２０からビデオ及びその他のマルチメディアコンテンツを受け取ることができる。メディア装置２３０は、コンテンツを再生装置２４０に送る前に受け取ったコンテンツを修正することができる。メディア装置２３０は、ビデオコンテンツの入力ストリームを受け取り、入力ストリームを処理することによってビデオコンテンツの出力ストリームを生成するように構成されたチューナを含むことができる。メディア装置２３０は、多チャンネル映像番組配信事業者が利用する地上波放送、ケーブル及び／又は衛星放送ネットワークなどのビデオコンテンツ配信ネットワークを介してビデオコンテンツにアクセスできるように、チューナ、デコーダ及びその他のハードウェア及び／又はソフトウェアを備えた装置とすることができる。これに加えて又はこれに代えて、メディア装置２３０は、インターネットビデオストリーミングサービスにアクセスする装置が使用するワイドエリアネットワーク（例えば、インターネット）を通じてビデオコンテンツにアクセスできるように、ネットワークアダプタ、デコーダ及びその他のハードウェア及び／又はソフトウェアを備えた装置とすることもできる。メディア装置２３０は、再生装置２４０のスピーカ及びディスプレイがユーザにビデオコンテンツを提示するために使用できる信号（例えば、デジタル又はアナログ信号）を出力することができる。
再生装置２４０は、ビデオ及び／又はその他のマルチメディアコンテンツのストリームを受け取って提示できるいずれかの装置（例えば、ＴＶ、ラップトップ又はその他のパーソナルコンピュータ（ＰＣ）、タブレット又はその他のモバイル装置、或いはゲーム機）である。再生装置２４０は、処理済みのビデオコンテンツストリームを表示するように構成されたディスプレイ又はその他のユーザインターフェイスを含む。ディスプレイは、フラットパネルスクリーン、プラズマスクリーン、発光ダイオード（ＬＥＤ）スクリーン、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）又はプロジェクタとすることができる。再生装置は、１又は２以上のスピーカを含むこともできる。また、再生装置２４０は、無線放送チャンネルを介してオーディオ及びビデオを受け取るように構成されたアンテナを含むこともできる。
ネットワーク２７０は、有線ネットワーク及び／又は無線ネットワーク（例えば、モバイルネットワーク）などの、装置間の通信を可能にするいずれかのネットワークとすることができる。ネットワーク２７０は、プライベートネットワーク（例えば、ケーブルテレビネットワーク又は衛星テレビネットワーク）又はパブリックネットワーク（例えば、無線放送チャンネル又はインターネット）を構成する１又は２以上の部分を含むことができる。
ビデオ識別システム２５０は、ネットワーク２７０を介して視聴ステーション２１０及び再生装置２４０と通信することができる。ビデオ識別システム２５０は、ビデオコンテンツを識別するために、再生装置２４０のクエリフィンガープリント生成器２４２がビデオコンテンツから生成したクエリフィンガープリントを受け取り、視聴ステーション２１０の基準フィンガープリント生成器２１２が生成した既知のフィンガープリントのインデックスを問い合わせることができる。クエリフィンガープリントは、ビデオコンテンツ内のフレーム又はフレームブロックのフィンガープリントとすることができる。ビデオ識別システムは、クエリフィンガープリントと１又は２以上の基準フィンガープリントとを照合することによってビデオコンテンツを識別することができる。いくつかの例では、ビデオ識別システム２５０を、再生装置２４０又はメディア装置２３０のコンポーネント又はモジュールとすることができる。
ビデオ識別システム２５０は、ビデオコンテンツを識別すると、ビデオコンテンツに関連する置換メディアコンテンツ（例えば、代替番組又は代替コマーシャル）の識別子を再生装置２４０に戻すことができる。置換メディアコンテンツは、置換コンテンツサーバ２６０に記憶することができる。再生装置２４０は、識別子を使用して置換コンテンツサーバ２６０から置換メディアコンテンツにアクセスし、その後に置換メディアコンテンツを表示のために提供することができる。或いは、置換コンテンツサーバ２６０又は別のコンピュータシステムは、置換メディアコンテンツを再生装置２４０又はメディア装置２３０のローカルキャッシュに記憶されるように前もって（例えば、メディア装置２３０が置換動作を実行するようにスケジュールされている数秒前、数分前又は数時間前に）再生装置２４０又はメディア装置２３０に送信しておくこともできる。この実装では、再生装置２４０が、ローカルキャッシュから置換メディアコンテンツにアクセスした後に、置換メディアコンテンツを表示のために提供することができる。このローカルキャッシュ技術の採用は、再生装置２４０が置換動作の実行までに置換メディアコンテンツを受け取ることを確実にするのに役立つことができる。例えば、再生装置２４０が信頼できない又は予測できないインターネット接続を有している状況では、このことが特に有用となり得る。
図２に示す任意の装置には、任意のモジュール、システム及び／又は生成器を配置することができる。例えば、ビデオ識別システム２５０は、クエリフィンガープリント生成器２４２を含むことができる。この構成では、ビデオ識別システムが再生装置２４０からビデオコンテンツのフレームを受け取り、このビデオコンテンツのフレームを使用してクエリフィンガープリントを生成することができる。別の例として、メディア装置２３０及び再生装置２４０を単一の装置内で統合することもできる。他の変形例も可能である。
本開示のＤＡＩシステム２００及び他の部分の説明は、フィンガープリント法を使用したビデオコンテンツの識別を参照するが、この例は限定を意図するものではない。本明細書に開示するシステム及び方法は、透かし法を使用してビデオコンテンツを識別することもできる。例えば、視聴ステーション２１０は、ビデオコンテンツ内に透かし（例えば、オーディオ透かし又はビデオ透かし）を埋め込むことができる。この方法では、再生装置２４０がビデオコンテンツ内の透かしを検出して、この透かしをビデオ識別システム２５０に送信することができる。或いは、再生装置２４０がビデオコンテンツのフレームをビデオ識別システムに送信し、ビデオ識別システム２５０がビデオコンテンツのフレーム内の透かしを検出することもできる。ビデオ識別システム２５０は、透かしを取得した後に、この透かしを使用してビデオコンテンツを識別し、ビデオコンテンツに関連する置換メディアコンテンツの識別子を再生装置２４０に戻すことができる。
図３は、基準フィンガープリント生成器２１２、クエリフィンガープリント生成器２４２及びビデオ識別システム２５０のコンポーネントを示す簡略ブロック図である。図３に示すように、クエリフィンガープリント生成器２４２は、（例えば、バス、共有メモリ又はスイッチを介して）互いに通信するように構成されたパッチ選択モジュール２４３及び値計算モジュール２４４を含む。さらに、ビデオ識別システム２５０は、インデックスモジュール２５２、フィンガープリント照合モジュール２５４及び識別モジュール２５６を含み、これらは全て互いに通信するように構成される。さらに、基準フィンガープリント生成器２１２は、互いに通信するように構成されたパッチ選択モジュール２１４及び値計算モジュール２１６を含む。
図３に示すモジュールのうちの１つ又は２つ以上は、ハードウェア（例えば、機械のプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ））、又はハードウェアとソフトウェアとの組み合わせを使用して実装することができる。さらに、図３に示すモジュールのうちのいずれか２つ又は３つ以上を単一モジュールに組み合わせ、本明細書で説明する単一モジュールの機能を複数のモジュール間で細分割することもできる。
上記の説明によれば、クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、ビデオコンテンツの１又は２以上のフレームのクエリフィンガープリントを生成するように構成することができる。例えば、クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、ビデオコンテンツ内の１又は２以上のフレームのパッチ（ｐａｔｃｈｅｓ）の値を計算することができる。パッチは、フレーム内の異なる位置に存在することができる。クエリフィンガープリント生成器２４２及び基準フィンガープリント生成器２１２は、複数のフレームからのクエリフィンガープリントを組み合わせてビデオコンテンツのフレームブロックのクエリフィンガープリントを生成するように構成することができる。
一例として、クエリフィンガープリント生成器２４２のパッチ選択モジュール２４３は、ビデオコンテンツ内の１又は複数のフレームの１又は２以上の領域に関連するパッチなどのビデオコンテンツの複数のパッチを選択するように構成することができる。同様に、基準フィンガープリント生成器２１２のパッチ選択モジュール２１４も、ビデオコンテンツ内の１又は複数のフレームの１又は２以上の領域に関連するパッチなどのビデオコンテンツの複数のパッチを選択するように構成することができる。
パッチは、フレームを２×２グリッド、４×３グリッド又は４×４グリッドなどのグリッドに分割し、このグリッドに基づいてパッチを選択することによって定めることができる。例えば、フレームの象限（ｑｕａｄｒａｎｔｓ）に対応する４つの大パッチと、各象限のサブ象限（ｓｕｂ－ｑｕａｄｒａｎｔｓ）に対応する４つの小パッチ（すなわち、合計１６個の小パッチ）とを含む２０個のパッチを選択することができる。いくつかの例では、パッチが重なり合うこともできる。さらに、パッチは、フレーム全体よりも小さく累積的に広がることもできる。
クエリフィンガープリント生成器２４２の値計算モジュール２４４は、例えば積分画像法（ｉｎｔｅｇｒａｌ ｉｍａｇｅ ｔｅｃｈｎｉｑｕｅ）を使用して、選択された複数のパッチの各々の値を計算するように構成することができる。積分画像法は、画素グループの値の総和を生成するエリア総和テーブル（ｓｕｍｍｅｄ ａｒｅａ ｔａｂｌｅ）又はその他のデータ構造を使用して値を計算することができる。同様に、基準フィンガープリント生成器２１２の値計算モジュール２１６も、例えば積分画像法を使用して、選択された複数のパッチの各々の値を計算するように構成することができる。
いくつかの例では、値計算モジュール２４４及び値計算モジュール２１６が、パッチを含む画素グループの値を合計し、画素グループの値を平均し、又は画素グループの中央値を求めることによってパッチの値を計算することができる。これに加えて又はこれに代えて、値計算モジュール２４４及び値計算モジュール２１６は、画素グループの値間の差分を計算し、又は画素グループの値の線形結合を計算することによってパッチの値を計算することもできる。
ビデオ識別システム２５０のインデックスモジュール２５２は、クエリフィンガープリントに一致する可能性がある基準フィンガープリントを識別するために、視聴ステーション２１０又はビデオ識別システム２５０に記憶された既知のフィンガープリントのデータベースなどの、ビデオコンテンツの既知の基準フィンガープリントのデータベースに問い合わせを行うように構成することができる。インデックスモジュール２５２は、既知の基準フィンガープリントの量子化されたパッチ値のインデックスを問い合わせるように構成することができる。
ビデオ識別システムのフィンガープリント照合モジュール２５４は、クエリフィンガープリントを１又は２以上の既知の基準フィンガープリントと比較して、クエリフィンガープリントが少なくとも１つの既知の基準フィンガープリントに一致すると判定するように構成することができる。例えば、フィンガープリント照合モジュール２５４は、クエリフィンガープリントと少なくとも１つの既知の基準フィンガープリントとの間の類似性が所定の閾値を満たすと判定することによって、クエリフィンガープリントが少なくとも１つの既知の基準フィンガープリントに一致すると判定することができる。所定の閾値は、谷本距離測定値、マンハッタン距離測定値、又はその他の距離測定値に関連することができる。これに加えて又はこれに代えて、フィンガープリント照合モジュール２５４は、ユークリッド法、コサイン法、ＫＬダイバージェンス法及び／又は板倉照合法などの他の照合法を使用することもできる。
さらに、識別モジュール２５６は、クエリフィンガープリントが少なくとも１つの基準フィンガープリントに一致するとの判定に基づいてビデオコンテンツを識別するように構成することができる。例えば、識別モジュール２５６は、ビデオコンテンツの名称又はタイトル、再生装置２４０が現在提示しているビデオコンテンツ内の位置、及び／又はビデオコンテンツを提供しているチャンネル又は放送局を識別することができる。
図４は、再生装置２４０及び置換メディアサーバ２６０のコンポーネントを示す簡略ブロック図である。図４に示すように、再生装置２４０は、クエリフィンガープリント生成器２４２に加えて、互いに通信するように構成できるオーディオ分析モジュール２４５及び再生修正モジュール２４６を含む。さらに、置換コンテンツサーバ２６０は、ビデオ提供モジュール２６２を含む。
上記の説明によれば、再生装置２４０は、メディアコンテンツ置換イベントを実行するトリガに遭遇することができる。メディアコンテンツ置換イベントは、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えることを伴うことができる。第１のソースは、第１のコンテンツパイプとすることができ、第２のソースは、第１のコンテンツパイプとは異なる第２のコンテンツパイプとすることができる。例えば、第１のソースは、無線アンテナ又はメディア装置２３０のいずれかとすることができ、第２のソースは、インターネット又は再生装置２４０のローカルキャッシュのいずれかとすることができる。特定の例として、第１のメディアコンテンツは、無線アンテナ又はメディア装置２３０を介して受け取られる第１のマルチメディアセグメントとすることができ、第２のメディアコンテンツは、ネットワーク２７０を介して置換コンテンツサーバ２６０から受け取られて再生装置２４０のローカルキャッシュに記憶される第２のマルチメディアセグメントとすることができる。或いは、第１のソースを無線アンテナとし、第２のソースをメディア装置２３０とすることもできる。別の例として、第１のソースをネットワーク２７０とし（例えば、第１のメディアコンテンツをマルチメディアストリームとし）、第２のソースを再生装置２４０のローカルキャッシュ又はメディア装置２３０のいずれかとすることもできる。
トリガに遭遇することは、置換すべき第２のセグメントの直前に生じる第１のセグメントを再生装置２４０が提示していると判定することを伴うことができる。再生装置２４０は、上述したフィンガープリント法又は透かし法のいずれかを使用して、第１のセグメントが提示されていると判定することができる。或いは、トリガに遭遇することは、再生装置２４０が別の装置から置換コマンドを受け取ることを伴うこともできる。
再生装置２４０は、オーディオ分析モジュール２４５に、第１のメディアコンテンツの第１のラウドネスレベルを決定するように命令することができる。オーディオ分析モジュール２４５は、トリガに遭遇する前に第１のラウドネスレベルを決定することができる。第１のラウドネスレベルは、再生装置２４０が第１のメディアコンテンツを提示している時にオーディオ分析モジュール２４５が継続的又は断続的に決定する移動平均とすることができる。１つの例では、オーディオ分析モジュール２４５が、第１のメディアコンテンツの最近提示された部分（例えば、過去１分、過去３０秒など）のラウドネスレベル（例えば、二乗平均平方根（ＲＭＳ））を固定間隔ベースで計算することができる。第１のラウドネスレベルは、ラウドネスメータを使用して計算することができる。オーディオ分析モジュール２４５は、時間の経過と共に、第１のメディアコンテンツの複数の部分のラウドネスレベルを共に平均化することができる（例えば、５つの１分部分の平均）。第１のメディアコンテンツの複数の部分は、互いに重なり合った部分又は分離した部分とすることができる。さらに、所望数のラウドネスレベルが取得されると、オーディオ分析モジュール２４５は、第１のラウドネスレベルの移動平均に達するように、最も古い（最も古くなった）ラウドネスレベルを新たな（直前の）ラウドネスレベルに置換し始めることができる。他の例も可能である。
ラウドネスメータは、再生装置２４０上、及び／又は再生装置２４０が通信可能に接続されたサーバ装置上で実行されるように構成されたソフトウェアモジュールを含むことができる。ソフトウェアモジュールは、国際電気通信連合によって推奨されるものなどの、第１のラウドネスレベルを決定する様々なフィルタリングアルゴリズムを実行することができる。ソフトウェアモジュールは、オーディオ信号の複数のチャンネルの個々のラウドネスを測定した後に、個々のラウドネス測定値を平均化し、加算してラウドネスレベルを決定することができる。
いくつかの例では、第１のメディアコンテンツのラウドネスレベルプロファイル（すなわち、一定期間にわたるラウドネス）をサーバによってストリームとして又はバルクで再生装置２４０に提供することができる。ラウドネスレベルプロファイルは、第１のメディアコンテンツにおいてラウドネスが時間と共にどのように変化するかを特徴付けることができる。このラウドネスレベルプロファイルは、例えばサーバ側で事前計算して、決定された固定音量値（例えば、平均ラウドネス、又は何らかの目標音量尺度）に関連付けておくことができる。その後、オーディオ分析モジュール２４５は、このラウドネスレベルプロファイルと、第１のメディアコンテンツから測定されるラウドネス値とを整列させた後に、装置によって観測された第１のメディアコンテンツと（サーバにおいて遠隔的に分析された）基準とのレベル差を第１のラウドネスレベルとして決定することができる。その後、この差分を確実に使用して第２のメディアコンテンツのラウドネスレベルを修正することができる。
いくつかの例では、再生装置２４０がチャンネル変更イベントを検出することができる。再生装置２４０は、チャンネル変更イベントを検出すると、オーディオ分析モジュール２４５に第１のラウドネスレベルの移動平均をリセットするように命令することができる。１つの例として、再生装置２４０は、第１のメディアコンテンツのオーディオ及び／又はビデオフィンガープリンティングを使用してチャンネル変更イベントを検出することができる。別の例として、再生装置２４０は、第１のメディアコンテンツを提供する装置から、チャンネル変更が発生したことを示す信号（例えば、高精細マルチメディアインターフェイス信号）を受け取ることもできる。従って、再生装置２４０は、この信号の受信に基づいてチャンネル変更イベントが発生したと判定することができる。別の例として、再生装置２４０は、テンプレートマッチングを使用して、第１のメディアコンテンツを提供する装置（例えば、図２のメディア装置２３０）によってチャンネル変更に関連して提示されるチャンネルバーの表示を認識することによってチャンネル変更イベントを検出することもできる。
第２のメディアコンテンツの提示が予定されている時点の閾値時間内などのメディアコンテンツ置換イベントの直前にチャンネル変更イベントが発生した場合は、オーディオ分析モジュール２４５が第１のラウドネスレベルを他の様々な方法で決定することができる。例えば、オーディオ分析モジュール２４５は、それまでのチャンネルから測定されたラウドネスレベルを第１のラウドネスレベルとして使用することができる。別の例として、オーディオ分析モジュール２４５は、新たなチャンネルのための以前に決定されたラウドネスレベルを第１のラウドネスレベルとして使用することもできる。さらに別の例として、オーディオ分析モジュール２４５は、デフォルトラウドネスレベルを第１のラウドネスレベルとして使用することもできる。
或いは、第２のメディアコンテンツの提示が予定されている時点の閾値時間内にチャンネル変更イベントが発生した場合、再生装置２４０がメディアコンテンツ置換イベントの中止を選択することもできる。同様に、第１のラウドネスレベルが非常に低いもの（例えば、－６０ｄＢＦＳ未満）として検出された場合、又はオーディオ信号が完全に欠損／無音状態である場合にも、再生装置２４０がメディアコンテンツ置換イベントを実行しないように決定することができる。同様に、再生装置２４０の音量設定が小さい／ミュートされている場合にも、再生装置２４０がメディアコンテンツ置換イベントの実行を行わないことができる。
置換コンテンツサーバ２６０のビデオ提供モジュール２６２は、再生装置２４０に第２のメディアコンテンツを提供することができる。例えば、ビデオ識別システム２５０は、再生装置２４０が表示しているビデオコンテンツを識別することができ、ビデオ提供モジュール２６２は、識別されたビデオコンテンツに基づいて、ビデオコンテンツに対応する置換メディアコンテンツを再生装置２４０に提供することができる。
上記の説明によれば、再生装置２４０は、ネットワーク通信インターフェイスを介して第２のメディアコンテンツを受け取ることができる。例えば、第２のメディアコンテンツは、インターネットを介して再生装置２４０にストリーミングされた後に再生装置２４０のローカルキャッシュに記憶された置換メディアコンテンツとすることができる。再生装置２４０は、第２のメディアコンテンツを一連のメディアコンテンツに挿入するトリガに遭遇すると、ローカルキャッシュから置換メディアコンテンツを検索し、メディアファイルを表示するように構成されたメディアプレーヤを使用して置換メディアコンテンツを表示することができる。再生装置２４０がメディアプレーヤを使用して置換メディアコンテンツを表示のために提供すると、メディアプレーヤは、メディア装置又はアンテナから受け取られたメディアコンテンツなどの他のメディアコンテンツが表示のために提供される別の層の上位に存在するメディアプレーヤ層に置換メディアコンテンツを提示することができる。
いくつかの例では、第２のメディアコンテンツを表示のために提供することが、メディア装置２３０又はアンテナから受け取られたメディアコンテンツを提供することから、再生装置２４０のデータベースに記憶された置換メディアコンテンツを提供することに切り替えることを伴うことができる。再生装置２４０は、フレームバッファを含むシステムオンチップを含むことができる。再生装置２４０のメディアプレーヤは、置換メディアコンテンツを表示のために提供するために、置換メディアコンテンツをフレームバッファに挿入することができる。システムオンチップは、置換メディアコンテンツをフレームバッファに挿入する前に、メディア装置２３０から受け取られたメディアコンテンツをフレームバッファに挿入しておくことができる。
第２のメディアコンテンツは、置換広告を含むことができる。例えば、第２のメディアコンテンツは、一般広告の代わりとすべきターゲット広告を含むことができる。１つの例として、ターゲット広告は地方広告とすることができ、一般広告は全国広告とすることができる。別の例として、ターゲット広告は、再生装置２４０のユーザの人口統計データに基づいて選択された広告とすることもできる。
再生装置２４０のオーディオ分析モジュール２４５は、第２のメディアコンテンツの第２のラウドネスレベルを様々な方法で決定することができる。１つの例として、オーディオ分析モジュール２４５は、置換コンテンツサーバ２６０から第２のメディアコンテンツと共に受け取られる補助的情報に基づいて第２のラウドネスレベルを決定することができる。例えば、第２のラウドネスレベルは、第２のメディアコンテンツのヘッダ情報内で指定することができる。別の例として、オーディオ分析モジュール２４５は、第２のメディアコンテンツに関連するオーディオ信号を処理することによって第２のラウドネスレベルを決定することもできる。さらに別の例として、オーディオ分析モジュール２４５は、広告が従うように意図されたデフォルトラウドネスレベルを第２のラウドネスレベルとして使用することもできる。
いくつかの例では、第１のラウドネスレベル及び第２のラウドネスレベルを絶対尺度で指定することができる。他の例では、第１のラウドネスレベル及び第２のラウドネスレベルをデシベルで指定することができる。第１のラウドネスレベル及び第２のラウドネスレベルは、K-weighting relative to full scale（ＬＫＦＳ）などの知覚的音量重み付けを含むことができる。
再生修正モジュール２４６は、第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように、第１のラウドネスレベルと第２のラウドネスレベルとの間の差分に基づいて第２のメディアコンテンツのラウドネスを調整することができる。例えば、再生修正モジュール２４６は、第１のラウドネスレベルの方が第２のラウドネスレベルよりも低いと判定すると、第２のメディアコンテンツのラウドネスを低下させることができる。ラウドネスレベルを低下させることは、第２のメディアコンテンツのラウドネスを、第２のラウドネスレベルから第３のラウドネスレベルに低下させることを伴うことができる。第３のラウドネスレベルは、第１のラウドネスレベルにほぼ等しいものとすることができる。或いは、第３のラウドネスレベルは、第２のラウドネスレベルと第１のラウドネスレベルとの間のレベルとすることもできる。
一方で、再生修正モジュール２４６は、第１のラウドネスレベルの方が第２のラウドネスレベルよりも高いと判定すると、第２のメディアコンテンツのラウドネスを高めることができる。例えば、再生修正モジュール２４６は、第２のメディアコンテンツのラウドネスを、第２のラウドネスレベルから第３のラウドネスレベルに高めることができる。第３のラウドネスレベルは、第１のメディアコンテンツのラウドネスレベルにほぼ等しいものとすることができる。或いは、第３のラウドネスレベルは、第２のラウドネスレベルと第１のラウドネスレベルとの間のレベルとすることもできる。
第２のメディアコンテンツのラウドネスレベルを調整することは、オーディオ信号を復号した後に第２のメディアコンテンツのオーディオ信号を調整することを伴うことができる。例えば、再生修正モジュール２４６は、オーディオ信号を減衰させてラウドネスを低下させ、或いは逆にオーディオ信号を増幅させてラウドネスを高めることができる。再生修正モジュール２４６は、オーディオ信号のラウドネスを増幅させる場合、圧縮器を使用してオーディオ信号の最低点と最高点との間の差分を低減し、及び／又はリミッタを使用していずれかのピークが閾値を超えるのを防ぐことができる。
いくつかの例では、再生修正モジュール２４６が、第１のラウドネスレベルと第２のラウドネスレベルとの間の差分が閾値条件を満たすと判定し、閾値条件を満たす差分に基づいて第２のメディアコンテンツのラウドネスを調整することができる。これとは逆に、この差分が閾値条件を満たさない場合、再生修正モジュール２４６は、第２のメディアコンテンツのラウドネスの調整をせず、メディアコンテンツ置換イベント中に第２のメディアコンテンツを提示することができる。この閾値条件は、例えば差分が閾値量よりも大きい状態とすることができる。
ある使用事例では、メディアコンテンツ置換イベントの実行前に、再生装置２４０が映画を提示することができる。メディアコンテンツ置換イベントは、映画内のコマーシャル時間中に実行され、置換可能広告を置換広告の形態の第２のメディアコンテンツに置換することを伴うことができる。さらに、置換可能広告は、置換可能広告に先行する映画の部分よりも高いラウドネスレベルを有することができる。再生装置２４０は、置換広告の前に提示されている映画の部分のラウドネスレベルに従って置換広告のラウドネスレベルを低下させることによって、より心地良い（例えば、苛立ち又は不快感の少ない）ユーザ体験を提供することができる。
ＩＩＩ．動作例
図５は、方法例５００のフローチャートである。方法５００は、再生装置２４０などの再生装置、又はより一般的にはコンピュータシステムによって実行することができる。方法５００は、ブロック５０２において、再生装置が、第１のソースからの第１のメディアコンテンツを提示することを含む。方法５００は、ブロック５０４において、再生装置が、第１のソースからの第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することを含む。方法５００は、ブロック５０６において、再生装置が、第１のメディアコンテンツの第１のラウドネスレベルを決定することを含む。方法５００は、ブロック５０８において、再生装置が、第２のメディアコンテンツの第２のラウドネスレベルを決定することを含む。方法５００は、ブロック５１０において、再生装置が、第１のラウドネスレベルと第２のラウドネスレベルとの間の差分に基づいて、第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように第２のメディアコンテンツのラウドネスレベルを調整することを含む。方法５００は、ブロック５１２において、再生装置が、トリガに遭遇したことに応答して、第３のラウドネスレベルを有する修正されたメディアコンテンツを提示することを含む。
ＩＶ．変形例
本開示において説明した動作及び／又は機能のいくつかは、特定のエンティティが実行するものとして説明したが、本開示において説明したエンティティなどのあらゆるエンティティが実行することができる。さらに、これらの動作及び／又は機能は特定の順序で記載しているが、記載した順序で実行する必要はない。しかしながら、いくつかの例では、これらの動作及び／又は機能を記載した順序で実行することが望ましい場合もある。さらに、各動作及び／又は機能は、他の動作及び／又は機能のうちの１つ又は２つ以上に応答して実行することができる。また、本開示に示す利点のうちの１つ又は２つ以上を達成するためにこれらの動作及び／又は機能を全て実行する必要はなく、従って全ての動作及び／又は機能が必要であるとは限らない。
本開示の１又は２以上の実施例に関連していくつかの変形例を説明したが、これらの変形例は、本開示の他の全ての実施例に適用することもできる。
本開示の選択例について説明したが、当業者にはこれらの例の変更及び置換が明らかであろう。以下の特許請求の範囲に記載する本発明の幅広い態様では、本発明から逸脱することなく他の修正、代用及び／又は変更も可能である。

Claims (20)

  1. 再生装置が、第１のソースからの第１のメディアコンテンツを提示することと、
    前記再生装置が、前記第１のソースからの前記第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することと、
    前記再生装置が、前記第１のメディアコンテンツの第１のラウドネスレベルを決定することと、
    前記再生装置が、前記第２のメディアコンテンツの第２のラウドネスレベルを決定することと、
    前記再生装置が、前記第１のラウドネスレベルと前記第２のラウドネスレベルとの間の差分に基づいて、前記第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように前記第２のメディアコンテンツのラウドネスレベルを調整することと、
    前記再生装置が、前記トリガに遭遇したことに応答して、前記第３のラウドネスレベルを有する前記修正されたメディアコンテンツを提示することと、
    を含むことを特徴とする方法。
  2. 前記第１のラウドネスレベルを決定することは、前記再生装置が前記第１のメディアコンテンツを提示している時に前記第１のラウドネスレベルの移動平均を決定することを含む、
    請求項１に記載の方法。
  3. チャンネル変更イベントを検出することと、
    前記チャンネル変更イベントの検出時に、前記第１のラウドネスレベルの前記移動平均をリセットすることと、
    をさらに含む、請求項２に記載の方法。
  4. 前記第２のラウドネスレベルを決定することは、前記第２のメディアコンテンツと共に受け取られた補助情報に基づいて前記第２のラウドネスレベルを決定することを含む、
    請求項１に記載の方法。
  5. 前記第１のラウドネスレベルと前記第２のラウドネスレベルとの間の前記差分に基づいて前記第２のメディアコンテンツの前記ラウドネスレベルを調整することは、前記第１のラウドネスレベルの方が前記第２のラウドネスレベルよりも高いことに基づいて、前記第２のメディアコンテンツの前記ラウドネスレベルを前記第２のラウドネスレベルから前記第３のラウドネスレベルに高めることを含む、
    請求項１に記載の方法。
  6. 前記第１のラウドネスレベルと前記第２のラウドネスレベルとの間の前記差分に基づいて前記第２のメディアコンテンツの前記ラウドネスレベルを調整することは、前記第１のラウドネスレベルの方が前記第２のラウドネスレベルよりも低いことに基づいて、前記第２のメディアコンテンツの前記ラウドネスレベルを前記第２のラウドネスレベルから前記第３のラウドネスレベルに低下させることを含む、
    請求項１に記載の方法。
  7. 前記第２のメディアコンテンツは、前記トリガに遭遇する前に前記再生装置のローカルキャッシュに記憶され、前記方法は、前記第２のメディアコンテンツを前記ローカルキャッシュから検索することを含む、
    請求項１に記載の方法。
  8. 前記再生装置はテレビを含み、前記修正されたメディアコンテンツを提示することは、メディアプレーヤを使用して置換広告を提示することを含む、
    請求項１に記載の方法。
  9. 前記トリガに遭遇することは、前記第２のメディアコンテンツに置換されるように指定された第２のセグメントの直前に生じる第１のセグメントを前記再生装置が提示していると判定することを含む、
    請求項１に記載の方法。
  10. 前記第１のセグメントは第１の広告であり、前記第２のセグメントは第２の広告である、
    請求項９に記載の方法。
  11. プロセッサによる実行時に一連の動作を実行させるプログラム命令を記憶した非一時的コンピュータ可読媒体であって、前記一連の動作は、
    第１のソースからの第１のメディアコンテンツを提示することと、
    前記第１のソースからの前記第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することと、
    前記第１のメディアコンテンツの第１のラウドネスレベルを決定することと、
    前記第２のメディアコンテンツの第２のラウドネスレベルを決定することと、
    前記第１のラウドネスレベルと前記第２のラウドネスレベルとの間の差分に基づいて、前記第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように前記第２のメディアコンテンツのラウドネスレベルを調整することと、
    前記トリガに遭遇したことに応答して、前記第３のラウドネスレベルを有する前記修正されたメディアコンテンツを提示することと、
    を含む、ことを特徴とする非一時的コンピュータ可読媒体。
  12. 前記第１のラウドネスレベルを決定することは、前記第１のメディアコンテンツを提示している時に前記第１のラウドネスレベルの移動平均を決定することを含む、
    請求項１１に記載の非一時的コンピュータ可読媒体。
  13. 前記第２のラウドネスレベルを決定することは、前記第２のメディアコンテンツと共に受け取られた補助情報に基づいて前記第２のラウドネスレベルを決定することを含む、
    請求項１１に記載の非一時的コンピュータ可読媒体。
  14. 前記第２のメディアコンテンツは、前記トリガに遭遇する前に前記再生装置のローカルキャッシュに記憶され、前記一連の動作は、前記第２のメディアコンテンツを前記ローカルキャッシュから検索することを含む、
    請求項１１に記載の非一時的コンピュータ可読媒体。
  15. 前記第１のセグメントは第１の広告であり、前記第２のセグメントは第２の広告である、
    請求項１４に記載の非一時的コンピュータ可読媒体。
  16. 一連の動作を実行するように構成されたコンピュータシステムであって、前記一連の動作は、
    第１のソースからの第１のメディアコンテンツを提示することと、
    前記第１のソースからの前記第１のメディアコンテンツを提示することから、第２のソースからの第２のメディアコンテンツを提示することに切り替えるトリガに遭遇することと、
    前記第１のメディアコンテンツの第１のラウドネスレベルを決定することと、
    前記第２のメディアコンテンツの第２のラウドネスレベルを決定することと、
    前記第１のラウドネスレベルと前記第２のラウドネスレベルとの間の差分に基づいて、前記第２のラウドネスレベルとは異なる第３のラウドネスレベルを有する修正されたメディアコンテンツを生成するように前記第２のメディアコンテンツのラウドネスレベルを調整することと、
    前記トリガに遭遇したことに応答して、前記第３のラウドネスレベルを有する前記修正されたメディアコンテンツを提示することと、
    を含む、ことを特徴とするコンピュータシステム。
  17. 前記第１のラウドネスレベルを決定することは、前記第１のメディアコンテンツを提示している時に前記第１のラウドネスレベルの移動平均を決定することを含む、
    請求項１６に記載のコンピュータシステム。
  18. 前記第２のラウドネスレベルを決定することは、前記第２のメディアコンテンツと共に受け取られた補助情報に基づいて前記第２のラウドネスレベルを決定することを含む、
    請求項１６に記載のコンピュータシステム。
  19. 前記第２のメディアコンテンツは、前記トリガに遭遇する前に前記再生装置のローカルキャッシュに記憶され、前記一連の動作は、前記第２のメディアコンテンツを前記ローカルキャッシュから検索することを含む、
    請求項１６に記載のコンピュータシステム。
  20. 前記第１のセグメントは第１の広告であり、前記第２のセグメントは第２の広告である、
    請求項１９に記載のコンピュータシステム。
JP2021527817A 2018-11-16 2019-11-05 メディア置換イベント中におけるメディア再生ラウドネスレベルの検出及び対応するオーディオの調整 Active JP7157878B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862768596P 2018-11-16 2018-11-16
US62/768,596 2018-11-16
US201962861474P 2019-06-14 2019-06-14
US62/861,474 2019-06-14
US201962909676P 2019-10-02 2019-10-02
US62/909,676 2019-10-02
US16/673,859 2019-11-04
US16/673,859 US11347470B2 (en) 2018-11-16 2019-11-04 Detection of media playback loudness level and corresponding adjustment to audio during media replacement event
PCT/US2019/059882 WO2020101951A2 (en) 2018-11-16 2019-11-05 Detection of media playback loudness level and corresponding adjustment to audio during media replacement event

Publications (2)

Publication Number Publication Date
JP2022507767A true JP2022507767A (ja) 2022-01-18
JP7157878B2 JP7157878B2 (ja) 2022-10-20

Family

ID=70726334

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021527817A Active JP7157878B2 (ja) 2018-11-16 2019-11-05 メディア置換イベント中におけるメディア再生ラウドネスレベルの検出及び対応するオーディオの調整
JP2021527818A Active JP7043683B2 (ja) 2018-11-16 2019-11-15 ラウドネスレベルプロファイルを使用した、メディア置換イベント中における音量調整の検出
JP2021527816A Active JP7048825B2 (ja) 2018-11-16 2019-11-15 より短い時定数を使用した、メディア置換イベント中におけるラウドネスレベルのモニタリング

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021527818A Active JP7043683B2 (ja) 2018-11-16 2019-11-15 ラウドネスレベルプロファイルを使用した、メディア置換イベント中における音量調整の検出
JP2021527816A Active JP7048825B2 (ja) 2018-11-16 2019-11-15 より短い時定数を使用した、メディア置換イベント中におけるラウドネスレベルのモニタリング

Country Status (6)

Country Link
US (7) US11347470B2 (ja)
EP (2) EP3881556B1 (ja)
JP (3) JP7157878B2 (ja)
CN (1) CN113330750B (ja)
TW (3) TWI739211B (ja)
WO (3) WO2020101951A2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347470B2 (en) 2018-11-16 2022-05-31 Roku, Inc. Detection of media playback loudness level and corresponding adjustment to audio during media replacement event
KR102707037B1 (ko) 2019-03-14 2024-09-19 가우디오랩 주식회사 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치
KR102390643B1 (ko) * 2019-10-10 2022-04-27 가우디오랩 주식회사 오디오 라우드니스 메타데이터 생성 방법 및 이를 위한 장치
WO2022086196A1 (ko) * 2020-10-22 2022-04-28 가우디오랩 주식회사 기계 학습 모델을 이용하여 복수의 신호 성분을 포함하는 오디오 신호 처리 장치
US11750881B2 (en) * 2020-11-24 2023-09-05 Roku, Inc. Server-side matching of supplemental content audio to perceived audio by end-user
US11962870B2 (en) * 2021-02-17 2024-04-16 Roku, Inc. Content-modification system with quiet content detection feature
CN113365010B (zh) * 2021-06-07 2022-11-22 北京字节跳动网络技术有限公司 音量调节方法、装置、设备、存储介质
US11848655B1 (en) * 2021-09-15 2023-12-19 Amazon Technologies, Inc. Multi-channel volume level equalization based on user preferences
US11974012B1 (en) * 2023-11-03 2024-04-30 AVTech Select LLC Modifying audio and video content based on user input

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134419A (ja) * 2001-10-29 2003-05-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ再生装置、コンテンツ再生方法、コンピュータ・プログラム、情報記憶媒体
US20160254795A1 (en) * 2015-02-27 2016-09-01 Charter Communications Operating, Llc Automated audio volume stabilizer
US20180234728A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement
US20180270526A1 (en) * 2017-03-16 2018-09-20 The Directv Group, Inc. Dynamic advertisement insertion

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822018A (en) 1996-04-02 1998-10-13 Farmer; James O. Method and apparatus for normalizing signal levels in a signal processing system
US6950623B2 (en) 2000-09-19 2005-09-27 Loudeye Corporation Methods and systems for dynamically serving in-stream advertisements
AU2003206429A1 (en) 2002-07-02 2004-01-22 John Christiansen System
US6873341B1 (en) 2002-11-04 2005-03-29 Silicon Image, Inc. Detection of video windows and graphics windows
JP2006166187A (ja) 2004-12-09 2006-06-22 Kenwood Corp 音源切り替え方法及び装置
JP4432858B2 (ja) * 2005-07-29 2010-03-17 ソニー株式会社 放送受信方法
US20070214103A1 (en) 2006-03-10 2007-09-13 Sbc Knowledge Ventures L.P. System and method for providing content over a communications network
DE602007011594D1 (de) 2006-04-27 2011-02-10 Dolby Lab Licensing Corp Tonverstärkungsregelung mit erfassung von publikumsereignissen auf der basis von spezifischer lautstärke
KR100938686B1 (ko) 2007-12-03 2010-01-25 김용호 방범 및 광고 기능을 가지는 자동차
CN102017402B (zh) 2007-12-21 2015-01-07 Dts有限责任公司 用于调节音频信号的感知响度的系统
WO2010138311A1 (en) * 2009-05-26 2010-12-02 Dolby Laboratories Licensing Corporation Equalization profiles for dynamic equalization of audio data
US8731216B1 (en) * 2010-10-15 2014-05-20 AARIS Enterprises, Inc. Audio normalization for digital video broadcasts
US8863165B2 (en) 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
US9535653B2 (en) 2012-08-31 2017-01-03 Google Inc. Adjusting audio volume of multimedia when switching between multiple multimedia content
KR101403884B1 (ko) * 2012-09-11 2014-06-09 안성룡 음량 자동 조절 장치
CN102946520B (zh) 2012-10-30 2016-12-21 深圳创维数字技术有限公司 一种自动控制频道音量的方法及数字电视终端
US10027303B2 (en) * 2012-11-13 2018-07-17 Snell Advanced Media Limited Management of broadcast audio loudness
US8813120B1 (en) * 2013-03-15 2014-08-19 Google Inc. Interstitial audio control
CN110675884B (zh) 2013-09-12 2023-08-08 杜比实验室特许公司 用于下混合音频内容的响度调整
CN103813184B (zh) 2013-12-13 2017-06-23 北京智谷睿拓技术服务有限公司 播放控制方法、播放控制系统、服务器和用户终端
US20150319506A1 (en) 2014-04-30 2015-11-05 Netflix, Inc. Displaying data associated with a program based on automatic recognition
FI20145493A (fi) * 2014-05-28 2015-11-29 Exaget Oy Sisällön lisääminen mediavirtaan
US10345999B2 (en) 2014-11-03 2019-07-09 Opentv, Inc. Media presentation modification using audio segment marking
US9647624B2 (en) 2014-12-31 2017-05-09 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive loudness levelling method for digital audio signals in frequency domain
US9837086B2 (en) 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
US9936156B2 (en) 2015-09-24 2018-04-03 Samantha WESTERN Volume adjusting apparatus and method
US9858036B2 (en) * 2015-11-10 2018-01-02 Google Llc Automatic audio level adjustment during media item presentation
WO2017106695A2 (en) * 2015-12-16 2017-06-22 Gracenote, Inc. Dynamic video overlays
JP6122987B1 (ja) 2016-03-18 2017-04-26 ヤフー株式会社 決定装置、決定方法、決定プログラム
CN107633850A (zh) 2017-10-10 2018-01-26 维沃移动通信有限公司 一种音量调节方法及电子设备
KR101986905B1 (ko) 2017-10-31 2019-06-07 전자부품연구원 신호 분석 및 딥 러닝 기반의 오디오 음량 제어 방법 및 시스템
US10509558B2 (en) 2017-12-08 2019-12-17 Spotify Ab System and method for enabling advertisement interaction with an electronic device
US10389323B2 (en) * 2017-12-18 2019-08-20 Tls Corp. Context-aware loudness control
KR102510899B1 (ko) * 2018-01-07 2023-03-16 그레이스노트, 인코포레이티드 볼륨 조절을 위한 방법 및 장치
US11347470B2 (en) 2018-11-16 2022-05-31 Roku, Inc. Detection of media playback loudness level and corresponding adjustment to audio during media replacement event

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134419A (ja) * 2001-10-29 2003-05-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ再生装置、コンテンツ再生方法、コンピュータ・プログラム、情報記憶媒体
US20160254795A1 (en) * 2015-02-27 2016-09-01 Charter Communications Operating, Llc Automated audio volume stabilizer
US20180234728A1 (en) * 2017-02-10 2018-08-16 Samsung Electronics Co., Ltd. Display device and method for replacing advertisement
US20180270526A1 (en) * 2017-03-16 2018-09-20 The Directv Group, Inc. Dynamic advertisement insertion

Also Published As

Publication number Publication date
US11042353B2 (en) 2021-06-22
US11556304B2 (en) 2023-01-17
US20200159489A1 (en) 2020-05-21
WO2020101951A2 (en) 2020-05-22
EP3881556A4 (en) 2022-08-17
US11372617B2 (en) 2022-06-28
WO2020102633A1 (en) 2020-05-22
WO2020102632A1 (en) 2020-05-22
US20200162049A1 (en) 2020-05-21
US11740860B2 (en) 2023-08-29
TWI786556B (zh) 2022-12-11
JP7048825B2 (ja) 2022-04-05
US20210311697A1 (en) 2021-10-07
TWI723633B (zh) 2021-04-01
US11347470B2 (en) 2022-05-31
US11748055B2 (en) 2023-09-05
JP2022507766A (ja) 2022-01-18
EP4250563A3 (en) 2023-11-29
EP3881556A1 (en) 2021-09-22
TW202123719A (zh) 2021-06-16
CN113330750A (zh) 2021-08-31
CN113330750B (zh) 2022-11-11
EP4250563A2 (en) 2023-09-27
US20220253275A1 (en) 2022-08-11
US20210271448A1 (en) 2021-09-02
JP7043683B2 (ja) 2022-03-29
TW202034705A (zh) 2020-09-16
JP2022507768A (ja) 2022-01-18
US20200162048A1 (en) 2020-05-21
EP3881556B1 (en) 2023-09-13
TW202027513A (zh) 2020-07-16
JP7157878B2 (ja) 2022-10-20
WO2020101951A3 (en) 2021-01-21
TWI739211B (zh) 2021-09-11
US20220276831A1 (en) 2022-09-01
US11068232B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
JP7157878B2 (ja) メディア置換イベント中におけるメディア再生ラウドネスレベルの検出及び対応するオーディオの調整
US11265617B2 (en) Inserting advertisements into video content
US11317144B2 (en) Detection of mute and compensation therefor during media replacement event

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221007

R150 Certificate of patent or registration of utility model

Ref document number: 7157878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150