JP2022546923A - 変更オーディオビットストリームの生成及び処理のための方法及び装置 - Google Patents

変更オーディオビットストリームの生成及び処理のための方法及び装置 Download PDF

Info

Publication number
JP2022546923A
JP2022546923A JP2022505628A JP2022505628A JP2022546923A JP 2022546923 A JP2022546923 A JP 2022546923A JP 2022505628 A JP2022505628 A JP 2022505628A JP 2022505628 A JP2022505628 A JP 2022505628A JP 2022546923 A JP2022546923 A JP 2022546923A
Authority
JP
Japan
Prior art keywords
media data
bitstream
information
additional media
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022505628A
Other languages
English (en)
Other versions
JP7314398B2 (ja
Inventor
フェルシュ，クリストフ
フィッシャー，ダニエル
テレンティフ，レオン
ジョン マクゲアリー，グレゴリー
Original Assignee
ドルビー・インターナショナル・アーベー
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー・インターナショナル・アーベー, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー・インターナショナル・アーベー
Publication of JP2022546923A publication Critical patent/JP2022546923A/ja
Priority to JP2023114205A priority Critical patent/JP2023145513A/ja
Application granted granted Critical
Publication of JP7314398B2 publication Critical patent/JP7314398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本願明細書は、ソース装置において変更ビットストリームを生成する方法を記載し、前記方法は、ａ）受信機により、符号化メディアデータを含むビットストリームを受信するステップと、ｂ）埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、ｃ）前記変更ビットストリームをシンク装置へ出力するステップと、を含む。更に、シンク装置において前記変更ビットストリームを処理する方法が記載される。更に、それぞれのソース装置及びシンク装置、シソース装置とシンク装置とのステム、並びにそれぞれのコンピュータプログラムプロダクトが、記載される。

Description

［関連出願］
本願は、米国仮特許出願番号第６２/８８７,０９８号、２０１９年８月１５日出願、及び欧州特許出願番号第１９１９１９２０.８号、２０１９年８月１５日出願の優先権を主張する。両出願は、参照によりその全体がここに組み込まれる。
［技術分野］
本開示は、概して、変更ビットストリームを生成する方法及びソース装置に関し、より具体的には、追加メディアデータのペイロードを、符号化メディアデータを含むビットストリームに埋め込むことにより、変更ビットストリームを生成することに関する。本開示は、前記変更ビットストリームを処理する方法及びシンク装置にも関する。
幾つかの実施形態はその開示を特に参照して本願明細書に記載されるが、理解されるべきことに、本開示はそのような利用分野に限定されず、より広い状況において適用可能である。
本開示を通じて背景技術のいかなる議論も、そのような技術が広く知られていること又は当分野における共通の一般知識を形成することの自認として考えられるべきではない。
近年、Bluetooth(BT)エコシステムの部分として、AACファミリに基づくコーデックを確立する努力がなされてきた。この状況では、Bluetooth SIGは、受信したビットストリームを、例えばスピーカシステム（BTシンク）に接続されたモバイル装置（BTソース）に渡すことが必要な使用例を定義し得る。サービスかBTエンドポイントの間ずっと使用されるデータフォーマットは符号化オーディオであってよいので、モバイル装置からBTスピーカへイアコン及び／又はシステム音声を伝達する簡単な方法がない。そのようなイアコンは、リングトーン、メール通知音、キー押下音、等を含んでよい。
現在展開されているシステムでは、サービスから受信したオーディオは、通常、装置内で、非圧縮ドメイン（uncompressed domain (PCM)）へと復号される。ここで、それは、変更され及び／又はミキシングできる。ｌパススルー動作モードが有効である場合、BT－ソース装置上で、BTソースからBTシンクへトランスポートされる経験を有効にし及び／又はそれへとシステム音声をミキシングするための簡単な可能性が存在しない。
パススルーを有効にしたままこの制限を克服する１つの可能性は、両方の装置の間で追加リンクを開くことであり得る。しかしながら、このステップは、動作するためにBluetoothコーデックの追加リンク及びエンコーダ－デコーダペアを必要とするという欠点を有する。これは、望ましくない更なるシステムの複雑さに直面し、及びBTソース及びシンク装置の両方に、追加の計算上の複雑さを課す。これは、バッテリのコストも高く付く。
従って、特にMPEG-４オーディオフォーマットで、ビットストリームによるメディアコンテンツと並列に、イアコン及び／又はシステム音声を同時に生成し及び処理することが必要とされる。
本開示の第１の態様によると、ソース装置により変更ビットストリームを生成する方法が提供される。ソース装置は、受信機と、埋め込み器とを含んでよい。方法は、ａ）受信機により、符号化メディアデータを含むビットストリームを受信するステップを含んでよい。方法は、ｂ）埋め込み器により、追加メディアデータのペイロードを生成し、埋め込み器からの種ｔルヨ句として、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを取得するために、該ペイロードをビットストリームに埋め込むステップを更に含んでよい。方法は、ｃ）符号化ビットストリームをシンク装置へ出力するステップを含んでよい。
提案されるように構成されると、方法は、システム音声又はイアコン（Earcons）を、符号化メディアデータを含みソース装置（例えば、携帯電話機のようなBluetoothソース装置）によりシンク装置（例えば、BluetoothラウドスピーカのようなBluetoothシンク装置）へ向けてパススルー（passed through、通過）されるビットストリームに挿入することができる。これは、ソース装置とシンク装置との間の追加接続を確立することなく、及び符号化メディアデータを復号し再符号化させることなく、システム音声／イアコンをシンク装置へ渡すことを可能にする。更に、方法は、システム音声／イアコン及び符号化メディアデータの同時処理を可能にする。
幾つかの実施形態では、追加メディアデータは、シンク装置により再生されてよい。
幾つかの実施形態では、追加メディアデータは、ソース装置により再生されてよい。
幾つかの実施形態では、受信ビットストリーム内の符号化メディアデータは、ソース装置から変更ビットストリームを介してシンク装置へパススルーされてよい。
幾つかの実施形態では、ステップｂ）は、追加メディアデータに関する情報を生成し、該情報をビットストリームに埋め込むステップを更に含んでよい。
幾つかの実施形態では、生成された情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの１つ以上を含んでよい。
幾つかの実施形態では、ステップｂ）は、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を生成し、相対ゲインに関する情報をビットストリームに埋め込むステップを更に含んでよい。
幾つかの実施形態では、変更ビットストリームはMPEG-４オーディオフォーマットであってよい。従って、システム音声／イアコンは、ソース装置が、MPEG-４オーディオフォーマットで符号化されたメディアデータに対してパススルーモードであるとき、メディアデータを復号し再符号化する必要無しに、符号化ビットストリームの部分として、シンク装置へ送信できる。
幾つかの実施形態では、生成されたペイロードは、MPEG-４オーディオビットストリーム拡張メカニズムにより、変更ビットストリーム内のペイロードをトランスポートことにより、ビットストリームに埋め込まれてよい。
幾つかの実施形態では、生成された情報及び／又は相対ゲインに関する生成された情報は、MPEG-４オーディオビットストリーム拡張メカニズムにより（変更）ビットストリーム内の相対ゲインに関する生成されたトランスポートすることにより、ビットストリームに埋め込まれてよい。
幾つかの実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（data stream element (DSE)）であってよい。
幾つかの実施形態では、データストリームエレメントは、変更ビットストリーム内の所定の位置に位置付けられてよく、及び／又は特定のインスタンスタグを含んでよい。
幾つかの実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element (ID_FIL)であってよい。
幾つかの実施形態では、生成されたペイロードは、Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされてよい。
幾つかの実施形態では、生成された情報及び／又は相対ゲインに関する生成された情報は、Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされてよい。
幾つかの実施形態では、生成されたペイロードは、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。
幾つかの実施形態では、生成された情報及び／又は相対ゲインに関する生成された情報は、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。
幾つかの実施形態では、新拡張ペイロードエレメントは、ユニークな識別子を含んでよい。
幾つかの実施形態では、ステップｃ）で、変更ビットストリームは、Bluetooth接続を介して、シンク装置へ出力されてよい。
幾つかの実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。
幾つかの実施形態では、非圧縮メディアデータはソース装置において生成されたPCMデータであってよい。
幾つかの実施形態では、PCMデータの生成は、ユーザ入力に基づいてよい。
幾つかの実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含んでよい。
幾つかの実施形態では、圧縮データは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
本開示の第２の態様によると、シンク装置により変更ビットストリームを処理する方法が提供される。シンク装置は、受信機と、ビットストリームパーサと、コアデコーダと、ミキサとを含んでよい。方法は、ａ）受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップを含んでよい。方法は、ｂ）ビットストリームパーサにより、変更ビットストリームを符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップを含んでよい。方法は、ｃ）コアデコーダにより、符号化オーディオデータをコア復号して、コア復号生メディアデータを取得するステップを更に含んでよい。方法は、ｄ）ミキサにより、コア復号メディアデータ及び追加メディアデータをミキシングして、出力信号を取得するステップを更に含んでよい。並びに、方法は、ｅ）出力信号を出力するステップを更に含んでよい。
幾つかの実施形態では、変更ビットストリームは、追加メディアデータに関する情報を更に含み、方法は、ステップａ）の後、ステップｂ）の前に、情報に基づき変更ビットストリームを処理ステップを更に含んでよい。
幾つかの実施形態では、情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの１つ以上含んでよい。
幾つかの実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップｄ）におけるコア復号メディアデータ及び追加メディアデータのミキシングは、相対ゲインに関する情報に基づいてよい。
幾つかの実施形態では、方法は、処理ユニットにより、コア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するステップを更に含んでよい。
幾つかの実施形態では、追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの１つ以上を含んでよい。
幾つかの実施形態では、追加メディアデータは圧縮メディアデータであり、方法は、デコーダにより、圧縮メディアデータを復号して、復号追加メディアデータを取得ステップを更に含み、ステップｄ）において、復号追加メディアデータはコア復号メディアデータとミキシングされてよい。
幾つかの実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
幾つかの実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ステップｄ）で、非圧縮追加メディアデータはコア復号メディアデータとミキシングされてよい。
幾つかの実施形態では、変更ビットストリームはMPEG-４オーディオフォーマットであってよい。
幾つかの実施形態では、変更ビットストリームは、MPEG-４オーディオビットストリーム拡張メカニズムを含んでよく、ステップｂ）におけるパースは、変更ビットストリーム内のMPEG-４オーディオビットストリーム拡張メカニズムを識別することに更に基づいてよい。
幾つかの実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）であってよく、ステップｂ）におけるパースは、変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び／又はデータストリームエレメントの特定のインスタンスタグを識別することに更に基づいてよい。
幾つかの実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であってよく、ステップｂ）におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づいてよい。
本開示の第３の態様によると、変更ビットストリームを生成するソース装置が提供される。装置は、ａ）符号化メディアデータを含むビットストリームを受信するよう構成される受信機を含んでよい。装置は、ｂ）追加メディアデータのペイロードを生成し、生成したペイロードをビットストリームに埋め込んで、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器を更に含んでよい。並びに、装置は、ｃ）変更ビットストリームをシンク装置へ出力するよう構成される制御ユニットを含んでよい。
幾つかの実施形態では、埋め込み器は、追加メディアデータに関する情報を生成し、該情報をビットストリームに埋め込むよう更に構成されてよい。
幾つかの実施形態では、埋め込み器は、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を生成し、相対ゲインに関する情報をビットストリームに埋め込むよう更に構成されてよい。
幾つかの実施形態では、変更ビットストリームはMPEG-４オーディオフォーマットであってよい。
幾つかの実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。
幾つかの実施形態では、非圧縮メディアデータはソース装置において生成されたPCMデータであってよい。
幾つかの実施形態では、PCMデータの生成は、ユーザ入力に基づいてよい。
幾つかの実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含んでよい。
幾つかの実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
本開示の第４の態様によると、変更ビットストリームを処理するシンク装置が提供される。装置は、ａ）符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機を含んでよい。装置は、ｂ）変更ビットストリームを符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサを更に含んでよい。装置は、ｃ）符号化オーディオデータをコア復号して、コア復号生メディアデータを取得するよう構成されるコアデコーダを更に含んでよい。装置は、ｄ）コア復号メディアデータ及び追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサを更に含んでよい。並びに、装置は、ｅ）出力信号を出力するよう構成される制御ユニットを含んでよい。
幾つかの実施形態では、装置は、コア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するよう構成される処理ユニットを更に含んでよい。
幾つかの実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ミキサは、コア復号メディアデータ及び非圧縮追加メディアデータをミキシングよう構成されてよい。
幾つかの実施形態では、追加メディアデータは圧縮メディアデータであってよく、装置は、圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダを更に含んでよく、ミキサは、コア復号メディアデータ及び復号追加メディアデータをミキシングするよう構成されてよい。
幾つかの実施形態では、変更ビットストリームは、追加メディアデータに関する情報を更に含んでよく、シンク装置は、情報に基づき変更ビットストリームを処理してよい。
幾つかの実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含んでよく、ミキサは、コア復号メディアデータ及び追加メディアデータを相対ゲインに関する情報に基づきミキシングするよう構成されてよい。
幾つかの実施形態では、コアデコーダはMPEG-４オーディオデコーダであってよい。
本開示の第５の態様によると、変更ビットストリームを生成するソース装置であって、ソース装置は、該ソース装置において変更ビットストリームを生成する方法を実行するよう構成される１つ以上のプロセッサを含む、ソース装置と、変更ビットストリームを処理するシンク装置であって、シンク装置は、該シンク装置において変更ビットストリームを処理するよう構成される１つ以上のプロセッサを含む、シンク装置と、のシステムが提供される。
本開示の第６の態様によると、命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、該命令は、処理能力を有する装置により実行されると、ソース装置において装置に変更ビットストリームを生成する方法を実行させるよう適応される、コンピュータプログラムプロダクトが提供される。
本開示の第７の態様によると、命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、該命令は、処理能力を有する装置により実行されると、シンク装置において装置に変更ビットストリームを処理する方法を実行させるよう適応される、コンピュータプログラムプロダクトが提供される。
本開示の例示的な実施形態は、単なる例を用いて、添付の図面を参照して以下に説明される。
ソース装置において変更ビットストリームを生成する方法の例のフロー図を示す。 ソース装置において変更ビットストリームを生成する方法の更なる例のフロー図を示す。 シンク装置において変更ビットストリームを処理する方法の例のフロー図を示す。 シンク装置において変更ビットストリームを処理する方法の更なる例のフロー図を示す。 シンク装置において変更ビットストリームを処理する方法のまた更なる例のフロー図を示す。 シンク装置において変更ビットストリームを処理する方法のまた更なる例のフロー図を示す。 変更ビットストリームを生成するソース装置の例を示す。 変更ビットストリームを生成するソース装置の更なる例を示す。 変更ビットストリームを処理するシンク装置の例を示す。 変更ビットストリームを処理するシンク装置の更なる例を示す。 変更ビットストリームを処理するシンク装置のまた更なる例を示す。 変更ビットストリームを処理するシンク装置のまた更なる例を示す。 １つ以上のプロセッサを有する装置の例を示す。
＜MPEG-４オーディオ変更ビットストリームの生成及び処理＞
以下では、変更MPEG-４オーディオビットストリームの生成及び処理のための方法及び装置が説明される。本願明細書では、MPEG-４オーディオビットストリームは、ISO/IEC１４４９６-３, Coding of audio-visual objects-Part３: Audio及びその全ての将来のエディション、リビジョン、及びアメンドメントに定められた標準（以後、MPEG-４オーディオ）に準拠するビットストリームを表してよい。記載される方法及び装置により、非圧縮又は圧縮メディアデータである追加メディアデータは、メディアコンテンツを配信する符号化メディアデータと一緒にトランスポートされ処理されてよい。これは、ソース及びシンク装置の両方においてシステムの追加の負荷及び計算上の複雑さを有することなく、イアコン及び／又はシステム音声を送信し及び処理することを可能にできる。
更に、同じメカニズムおよびビットストリーム変数を用いて、ソース装置及びシンク装置の両方において、全部の設定（例えば、システム音声のレベル、DRC、等）を制御することが可能であってよい。これは、ソース装置の埋め込み器により使用される相対ゲイン（又はミキシングゲイン）が、シンク装置のミキサにより使用される制御パラメータと正確に同じであり得ることを意味する。
＜ソース装置における変更ビットストリームの生成＞
図１の例を参照すると、ソース装置において変更ビットストリームを生成する方法の例のフロー図が示される。ステップS１００で、（後述するようにシンク装置によりコア復号されるべき）符号化メディアデータを含むビットストリームが、ソース装置の受信機により受信されてよい。符号化メディアデータを含むビットストリームは、例えば、１つ以上のメディアサーバから受信されてよい。符号化メディアデータは、符号化オーディオデータを含んでよい。符号化オーディオデータは、MPEG-４オーディオ標準に準拠してよい。ビットストリームは、例えば、ソース装置に接続されたシンク装置により再生されるべきオーディオコンテンツを配信してよい。ソース装置は限定されない。例えば、ソース装置は、携帯電話機、スマートウォッチ、転換式（convertibles）を含むラップトップ及びタブレットPC、のうちの１つ以上を含むモバイル装置であってよい。図１の例を再び参照すると、ステップS１０１で、追加メディアデータのペイロード（つまり、符号化メディアデータ以外の、それに加えて、例えば追加オーディオデータ）が、生成され、埋め込み器によりビットストリームに埋め込まれてよい。
ステップS１０１で生成された追加メディアデータは、シンク装置により（シンク装置の側で）メディアデータとミキシングされる。有利なことに、これは、シンク装置側で、メディアデータとの追加メディアデータのミキシングを可能にする。
符号化メディアデータ及び追加メディアデータは、異なる（種類の）メディアデータである。例えば、以下に説明するように、符号化メディアデータ及び追加メディアデータは、異なるフォーマットを有してよい。符号化メディアデータ及び追加メディアデータは、異なる種類のメディアコンテンツを含む。符号化メディアデータは、主オーディオコンテンツ、例えば、音楽、オーディオ、等を含んでよい。追加メディアデータは、副オーディオコンテンツ、例えば、イアコン、システム音声、キー押下音、電子メール通知音、等を含んでよい。主オーディオコンテンツ及び副オーディオコンテンツは、シンク装置により再生されてよい。
代替又は追加で、主オーディオコンテンツ及び副オーディオコンテンツは、ソース装置により再生されてよい。
実施形態では、符号化メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。
実施形態では、追加メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。
実施形態では、追加メディアデータは、（後述するように、復号追加メディアデータを取得するためにシンク装置により復号されるべき）圧縮メディアデータ、又は非圧縮メディアデータであってよい。非圧縮メディアデータは限定されないが、実施形態では、非圧縮メディアデータは、ソース装置において生成されたPCMデータであってよい。PCMデータの生成も限定されないが、実施形態では、PCMデータの生成はユーザ入力に基づいてよい。ユーザ入力は、例えば、キー押下であってよい。代替として又は追加で、PCMデータの生成は、ユーザ入力と独立して、例えば電子メール通知に基づき、ソース装置において実施されてよい。実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含んでよい。また、圧縮メディアデータのフォーマットは限定されないが、フォーマットは、Bluetoothエコシステムに属してよい。実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。
図１の例を再び参照すると、ステップS１０２で、埋め込み器からの出力として、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームが取得されてよい。ステップS１０３で、変更ビットストリームは、次にシンク装置へ出力されてよい。
受信ビットストリーム内の符号化メディアデータは、ソース装置から変更ビットストリームを介してシンク装置へパススルーされる。ソース装置から受信された符号化メディアデータは、変更ビットストリームに埋め込まれ、シンク装置へ出力される。
有利なことに、変更ビットストリームの（ソース装置における）生成、及びシンク装置への出力は、シンク装置の側における追加メディアデータとのメディアデータのミキシングを能率化する。メディアデータ及び追加メディアデータを埋め込みシンク装置へトランスポートするために、ソース装置により単一のビットストリームが使用される。それにより、単一のチャネル／接続が、ソース装置及びシンク装置の間で使用できる。更に、例えば、符号化メディアデータを復号し及び再符号化するために、ソース装置内に追加のデコーダ及び／又はエンコーダが存在しない。例えば、復号した符号化メディアデータを追加メディアデータとミキシングするために、ソース装置内で追加のミキサが使用されない。
実施形態では、変更ビットストリームは、Bluetooth接続を介して、シンク装置へ出力されてよい。言い換えると、ソース装置は、Bluetooth接続を介して、シンク装置に接続されてよい。例えば、イヤホンは、Bluetoothを介して携帯電話機に接続される。
通常、提案される技術及び本開示全体に記載されるそれらの実装及び例は、例えば、ソース装置がパススルー動作モードであるとき、変更ビットストリームの生成、及びシンク装置への出力が、追加メディアデータ（例えば、システム音声／イアコン）のペイロードの、シンク装置への送信を実現することを含む。言い換えると、追加メディアデータのペイロードは、生成され、符号化メディアデータを含む受信ビットストリームへと埋め込まれて、変更ビットストリームを生成してよく、例えば符号化メディアデータの復号及び再符号化を伴わない。同様に、追加メディアデータは、シンク装置に渡されることができ、ソース装置とシンク装置との間に追加接続を確立する必要がない。更なる利点として、提案される技術は、追加メディアデータ及び符号化メディアデータの同時処理を可能にする。
図２の例を参照すると、ソース装置において変更ビットストリームを生成する方法の更なる例のフロー図が示される。図２の例は、上述の図１の例と異なり、S１０１で、追加メディアデータに関する更なる情報が（メタデータの部分として）生成され、ビットストリームに埋め込まれてよい（破線により示される）。実施形態では、生成された情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの１つ以上を含んでよい。生成された情報は、後述するように、受信した変更ビットストリームを処理するために、シンク装置により利用されてよい。追加メディアデータの構成に関する情報は、例えば、シンク装置の側において、追加メディアデータがミキシングの前に再サンプリングされる必要があるかどうかを決定できるようにするために、サンプリングレートに関する情報を含んでよい。代替として又は追加で、追加メディアデータの構成に関する情報は、例えば、シンク装置の側において、追加メディアデータがミキシングの前にダウンミキシング／アップミキシングされる必要があるかどうかを決定できるようにし得る、チャネルモードに関する情報を更に含んでよい。デフォルト音量値に関する情報は、例えば、ITU-R BS.１７７０-４に指定された方法のうちの１つに従い、測定音量を含んでよい。測定音量は、シンク装置の側で、どのレベルで、追加メディアデータがコア復号メディアデータとミキシングされ得るかを決定できるようにしてよい。更に、追加メディアデータのタイプに関する情報は、シンク装置の側で、例えば追加メディアデータが復号される必要があるかどうか、例えば、追加メディアデータが非圧縮又は圧縮メディアデータかを決定するために、示されてよい。
代替として又は追加で、ステップＳ１０１は、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を（例えばメタデータの部分として）生成するステップと、相対ゲインに関する情報をビットストリームに埋め込むステップ（破線により示されるように）と、を更に含んでよい。符号化メディアデータと追加メディアデータとの間の相対ゲインは、後述するように受信した変更ビットストリームに基づき出力信号を生成するために、シンク装置により使用されてよい。ここで、ソース装置及びシンク装置は、同じ相対ゲイン値を使用してよい。例えば、ソース装置が携帯電話機である場合、最適なシステム音声ミキシング設定は、システム音声及び符号化メディアデータコンテンスの推定音量比に基づき自動的に決定されてよい。例えば、相対ゲイン値は、シンク装置のミキサにより使用され得るミキシングゲイン値及び／又は減衰ゲイン値を含んでよい。この情報をビットストリームに含めることにより、適切な方法で追加メディアデータが符号化メディアデータとミキシングでき、追加メディアデータが符号化メディアデータと比べて不適切な音声レベルでレンダリングされる場合を回避できることが保証される。通常、追加メディアデータに関する情報をビットストリームに含めることにより、ソース装置は、シンク装置における追加メディアデータの処理（例えばレンダリングを含む）に対する制御を与えられる。これは、シンク装置における追加メディアデータの適切なレンダリングを保証する。
変更ビットストリームのフォーマットは限定されないが、実施形態では、変更ビットストリームは、MPEG-４オーディオフォーマット（つまり、MPEG-４オーディオ標準に準拠したビットストリーム）であってよい。図１の例を参照すると、実施形態では、生成されたペイロードは、MPEG-４オーディオビットストリーム拡張メカニズムにより、変更ビットストリーム内でトランスポートされてよい。図２の例を参照すると、更に、実施形態では、生成された情報及び／又は相対ゲインに関連する生成された情報は、MPEG-４オーディオビットストリーム拡張メカニズムにより、変更ビットストリーム内でトランスポートされてよい。
例として、以下のシンタックスは、追加メディアデータの生成されたペイロード、追加メディアデータに関する生成された情報、及び／又は相対ゲインに関する生成された情報を、MPEG-４オーディオフォーマットの変更ビットストリームに埋め込むために使用されてよい。
＜system_sound_info()のシンタックス＞
追加メディアデータの生成されたペイロード（追加メディアデータに関する情報）、及び／又は相対ゲインに関する生成された情報を伝達するための最上位レベルのシンタックス要素である。
Figure 2022546923000001
＜system_sound_info()のセマンティクス＞
Figure 2022546923000002
＜ystem_sound_config()のシンタックス＞
Figure 2022546923000003
Figure 2022546923000004
＜system_sound_config()のセマンティクス＞
表１＜system_sound_config()のセマンティクス＞
Figure 2022546923000005
＜system_sound_payload()のシンタックス＞
Figure 2022546923000006
＜system_sound_payload()のセマンティクス＞
Figure 2022546923000007
＜pcm_data_config()のシンタックス＞
Figure 2022546923000008
＜pcm_data_config()のセマンティクス＞
表２＜pcm_data_config()のセマンティクス＞
Figure 2022546923000009
＜pcm_data_payload()のシンタックス＞
Figure 2022546923000010
注１：「pcm_frame_size」は、「pcm_frame_size_index」から導出されるか、又は「pcm_data_config」内に直接設定される。
注２：サンプル毎のビット数（Bits per sample (bps）は、「pcm_data_format_index」から導出できる。
＜pcm_data_payload()のセマンティクス＞
表３＜pcm_data_payload()のセマンティクス＞
Figure 2022546923000011
MPEG-４オーディオ標準により提供される少なくとも２つの独立した拡張メカニズムがある。データストリームエレメント（ID_DSE）又はextension_payload(int)のいずれかが、追加メディアデータの生成されたペイロード、生成された情報、及び／又は相対ゲインに関する生成された情報をトランスポートするために使用されてよい。実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（data stream element (DSE)）であってよい。MPEG-４オーディオ標準におけるデータストリームエレメントは、通常、メタデータを伝送するために使用され、メタデータのペイロード（オーディオコンテンツ）をトランスポートするために使用されない。実施形態では、MPEG-４オーディオビットストリーム内のデータストリームエレメント（DSE）は、追加メディアデータの生成されたペイロードをトランスポートするために使用される。従ってMPEG-４オーディオビットストリーム内の、既存のデータストリームエレメントは、メタデータの代わりに及び／又はそれに加えて、メタデータのペイロード（例えば、イアコン）をトランスポートするために使用される。例示的なシンタックスが以下に示される。
Figure 2022546923000012
Figure 2022546923000013
実施形態では、データストリームエレメントは、変更ビットストリーム内の所定の位置に位置付けられてよく、及び／又は特定のインスタンスタグを含んでよい。
代替として、実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element (ID_FIL)であってよい。MPEG-４オーディオは、最上位レベルのシンタックス要素extension_payload(int)により別の拡張メカニズムを定義する。障害許容力のない（non-resilience）ペイロードのために、extension_payload(int)がFill Element(ID_FIL)に含まれてよい。
Figure 2022546923000014
 実施形態では、生成されたペイロードは、Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされてよい。更に、実施形態では、生成された情報（追加メディアデータに関する情報）及び／又は相対ゲインに関する生成された情報は、Fill Element内の汎用拡張ペイロードエレメントにより伝送されてよい。例えば、汎用データのために、extension_type EXT_DATA_ELEMENTが使用されてよい。
代替として、実施形態では、生成されたペイロードは、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。更に、実施形態では、生成された情報（追加メディアデータに関する情報）及び／又は相対ゲインに関する生成された情報は、Fill Element内の新拡張ペイロードエレメントによりトランスポートされてよい。
MPEG-４オーディオ標準におけるFillエレメントは、通常、メタデータを伝送するために使用され、メディアデータのペイロード（オーディオコンテンツ）をトランスポートするために使用されない。実施形態では、MPEG-４オーディオビットストリーム内のデータストリームエレメント（DSE）は、追加メディアデータの生成されたペイロードを（例えば、上述のように、汎用拡張ペイロードエレメント内で、又はFill Element内の新拡張ペイロードエレメント内で）トランスポートするために使用される。従って、MPEG-４ビットストリーム内の、既存のFillElementは、メタデータの代替として及び／又はそれに加えて、メディアデータのペイロード（例えば、イアコン）をトランスポートするために使用される。
シンタックスエレメントsystem_sound_info()のための新拡張ペイロードタイプ（extension_type）が定義されてよい。１４４９６-３のシンタックス、Table ４.５９：「Syntax of extension_payload」が以下のように拡張されてよい。
Figure 2022546923000015
実施形態では、新拡張ペイロードエレメントは、ユニークな識別子を含んでよい。ユニークな識別子は、例えば、EXT_SYS_SOUND_INFOであってよい。
上述の技術を用いて、追加メディアデータ及び追加メディアデータに関する情報は、ソース装置によりパススルーされる既存のMPEG-４準拠のビットストリームに直ちに埋め込むことができる。
＜シンク装置における変更ビットストリームの処理＞
図３の例を参照すると、シンク装置において変更ビットストリームを処理する方法の例のフロー図が示される。ステップS２００で、（例えば、ソース装置により受信されるような）符号化メディアデータ及び追加メディアデータのペイロードを含む変更ビットストリームは、シンク装置の受信機により受信されてよい。
ステップS２０１で、受信された変更ビットストリームは、ビットストリームパーサにより、パースされて、符号化メディアデータ及び追加メディアデータのペイロードになる。変更ビットストリームのフォーマットは限定されないが、変更ビットストリームは、MPEG-４オーディオフォーマット（つまり、MPEG-４オーディオ標準に準拠したビットストリーム）であってよい。図４の例を参照すると、実施形態では、変更ビットストリームは、MPEG-４オーディオビットストリーム拡張メカニズムを含んでよく、ステップS２０１におけるパースは、変更ビットストリーム内のMPEG-４オーディオビットストリーム拡張メカニズムを識別することに更に基づいてよい。実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）であってよく、ステップS２０１におけるパースは、変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び／又はデータストリームエレメントの特定のインスタンスタグを識別することに更に基づいてよい。代替として、実施形態では、MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であってよく、ステップS２０１におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づいてよい。
図３又は４の例を参照すると、ステップS２０２で、符号化メディアデータは、コアデコーダによりコア復号されてよい。
ステップS２０３で、コア復号メディアデータは、出力信号を取得するために、ミキサにより追加メディアデータとミキシングされてよい。
ステップ２０４で、取得された出力信号は次に制御ユニットにより出力されてよい。
図５の例を参照すると、シンク装置において変更ビットストリームを処理する方法の更なる例のフロー図が示される。図５の例で、実施形態では、変更ビットストリームは、追加メディアデータに関する情報を更に含んでよく、シンク装置により変更ビットストリームを処理するステップは、該情報に基づいてよい。実施形態では、情報は、追加メディアデータの構成、変更ビットストリーム内の追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び追加メディアデータのタイプに関する情報、のうちの１つ以上含んでよい。
図５の例では、方法は、処理ユニットにより、コア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するステップＳ２０２ａを更に含んでよい。ステップS２０３で、コア復号メディアデータは、次に、処理済みの追加メディアデータとミキシングされる。実施形態では、追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの１つ以上を含んでよい。追加メディアデータの処理は、変更ビットストリームに含まれステップS２０１でビットストリームパーサにより提供された生成された情報により（それに基づき）ガイドされてよい（破線により示される）。例えば、再サンプリングは、追加メディアデータの構成に関する情報に含まれてよい、追加メディアデータのサンプリングレートに関する情報によりガイドされてよい。代替として又は追加で、追加メディアデータの処理は、追加メディアデータのダウンミキシング／アップミキシングを含んでよく、これらは、追加メディアデータの構成に関する情報に含まれてよいチャネルモードに関する情報によりガイドされてよい。音量処理は、例えば、ITU-R BS.１７７０-４に指定された方法のうちの１つに従うような、測定音量を含んでよいデフォルト音量値に関する情報によりガイドされてよい。
代替又は追加で、幾つかの実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含み、任意的に処理済み追加メディアデータを取得するためのミキシングの前に処理されている（点線により示される）、ステップS２０３におけるコア復号メディアデータ及び追加メディアデータのミキシングは、相対ゲインに関する情報に基づいてよい。ここで、シンク装置は、ソース装置において生成された相対ゲイン値を使用してよい。言い換えると、ソース装置及びシンク装置の両方、同じ相対ゲイン値を使用してよい。相対ゲイン値は、ミキシングステップS２０３におけるユーザ入力により更に変更されてもよい。相対ゲイン値は、ミキシングゲイン及び／又は減衰ゲイン値を含んでよい。相対ゲインに関する情報は、破線により示されるように、ビットストリームパーサにより、ステップS２０１で提供されてよい。追加メディアデータに関する情報、及び代替として又は追加で相対ゲイン値に関する情報は、上述のようにsystem_sound_configの最上位レベルのシンタックス要素で、変更ビットストリーム内に埋め込まれてよい。
実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。
図６の例を参照すると、実施形態では、追加メディアデータは圧縮メディアデータであり、方法は、デコーダにより、圧縮メディアデータを復号して、復号追加メディアデータを取得ステップS２０５を更に含み、ステップS２０３において、復号追加メディアデータはコア復号メディアデータとミキシングされてよい。方法が、追加メディアデータを処理するステップS２０２aを更に含む場合、圧縮メディアデータの場合には、復号された追加メディアデータは、任意的に、上述のように点線で示されるように、コア復号メディアデータとミキシングされる前に、ステップS２０２aにおいて処理されてよい。圧縮メディアデータのフォーマットは限定されないが、フォーマットは、Bluetoothエコシステムに属してよい。実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。また、圧縮メディアデータの場合には、ステップS２０２aにおける処理は、破線により示されるようにステップS２０１において提供される、変更ビットストリームに含まれる追加メディアデータに関する生成された情報により（それに基づき）ガイドされてよい。
代替として又は追加で、ステップS２０３における、任意的にミキシングの前に処理されてよいコア復号メディアデータと復号追加メディアデータとのミキシングは、上述のように相対ゲインに関する情報に基づいてもよい。相対ゲインに関する情報は、破線により示されるように、ステップS２０１で提供されてもよい。
代替として、実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ステップS２０３で、非圧縮追加メディアデータは、図３又は図４で説明した例に従いコア復号メディアデータとミキシングされてよい。図５の例に従い、非圧縮メディアデータも、任意的に、上述のように、コア復号メディアデータとミキシングされる前に、ステップＳ２０２ａにおいて処理されてよい。実施形態では、非圧縮メディアデータはソース装置において生成されたPCMデータであってよい。実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含んでよい。
＜ソース装置＞
図７の例を参照すると、変更ビットストリームを生成するソース装置の例が示される。ソース装置１００は、符号化メディアデータ１０１を含むビットストリームを受信するよう構成される受信機１０２を含んでよい。ビットストリームは、例えば、１つ以上のメディアサーバから受信されてよい。ビットストリームは、例えば、ソース装置１００に接続されたシンク装置により再生されるべきオーディオコンテンツを配信してよい。ソース装置１００は限定されない。例えば、ソース装置１００は、携帯電話機、スマートウォッチ、転換式（convertibles）を含むラップトップ及びタブレットPC、のうちの１つ以上を含むモバイル装置であってよい。
実施形態では、符号化メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。実施形態では、追加メディアデータは、ソース装置、シンク装置、又はソース装置とシンク装置の両方により再生されてよい。
ソース装置１００は、追加メディアデータ１０３のペイロードを生成し、生成したペイロードをビットストリームに埋め込んで、符号化メディアデータ１０１と追加メディアデータ１０３のペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器１０４を更に含んでよい。ここで、変更ビットストリームは、ソース装置がパススルーモードで動作する場合でも、生成されてよい。ソース装置１００は、変更ビットストリームを介して符号化メディアデータをシンク装置へパススルーするよう構成されてよい。ソース装置から受信された符号化メディアデータは、変更ビットストリームに埋め込まれ、シンク装置へ出力される。
有利なことに、変更ビットストリームの（ソース装置における）生成、及びシンク装置への出力は、シンク装置の側における追加メディアデータとのメディアデータのミキシングを能率化する。メディアデータ及び追加メディアデータを埋め込みシンク装置へトランスポートするために、ソース装置により単一のビットストリームが使用される。それにより、単一のチャネル／接続が、ソース装置及びシンク装置の間で使用できる。更に、例えば、符号化メディアデータを復号し及び再符号化するために、ソース装置内に追加のデコーダ及び／又はエンコーダが存在しない。例えば、復号した符号化メディアデータを追加メディアデータとミキシングするために、ソース装置内で追加のミキサが使用されない。
変更ビットストリームのフォーマットは限定されないが、実施形態では、変更ビットストリームは、MPEG-４オーディオフォーマット（つまり、MPEG-４オーディオ標準に準拠したビットストリーム）であってよい。実施形態では、埋め込み器は、上述のように変更ビットストリームにおけるMPEG-４オーディオビットストリーム拡張メカニズムを介して、生成されたペイロードを伝送するよう構成されてよい。
実施形態では、追加メディアデータ１０３は、圧縮メディアデータ又は非圧縮メディアデータであってよい。非圧縮メディアデータは限定されないが、実施形態では、非圧縮メディアデータは、ソース装置１００において生成されたPCMデータであってよい。PCMデータの生成は限定されないが、実施形態では、PCMデータの生成はユーザ入力に基づいてよい。ユーザ入力は、例えば、キー押下であってよい。ソース装置１００は、従って、例えばタッチディスプレイであってよいユーザインタフェースを含んでよい。代替として又は追加で、ソース装置１００は、少なくともキーボードを更に含んでよい。しかしながら、PCMデータの生成は、ユーザ入力と独立して、例えば電子メール通知に基づき、ソース装置において実施されてもよい。実施形態では、PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含んでよい。PCMデータは、ソース装置１００に格納されてよい。
圧縮メディアデータは限定されないが、圧縮メディアデータのフォーマットは、Bluetoothエコシステムに属してよい。実施形態では、圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットであってよい。圧縮メディアデータは、ソース装置１００において生成されてよい。圧縮メディアデータは、ソース装置１００に格納されてよい。代替として又は追加で、圧縮メディアデータは、受信機１０２により受信されてよい。
図８の例を参照すると、実施形態では、埋め込み器１０４は、追加メディアデータ１０３に関する情報１０６を生成し、生成した情報１０６をビットストリームに埋め込むよう更に構成されてよい（破線により示される）。代替又は追加で、幾つかの実施形態では、埋め込み器１４０４は、符号化メディアデータ１０１と追加メディアデータ１０３との間の相対ゲインに関する情報１０６を生成し、相対ゲインに関する情報１０６をビットストリームに埋め込むよう更に構成されてよい（これも、破線により示される）。実施形態では、埋め込み器は、上述のように、変更ビットストリームにおけるMPEG-４オーディオビットストリーム拡張メカニズムを介して、生成された情報及び／又は相対ゲインに関する生成された情報を伝送するよう更に構成されてよい。
ソース装置１００は、変更ビットストリームをシンク装置へ出力するよう構成される制御ユニット１０５を更に含んでよい。
＜シンク装置＞
図９の例を参照すると、変更ビットストリームを処理するシンク装置の例が示される。シンク装置２００は、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機２０１を含んでよい。シンク装置２００は限定されない。シンク装置２００は、ソース装置の周辺装置、例えばイヤホンであってよい。シンク装置２００及びソース装置は、Bluetoothにｙほり接続されてよい。シンク装置２００は、変更ビットストリームに含まれるオーディオコンテンツを再生するよう構成されてよい。例えば、シンク装置２００は、符号化メディアデータ、又は追加メディアデータ、又は符号化メディアデータと追加メディアデータの両方を再生するよう構成されてよい。
シンク装置２００は、変更ビットストリームを符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサ２０２を更に含んでよい。変更ビットストリームのフォーマットは限定されないが、変更ビットストリームは、MPEG-４オーディオフォーマット（つまり、MPEG-４オーディオ標準に準拠したビットストリーム）であってよい。以上に詳細に説明したように、実施形態では、ビットストリームパーサ２０２は、変更ビットストリームにおけるMPEG-４オーディオビットストリーム拡張メカニズムを識別することに基づき、ビットストリームｗｐパースするよう構成されてよい。
シンク装置２００は、符号化オーディオデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダを更に含んでよい。実施形態では、コアデコーダ２０３は、MPEG-４オーディオデコーダ（上述のようにMPEG-４オーディオ標準に準拠する～であってよい。
シンク装置２００は、コア復号メディアデータ及び追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサ２０４を更に含んでよい。実施形態では、追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータであってよい。実施形態では、追加メディアデータは、非圧縮メディアデータであってよく、ミキサ２０４は、コア復号メディアデータ及び非圧縮追加メディアデータをミキシングよう構成されてよい。
図１０の例を参照すると、変更ビットストリームは、追加メディアデータに関する情報を更に含んでよく、シンク装置２００は、情報に基づき変更ビットストリームを処理するよう構成されてよい。実施形態では、シンク装置２００は、ミキサ２０４においてコア復号メディアデータ及び追加メディアデータをミキシングする前に、追加メディアデータを処理するよう構成される処理ユニット２０６を更に含んでよい。実施形態では、追加メディアデータの処理は、再サンプリング、遅延適応、及び音量処理、のうちの１つ以上を含んでよい。処理ユニット２０６による追加メディアデータの処理は、上述のように追加メディアデータに関する情報により（それに基づき）ガイドされてよい。追加メディアデータに関する情報は、破線により示されるように、ビットストリームパーサ２０２により処理ユニット２０６に提供されてよい。追加メディアデータが非圧縮メディアデータである場合には、非圧縮メディアデータは、変更ビットストリームがビットストリームパーサ２０２においてパースされた後に、ミキサ２０４に入る前に、直接処理されてよい。
代替又は追加で、実施形態では、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を更に含み、ミキサ２０４は、任意的にミキシングの前に処理されてよい（点線により示される）コア復号メディアデータ及び追加メディアデータを、上述のような相対ゲインに関する情報に基づいてミキシングするよう構成されてよい。相対ゲインに関する情報は、破線により示されるように、ビットストリームパーサ２０２により、ミキサ２０４に提供されてよい。
実施形態では、追加メディアデータは非圧縮メディアデータであってよい。図１１の例を参照すると、シンク装置２００は、圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダ２０７を更に含んでよく、ミキサ２０４は、コア復号メディアデータ及び復号追加メディアデータをミキシングするよう構成されてよい。代替として又は追加で、変更ビットストリームは、符号化メディアデータと追加メディアデータとの間の相対ゲインに関する情報を復号更に含んでよく、ミキサ２０４は、上述のように、コア復号メディアデータ及び復号追加メディアデータを相対ゲインに関する情報に基づきミキシングするよう構成されてよい。相対ゲインに関する情報は、破線により示されるように、ビットストリームパーサ２０２により、ミキサ２０４に提供されてよい。
図１２の例を更に参照すると、復号追加メディアデータは、任意的に、ミキサ２０４においてコア復号メディアデータとミキシングされる前に、処理ユニット２０６により更に処理されてよい（点線により示される）。処理ユニット２０６による復号追加メディアデータの処理は、上述のように、変更ビットストリームに含まれてよい追加メディアデータに関する情報により（それに基づき）ガイドされてよい。追加メディアデータに関する情報は、破線により示されるように、ビットストリームパーサ２０２により処理ユニット２０６に提供されてよい。
図９～１２の例を参照すると、シンク装置２００は、出力信号を出力するよう構成され得制御ユニット２０５を更に含んでよい。例えば、出力信号は、シンク装置２００のユーザへ、イヤホンを介して出力されてよい。
上述の方法は、上述の装置に個々に実装されてよい。上述の方法を実行可能な上述の装置は、それぞれのシステムを形成してもよい。ここで参照される装置３００は、図１３の例により示されるように１つ以上のプロセッサ３０１、３０２を含んでよい。代替として又は追加で、上述の方法は、処理能力３０１、３０２を有する装置３００で実行されると装置３００に上述の方法を実行させるよう適応される命令を備えるコンピュータ可読記憶媒体を含むそれぞれのコンピュータプログラムプロダクトとして実施されてもよい。
＜解釈＞
特に断りのない限り、以下の議論から明らかなように、本開示を通じて、「処理する（processing）」、「計算する（computing、calculating）」、「決定する（determining）」、「分析する（analyzing）」等のような用語を用いる議論は、コンピュータ又はコンピューティングシステム、又は物理的、例えば電子的な量として提示されるデータを操作し及び／又は物理的量として同様に提示される他のデータに変換する同様の電子コンピューティング装置の動作及び／又は処理を表す。
同様に、用語「プロセッサ」は、例えばレジスタ及び／又はメモリからの電子データを処理して、該電子データを例えばレジスタ及び／又はメモリに格納され得る他の電子データに変換する、任意の装置又は装置の部分を表してよい。「コンピュータ」又は「コンピューティング装置」若しくは「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含んでよい。
本願明細書に記載した方法は、例示的な一実施形態では、プロセッサのうちの１つ以上により実行されると本願明細書に記載した方法のうちの少なくとも１つを実行する命令セットを含むコンピュータ可読（機械可読とも呼ばれる）コードを受け付ける１つ以上のプロセッサにより実行可能である。行われるべき動作を指定する（シーケンシャル又はその他の）命令セットを実行可能な任意のプロセッサが含まれる。従って、一例は、１つ以上のプロセッサを含む標準的な処理システムである。各プロセッサは、ＣＰＵ、画像処理ユニット、及びプログラマブルＤＳＰユニット、のうちの１つ以上を含んでよい。処理システムは、メインＲＡＭ及び／又は静的ＲＡＭ及び／又はＲＯＭを含むメモリサブシステムを更に含んでよい。バスサブシステムは、コンポーネント間の通信のために含まれてよい。処理システムは、更に、ネットワークにより接続されたプロセッサを有する分散型処理システムであってよい。処理システムがディスプレイを必要とする場合、このようなディスプレイ、例えば液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ）ディスプレイが含まれてよい。手動データ入力が必要とされる場合、処理システムは、キーボードのような英数字入力ユニット、マウスのようなポインティング制御装置、等のうちの１つ以上のような入力装置も含む。処理システムは、ディスクドライブユニットのような記憶システムも含んでよい。幾つかの構成における処理システムは、音声出力装置、及びネットワークインタフェース装置を含んでよい。メモリサブシステムは、従って、１つ以上のプロセッサにより実行されると本願明細書に記載の方法のうちの１つ以上を実行させる命令セットを含むコンピュータ可読コード（例えばソフトウェア）を運ぶコンピュータ可読担持媒体を含む。方法が幾つかの要素、例えば幾つかのステップを含むとき、特に断りのない限り、これらの要素の順序は示唆されないことに留意する。ソフトウェアは、ハードディスク内に存在してよく、又はｌコンピュータシステムによる実行中に完全に又は部分的にＲＡＭ内に及び／又はプロセッサ内に存在してもよい。従って、メモリ及びプロセッサは、コンピュータ可読コードを運ぶコンピュータ可読媒体も構成する。更に、コンピュータ可読担持媒体は、コンピュータプログラムプロダクトを形成し又はそれに含まれてよい。
代替的な例示的な実施形態では、１つ以上のプロセッサは、独立型装置として動作し、又は接続され、例えばネットワーク接続された展開では他のプロセッサにネットワーク接続されてよく、１つ以上のプロセッサは、サーバ－ユーザネットワーク環境でサーバ又はユーザ装置の能力で、又はピアツーピア若しくは分散型ネットワーク環境でピア装置として動作してよい。１つ以上のプロセッサは、ＰＣ（personal computer）、タブレットＰＣ、ＰＤＡ（Personal Digital Assistant）、携帯電話機、ウェブ機器、ネットワークルータ、スイッチ若しくはブリッジ、又は機械により取られるべき動作を指定する（シーケンシャル又はその他の）命令セットを実行可能な任意の機械を形成してよい。
用語「機械」は、本願明細書に記載の方法のうちの任意の１つ以上を実行するための命令セット（又は複数のセット）を個別に又は共同で実行する機械の任意の集合を含むと考えられるべきである。
従って、本願明細書に記載の方法の各々の例示的な実施形態は、命令セット、例えば１つ以上のプロセッサ、例えばウェブサーバ構成の部分である１つ以上のプロセッサ上での実行のためであるコンピュータプログラムを運ぶコンピュータ可読担持媒体の形式である。従って、当業者により理解されるように、本開示の例示的な実施形態は、方法、専用機器のような機器、データ処理システムのような機器、又はコンピュータ可読担持媒体、例えばコンピュータプログラムプロダクト、として具現化されてよい。コンピュータ可読担持媒体は、１つ以上のプロセッサ上で実行されると該プロセッサ又は複数のプロセッサに方法を実施させる命令セットを含むコンピュータ可読コードを運ぶ。従って、本開示の態様は、方法、完全にハードウェアの例示的な実施形態、完全にソフトウェアの例示的な実施形態、又はソフトウェア及びハードウェアの態様を組み合わせた例示的な実施形態の形式を取り得る。更に、本開示は、媒体内に付言化されるコンピュータ可読プログラムコードを運ぶ担持媒体（例えば、コンピュータ可読記憶媒体上のコンピュータプログラムプロダクト）の形式を取ってよい。
ソフトウェアは、更に、ネットワークインタフェース装置により、ネットワークを介して送信され又は受信されてよい。担持媒体は、例示的な実施形態において信号媒体であるが、用語「担持媒体」は、１つ以上の命令セット格納するう信号媒体又は複数の媒体（例えば、中央又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を含むと解釈されるべきである。用語「担持媒体」は、プロセッサのうちの１つ以上による実行のために命令セットを格納し、符号化し、又は運ぶ能力のある、及び１つ以上のプロセッサに本開示の方法のうちの任意の１つ以上を実行させる任意の媒体も含むと解釈されるべきである。担持媒体は、限定ではないが、不揮発性媒体、揮発性媒体、及び伝送媒体を含む多くの形式を取ってよい。不揮発性媒体は、例えば、光、磁気ディスク、又は光磁気ディスクを含む。揮発性媒体は、メインメモリのような動的メモリを含む。伝送媒体は、バスサブシステムを含むワイヤを含む、同軸ケーブル、銅線、光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような、音響又は光波の形式も取りうる。例えば、用語「担持媒体」は、従って、限定ではないが、固体メモリ、光及び磁気媒体内に具現化されるコンピュータプロダクト、少なくとも１つのプロセッサ又は１つ以上のプロセッサにより検出可能であり実行されると方法を実施する命令セットを表す伝搬信号を運ぶ媒体、及び１つ以上のプロセッサのうちの少なくとも１つのプロセッサにより検出可能な伝搬信号を運び命令セットを表すネットワーク内の伝送媒体を含むと解釈されるべきである。
議論した方法のステップは、ストレージに格納された命令（コンピュータ可読コード）を実行する処理（例えば、コンピュータ）システムの適切なプロセッサ（又は複数のプロセッサ）により例示的な一実施形態において実行されることが理解される。また、本開示は任意の特定の実装又はプログラミング技術に限定されないこと、及び本開示は、本願明細書に記載の機能を実施するために任意の適切な技術を使用して実施されてよいことが理解される。本開示は、任意の特定のプログラミング言語又はオペレーティングシステムに限定されない。
本開示を通じて「一実施形態」、「幾つかの実施形態」又は「例示的な実施形態」への言及は、例示的な実施形態に関連して記載される特定の特徴、構造、又は特性が本開示の少なくとも１つの例示的な実施形態に含まれることを意味する。従って、本開示を通じて様々な場所における「例示的な一実施形態では」、「例示的な幾つかの実施形態では」又は「例示的な実施形態では」という語句の出現は、必ずしも全部が同じ例示的な実施形態を参照しない。更に、特定の特徴、構造、又は特性は、１つ以上の例示的な実施形態において、本開示から当業者に明らかなように、任意の適切な方法で組み合わされてよい。
本願明細書で使用されるとき、特に断りのない限り、共通のオブジェクトを説明するための序数「第１」、「第２」、「第３」などの使用は、単に、同様のオブジェクトの異なるインスタンスが言及されていることを示すものであり、説明されているオブジェクトが時間的に、空間的に、ランク付けにおいて、又は任意の他の方法で所与のシーケンスでなければならないことを意味しない。
以下の請求の範囲及び本願明細書に記載の説明では、用語：含む、有する、構成される、又は構成するのうちの任意の１つは、広義であり、それに続く要素／特徴を服無くとも含むが他を排除しないことを意味する。従って、用語：含むは、請求項中で使用されるとき、その後に列挙される手段又は要素又はステップに限定されると解釈されてはならない。例えば、装置はＡ及びＢを含むという表現の範囲は、装置が要素Ａ及びＢのみで構成されることに限定されるべきではない。用語：有するも、本願明細書で使用されるとき、広義であり、該用語に続く要素／特徴を少なくとも含むが他を排除しないことを意味する。従って、有するは、含むと同義語であり、含むを意味する。
理解されるべきことに、本開示の例示的な実施形態の上述の説明では、本開示の種々の特徴は、本開示を効率化する及び種々の本発明の態様のうちの１つ以上の理解を支援する目的で、時に単一の例示的な実施形態、図、又はその説明に一緒にグループ分けされる。しかしながら、本開示のこの方法は、請求の範囲が各請求項に明示的に記載されたよりも多くの特徴を必要とするという意図を反映していると解釈されてはならない。むしろ、以下の請求項が反映するように、本発明の態様は、単一の前述の開示された例示的な実施形態の全部の特徴よりも少数にある従って、説明に続く請求の範囲は、この説明に明示的に組み込まれ、各請求項は、本開示の個別の例示的な実施形態としてそれ自体独立である。
更に、本願明細書に記載した幾つかの例示的な実施形態は、他の例示的な実施形態に含まれる他の特徴ではなく幾つかの特徴を含むが、当業者により理解されるように、異なる例示的な実施形態の特徴の組合せは、本開示の範囲内にあることを意味し、異なる例示的な実施形態を形成する。例えば、以下の請求の範囲では、請求される例示的な実施形態のうちの何れかが、任意の組合せで使用できる。
本願明細書で提供される説明では、多数の特定の詳細事項が説明された。しかしながら、本開示の例示的な実施形態は、これらの特定の詳細事項を有しないで実施されてよいことが理解される。他の例では、よく知られた方法、構造、及び技術は、本発明の説明の理解を不明瞭にしないために、示されなかった。
従って、本開示のベストモードとして信じられるものが記載されたが、当業者は、他の及び更なる変更が、本開示の精神から逸脱することなく行われてよいこと、及び全てのそのような変化及び変更が本開示の範囲内にあると意図されることを理解するだろう。例えば、上述の任意の数式は、単に使用され得る手順の表現である。機能がブロック図に追加され又は削除されてよく、動作が機能ブロックの間で交互交換されてよい。ステップは本開示の範囲内に記載された方法に追加され又は削除されてよい。
本開示の列挙される例示的な実施形態（Enumerated example embodiments (EEEs)）が以下に列挙される。
（A-EEE１）ソース装置において変更ビットストリームを生成する方法であって、前記方法は、ａ）受信機により、符号化メディアデータを含むビットストリームを受信するステップと、ｂ）埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、ｃ）前記変更ビットストリームをシンク装置へ出力するステップと、を含む方法。
（A-EEE２）ステップｂ）は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むステップを更に含む、A-EEE１に記載の方法。
（A-EEE３）前記生成した情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの１つ以上を含む、A-EEE２に記載の方法。
（A-EEE４）ステップｂ）は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むステップを更に含む、A-EEE１～３のいずれかに記載の方法。
（A-EEE５）前記変更ビットストリームはMPEG-４オーディオフォーマットである、A-EEE１～４のいずれかに記載の方法。
（A-EEE６）前記生成されたペイロードは、MPEG-４オーディオビットストリーム拡張メカニズムにより、前記変更ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに埋め込まれる、A-EEE５に記載の方法。
（A-EEE７）前記生成された情報及び／又は前記相対ゲインに関する生成された情報は、MPEG-４オーディオビットストリーム拡張メカニズムにより前記変更ビットストリーム内の前記生成された情報及び／又は前記相対ゲインに関する生成された情報をトランスポートすることにより、前記ビットストリームに埋め込まれる、A-EEE６に記載の方法。
（A-EEE８）前記MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）である、A-EEE６又は７に記載の方法。
（A-EEE９）前記データストリームエレメントは、前記変更ビットストリーム内の所定の位置に位置付けられ、及び／又は特定のインスタンスタグを含む、A-EEE８に記載の方法。
（A-EEE１０）前記MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)である、A-EEE６又は７に記載の方法。
（A-EEE１１）前記生成されたペイロードは、前記Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされる、A-EEE１０に記載の方法。
（A-EEE１２）前記生成された情報及び／又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記汎用拡張ペイロードエレメントによりトランスポートされる、A-EEE１１に記載の方法。
（A-EEE１３）前記生成されたペイロードは、前記Fill Element内の新拡張ペイロードエレメントによりトランスポートされる、A-EEE１０に記載の方法。
（A-EEE１４）前記生成された情報及び／又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記新拡張ペイロードエレメントによりトランスポートされる、A-EEE１３に記載の方法。
（A-EEE１５）前記新拡張ペイロードエレメントは、ユニークな識別子を含む、A-EEE１３又は１４に記載の方法。
（A-EEE１６）ステップｃ）は、Bluetooth接続により、前記シンク装置へ出力される、A-EEE１～１５のいずれかに記載の方法。
（A-EEE１７）前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、A-EEE１～１６のいずれかに記載の方法。
（A-EEE１８）前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、A-EEE１７に記載の方法。
（A-EEE１９）前記PCMデータの生成はユーザ入力に基づく、A-EEE１８に記載の方法。
（A-EEE２０）前記PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含むA-EEE１８又は１９に記載の方法。
（A-EEE２１）前記圧縮データは、SBCフォーマット又はaptXに基づくフォーマットである、A-EEE１７に記載の方法。
（A-EEE２２）シンク装置において変更ビットストリームを処理する方法であって、前記方法は、
ａ）受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップと、
ｂ）ビットストリームパーサにより、前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップと、
ｃ）コアデコーダにより、前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するステップと、
ｄ）前記ミキサにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するステップと、
ｅ）前記出力信号を出力するステップと、
を含む方法。
（A-EEE２３）前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記方法は、ステップａ）の後、ステップｂ）の前に、前記情報に基づき前記変更ビットストリームを処理するステップを更に含む、A-EEE２２に記載の方法。
（A-EEE２４）前記情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの１つ以上を含む、A-EEE２３に記載の方法。
（A-EEE２５）前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップｄ）における前記コア復号メディアデータ及び前記追加メディアデータのミキシングは、前記相対ゲインに関する前記情報に基づく、A-EEE２２～２４のいずれかに記載の方法。
（A-EEE２６）前記方法は、処理ユニットにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するステップを更に含むA-EEE２２～２５のいずれかに記載の方法。
（A-EEE２７）前記追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの１つ以上を含む、A-EEE２６に記載の方法。
（A-EEE２８）前記追加メディアデータは圧縮メディアデータであり、前記方法は、デコーダにより、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するステップを更に含み、ステップｄ）において、前記復号追加メディアデータは前記コア復号メディアデータとミキシングされる、A-EEE２２～２７のいずれかに記載の方法。
（A-EEE２９）前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、A-EEE２８に記載の方法。
（A-EEE３０）前記追加メディアデータは非圧縮メディアデータであり、ステップｄ）において、前記非圧縮メディアデータは、前記コア復号メディアデータとミキシングされる、A-EEE２２～２７のいずれかに記載の方法。
（A-EEE３１）前記変更ビットストリームはMPEG-４オーディオフォーマットである、A-EEE２０～３０のいずれかに記載の方法。
（A-EEE３２）前記変更ビットストリームは、MPEG-４オーディオビットストリーム拡張メカニズムを含み、ステップｂ）におけるパースは、前記変更ビットストリーム内の前記MPEG-４オーディオビットストリーム拡張メカニズムを識別することに更に基づく、A-EEE３１に記載の方法。
（A-EEE３３）前記MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）であり、ステップｂ）におけるパースは、前記変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び／又は前記データストリームエレメントの特定のインスタンスタグを識別することに更に基づく、A-EEE３２に記載の方法。
（A-EEE３４）前記MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、ステップｂ）におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づく、A-EEE３２に記載の方法。
（A-EEE３５）変更ビットストリームを生成するソース装置であって、前記装置は、
ａ）符号化メディアデータを含むビットストリームを受信するよう構成される受信機と、
ｂ）追加メディアデータのペイロードを生成し、前記生成したペイロードを前記ビットストリームに埋め込んで、前記符号化メディアデータと前記追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器と、
ｃ）シンク装置へ前記変更ビットストリームを出力するよう構成される制御ユニットと、
を含む装置。
（A-EEE３６）前記埋め込み器は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むよう更に構成される、A-EEE３５に記載の装置。
（A-EEE３７）前記埋め込み器は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むよう更に構成される、A-EEE３５又は３６に記載の装置。
（A-EEE３８）前記変更ビットストリームはMPEG-４オーディオフォーマットである、A-EEE３５～３７のいずれかに記載の装置。
（A-EEE３９）前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、A-EEE３５～３８のいずれか記載の装置。
（A-EEE４０）前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、A-EEE３９に記載の装置。
（A-EEE４１）前記PCMデータの生成はユーザ入力に基づく、A-EEE４０に記載の装置。
（A-EEE４２）前記PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含むA-EEE０又は４１に記載の装置。
（A-EEE４３）前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、A-EEE３９に記載の装置。
（A-EEE４４）変更ビットストリームを処理するシンク装置であって、前記装置は、
ａ）符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機と、
ｂ）前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサと、
ｃ）前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダと、
ｄ）前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサと、
ｅ）前記出力信号を出力するよう構成される制御ユニットと、
を含む装置。
（A-EEE４５）前記装置は、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するよう構成される処理ユニットを更に含むA-EEE４４に記載の装置。
（A-EEE４６）前記追加メディアデータは、非圧縮メディアデータであり、前記ミキサは、前記コア復号メディアデータ及び前記非圧縮追加メディアデータをミキシングするよう構成される、A-EEE４４又は４５に記載の装置。
（A-EEE４７）前記追加メディアデータは圧縮メディアデータであり、前記装置は、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダを更に含み、前記ミキサは、前記コア復号メディアデータ及び前記復号追加メディアデータをミキシングするよう構成される、A-EEE４４又は４５に記載の装置。
（A-EEE４８）前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記シンク装置は、前記情報に基づき前記変更ビットストリームを処理するよう構成される、A-EEE４４～４７のいずれかに記載の装置。
（A-EEE４９）前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、前記ミキサは、前記相対ゲインに関する前記情報に基づき、前記コア復号メディアデータ及び前記追加メディアデータをミキシングするよう更に構成される、A-EEE４４～４８のいずれかに記載の装置。
（A-EEE５０）前記コアデコーダはMPEG-４オーディオデコーダである、A-EEE４４～４９のいずれかに記載の装置。
（A-EEE５１）変更ビットストリームを生成するソース装置であって、前記ソース装置は、A-EEE１～２１のいずれかに記載の方法を実行するよう構成される１つ以上のプロセッサを含む、ソース装置と、
変更ビットストリームを処理するシンク装置であって、前記シンク装置は、A-EEE２２～３４のいずれかに記載の方法を実行するよう構成される１つ以上のプロセッサを含む、シンク装置と、
のシステム。
（A-EEE５２）命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、A-EEE１～３４に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
（A-EEE５３）命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、A-EEE２２に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
（B-EEE１）ソース装置において変更ビットストリームを生成する方法であって、前記方法は、ａ）受信機により、符号化メディアデータを含むビットストリームを受信するステップと、ｂ）埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、ｃ）前記変更ビットストリームをシンク装置へ出力するステップと、を含む方法。
（B-EEE２）ステップｂ）は、前記追加メディアデータに関する情報を生成し、前記情報をビットストリームに埋め込むステップを更に含み、
任意的に、前記生成された情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの１つ以上を含む、B-EEE２に記載の方法。
（B-EEE３）ステップｂ）は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むステップを更に含む、B-EEE１に記載の方法。
（B-EEE４）前記変更ビットストリームはMPEG-４オーディオフォーマットであり、
前記生成されたペイロードは、MPEG-４オーディオビットストリーム拡張メカニズムにより、前記ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに埋め込まれる、B-EEE１に記載の方法。
（B-EEE５）前記変更ビットストリームは、MPEG-４オーディオフォーマットであり、
前記生成された情報及び／又は前記相対ゲインに関する生成された情報は、MPEG-４オーディオビットストリーム拡張メカニズムにより前記ビットストリーム内の前記生成された情報及び／又は前記相対ゲインに関する生成された情報をトランスポートすることにより、前記ビットストリームに埋め込まれる、B-EEE３に記載の方法。
（B-EEE６）前記MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）であるか、又は、
前記MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、
任意的に、前記生成されたペイロードは、汎用拡張ペイロードエレメント又はFill Element内の新拡張ペイロードエレメントを介してトランスポートされる、B-EEE４に記載の方法。
（B-EEE７）ステップｃ）は、Bluetooth接続により、前記シンク装置へ出力される、B-EEE１に記載の方法。
（B-EEE８）前記追加メディアデータは、前記ソース装置において生成されたPCMデータである、B-EEE１に記載の方法。
（B-EEE９）前記PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含む、B-EEE８に記載の方法。
（B-EEE１０）前記追加メディアデータは、SBCフォーマット又はaptXに基づくフォーマットの圧縮データである、B-EEE１に記載の方法。
（B-EEE１１）シンク装置において変更ビットストリームを処理する方法であって、前記方法は、
ａ）受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップと、
ｂ）ビットストリームパーサにより、前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップと、
ｃ）コアデコーダにより、前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するステップと、
ｄ）前記ミキサにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するステップと、
ｅ）前記出力信号を出力するステップと、
を含む方法。
（B-EEE１２）前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップｄ）における前記コア復号メディアデータ及び前記追加メディアデータのミキシングは、前記相対ゲインに関する前記情報に基づく、B-EEE１１に記載の方法。
（B-EEE１３）前記方法は、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、処理ユニットにより、前記追加メディアデータを処理するステップを更に含み、
任意的に、前記追加メディアデータの処理は、再サンプリング、遅延適応、及び音量処理、のうちの１つ以上を含む、B-EEE１１に記載の方法。
（B-EEE１４）前記変更ビットストリームはMPEG-４オーディオフォーマットであり、
前記変更ビットストリームは、MPEG-４オーディオビットストリーム拡張メカニズムを含み、ステップｂ）におけるパースは、前記変更ビットストリーム内の前記MPEG-４オーディオビットストリーム拡張メカニズムを識別することに更に基づく、B-EEE１１に記載の方法。
（B-EEE１５）前記MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）であり、ステップｂ）におけるパースは、前記変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び／又は前記データストリームエレメントの特定のインスタンスタグを識別することに更に基づくか、又は、
前記MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、ステップｂ）におけるパースは、Fill Element内の拡張ペイロードエレメントを識別することに更に基づく、B-EEE１４に記載の方法。
（B-EEE１６）変更ビットストリームを生成するソース装置であって、前記装置は、
ａ）符号化メディアデータを含むビットストリームを受信するよう構成される受信機と、
ｂ）追加メディアデータのペイロードを生成し、前記生成したペイロードを前記ビットストリームに埋め込んで、前記符号化メディアデータと前記追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器と、
ｃ）シンク装置へ前記変更ビットストリームを出力するよう構成される制御ユニットと、
を含む装置。
（B-EEE１７）変更ビットストリームを処理するシンク装置であって、前記装置は、
ａ）符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機と、
ｂ）前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサと、
ｃ）前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダと、
ｄ）前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサと、
ｅ）前記出力信号を出力するよう構成される制御ユニットと、
を含む装置。
（B-EEE１８）変更ビットストリームを生成するソース装置であって、前記ソース装置は、B-EEE１に記載の方法を実行するよう構成される１つ以上のプロセッサを含む、ソース装置と、
変更ビットストリームを処理するシンク装置であって、前記シンク装置は、B-EEE１１に記載の方法を実行するよう構成される１つ以上のプロセッサを含む、シンク装置と、
のシステム。
（B-EEE１９）命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、B-EEE１に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
（B-EEE２０）命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、B-EEE１１に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。

Claims (52)

  1. ソース装置により変更ビットストリームを生成する方法であって、前記ソース装置は受信機と埋め込み器とを含み、前記方法は、
    ａ）前記受信機により、符号化メディアデータを含むビットストリームを受信するステップと、
    ｂ）前記埋め込み器により、追加メディアデータのペイロードを生成し、前記埋め込み器からの出力として前記符号化メディアデータと前記追加メディアデータの前記ペイロードとを含む変更ビットストリームを取得するために、前記ペイロードをビットストリームに埋め込むステップと、
    ｃ）前記変更ビットストリームをシンク装置へ出力するステップと、
    を含む方法。
  2. ステップｂ）は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むステップを更に含む、請求項１に記載の方法。
  3. 前記生成した情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの１つ以上を含む、請求項２に記載の方法。
  4. ステップｂ）は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むステップを更に含む、請求項１～３のいずれかに記載の方法。
  5. 前記変更ビットストリームはMPEG-４オーディオフォーマットである、請求項１～４のいずれかに記載の方法。
  6. 前記生成されたペイロードは、MPEG-４オーディオビットストリーム拡張メカニズムにより、前記変更ビットストリーム内のペイロードをトランスポートすることにより、前記ビットストリームに埋め込まれる、請求項５に記載の方法。
  7. 前記生成された情報及び／又は前記相対ゲインに関する生成された情報は、MPEG-４オーディオビットストリーム拡張メカニズムにより前記変更ビットストリーム内の前記生成された情報及び／又は前記相対ゲインに関する生成された情報をトランスポートすることにより、前記ビットストリームに埋め込まれる、請求項６に記載の方法。
  8. 前記MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）である、請求項６又は７に記載の方法。
  9. 前記データストリームエレメントは、前記変更ビットストリーム内の所定の位置に位置付けられ、及び／又は特定のインスタンスタグを含む、請求項８に記載の方法。
  10. 前記MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)である、請求項６又は７に記載の方法。
  11. 前記生成されたペイロードは、前記Fill Element内の汎用拡張ペイロードエレメントによりトランスポートされる、請求項１０に記載の方法。
  12. 前記生成された情報及び／又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記汎用拡張ペイロードエレメントによりトランスポートされる、請求項１１に記載の方法。
  13. 前記生成されたペイロードは、前記Fill Element内の新拡張ペイロードエレメントによりトランスポートされる、請求項１０に記載の方法。
  14. 前記生成された情報及び／又は前記相対ゲインに関する生成された情報は、前記Fill Element内の前記新拡張ペイロードエレメントによりトランスポートされる、請求項１３に記載の方法。
  15. 前記新拡張ペイロードエレメントは、ユニークな識別子を含む、請求項１３又は１４に記載の方法。
  16. ステップｃ）は、Bluetooth接続により、前記シンク装置へ出力される、請求項１～１５のいずれかに記載の方法。
  17. 前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、請求項１～１６のいずれかに記載の方法。
  18. 前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、請求項１７に記載の方法。
  19. 前記PCMデータの生成はユーザ入力に基づく、請求項１８に記載の方法。
  20. 前記PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含む請求項１８又は１９に記載の方法。
  21. 前記圧縮データは、SBCフォーマット又はaptXに基づくフォーマットである、請求項１７に記載の方法。
  22. シンク装置により変更ビットストリームを処理する方法であって、前記シンク装置は受信機とビットストリームパーサとコアデコーダとミキサとを含み、前記方法は、
    ａ）前記受信機により、符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するステップと、
    ｂ）前記ビットストリームパーサにより、前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするステップと、
    ｃ）前記コアデコーダにより、前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するステップと、
    ｄ）前記ミキサにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するステップと、
    ｅ）前記出力信号を出力するステップと、
    を含む方法。
  23. 前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記方法は、ステップａ）の後、ステップｂ）の前に、前記情報に基づき前記変更ビットストリームを処理するステップを更に含む、請求項２２に記載の方法。
  24. 前記情報は、前記追加メディアデータの構成、前記変更ビットストリーム内の前記追加メディアデータの存在に関する情報、デフォルト音量値に関する情報、遅延整合のための値に関する情報、遅延適応に関する情報、パニングに関する情報、及び前記追加メディアデータのタイプに関する情報、のうちの１つ以上を含む、請求項２３に記載の方法。
  25. 前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、ステップｄ）における前記コア復号メディアデータ及び前記追加メディアデータのミキシングは、前記相対ゲインに関する前記情報に基づく、請求項２２～２４のいずれかに記載の方法。
  26. 前記方法は、処理ユニットにより、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するステップを更に含む請求項２２～２５のいずれかに記載の方法。
  27. 前記追加メディアデータは、再サンプリング、遅延適応、及び音量処理、のうちの１つ以上を含む、請求項２６に記載の方法。
  28. 前記追加メディアデータは圧縮メディアデータであり、前記方法は、デコーダにより、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するステップを更に含み、ステップｄ）において、前記復号追加メディアデータは前記コア復号メディアデータとミキシングされる、請求項２２～２７のいずれかに記載の方法。
  29. 前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、請求項２８に記載の方法。
  30. 前記追加メディアデータは非圧縮メディアデータであり、ステップｄ）において、前記非圧縮メディアデータは、前記コア復号メディアデータとミキシングされる、請求項２２～２７のいずれかに記載の方法。
  31. 前記変更ビットストリームはMPEG-４オーディオフォーマットである、請求項２２～３０のいずれかに記載の方法。
  32. 前記変更ビットストリームは、MPEG-４オーディオビットストリーム拡張メカニズムを含み、ステップｂ）におけるパースは、前記変更ビットストリーム内の前記MPEG-４オーディオビットストリーム拡張メカニズムを識別することに更に基づく、請求項３１に記載の方法。
  33. 前記MPEG-４オーディオビットストリーム拡張メカニズムは、データストリームエレメント（DSE）であり、ステップｂ）におけるパースは、前記変更ビットストリーム内のデータストリームエレメントの位置を識別すること、及び／又は前記データストリームエレメントの特定のインスタンスタグを識別することに更に基づく、請求項３２に記載の方法。
  34. 前記MPEG-４オーディオビットストリーム拡張メカニズムは、Fill Element(ID_FIL)であり、ステップｂ）におけるパースは、前記Fill Element内の拡張ペイロードエレメントを識別することに更に基づく、請求項３２に記載の方法。
  35. 変更ビットストリームを生成するソース装置であって、前記装置は、
    ａ）符号化メディアデータを含むビットストリームを受信するよう構成される受信機と、
    ｂ）追加メディアデータのペイロードを生成し、前記生成したペイロードを前記ビットストリームに埋め込んで、前記符号化メディアデータと前記追加メディアデータのペイロードとを含む変更ビットストリームを取得するよう構成される埋め込み器と、
    ｃ）シンク装置へ前記変更ビットストリームを出力するよう構成される制御ユニットと、
    を含む装置。
  36. 前記埋め込み器は、前記追加メディアデータに関する情報を生成し、該情報を前記ビットストリームに埋め込むよう更に構成される、請求項３５に記載の装置。
  37. 前記埋め込み器は、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を生成し、前記相対ゲインに関する情報を前記ビットストリームに埋め込むよう更に構成される、請求項３５又は３６に記載の装置。
  38. 前記変更ビットストリームはMPEG-４オーディオフォーマットである、請求項３５～３７のいずれかに記載の装置。
  39. 前記追加メディアデータは、圧縮メディアデータ又は非圧縮メディアデータである、請求項３５～３８のいずれか記載の装置。
  40. 前記非圧縮メディアデータは、前記ソース装置において生成されたPCMデータである、請求項３９に記載の装置。
  41. 前記PCMデータの生成はユーザ入力に基づく、請求項４０に記載の装置。
  42. 前記PCMデータは、イアコンデータ及びシステム音声データのうちの１つ以上を含む請求項４０又は４１に記載の装置。
  43. 前記圧縮メディアデータは、SBCフォーマット又はaptXに基づくフォーマットである、請求項３９に記載の装置。
  44. 変更ビットストリームを処理するシンク装置であって、前記装置は、
    ａ）符号化メディアデータと追加メディアデータのペイロードとを含む変更ビットストリームを受信するよう構成される受信機と、
    ｂ）前記変更ビットストリームを前記符号化メディアデータ及び追加メディアデータのペイロードへとパースするよう構成されるビットストリームパーサと、
    ｃ）前記符号化メディアデータをコア復号して、コア復号メディアデータを取得するよう構成されるコアデコーダと、
    ｄ）前記コア復号メディアデータ及び前記追加メディアデータをミキシングして、出力信号を取得するよう構成されるミキサと、
    ｅ）前記出力信号を出力するよう構成される制御ユニットと、
    を含む装置。
  45. 前記装置は、前記コア復号メディアデータ及び前記追加メディアデータをミキシングする前に、前記追加メディアデータを処理するよう構成される処理ユニットを更に含む請求項４４に記載の装置。
  46. 前記追加メディアデータは、非圧縮メディアデータであり、前記ミキサは、前記コア復号メディアデータ及び前記非圧縮追加メディアデータをミキシングするよう構成される、請求項４４又は４５に記載の装置。
  47. 前記追加メディアデータは圧縮メディアデータであり、前記装置は、前記圧縮メディアデータを復号して、復号追加メディアデータを取得するデコーダを更に含み、前記ミキサは、前記コア復号メディアデータ及び前記復号追加メディアデータをミキシングするよう構成される、請求項４４又は４５に記載の装置。
  48. 前記変更ビットストリームは、前記追加メディアデータに関する情報を更に含み、前記シンク装置は、前記情報に基づき前記変更ビットストリームを処理するよう構成される、請求項４４～４７のいずれかに記載の装置。
  49. 前記変更ビットストリームは、前記符号化メディアデータと前記追加メディアデータとの間の相対ゲインに関する情報を更に含み、前記ミキサは、前記相対ゲインに関する前記情報に基づき、前記コア復号メディアデータ及び前記追加メディアデータをミキシングするよう更に構成される、請求項４４～４８のいずれかに記載の装置。
  50. 前記コアデコーダはMPEG-４オーディオデコーダである、請求項４４～４９のいずれかに記載の装置。
  51. 変更ビットストリームを生成するソース装置であって、前記ソース装置は、請求項１～２１のいずれかに記載の方法を実行するよう構成される１つ以上のプロセッサを含む、ソース装置と、
    変更ビットストリームを処理するシンク装置であって、前記シンク装置は、請求項２２～３４のいずれかに記載の方法を実行するよう構成される１つ以上のプロセッサを含む、シンク装置と、
    のシステム。
  52. 命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラムプロダクトであって、前記命令は、処理能力を有する装置により実行されると、装置に、請求項１～３４のいずれか一項に記載の方法を実行させるよう適応される、コンピュータプログラムプロダクト。
JP2022505628A 2019-08-15 2020-08-13 変更オーディオビットストリームの生成及び処理のための方法及び装置 Active JP7314398B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023114205A JP2023145513A (ja) 2019-08-15 2023-07-12 変更オーディオビットストリームの生成及び処理のための方法及び装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962887098P 2019-08-15 2019-08-15
EP19191920.8 2019-08-15
EP19191920 2019-08-15
US62/887,098 2019-08-15
PCT/US2020/046042 WO2021030515A1 (en) 2019-08-15 2020-08-13 Methods and devices for generation and processing of modified audio bitstreams

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023114205A Division JP2023145513A (ja) 2019-08-15 2023-07-12 変更オーディオビットストリームの生成及び処理のための方法及び装置

Publications (2)

Publication Number Publication Date
JP2022546923A true JP2022546923A (ja) 2022-11-10
JP7314398B2 JP7314398B2 (ja) 2023-07-25

Family

ID=72235010

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022505628A Active JP7314398B2 (ja) 2019-08-15 2020-08-13 変更オーディオビットストリームの生成及び処理のための方法及び装置
JP2023114205A Pending JP2023145513A (ja) 2019-08-15 2023-07-12 変更オーディオビットストリームの生成及び処理のための方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023114205A Pending JP2023145513A (ja) 2019-08-15 2023-07-12 変更オーディオビットストリームの生成及び処理のための方法及び装置

Country Status (6)

Country Link
US (1) US11967330B2 (ja)
EP (1) EP4014506B1 (ja)
JP (2) JP7314398B2 (ja)
KR (1) KR20220034860A (ja)
CN (1) CN114303190A (ja)
WO (1) WO2021030515A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016060101A1 (ja) * 2014-10-16 2016-04-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341746A (en) 1998-09-10 2000-03-22 Snell & Wilcox Ltd Digital TV service protector
CN1331144C (zh) 1999-12-21 2007-08-08 皇家菲利浦电子有限公司 将一个第一数字信息信号嵌入第二数字信息信号中以通过一个传输介质传输
US7266501B2 (en) 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US6718507B1 (en) 2000-09-12 2004-04-06 At&T Corp. System and method for representing compressed information
US7039116B1 (en) 2000-11-07 2006-05-02 Cisco Technology, Inc. Methods and apparatus for embedding and format conversion of compressed video data
KR100545901B1 (ko) 2003-06-13 2006-02-09 (주)엠아이유 멀티미디어 데이터 무료 송수신 시스템 및 송수신 방법
US9805400B2 (en) 2004-03-02 2017-10-31 Nokia Technologies Oy Downloading different versions of media files based on a type of download link
US20060059510A1 (en) 2004-09-13 2006-03-16 Huang Jau H System and method for embedding scene change information in a video bitstream
CN101395881B (zh) 2005-12-16 2012-06-27 杜比国际公司 用于产生和解释具有带有指定入口点的一系列段的数据流的设备、方法和计算机程序
US8756626B2 (en) 2005-12-22 2014-06-17 Broadcom Corporation Method and apparatus for using the host-pod interface of a digital television or other digital audio/video receiver for new services
US20070294738A1 (en) 2006-06-16 2007-12-20 Broadcom Corporation Single chip cable set-top box supporting DOCSIS set-top Gateway (DSG) protocol and high definition advanced video codec (HD AVC) decode
US20090055005A1 (en) 2007-08-23 2009-02-26 Horizon Semiconductors Ltd. Audio Processor
KR100916702B1 (ko) 2007-09-05 2009-09-11 에스케이 텔레콤주식회사 전송 스트림 패킷의 채널 디코딩 장치 및 그 방법
EP2310983A4 (en) 2008-07-03 2011-12-21 Verimatrix Inc EFFECTIVE APPROACHES OF DIGITAL TATTOO OF COMPRESSED MEDIA
GB2466242B (en) 2008-12-15 2013-01-02 Audio Analytic Ltd Sound identification systems
WO2011084913A2 (en) 2010-01-06 2011-07-14 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
US20110213681A1 (en) 2010-02-03 2011-09-01 Mohammad Shahid Delivering enhanced content to broadcast media receivers with internet connection and enhancing user experience
TWI557723B (zh) 2010-02-18 2016-11-11 杜比實驗室特許公司 解碼方法及系統
EP2362653A1 (en) 2010-02-26 2011-08-31 Panasonic Corporation Transport stream packet header compression
JP5444476B2 (ja) 2010-11-18 2014-03-19 シャープ株式会社 コンテンツデータ生成装置、コンテンツデータ生成方法、コンピュータプログラムおよび記録媒体
TWI759223B (zh) 2010-12-03 2022-03-21 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
CA2870865C (en) 2012-04-17 2020-08-18 Sirius Xm Radio Inc. Server side crossfading for progressive download media
BR122015008454B1 (pt) 2013-01-21 2022-02-15 Dolby Laboratories Licensing Corporation Codificador e decodificador de áudio com sonoridade de programa e metadados de limite.
US9607624B2 (en) 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
EP2814256B1 (en) 2013-06-11 2022-01-26 MX1 GmbH Method and apparatus for modifying a stream of digital content
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP2843963A1 (en) 2013-08-30 2015-03-04 Thomson Licensing Method for watermarking a content
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
KR101519000B1 (ko) 2014-04-23 2015-05-19 오픈스택 주식회사 모듈레이터 내장형 인코더 방송장비 및 자동전환 설정 방법
PT3149955T (pt) 2014-05-28 2019-08-05 Fraunhofer Ges Forschung Processador de dados e transporte de dados de controlo do utilizador para descodificadores e renderizadores de áudio
WO2016172328A1 (en) 2015-04-24 2016-10-27 Vid Scale, Inc. Content protection and modification detection in adaptive streaming and transport streams
US9837086B2 (en) 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
US10008214B2 (en) 2015-09-11 2018-06-26 Electronics And Telecommunications Research Institute USAC audio signal encoding/decoding apparatus and method for digital radio services
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US10075802B1 (en) 2017-08-08 2018-09-11 Qualcomm Incorporated Bitrate allocation for higher order ambisonic audio data
US10812700B2 (en) 2017-11-02 2020-10-20 Arris Enterprises Llc Approach to live multi-camera streaming of events with hand-held cameras
CN115691518A (zh) 2018-02-22 2023-02-03 杜比国际公司 用于处理嵌入在mpeg-h 3d音频流中的辅媒体流的方法及设备
CN118192925A (zh) * 2018-08-21 2024-06-14 杜比国际公司 即时播放帧(ipf)的生成、传输及处理的方法、设备及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016060101A1 (ja) * 2014-10-16 2016-04-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMOYASU KOMORI: "Trends in Standardization of Audio Coding Technologies", NHK STRL BROADCAST TECHNOLOGY NO.64 SPRING 2016 FEATURE, JPN6022051460, 2016, ISSN: 0004939616 *

Also Published As

Publication number Publication date
US20220277755A1 (en) 2022-09-01
EP4014506A1 (en) 2022-06-22
WO2021030515A1 (en) 2021-02-18
US11967330B2 (en) 2024-04-23
CN114303190A (zh) 2022-04-08
EP4014506B1 (en) 2023-01-11
KR20220034860A (ko) 2022-03-18
JP2023145513A (ja) 2023-10-11
JP7314398B2 (ja) 2023-07-25

Similar Documents

Publication Publication Date Title
KR101327194B1 (ko) 효율적인 다운믹싱을 이용하는 오디오 디코더 및 디코딩 방법
US8989884B2 (en) Automatic audio configuration based on an audio output device
US11805383B2 (en) Signal processing device, method, and program
JP5852140B2 (ja) ウォーターマーク入り信号を符号化し復号するためのデバイス
JP2022551535A (ja) オーディオ符号化のための装置及び方法
CN105808198A (zh) 应用于安卓系统的音频文件处理方法及装置、终端
JP7314398B2 (ja) 変更オーディオビットストリームの生成及び処理のための方法及び装置
US11729574B2 (en) Spatial audio augmentation and reproduction
US20220230644A1 (en) Methods and devices for generation and processing of modified bitstreams
US20090074208A1 (en) Method for outputting background sound and mobile communication terminal using the same
Schnell et al. Delay-Reduced Mode of MPEG-4 Enhanced Low Delay AAC (AAC-ELD)
KR100918571B1 (ko) 통화중 배경음악을 Ｐ２Ｐ 방식으로 제공하는 ＶｏＩＰ통신 시스템
CA3241847A1 (en) Method and apparatus for processing of audio data
US20230090246A1 (en) Method and Apparatus for Communication Audio Handling in Immersive Audio Scene Rendering
CA3230363A1 (en) Method and apparatus for metadata-based dynamic processing of audio data
CN118451498A (zh) 用于处理音频数据的方法和装置
JP2016146526A (ja) 通話装置、通話システムおよび通話方法
JP2016127367A (ja) 通話装置、通話システムおよび通話方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20220127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230712

R150 Certificate of patent or registration of utility model

Ref document number: 7314398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150