JP2012234192A - オーディオソースのパラメトリックジョイント符号化 - Google Patents

オーディオソースのパラメトリックジョイント符号化 Download PDF

Info

Publication number
JP2012234192A
JP2012234192A JP2012155121A JP2012155121A JP2012234192A JP 2012234192 A JP2012234192 A JP 2012234192A JP 2012155121 A JP2012155121 A JP 2012155121A JP 2012155121 A JP2012155121 A JP 2012155121A JP 2012234192 A JP2012234192 A JP 2012234192A
Authority
JP
Japan
Prior art keywords
audio
source signals
source
signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012155121A
Other languages
English (en)
Other versions
JP5638037B2 (ja
Inventor
Faller Christof
ファーラー クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34938725&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2012234192(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2012234192A publication Critical patent/JP2012234192A/ja
Application granted granted Critical
Publication of JP5638037B2 publication Critical patent/JP5638037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Abstract

【課題】最小の帯域幅を用いて、複数のソース信号を送信する方法を提供する。
【解決手段】いくつかのオーディオソース信号を、ソース信号を復号化後に、波面合成、マルチチャネルサラウンドまたはステレオ信号を混合する目的で、送信または記憶する必要がある。ソース信号間に冗長性がない場合でさえ、ソース信号をジョイント符号化したときに、それら信号を別々に符号化する場合に比べ、顕著な符号化利得が得られる。これは、ソース信号の統計的特性、ミキシング技術の特性および空間聴覚を考慮することにより可能になる。ソース信号の和は、最終的に混合されたオーディオチャネルの知覚的に重要な空間キューを概ね決定するソース信号の統計的特性とともに送信される。ソース信号は、その統計的特性が元のソース信号の対応する特性に近似するよう受信機で回復される。
【選択図】なし

Description

１．はじめに
Figure 2012234192
ＩＳＯ／ＩＥＣ ＭＰＥＧ−４は、上記の符号化シナリオを扱う。これは、シーン記述を定義し、かつ（「自然な」）ソース信号ごとに、別個のモノオーディオコーダ、例えばＡＣＣオーディオコーダなどを使用する。しかしながら、多くのソースを有する複雑なシーンを混合する場合、ビットレートは高くなる。すなわち、ソースの数によって、ビットレートがスケールアップする。高品質でソース信号を１つ符号化するためには、約６０〜９０ｋｂ／ｓを必要とする。
これまでは、フレキシブル・レンダリング（Ｆｌｅｘｉｂｌｅ Ｒｅｎｄｅｒｉｎｇ）のためのバイノーラル・キュー・符号化（ＢＣＣ）と呼ばれる構成で、上記の符号化問題［１］［２］の特別なケースに対応してきた。所与のソース信号の和および低いビットレートの補助情報のみを送信することによって、低ビットレートが達成される。しかしながら、ソース信号をデコーダで回復させることはできず、この構成は、ステレオおよびマルチチャネルのサラウンド信号生成に限定された構成であった。また、振幅と遅延パニングに基づいて、単純化したミキシングのみが使用された。これにより、ソースの方向を制御することは可能だが、他の聴覚空間イメージ属性を制御することはできなかった。この構成のもう１つの限界は、そのオーディオ品質が限られている点である。特に、ソース信号の数が増えると、オーディオ品質が低下する。
文献［１］（バイノーラル・キュー・符号化、パラメトリック・ステレオ、ＭＰ３・サラウンド、ＭＰＥＧ・サラウンド）は、Ｎ個のオーディオチャネルが符号化され、元のオーディオチャネルと類似するキューで、Ｎ個のオーディオチャネルが復号化される場合を扱う。送信された補助情報は、入力されたチャネル間の相違に関する、チャネル間キューパラメータを含む。
ステレオおよびマルチチャネルのオーディオ信号のチャネルは、オーディオソース信号を混合したものを含み、したがって純粋なオーディオソース信号とは、性質が異なる。ステレオおよびマルチチャネルのオーディオ信号は、適切なプレイバックシステムで再生すれば、録音設定によりとらえたとおり、またはミキシングの際に録音技術者が設計したと
おりに、聴取者が聴覚空間イメージ（「サウンドステージ」）を知覚するように混合される。ステレオまたはマルチチャネルオーディオ信号のチャネルのためのジョイント符号化については、これまでいくつかの構成が提案されている。
発明の概要
本発明の目的は、最小の帯域幅を用いて、複数のソース信号を送信する方法を提供することである。公知の方法の多くは、再生方式（ステレオ、５．１等）が、予め規定されており、符号化シナリオに直接的な影響を及ぼす。デコーダ側のオーディオストリームは、この予め規定された再生方式のみを使用する必要があり、したがって、ユーザーが予め規定された再生シナリオ（ステレオ等）により縛られることになる。
本発明によれば、一般にステレオまたはマルチチャネル信号のチャネルではなく、様々な音声や楽器の信号等の独立信号である、N個のオーディオソース信号が符号化される。
送信された補助情報には、入力オーディオソース信号に関する統計パラメータが含まれる。
本発明によれば、元のオーディオソース信号とは異なるキューでＭ個のオーディオチャネルが復号化される。これらの異なるキューは、受信した和信号にミキサを適用することにより暗黙に合成される。ミキサは、受信した統計ソース情報ならびに受信した（または局所的に決定した）オーディオ方式パラメータおよびミキシングパラメータの関数として制御される。または、これらの異なるキューは、受信した統計ソース情報ならびに受信した（または局所的に決定した）オーディオ方式パラメータおよびミキシングパラメータの関数として明確に計算される。これらの計算されたキューを用いて、先行技術のデコーダ（バイノーラル・キュー・符号化、パラメトリック・ステレオ、ＭＰＥＧサラウンド）を制御し、受信した和信号に基づき、出力チャネルを合成する。
オーディオソース信号をジョイント符号化するための本件の構成は、この種の構成では、最初のものである。これは、オーディオソース信号のジョイント符号化用に設計されている。オーディオソース信号は、一般にステレオまたはマルチチャネルオーディオシステムでの再生に向かない、モノオーディオ信号である。簡潔な説明のため、以下の記述においては、オーディオソース信号をしばしばソース信号と称する。
オーディオソース信号は、再生の前に、まず混合してステレオ、マルチチャネルまたは波面合成オーディオ信号にする必要がある。オーディオソース信号は、単一の楽器もしくは話者でもよいし、または複数の楽器および話者の合計でもよい。他の種類のオーディオソース信号としては、コンサートの際にスポットマイクによりとらえられたモノオーディオ信号がある。オーディオソース信号は、マルチトラックレコーダかまたはハードディスク記録システムに記憶されることが多い。
オーディオソース信号をジョイント符号化する本件の構成は、オーディオソース信号の和のみまたはソース信号の重み付けされた和のみを送信するということに基づく。
Figure 2012234192
Figure 2012234192
ＩＩ．定義、記号表記、および変数
Figure 2012234192
ＩＩＩ．オーディオソース信号のジョイント符号化
はじめに、パラメトリックマルチチャネルオーディオ符号化技術である、バイノーラル・キュー・符号化（ＢＣＣ）、について述べる。その後、ＢＣＣの基礎となっているものと同じ見識により、符号化のシナリオのために、ソース信号のジョイント符号化を行うアルゴリズムを工夫することができる点を説明する。
Ａ．バイノーラル・キュー・符号化（ＢＣＣ）
マルチチャネルオーディオ符号化のためのＢＣＣ構成［１］［２］について下記の図面に示す。入力されたマルチチャネルオーディオ信号は、１つのチャネルにダウンミキシングされる。全チャネルの波形についての情報を符号化して送信する場合と違い、このダウンミキシングされた信号のみを（従来のモノオーディオコーダで）符号化し、送信する。さらに、知覚を動機とする「オーディオチャネル差」が元のオーディオチャネルの間で予測され、デコーダに送られる。デコーダは、オーディオチャネル差が元のオーディオ信号の対応するオーディオチャネル差に近似するようにその出力チャネルを生成する。
加法定位は、ラウドスピーカー信号チャネル対の知覚的に意味のあるオーディオチャネル差が、チャネル間時間差（ＩＣＴＤ）およびチャネル間レベル差（ＩＣＬＤ）であることを示唆する。ＩＣＴＤおよびＩＣＬＤは、聴覚事象の知覚方向に関連し得る。他の聴覚空間イメージ属性、たとえば見かけの音源幅および音に包まれた感じなどは、インターオーラルコヒーレンス（ＩＣ）に関連し得る。聴取者の前または後ろに位置するラウドスピーカー対については、インターオーラルコヒーレンスは、ＢＣＣによる第３のオーディオチャネル差の尺度と考えられているチャネル間コヒーレンス（ＩＣＣ）と直接に関連していることが多い。ＩＣＴＤ、ＩＣＬＤおよびＩＣＣは、時間の関数としてサブバンドで予測される。使用される空間および時間分解能は、双方とも知覚を動機とする。
Ｂ．オーディオソースのパラメトリックジョイント符号化
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
本件の構成を得るために、ステレオミキサ（Ｍ＝２）を考える。一般的な例をより簡略化するなら、振幅と遅延パニングのみを付与してミキシングを行う。離散ソース信号をデコーダで得ることが出来る場合、ステレオ信号は、図４に示すように混合され得る。すなわち、
Figure 2012234192
この場合、シーン記述ベクトルＳ（ｎ）は、ミキシングパラメータを決定するソース方向のみを含む。
Figure 2012234192
ここで、Ｔは、ベクトルの転置である。なお、ミキシングパラメータとしては、表記の都合上、時間指数を無視した。
ミキサを制御するためのより便利なパラメータは、時間およびレベル差、すなわちＴｉとΔＬｉであり、これらは、以下の式によりａｉ、ｂｉ、ｃｉおよびｄｉに関連する。
Figure 2012234192
ここでＧｉは、ｄＢによるソース利得係数である。
Figure 2012234192
Ｂ．１ ミキサ出力のＩＣＴＤ、ＩＣＬＤおよびＩＣＣ
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
ＩＣＴＤおよびＩＣＣを予測するために、以下の正規化された相互相関関数を予測する。
Figure 2012234192
ＩＣＣ、すなわちｃ（ｎ）は、以下のとおり計算する。
Figure 2012234192
ＩＣＴＤ、すなわちＴ（ｎ）を計算するために、遅延軸の最も高い頂点の位置を計算する。
Figure 2012234192
ここで、問題は、正規化された相互相関関数を、どうすればミキシングパラメータの関数として計算できるかである。（２）と一緒にすれば、（８）は以下のように表すことが
できる。
Figure 2012234192
これは、以下の式と等価である。
Figure 2012234192
ここで正規化自己相関関数Φ（ｎ，ｅ）は、以下の通りである。
Figure 2012234192
また、Ｔｉ＝ｄｉ−ｃｉである。なお、（１１）に基づき（１２）を計算するために、考えられる遅延の範囲では、信号が広義定常とする。
Figure 2012234192
Figure 2012234192
Ｂ．２ 必要な補助情報
Figure 2012234192
Figure 2012234192
Figure 2012234192
補助情報の量を減らすために、ソース信号の相対的ダイナミックレンジを制限する。毎回、各サブバンドについて、最も強いソースの出力を選択する。他の全てのソースの対応するサブバンド出力の下限は、最も強いサブバンド出力より２４ｄＢ低い値にすれば十分であることがわかった。したがって、量子化器のダイナミックレンジを２４ｄＢに制限することができる。
Figure 2012234192
Figure 2012234192
Figure 2012234192
特定の実施例によれば、サブバンドの帯域幅は様々で、低周波数のサブバンドの帯域幅のほうが、高周波数のサブバンドの帯域幅より小さい。
［２］に記載のＩＣＬＤ量子化器に類似する構成で相対的出力値を量子化すると、およそ３（Ｍ−１）ｋｂ／ｓのビットレートになる。図６は、補助情報の生成プロセス（図２の「補助情報生成」ブロックに相当する）を示す図である。
補助情報レートは、各ソース信号について活性状態を分析しかつ活性化したソースに関連する補助情報を送信するだけでも、さらに減らすことができる。
Figure 2012234192
Figure 2012234192
図８は、和信号（１）に基づき、ソース信号を再生成するために使用するプロセスを示す図である。このプロセスは、図２の「合成」ブロックの一部である。個々のソース信号は、和信号の各サブバンドをｇｉ（ｎ）でスケーリングしかつ非相関フィルタをインパルス応答ｈｉ（ｎ）で適用することにより回復される。
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
ＩＶ．実用上の制約を考えた実現例
Figure 2012234192
このセクションの第２の部分では、本件の構成をいずれかのミキサで適用し、非相関処理を全く行わない場合の問題について論ずる。そのような構成は、非相関処理を伴う構成より複雑性が低いが、後述の通り、他に欠点がある可能性がある。
Figure 2012234192
Figure 2012234192
Figure 2012234192
和信号（１）を処理するために適用されるステレオＢＣＣ合成構成（または「パラメトリックステレオ」構成）について図１０に示す。このＢＣＣ合成構成が、図４に示すようなミキサの出力信号と同様に知覚される信号を生成することが望ましい。これは、ＢＣＣ合成構成の出力チャネル間のＩＣＴＤ、ＩＣＬＤおよびＩＣＣが、ミキサ出力（４）信号チャネル間に現れる対応するキューと類似する場合にあてはまる。
Figure 2012234192
Figure 2012234192
これは、出力サブバンド出力およびＩＣＬＤ（７）が、図４のミキサについてのものと同じになるように利得係数ｇ1およびｇ2を計算する。ＩＣＴＤ、すなわちＴ（ｎ）は、式（１０）によって計算され、その計算されたＴ（ｎ）を用いて図１０の遅延Ｄ1およびＤ
２を決定する。
Figure 2012234192
Figure 2012234192
・一般に、ソース信号Ｍの数は、オーディオ出力チャネルＮの数より大きい。したがって、生成が必要な独立オーディオチャネルの数は、Ｍ個のソース信号に非相関処理を行うよりも、Ｎ個の出力チャネルに非相関処理を行う場合に少なくなる。
・多くの場合、Ｎ個のオーディオ出力チャネルは相関しており（ＩＣＣ＞０）、かつ独立したＭ個またはＮ個のチャネルを生成するために必要と考えられるものより、適用される非相関処理が少なくて済む。
非相関処理が少なくて済むので、オーディオ品質の向上が期待される。
最良のオーディオ品質は、ミキサパラメータが、ａｉ 2+ｂｉ 2＝１すなわちＧｉ＝０ｄ
Ｂとなるように制約された場合に得られることが期待される。この場合、送信された和信号（１）における各ソースの出力が、混合されたデコーダ出力信号における同じソースの出力と同じである。デコーダ出力信号（図１０）は、この場合、ミキサ出力信号（図４）がＢＣＣエンコーダ／デコーダにより符号化／復号化されるかのように同じである。したがって、同様の品質を期待することができる。
デコーダは、各ソースが現れるべき方向を決定することができるだけでなく、各ソースの利得も変化させることが出来る。利得は、ａｉ 2+ｂｉ 2＞１（Ｇｉ＞０ｄＢ）を選択こ
とにより増大し、ａｉ 2+ｂｉ 2＜１（Ｇｉ＜０ｄＢ）を選択することにより減少する。
Ｂ．非相関処理を使用しない場合
上記の技術の制約は、ＢＣＣ合成構成でミキシングが実行される点である。ＩＣＴＤ、ＩＣＬＤおよびＩＣＣ合成のみならず、ＢＣＣ合成の範囲で他の効果処理の可能性が考えられる。
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
Figure 2012234192
Ｃ．非相関処理量の低減
Figure 2012234192
Figure 2012234192
１．相互に近接するソースに対応するソースインデックスのグループを生成する。例えば、図８では、それらは、｛１｝、｛２，５｝、｛３｝および｛４，６｝が可能である。
２．毎回、各サブバンドで、最も強いソースのソースインデックスを選択する。
Figure 2012234192
ｉｍａｘ，すなわちｈｉ（ｎ）＝δ（ｎ）を含むグループのソースインデックスの部分には、非相関処理を適用しない。
３．他の各グループについては、グループ内の同じｈｉ（ｎ）を選択する。
上記のアルゴリズムは、最も強い信号成分に対する変更が最も少ない。その上、使用される異なるｈｉ（ｎ）の数が減る。こうすれば、非相関が、簡単であればあるほど、生成する必要のある独立チャネルの数が減る点が有利である。上記の技術は、ステレオまたはマルチチャネルオーディオ信号を混合するときにも適用可能である。
Ｖ．品質およびビットレートからみたスケーラビリティ
本件の構成は、全てのソース信号の和のみを送信するが、これを従来のモノオーディオコーダで符号化することができる。モノの後方互換性を必要とせず、１を超える数のオーディオ波形の送信／記憶に利用可能な容量があるなら、本件の構成は、１を超える数の送信チャネルで使用するようにスケーリングできる。これは、所与のソース信号の様々なサブセットで、いくつかの和信号を生成させることにより実現される。すなわち、ソース信号の各サブセットに対して、本件の符号化構成を個別に適用する。オーディオ品質は、送信オーディオチャネルの数が増えるほど向上が期待される。というのも、各送信チャネルから非相関により生成する必要がある独立チャネルが減るからである（送信チャネルが１つの場合に比べて）。
ＶＩ．既存のステレオおよびサラウンドオーディオ方式に対する後方互換性
以下のようなオーディオデリバリのシナリオを考えてみる。消費者が、最大限の品質のステレオまたはマルチチャネルサラウンド信号（オーディオＣＤ、ＤＶＤまたはオンラインミュージックストア等により）を得る。目的は、標準的なステレオ／サラウンドの再生品質を損なわずに、その入手したオーディオコンテンツを好みにミックスしたものを生成する融通性を、消費者に随意に届けることである。
Figure 2012234192
Ａ．受信機におけるソース信号の和の予測
Figure 2012234192
Figure 2012234192
補助情報を計算する前に、自動化されたプロセスを用いてエンコーダのソース信号入力ｓｉ（ｎ）のレベルを調整しても良い。このプロセスは、時間適応的に、各ソース信号が所与のステレオまたはマルチチャネル信号に含まれるレベルを予測する。補助情報を計算する前に、ソースがステレオまたはマルチチャネルオーディオ信号に含まれるレベルに、各ソース信号のレベルが等しくなるよう、時間適応的に調整される。
Ｂ．送信チャネルの個別利用
Figure 2012234192
Figure 2012234192
Figure 2012234192
ＶＩＩ．応用例
すでに、本件の符号化構成のいくつかの応用例について述べた。ここで、これらについてまとめ、他に数例の応用例についても述べる。
Ａ．ミキシングのためのオーディオ符号化
オーディオソース信号を混合して、ステレオ、マルチチャネルまたは波面合成オーディオ信号にする前に、これら信号を記憶または送信する必要がある場合は、常に、本件の構成を適用することができる。先行技術では、モノオーディオコーダを各ソース信号に独立して適用し、ソースの数に比例するビットレートになっていた。本件の符号化構成は、多数のオーディオソース信号を、単一のモノオーディオコーダでかつ比較的低いビットレートの補助情報で符号化することができる。Ｖのセクションで述べたとおり、オーディオ品質は、メモリ・容量が許せば、１を超える数の送信チャネルを使用することにより向上が可能である。
Ｂ．メタデータでの再ミキシング
ＶＩのセクションで述べたとおり、既存のステレオおよびマルチチャネルオーディオ信号は、追加の補助情報（すなわち「メタデータ」）をたよりに再混合することができる。最適化されたステレオおよびマルチチャネル混合オーディオコンテンツを販売するだけの場合と違い、メタデータは、ユーザに、ユーザのステレオおよびマルチチャネル音楽の再ミキシングを許可して販売できる。これは、たとえばカラオケ用に歌におけるボーカルを弱めたりまたは音楽と一緒に楽器を演奏するために、特定の楽器部分を弱めたりするためにも使用することができる。
記憶が問題でなくても、上記の構成では、音楽を好みにミキシングすることが可能になるため、非常に魅力的である。すなわち、音楽産業が積極的にマルチトラックのレコーディングを提供するとは考えられないからである。乱用の危険性も高すぎる。本件の構成では、マルチトラックレコーディングを提供されなくても、再ミキシングが可能である。
さらに、ステレオまたはマルチチャネル信号が再ミキシングされるやいなや、ある程度
の品質劣化が生じ、再混合したものを違法に流通させることは、それほど魅力的でなくなる。
Ｃ．ステレオ／マルチチャネル−波面合成変換
ＶＩのセクションに記載した構成の他の応用例について、以下に説明する。映画に付随するステレオおよびマルチチャネル（５．１サラウンド等）オーディオを、補助情報の付加によって拡張し、波面合成を可能にすることができる。例えば、ドルビーＡＣ−３（ＤＶＤのオーディオ）を、５．１後方互換性符号化オーディオに拡張して波面合成システムを得ることができる。すなわち、ＤＶＤは、従来技術の旧式プレーヤーでは、５．１サラウンドサウンドを再生し、補助情報の処理をサポートする新世代のプレーヤーでは、波面合成サウンドを再生する。
ＶＩＩＩ．主観的評価
ＩＶ‐ＡおよびＩＶ‐Ｂのセクションで提案したアルゴリズムの実時間デコーダを実現した。ＦＦＴベースのＳＴＦＴフィルタバンクを使用する。１０２４ポイントＦＦＴおよび７６８（ゼロパディングで）のＳＴＦＴウィンドーサイズを使用。スペクトル係数は、各グループが等価矩形帯域幅（ＥＲＢ）の２倍の帯域幅の信号を表すように、ともにグループ化する。非公式な聴取では、より高い周波数分解能を選んだ場合も、オーディオ品質が著しく向上するわけではないことがわかった。送信すべきパラメータの数が結果として少ないので、より低い周波数分解能のほうが好ましい。
各ソースについて、振幅／遅延パニングおよび利得を個別に調整することができる。１２〜１４トラックを有する、いくつかのマルチトラックオーディオレコーディングの符号化にこのアルゴリズムを使用した。
デコーダは、ベクトルベース振幅パニング（ＶＢＡＰ）ミキサを使用して、５．１サラウンドのミキシングが可能である。各ソース信号の方向と利得を調整することができる。ソフトウエアを使って、符号化されたソース信号のミキシングと元の離散ソース信号のミキシングとの間で、オンザフライスイッチングが可能である。
各ソースにゼロｄＢの利得Ｇｉが使用される場合、ふだん聞いている分には、符号化されたもののミキシングか、元のソース信号のミキシングか、全くまたはほとんど違いはわからない。ソース利得が変化すればするほど、発生するアーティファクトの数は増える。ソースをわずかに（例えば±６ｄＢまで）増幅かつ減衰しても、まだ音声は良好である。全てのソースを一方側に混合して、単一のソースのみを他方側に混合するというのが、究極のシナリオである。この場合には、オーディオ品質は、特定のミキシングおよびソース信号により劣化し得る。
ＩＸ．結論
オーディオソース信号、たとえばマルチトラックレコーディングのチャネル等をジョイント符号化する符号化構成を提案した。その目的は、高品質でソース信号波形を符号化することではない。その場合、ジョイント符号化は、通常オーディオソースが独立しているために、最小限の符号化利得しかもたらさない。目的は、符号化されたソース信号を混合した場合に、高品質のオーディオ信号を得ることである。ソース信号の統計的特性、ミキシング構成の特性および空間聴覚を考慮して、ソース信号をジョイント符号化することで、顕著な符号化利得の向上が達成されることがわかった。
符号化利得の向上は、１つのオーディオ波形のみが送信されるという事実による。
また、最終的な混合信号の空間知覚を決定する重要な要素であるソース信号の統計的特
性を表す補助情報も送信する。
補助情報レートは、ソース信号あたり約３ｋｂｓである。ステレオ、マルチチャネルまたは波面合成ミキサ等のいずれかのミキサを、符号化されたソース信号で適用することができる。
１を超える数のオーディオチャネルを送信することにより、本件の構成をより高いビットレートおよび品質にスケーリングすることは簡単である。さらに、所与のステレオまたはマルチチャネルオーディオ信号の再ミキシング（およびステレオからマルチチャネルまたは波面合成へ等のオーディオ方式の変更さえも）可能にする本構成の変形例を提案した。
本構成の応用は多岐にわたる。たとえば、１を超える数の「自然のオーディオオブジェクト」（ソース信号）の送信が必要な場合、ＭＰＥＧ‐４を本構成で拡張して、ビットレートを減らすことができる。また、本構成は、波面合成システムのためのコンテンツの簡単表現を提供する。上記の通り、既存のステレオまたはマルチチャネル信号を補助情報で補償して、ユーザーが信号を好みに再混合することが出来る。
参考文献
［１］シー・ファーラー、「空間オーディオのパラメトリック符号化」、博士論文、スイス連邦工科大学ローザンヌ校（ＥＰＦＬ）、２００４年、博士論文第３０６２号（C. Faller, Prametric Coding of Spatial Audio, Ph.D. thesis, Swiss Federal Institute of Technology Lausanne (EPFL), 2004, Ph.D. Thesis No. 3062）
［２］シー・ファーラーおよびエフ・バウムガルト、「バイノーラル・キュー・符号化、パートＩＩ、構成および応用」、音声およびオーディオ処理に関するＩＥＥＥ論文誌、第１１巻、第６号、２００３年１１月（C. Faller and F. Baumgarte, "Binaural Cue Coding-Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, No. 6, Nov. 2003）
本発明は、添付の図面により、よりよく理解される。
各ソース信号の送信が、更なる処理のために独立して行われる構成を示す図である。 和信号および補助情報として送信される複数のソースを示す図である。 バイノーラル・キュー・符号化（ＢＣＣ）構成のブロック図である。 いくつかのソース信号に基づき、ステレオ信号を生成するためのミキサを示す図である。 ＩＣＴＤ、ＩＣＬＤおよびＩＣＣと、ソース信号サブバンド出力との間の依存関係を示す図である。 補助情報生成のプロセスを示す図である。 各ソース信号のＬＰＣパラメータを予測するプロセスを示す図である。 和信号からソース信号を再生成するプロセスを示す図である。 和信号から各信号を生成するための別の構成を示す図である。 和信号に基づきステレオ信号を生成するためのミキサを示す図である。 ミキシングパラメータにソースレベルが依存する事態を回避する振幅パニングアルゴリズムを示す図である。 波面合成再生システムのラウンドスピーカ列を示す図である。 送信チャネルのダウンミキシングを処理することにより、受信機でソース信号の予測値を回復する方法を示す図である。 送信チャネルを処理することにより、受信機でソース信号の予測値を回復する方法を示す図である。

Claims (2)

  1. 複数のソース信号（ｓ１（ｎ），ｓ２（ｎ），・・・，ｓＭ（ｎ））を符号化する方法であって、
    １つまたは多数のソース信号（ｓ１（ｎ），ｓ２（ｎ），・・・，ｓＭ（ｎ））のスペクトル包絡を表す情報を複数のソース信号のために計算するステップと、
    前記計算されたスペクトル包絡を表す情報を複数のソース信号（ｓ１（ｎ），ｓ２（ｎ），・・・，ｓＭ（ｎ））から引き出されたオーディオ信号のためのメタデータとして送信するステップとを含み、
    前記情報は、正規化されたサブバンド自動相関関数Φｉ（ｎ，ｅ）に関する情報または格子フィルタパラメータまたはＬＰＣパラメータまたはラインスペクトル対パラメータからなる、方法。
  2. Figure 2012234192
JP2012155121A 2005-02-14 2012-07-11 オーディオソースのパラメトリックジョイント符号化 Active JP5638037B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05101055.1 2005-02-14
EP05101055A EP1691348A1 (en) 2005-02-14 2005-02-14 Parametric joint-coding of audio sources

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007554579A Division JP5179881B2 (ja) 2005-02-14 2006-02-13 オーディオソースのパラメトリックジョイント符号化

Publications (2)

Publication Number Publication Date
JP2012234192A true JP2012234192A (ja) 2012-11-29
JP5638037B2 JP5638037B2 (ja) 2014-12-10

Family

ID=34938725

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007554579A Active JP5179881B2 (ja) 2005-02-14 2006-02-13 オーディオソースのパラメトリックジョイント符号化
JP2012155121A Active JP5638037B2 (ja) 2005-02-14 2012-07-11 オーディオソースのパラメトリックジョイント符号化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007554579A Active JP5179881B2 (ja) 2005-02-14 2006-02-13 オーディオソースのパラメトリックジョイント符号化

Country Status (18)

Country Link
US (12) US8355509B2 (ja)
EP (4) EP1691348A1 (ja)
JP (2) JP5179881B2 (ja)
KR (1) KR100924577B1 (ja)
CN (2) CN101133441B (ja)
AT (1) ATE531035T1 (ja)
AU (3) AU2006212191B2 (ja)
BR (5) BR122018072508B1 (ja)
CA (2) CA2707761C (ja)
ES (2) ES2374434T3 (ja)
HK (2) HK1107723A1 (ja)
IL (1) IL185192A (ja)
MX (1) MX2007009559A (ja)
NO (1) NO338701B1 (ja)
PL (1) PL1844465T3 (ja)
RU (1) RU2376654C2 (ja)
TR (1) TR201811059T4 (ja)
WO (1) WO2006084916A2 (ja)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
ES2313646T3 (es) * 2005-03-30 2009-03-01 Koninklijke Philips Electronics N.V. Codificacion y descodificacion de audio.
EP1908057B1 (en) 2005-06-30 2012-06-20 LG Electronics Inc. Method and apparatus for decoding an audio signal
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR101294022B1 (ko) * 2006-02-03 2013-08-08 한국전자통신연구원 공간큐를 이용한 다객체 또는 다채널 오디오 신호의 랜더링제어 방법 및 그 장치
KR20080093422A (ko) * 2006-02-09 2008-10-21 엘지전자 주식회사 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그장치
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
EP3985873A1 (en) * 2006-07-04 2022-04-20 Dolby International AB Filter system comprising a filter converter and a filter compressor and method for operating the filter system
JP5134623B2 (ja) * 2006-07-07 2013-01-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 複数のパラメータ的に符号化された音源を合成するための概念
WO2008039043A1 (en) 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
RU2009116275A (ru) * 2006-09-29 2010-11-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. (KR) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
US20100040135A1 (en) * 2006-09-29 2010-02-18 Lg Electronics Inc. Apparatus for processing mix signal and method thereof
EP2084901B1 (en) 2006-10-12 2015-12-09 LG Electronics Inc. Apparatus for processing a mix signal and method thereof
KR100891665B1 (ko) 2006-10-13 2009-04-02 엘지전자 주식회사 믹스 신호의 처리 방법 및 장치
CN103400583B (zh) 2006-10-16 2016-01-20 杜比国际公司 多声道下混对象编码的增强编码和参数表示
AU2007312597B2 (en) * 2006-10-16 2011-04-14 Dolby International Ab Apparatus and method for multi -channel parameter transformation
BRPI0718614A2 (pt) * 2006-11-15 2014-02-25 Lg Electronics Inc Método e aparelho para decodificar sinal de áudio.
JP5394931B2 (ja) * 2006-11-24 2014-01-22 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の復号化方法及びその装置
US8483410B2 (en) 2006-12-01 2013-07-09 Lg Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof
BRPI0719884B1 (pt) * 2006-12-07 2020-10-27 Lg Eletronics Inc método, aparelho e mídia legível por computador para decodificar um sinal de áudio
KR101062353B1 (ko) 2006-12-07 2011-09-05 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 그 장치
CN101578656A (zh) * 2007-01-05 2009-11-11 Lg电子株式会社 用于处理音频信号的装置和方法
CN101542595B (zh) * 2007-02-14 2016-04-13 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
CA2645915C (en) 2007-02-14 2012-10-23 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
EP2119306A4 (en) * 2007-03-01 2012-04-25 Jerry Mahabub SOUND SPECIALIZATION AND ENVIRONMENT SIMULATION
KR20080082917A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
EP2137726B1 (en) * 2007-03-09 2011-09-28 LG Electronics Inc. A method and an apparatus for processing an audio signal
WO2008114982A1 (en) 2007-03-16 2008-09-25 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
JP5133401B2 (ja) 2007-04-26 2013-01-30 ドルビー・インターナショナル・アクチボラゲット 出力信号の合成装置及び合成方法
JP5291096B2 (ja) * 2007-06-08 2013-09-18 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置
WO2009001887A1 (ja) 2007-06-27 2008-12-31 Nec Corporation 多地点接続装置、信号分析及び装置と、その方法及びプログラム
CN102436822B (zh) 2007-06-27 2015-03-25 日本电气株式会社 信号控制装置及其方法
US8295494B2 (en) 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
WO2009031870A1 (en) 2007-09-06 2009-03-12 Lg Electronics Inc. A method and an apparatus of decoding an audio signal
GB2453117B (en) 2007-09-25 2012-05-23 Motorola Mobility Inc Apparatus and method for encoding a multi channel audio signal
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
CN101578655B (zh) * 2007-10-16 2013-06-05 松下电器产业株式会社 流合成装置、解码装置、方法
CN101868821B (zh) * 2007-11-21 2015-09-23 Lg电子株式会社 用于处理信号的方法和装置
JP2009128559A (ja) * 2007-11-22 2009-06-11 Casio Comput Co Ltd 残響効果付加装置
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
CN101547265B (zh) * 2008-10-20 2014-07-30 华为终端有限公司 一种3d音频会议的信号处理方法、设备以及系统
EP2337328B1 (en) 2008-10-20 2014-12-03 Huawei Device Co., Ltd. Method, system and apparatus for processing 3d audio signal
BRPI0919880B1 (pt) * 2008-10-29 2020-03-03 Dolby International Ab Método e aparelho para prover proteção contra o ceifamento de sinal de um sinal de áudio derivado de dados de áudio digital e transcodificador
KR101137361B1 (ko) * 2009-01-28 2012-04-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
BRPI1009467B1 (pt) 2009-03-17 2020-08-18 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
GB2470059A (en) * 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
WO2011000409A1 (en) * 2009-06-30 2011-01-06 Nokia Corporation Positional disambiguation in spatial audio
CN102792378B (zh) 2010-01-06 2015-04-29 Lg电子株式会社 处理音频信号的设备及其方法
EP2485213A1 (en) 2011-02-03 2012-08-08 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Semantic audio track mixer
KR101845226B1 (ko) 2011-07-01 2018-05-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
JP6002770B2 (ja) * 2011-09-18 2016-10-05 タッチチューンズ ミュージック コーポレーション カラオケおよび／またはプリクラ機能を備えたデジタルジュークボックス装置および関連手法
CN103050124B (zh) 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
KR20130093783A (ko) * 2011-12-30 2013-08-23 한국전자통신연구원 오디오 객체 전송 장치 및 방법
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
CN112185399A (zh) * 2012-05-18 2021-01-05 杜比实验室特许公司 用于维持与参数音频编码器相关联的可逆动态范围控制信息的系统
CN102695116B (zh) * 2012-05-30 2015-06-03 蒋憧 一种声音采集、处理和再现方法
BR122021021487B1 (pt) 2012-09-12 2022-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V Aparelho e método para fornecer capacidades melhoradas de downmix guiado para áudio 3d
US9460729B2 (en) 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
CN104956689B (zh) * 2012-11-30 2017-07-04 Dts（英属维尔京群岛）有限公司 用于个性化音频虚拟化的方法和装置
TWI618050B (zh) * 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
CN107396278B (zh) 2013-03-28 2019-04-12 杜比实验室特许公司 用于创作和渲染音频再现数据的非暂态介质和设备
WO2014175076A1 (ja) * 2013-04-26 2014-10-30 ソニー株式会社 音声処理装置および音声処理システム
EP2830052A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830047A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
KR101681529B1 (ko) 2013-07-31 2016-12-01 돌비 레버러토리즈 라이쎈싱 코오포레이션 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
WO2015150480A1 (en) 2014-04-02 2015-10-08 Dolby International Ab Exploiting metadata redundancy in immersive audio metadata
RU2571921C2 (ru) * 2014-04-08 2015-12-27 Общество с ограниченной ответственностью "МедиаНадзор" Способ фильтрации бинауральных воздействий в аудиопотоках
CN104036788B (zh) * 2014-05-29 2016-10-05 北京音之邦文化科技有限公司 音频文件的音质识别方法及装置
CN105336333B (zh) * 2014-08-12 2019-07-05 北京天籁传音数字技术有限公司 多声道声音信号编码方法、解码方法及装置
KR102486338B1 (ko) * 2014-10-31 2023-01-10 돌비 인터네셔널 에이비 멀티채널 오디오 신호의 파라메트릭 인코딩 및 디코딩
CN112802496A (zh) 2014-12-11 2021-05-14 杜比实验室特许公司 元数据保留的音频对象聚类
CN106033671B (zh) 2015-03-09 2020-11-06 华为技术有限公司 确定声道间时间差参数的方法和装置
KR102657547B1 (ko) 2015-06-17 2024-04-15 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
MY188370A (en) * 2015-09-25 2021-12-06 Voiceage Corp Method and system for decoding left and right channels of a stereo sound signal
US11152014B2 (en) 2016-04-08 2021-10-19 Dolby Laboratories Licensing Corporation Audio source parameterization
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
US10424307B2 (en) * 2017-01-03 2019-09-24 Nokia Technologies Oy Adapting a distributed audio recording for end user free viewpoint monitoring
JP6787183B2 (ja) * 2017-02-28 2020-11-18 ヤマハ株式会社 音制御装置及び方法
EP3622509B1 (en) * 2017-05-09 2021-03-24 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal
WO2020205175A1 (en) 2019-04-05 2020-10-08 Tls Corp. Distributed audio mixing
CN113096672B (zh) * 2021-03-24 2022-06-14 武汉大学 一种应用于低码率下的多音频对象编解码方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH045700A (ja) * 1990-04-23 1992-01-09 Mitsubishi Electric Corp 音声復号化装置及び音声符号化・復号化装置
JPH11109995A (ja) * 1997-10-01 1999-04-23 Victor Co Of Japan Ltd 音響信号符号化器
JP2003525466A (ja) * 2000-03-02 2003-08-26 ヒアリング エンハンスメント カンパニー，リミティド ライアビリティー カンパニー デジタルオーディオ生成過程において１次コンテンツオーディオおよび２次コンテンツの残りのオーディオ性能を収容する方法および装置
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル／キュー符号化／復号化
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4544919A (en) * 1982-01-03 1985-10-01 Motorola, Inc. Method and means of determining coefficients for linear predictive coding
JPH0650439B2 (ja) * 1986-07-17 1994-06-29 日本電気株式会社 マルチパルス駆動形音声符号化器
US5764779A (en) * 1993-08-25 1998-06-09 Canon Kabushiki Kaisha Method and apparatus for determining the direction of a sound source
US5651090A (en) * 1994-05-06 1997-07-22 Nippon Telegraph And Telephone Corporation Coding method and coder for coding input signals of plural channels using vector quantization, and decoding method and decoder therefor
US5712437A (en) * 1995-02-13 1998-01-27 Yamaha Corporation Audio signal processor selectively deriving harmony part from polyphonic parts
JP2766466B2 (ja) * 1995-08-02 1998-06-18 株式会社東芝 オーディオ方式、その再生方法、並びにその記録媒体及びその記録媒体への記録方法
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
DE19632734A1 (de) * 1996-08-14 1998-02-19 Thomson Brandt Gmbh Verfahren und Vorrichtung zum Generieren eines Mehrton-Signals aus einem Mono-Signal
US5912976A (en) * 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
US5886276A (en) * 1997-01-16 1999-03-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for multiresolution scalable audio signal encoding
US6131084A (en) * 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
US6005948A (en) * 1997-03-21 1999-12-21 Sony Corporation Audio channel mixing
SE519552C2 (sv) * 1998-09-30 2003-03-11 Ericsson Telefon Ab L M Flerkanalig signalkodning och -avkodning
US6188987B1 (en) * 1998-11-17 2001-02-13 Dolby Laboratories Licensing Corporation Providing auxiliary information with frame-based encoded audio information
JP4610087B2 (ja) * 1999-04-07 2011-01-12 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 損失のない符号化・復号へのマトリックス改良
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
TW510143B (en) * 1999-12-03 2002-11-11 Dolby Lab Licensing Corp Method for deriving at least three audio signals from two input audio signals
US7212872B1 (en) * 2000-05-10 2007-05-01 Dts, Inc. Discrete multichannel audio with a backward compatible mix
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
SE519985C2 (sv) * 2000-09-15 2003-05-06 Ericsson Telefon Ab L M Kodning och avkodning av signaler från flera kanaler
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US20100042406A1 (en) * 2002-03-04 2010-02-18 James David Johnston Audio signal processing using improved perceptual model
DE60311794T2 (de) * 2002-04-22 2007-10-31 Koninklijke Philips Electronics N.V. Signalsynthese
US8340302B2 (en) * 2002-04-22 2012-12-25 Koninklijke Philips Electronics N.V. Parametric representation of spatial audio
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
RU2363116C2 (ru) * 2002-07-12 2009-07-27 Конинклейке Филипс Электроникс Н.В. Аудиокодирование
JP2005533271A (ja) 2002-07-16 2005-11-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ オーディオ符号化
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
DE60328402D1 (de) * 2002-09-23 2009-08-27 Koninkl Philips Electronics Nv Tonsignalerzeugung
AU2003269551A1 (en) 2002-10-15 2004-05-04 Electronics And Telecommunications Research Institute Method for generating and consuming 3d audio scene with extended spatiality of sound source
US7243064B2 (en) * 2002-11-14 2007-07-10 Verizon Business Global Llc Signal processing of multi-channel data
US20040117186A1 (en) * 2002-12-13 2004-06-17 Bhiksha Ramakrishnan Multi-channel transcription-based speaker separation
US20040176950A1 (en) * 2003-03-04 2004-09-09 Docomo Communications Laboratories Usa, Inc. Methods and apparatuses for variable dimension vector quantization
KR20060090984A (ko) * 2003-09-29 2006-08-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호들을 엔코딩하는 방법 및 장치
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7725324B2 (en) * 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
EP1758100B1 (en) * 2004-05-19 2010-11-03 Panasonic Corporation Audio signal encoder and audio signal decoder
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US20060009274A1 (en) * 2004-07-08 2006-01-12 Richard Finocchio Method of playing a game of roulette
TWI393121B (zh) * 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
BRPI0514998A (pt) * 2004-08-26 2008-07-01 Matsushita Electric Ind Co Ltd equipamento de codificação de sinal de canal múltiplo e equipamento de decodificação de sinal de canal múltiplo
US20060048226A1 (en) * 2004-08-31 2006-03-02 Rits Maarten E Dynamic security policy enforcement
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
DE102004049347A1 (de) * 2004-10-08 2006-04-20 Micronas Gmbh Schaltungsanordnung bzw. Verfahren für Sprache enthaltende Audiosignale
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
CN101124740B (zh) * 2005-02-23 2012-05-30 艾利森电话股份有限公司 多声道音频信号编码和解码的方法和装置和音频传送系统
US20090281798A1 (en) * 2005-05-25 2009-11-12 Koninklijke Philips Electronics, N.V. Predictive encoding of a multi channel signal
EP1908057B1 (en) * 2005-06-30 2012-06-20 LG Electronics Inc. Method and apparatus for decoding an audio signal
BRPI0719884B1 (pt) * 2006-12-07 2020-10-27 Lg Eletronics Inc método, aparelho e mídia legível por computador para decodificar um sinal de áudio
US9111525B1 (en) * 2008-02-14 2015-08-18 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Apparatuses, methods and systems for audio processing and transmission
US8332229B2 (en) * 2008-12-30 2012-12-11 Stmicroelectronics Asia Pacific Pte. Ltd. Low complexity MPEG encoding for surround sound recordings
CN104471641B (zh) * 2012-07-19 2017-09-12 杜比国际公司 用于改善对多声道音频信号的呈现的方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH045700A (ja) * 1990-04-23 1992-01-09 Mitsubishi Electric Corp 音声復号化装置及び音声符号化・復号化装置
JPH11109995A (ja) * 1997-10-01 1999-04-23 Victor Co Of Japan Ltd 音響信号符号化器
JP2003525466A (ja) * 2000-03-02 2003-08-26 ヒアリング エンハンスメント カンパニー，リミティド ライアビリティー カンパニー デジタルオーディオ生成過程において１次コンテンツオーディオおよび２次コンテンツの残りのオーディオ性能を収容する方法および装置
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル／キュー符号化／復号化

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6009042459; Ｆａｌｌｅｒ，　Ｃ．，　ｅｔ　ａｌ．: '"Ｅｆｆｉｃｉｅｎｔ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　Ｓｐａｔｉａｌ　Ａｕｄｉｏ　Ｕｓｉｎｇ　Ｐｅｒｃｅｐｔｕａｌ　Ｐａｒａｍｅｔｒｉｚａｔｉｏｎ"' Ａｐｐｌｉｃａｔｉｏｎｓ　ｏｆ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｔｏ　Ａｕｄｉｏ　ａｎｄ　Ａｃｏｕｓｔｉｃｓ　２００１ , 200110, ｐｐ．１９９-２０２, ＩＥＥＥ　Ｗｏｒｋｓｈｏｐ *
JPN6013023138; Ｊ．　Ｈｅｒｒｅ，　ｅｔ　ａｌ．: '"Ｓｐａｔｉａｌ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ：　Ｎｅｘｔ-ｇｅｎｅｒａｔｉｏｎ　ｅｆｆｉｃｉｅｎｔ　ａｎｄ　ｃｏｍｐａｔｉｂｌｅ　ｃｏｄｉｎｇ　ｏｆ　ｍｕｌｔｉ-ｃｈａｎｎｅｌ　ａｕｄｉｏ"' Ｃｏｎｖｅｎｔｉｏｎ　Ｐａｐｅｒ　ｏｆ　ｔｈｅ　１１７ｔｈ　Ｃｏｎｖｅｎｔｉｏｎ Ｎｏ．６１８６, 200410, ｐｐ．１-１３, Ａｕｄｉｏ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｓｏｃｉｅｔｙ *

Also Published As

Publication number Publication date
IL185192A0 (en) 2008-01-06
AU2006212191B2 (en) 2009-01-15
MX2007009559A (es) 2007-12-10
AU2009200407A1 (en) 2009-02-26
CA2597746A1 (en) 2006-08-17
BR122018072504B1 (pt) 2019-07-09
US20120314879A1 (en) 2012-12-13
CA2707761C (en) 2014-04-29
EP1844465B1 (en) 2011-10-26
JP5179881B2 (ja) 2013-04-10
US8355509B2 (en) 2013-01-15
ES2374434T3 (es) 2012-02-16
US10643628B2 (en) 2020-05-05
AU2010236053B2 (en) 2012-10-18
US20190066703A1 (en) 2019-02-28
BR122018072505B1 (pt) 2019-07-16
US20200234721A1 (en) 2020-07-23
EP2320414A1 (en) 2011-05-11
TR201811059T4 (tr) 2018-08-27
US11621005B2 (en) 2023-04-04
US10339942B2 (en) 2019-07-02
EP1844465A2 (en) 2007-10-17
JP2008530603A (ja) 2008-08-07
US11495239B2 (en) 2022-11-08
BRPI0607166B1 (pt) 2019-06-25
CN102123341A (zh) 2011-07-13
KR100924577B1 (ko) 2009-11-02
ES2682073T3 (es) 2018-09-18
US10657975B2 (en) 2020-05-19
US20070291951A1 (en) 2007-12-20
WO2006084916A2 (en) 2006-08-17
US9668078B2 (en) 2017-05-30
AU2010236053A1 (en) 2010-11-18
US11682407B2 (en) 2023-06-20
US20220392469A1 (en) 2022-12-08
HK1159392A1 (en) 2012-07-27
CN102123341B (zh) 2013-07-03
RU2376654C2 (ru) 2009-12-20
KR20070107698A (ko) 2007-11-07
WO2006084916A3 (en) 2007-03-08
US10650835B2 (en) 2020-05-12
US20220392468A1 (en) 2022-12-08
US20190066704A1 (en) 2019-02-28
PL1844465T3 (pl) 2012-03-30
CA2707761A1 (en) 2006-08-17
US20220392466A1 (en) 2022-12-08
US20170055095A1 (en) 2017-02-23
BR122018072501B1 (pt) 2019-07-09
BRPI0607166A2 (pt) 2009-08-11
EP2320414B1 (en) 2018-05-02
EP1995721A1 (en) 2008-11-26
US10643629B2 (en) 2020-05-05
US20170103763A9 (en) 2017-04-13
CN101133441A (zh) 2008-02-27
CN101133441B (zh) 2011-05-25
BR122018072508B1 (pt) 2019-07-16
US20190066705A1 (en) 2019-02-28
IL185192A (en) 2014-02-27
CA2597746C (en) 2016-02-16
AU2006212191A1 (en) 2006-08-17
US11621006B2 (en) 2023-04-04
RU2007134215A (ru) 2009-03-20
US11621007B2 (en) 2023-04-04
NO20073892L (no) 2007-11-14
JP5638037B2 (ja) 2014-12-10
HK1107723A1 (en) 2008-07-11
US20190066706A1 (en) 2019-02-28
US20220392467A1 (en) 2022-12-08
EP1691348A1 (en) 2006-08-16
ATE531035T1 (de) 2011-11-15
AU2009200407B2 (en) 2010-11-25
NO338701B1 (no) 2016-10-03

Similar Documents

Publication Publication Date Title
JP5638037B2 (ja) オーディオソースのパラメトリックジョイント符号化
JP2007531027A (ja) レベル・パラメータを生成する装置と方法、及びマルチチャネル表示を生成する装置と方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130819

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140725

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141021

R150 Certificate of patent or registration of utility model

Ref document number: 5638037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250