JP2007526522A - マルチチャンネルオーディオコーディング - Google Patents

マルチチャンネルオーディオコーディング Download PDF

Info

Publication number
JP2007526522A
JP2007526522A JP2007501875A JP2007501875A JP2007526522A JP 2007526522 A JP2007526522 A JP 2007526522A JP 2007501875 A JP2007501875 A JP 2007501875A JP 2007501875 A JP2007501875 A JP 2007501875A JP 2007526522 A JP2007526522 A JP 2007526522A
Authority
JP
Japan
Prior art keywords
audio
channel
phase angle
channels
shifting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007501875A
Other languages
English (en)
Other versions
JP4867914B2 (ja
JP2007526522A5 (ja
Inventor
デイビス、マーク・フランクリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of JP2007526522A publication Critical patent/JP2007526522A/ja
Publication of JP2007526522A5 publication Critical patent/JP2007526522A5/ja
Application granted granted Critical
Publication of JP4867914B2 publication Critical patent/JP4867914B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

オーディオの複数のチャンネルは、結合されて、モノフォニックコンポジット信号又は、オーディオの複数のチャンネルを復元させる関連する補助情報が加えられた複数のチャンネルになり、これには、複数のオーディオチャンネルからモノフォニックオーディオ信号又は複数のオーディオチャンネルにダウンミキシングする改良された技法と、モノフォニックオーディオチャンネル又は複数のオーディオチャンネルから導き出した複数のオーディオチャンネルをデコリレートする改良された技法とが含まれている。開示する発明は、オーディオエンコーダ、デコーダ、エンコーディング/デコーディングシステム、ダウンミキサー、及びデコリレータに有用である。

Description

本発明は、一般にオーディオ信号処理に関するものである。本発明は、低ビットレート及び非常に低いビットレートのオーディオ信号処理に特に有効である。さらに具体的には、発明の特徴は、コンポジットモノフォニック(「モノ」)オーディオチャンネル及び補助(「サイドチェーン」)情報により表現される複数のオーディオチャンネルにおけるオーディオ信号のエンコーダ(又はエンコーディングプロセス)、デコーダ(又はデコーディングプロセス)、及びエンコード/デコードシステム(又はエンコーディング/デコーディングプロセス)に関する。複数のオーディオチャンネルは、複数のオーディオチャンネルとサイドチェーン情報とで表現される場合もある。本発明の特徴は又、マルチチャンネルからコンポジットモノフォニックチャンネルへのダウンミキサー(又はダウンミキシングプロセス)と、モノフォニックチャンネルからマルチチャンネルへのアップミキサー又はアップミキシングプロセス)と、モノフォニックチャンネルからマルチチャンネルへのデコリレータ(decorrelator)(又はデコリレーションプロセス)とに関する。本発明の他の特徴は、マルチチャンネルからマルチチャンネルへのダウンミキサー(又はダウンミキシングプロセス)と、マルチチャンネルからマルチチャンネルへのアップミキサー(又はアップミキシングプロセス)と、デコリレータ(又はデコリレーションプロセス)とに関する。
AC‐3オーディオエンコーディング及びデコーディングシステムにおいて、システムのビット数が不足状態になると、チャンネルは選択的に高周波数で結合または「カップリング」される。AC‐3システムは技術的によく知られている。例えば、ATSC標準A52/A、ディジタルオーディオ圧縮標準(AC‐3)リビジョンA、アドバンスド・テレビジョンシステム委員会,2001年8月20日刊を参照のこと。A52/Aの書類は、ワールドワイドウェブhttp://www.atsc.org/standards.htmlにて見ることが出来る。このA52/Aの書類は、その全部を参照としてここに組み込むものとする。
請求によりAC‐3システムによりチャンネルに結合されるときの周波数は「カップリング」周波数と称される。カップリング周波数の上に、この結合されたチャンネルがさらに結合されて「カップリング」チャンネル又はコンポジットチャンネルとなる。エンコーダは、各チャンネルのカップリング周波数上の各サブ帯域に対する「カップリング座標」(振幅スケールファクター)を生成する。このカップリング座標は、結合された各チャンネルにおけるサブ帯域の元のエネルギーの、コンポジットチャンネルにおける対応するサブ帯域のエネルギーに対する比率を示す。このカップリング周波数以下では、チャンネルは別々にエンコードされる。位相はずれによる信号成分の削除を減少させるために結合されたチャンネルを1以上の他の結合されたチャンネルと結合させる前に、その結合されたチャンネルのサブ帯域の位相の極性を反転させておいてもよい。コンポジットチャンネルは、カップリング座標とチャンネルの位相が反転されているかどうかのサブ帯域毎の情報を含んだサイドチェーン情報とともに、デコーダに送られる。実際には、AC‐3システムの商用実施の形態において、このカップリング周波数は約10kHzから3500Hzの範囲を持つ。米国特許5,583,962、5,633,981、5,727,119、5,909,664、及び6,021,386には、複数のオーディオ チャンネルを1つのコンポジットチャンネルと補助情報又はサイドチェーン情報に結合すること、及び、それを元の複数のチャンネルに近似させて復元することについての教示が含まれている。これらの特許もすべてここに参照として組み込む。
本発明の特徴は、AC‐3エンコーディングシステム及びAC‐3デコーディングシステムのカップリング技術の改良であり、また、複数チャンネルのオーディオを結合して、モノフォニックコンポジット信号又は関連する補助情報が加えられた複数チャンネルのオーディオにし、それを元の複数チャンネルのオーディオに復元する他の技術の改良であると考えることが出来る。また本発明の特徴は、複数のオーディオチャンネルをモノフォニックディオ信号又は複数のオーディオチャンネルにダウンミキシングする技術の改良であり、モノフォニックオーディオチャンネル又は複数のオーディオチャンネルから抽出した複数のオーディオチャンネルをデコリレートすることの技術の改良であると考えることも出来る。
本発明の特徴は、さらに改良された位相補償、デコリレーション機構、及び信号に依存する可変時定数を使うことによりチャンネルカップリングを改良する、N:1:Nの空間的なオーディオコーディング技術(ここで「N」はオーディオチャンネル数)又は、M:1:Nの空間的なオーディオコーディング技術(ここで「M」はエンコードされたオーディオチャンネル数、そして「N」はデコードされたオーディオチャンネル数)に採用することが出来る。本発明の特徴は、N:x:N及びM:x:Nの空間的なオーディオコーディング技術にも用いることが出来る。ここで、「x」は1以上であってもよい。本発明の目的には、ダウンミキシングを行う前にチャンネル間の相対的な位相を調整することにより、エンコーディング処理におけるカップリング解除アーティファクトを減少させること、及び、位相角デコーダにおけるデコリレーションの程度を復元することにより、再生された信号の空間的な次元を改善することが含まれる。本発明の特徴は実際の実施の形態で実施されたとき、求めに応じてチャンネルカップリングするより、連続でチャンネルカップリングすることを考慮すべきであり、例えばAC‐3システムより低いカップリング周波数とし、必要なデータレートを下げることを考慮すべきである。
図1を参照すると、本発明の特徴を実施したN:1エンコーダ機能又は装置が示されている。図は、本発明の特徴を実行する基本的なエンコーダとしての動作を行う機能または構造の一例である。以下に示す代替的な及び/又は同等の機能又は構造を含む本発明の特徴を実行する他の機能または構成を採用してもよい。
2以上のオーディオ入力チャンネルがエンコーダに適用される。しかし、原則として、本発明の特徴はアナログ、ディジタル、またはアナログ/ディジタルのハイブリッドでの実施の形態で実施することができるが、ここではディジタルの実施の形態を記載する。したがって、入力信号は、アナログオーディオ信号から導き出された時間サンプルでもよい。この時間サンプルは、線形パルス符号変調(PCM)信号としてエンコードされたものでもよい。各線形PCMオーディオ入力チャンネルは、512ポイントの窓処理された(高速フーリエ変換(FFT)で実行された)フォワード離散フーリエ変換(DFT)のような、同相かつ直交出力を有するフィルターバンク機能又はフィルターバンク装置により処理される。このフィルターバンクは、時間領域から周波数領域への変換であると考えてもよい。
図1は、それぞれ、フィルターバンク機能又はフィルターバンク装置、「フィルターバンク」2、に入力された第1のPCMチャンネル入力(チャンネル「1」)、及び、他のフィルターバンク機能又はフィルターバンク装置、「フィルターバンク」4、に入力された第2のPCMチャンネル入力(チャンネル「2」)を示す。ここで、「n」個の入力チャンネル、ここで「n」は2以上の正の整数全体を示す、であってもよい。したがって、ここでまた、それぞれが「n」個の入力チャンネルのうちの1つを受け取る「n」個のフィルターバンクが存在する。説明を簡単にするために、図1では2つの入力チャンネル「1」と「n」のみを示している。
フィルターバンクがFFTで実行される場合は、入力時間領域信号は連続するブロックに分割され、通常重複したブロックとして処理される。FFTの離散周波数出力(変換係数)はビンと言われ、各々が、それぞれ位相及び直交成分に対応する実部と虚部とを持つ複素数値を有する。連続する変換ビンは、人間の耳の臨界帯域幅に近いサブ帯域にグループ分けしてもよい。後で説明するがエンコーダにより生成されたほとんどのサイドチェーン情報は、処理資源を最小限にしビットレートを減らすために各サブ帯域を基準に計算と伝達がなされることとしてもよい。時間領域の連続する複数のブロックは、サイドチェーンデータレートを最小限にするために、平均化された個々のブロック値又は各フレームに亘ってして積算されたブロック値を持つフレームにグループ分けしてもよい。ここに記載した例では、各フィルターバンクはFFTにより実行され、連続する変換ビンはサブ帯域にグループ分けされ、ブロックはフレームグループ分けされ、サイドチェーンデータは、フレームごとに1回を基準に送られる。
あるいは、サイドチェーンデータをフレームごとに2回以上(例えばブロックごとに1回)を基準に送ってもよい。例えば、図3及びその説明を参照のこと。よく知られているように、サイドチェーン情報が送られるときの周波数と必要とされるビットレートとはトレードオフの関係になっている。
本発明の特徴の実用的な実施の形態では、48kHzのサンプリングレートが採用されたとき32ミリセカンドの固定長フレームを採用し、各フレームは5.3ミリセカンドの各区間に6個のブロックを持つ(例えば、50%の重複を持ち約10.6ミリセカンドの期間を持つブロックを採用する)。しかし、ここで説明するフレームごとを基準に送られる情報が40ミリセカンド毎以上の周波数で送られることを条件に、そのようなタイミングも固定長のフレームを採用することもブロックを固定された数に分割することも本発明の特徴を実行する上で本質的なものとはならない。フレームは任意のサイズでよく、そのサイズはダイナミックに変化してもよい。可変ブロック長は上記のAC‐3システムに採用されたようなものでもよい。「フレーム」と「ブロック」がここで言及されていることが分かる。
実際には、コンポジットモノチャンネル信号又はコンポジットマルチチャンネル信号、又は、コンポジットモノチャンネル信号又はコンポジットマルチチャンネル信号と離散低周波チャンネルとが、以下に説明するように例えば、知覚的コーダ(perceptual coder)によりエンコードさる場合、知覚的コーダディジタル採用されたのと同じフレームとブロックを採用するのが好都合である。さらに、その時々にあるブロック長から他のブロック長に切換るような可変ブロック長を、そのコーダが採用する場合、このようなブロックの切り換えが起こったとき、ここに説明するように1以上のサイドチェーン情報が交信されるのが好ましい。このような切換の発生に際してサイドチェーン情報の更新に上乗せされるデータの増加を最小にするために、更新されたサイドチェーン情報の周波数分解能を減少させてもよい。
図3は、(垂直)周波数軸に沿って表したビンとサブ帯域の単純化した構成と、(水平)時間軸に沿って表したブロックとフレームの単純化した構成の一例である。臨界帯域に近似するサブ帯域にビンが分割されたとき、最も低周波のサブ帯域は最小のビン数(例えば1個)を持ち、周波数が増えるに従いサブ帯域ごとのビン数が増える。
図1に戻って、各チャンネルのそれぞれのフィルターバンク(この例ではフィルターバンク2及び4)により生成された、n個の時間領域入力が周波数領域に変換されたものは、加算的合成機能又は加算的合成装置「加算的コンバイナ」6により、加算され(「ダウンミックスされ」)モノフォニックコンポジットオーディオ信号になる。
ダウンミックスは、入力オーディオ信号の全周波数帯域幅で適用することが出来る。あるいは、ダウンミックス処理におけるアーティファクトが中間周波数から低周波数で可聴になるかもしれないのなら、「カップリング」周波数以上の周波数に限定してもよい。このような場合、そのチャンネルを個別にカップリング周波数以下で搬送してもよい。この戦略は処理アーティファクトが出ない場合であっても好ましい。この場合において、ビンを臨界帯域に近似するサブ帯域(サイズがほぼ周波数に比例する)にグループ分けして変換することにより作られた中間/低周波数のサブ帯域は、低周波数において変換ビンの数は少なくなる傾向にあり、ダウンミックスされたモノオーディオ信号をサイドチェーン情報とともに送るのに必要とされるものより少ないビット数で直接コーディングすることが出来る。4kHz,2300Hz,1000Hz、又は、エンコーダに入力されたオーディオ信号の周波数帯域の最低値でのカップリング周波数または転移周波数を、低ビットレートであることが重要な特定のアプリケーションに適用してもよい。他の周波数で、ビットの節約とリスナーの受け入れとの間で適切なバランスを取ることが出来る。特定のカップリング周波数を選択することは本発明にとって本質的なことではない。このカップリング周波数は、可変としてもよく、可変とする場合は、例えば入力信号特性に間接的または直接的に依存する。
ダウンミックスする前に、チャンネルが結合される時に位相が一致しない信号成分の削除量を減らすために、お互いに向かい合ったチャンネル位相角の配置を改善すること、及び、改善したモノコンポジットチャンネルを提供することが、本発明の特徴である。これは、チャンネルにおける変換ビンのいくつかまたはすべての「絶対角」を時間的に調整可能にずらすことにより達成することが出来る。例えば、カップリング周波数以上のオーディオを表現し、それにより関係する周波数帯域を定める変換ビンのすべては、あらゆるチャンネルで、又は、1つのチャンネルが参照として用いられているときはその参照チャンネルを除くすべてで、時間的に調整可能にずらすことができる。
ビンの「絶対角」は、フィルターバンクにより生成される変換ビンの各複素数値を表現する大きさと角度の内の角度だと理解してもよい。チャンネルにおけるビンの絶対角を調整可能にずらすことは、角回転機能または角回転装置(「角回転」)により実施される。角回転8は、加算的コンバイナ6により行われるダウンミックス加算の適用の前に、フィルターバンク2の出力に加工を加える。一方、角回転10は、加算的コンバイナ6により行われるダウンミックス加算の適用の前に、フィルターバンク4の出力に加工を加える。信号状態によっては、ある期間(ここに例示したフレームの期間)に亘って特定の変換ビンに対して角回転が不要になることは評価される。カップリング周波数以下で、チャンネル情報を離散的にエンコードすることも出来る(図1には示されていない)。
原則として、チャンネル位相角のお互いの配列の改善は、関連する全周波数帯域に亘って各ブロックにおける絶対位相各を負にすることで、各変換ビンまたはサブ帯域の位相をずらすことにより達成することができる。これは実質的に、位相はずれによる信号成分の削除を避けるものであるが、これは、特に結果として現れるモノコンポジット信号を個別に聞く場合は、アーティファクトを可聴にする傾向がある。したがって、ダウンミックス処理において位相はずれによる削除を最小限にし、デコーダにより再構成したマルチチャンネル信号の空間的なイメージの崩壊を最小限にするために、チャンネルにおけるビンの絶対角の移動を必要最小限にする「最小処理」の原理を採用することが望ましい。そのような角移動の技法を以下に詳述する。この技法には、時間と周波数の平滑化が含まれ、トランジェントの存在に応答して信号処理を行う方法が含まれる。
エネルギーの正規化は、以下に説明するように、個々のビンの残されたどんな位相はずれによる削除量をも減少させるためにエンコーダにおいてビン毎を基準に行うこともできる。また、以下に説明するように、エネルギーの正規化を、チャンネルに寄与するエネルギーの合計に等しいモノコンポジット信号のエネルギーを確保するために、(エンコーダにおいて)サブ帯域ごとを基準に行うことも出来る。
各入力チャンネルは、そのチャンネルのサイドチェーン情報を生成するために、そしてダウンミックス加算6に入力する前にチャンネルに加える角回転の量または角度を制御するために、チャンネルと関係付けられたオーディオアナライザ機能又はオーディオアナライザ装置(「オーディオアナライザ」)を有している。チャンネル1及びnのフィルターバンク出力はオーディオアナライザ12とオーディオアナライザ14にそれぞれ入力する。オーディオアナライザ12はチャンネル1のサイドチェーン情報とチャンネル1の位相角回転の量を生成する。オーディオアナライザ14はチャンネルnのサイドチェーン情報とチャンネルnの位相角回転の量を生成する。ここで「角」と呼ばれるものは、位相角を意味することが分かるであろう。
各チャンネルのオーディオアナライザにより生成される各チャンネルのサイドチェーン情報には、
振幅スケールファクター(「振幅SF」)
角制御パラメータ
デコリレーションスケールファクター(「デコリレーションSF」)
トランジェントフラグ、及び
任意的に、補間フラグ
が含まれる。
このようなサイドチェーン情報は、「空間的なパラメータ」として特徴づけられ、チャンネルの空間的な特性を示し、及び/又は、トランジェントのような空間的な処理に関する信号特性を示す。各場合において、サイドチェーン情報は、(トランジェントフラグと補間フラグとを除いて、これらはチャンネル内のすべてのサブ帯域に適用される)単一のサブ帯域に適用され、以下に例示するように、フレームごとに一度、又は、対応するコーダにおいてブロック切換が起こるたびに更新される。また、様々な空間的なパラメータの詳細については、以下に述べる。エンコーダにおける特定のチャンネルの角回転は、サイドチェーン情報の一部をなす極性を反転させた角制御パラメータと考えてよい。
参照チャンネルが採用されると、そのチャンネルはオーディオ アナライザを必要としないか、あるいは、振幅スケールファクターサイドチェーン情報のみを生成するオーディオアナライザを必要とする。そのスケールファクターが、他の参照チャンネルではないチャンネルの振幅スケールファクターから、十分な精度を持ってデコーダにより推定される場合は、振幅スケールファクターを送る必要はない。以下に示すように、エンコーダにおけるエネルギーの正規化により、あらゆるサブ帯域でのチャンネルでのスケールファクターが実質的に2乗和が1になる場合は、参照チャンネルの振幅スケールファクターの近似値をデコーダで推定することが出来る。再生したマルチチャンネルオーディオのイメージをずらしてしまうことになる振幅スケールファクターの比較的粗い量子化の結果、ここで推定した、参照チャンネルの振幅スケールファクターの近似値は、誤差を有する場合がある。しかし、低データレート環境において、そのようなアーティファクトは、そのビットを参照チャンネルの振幅スケールファクターを送るために用いるより受け入れやすいであろう。とはいうものの、場合によっては、少なくとも振幅スケールファクターサイドチェーン情報を生成するオーディオアナライザを参照チャンネルとして採用することが望ましいであろう。
図1では、PCM時間領域からチャンネルにおけるオーディオアナライザへの入力のうち、各オーディオアナライザへの任意的な入力を点線で示している。この入力は、ある期間(ここに記載された例におけるブロック又はフレームの期間)でのトランジェントを検出するため、及び、トランジェントに応答してトランジェント表示(例えば、1ビットの「トランジェントフラグ」)を生成するためにオーディオアナライザにより用いられる。あるいは、以下の図4におけるステップ408の解説に記載するとおり、トランジェントは周波数領域で検出されるかもしれず、この場合は、オーディオアナライザは時間領域入力を受け取る必要はない。
すべてのチャンネルの(または参照チャンネルを除くすべてのチャンネルの)モノコンポジットオーディオ信号とサイドチェーン情報は、記憶、デコーディング処理又は装置(「デコーダ」)への伝達又は伝達と記憶を行うことができる。記憶、伝達、又は記憶及び伝達の準備として、種々のオーディオ信号と種々のサイドチェーン情報を、記憶、伝達、又は記憶及び伝達のための媒体に適した1以上のビットストリームに多重化し圧縮してもよい。記憶、伝達、又は記憶及び伝達の前に、このモノコンポジットオーディオ信号に、例えば知覚型エンコーダ又は知覚型エンコーダ及びエントロピーコーダ(例えば、算術的コーダ又はホフマンコーダ)(しばしば、「無損失」コーダといわれる)のような、データレートを削減するエンコーディング処理又は装置を適用してもよい。また、上述のように、特定の周波数(「カップリング」周波数)以上のオーディオ周波数に対してのみ、このモノコンポジットオーディオとそれに対応するサイドチェーン情報を複数の入力チャンネルから導き出してもよい。この場合、複数の入力チャンネルにおける各々のカップリング周波数以下のオーディオ周波数は、個別のチャンネルとして記憶、伝達、又は記憶及び伝達してもよく、又は、ここに記載されたのとは別の方法で、結合してもよく処理してもよい。このような個別のチャンネル又は他の方法で結合されたチャンネルには、例えば、知覚型エンコーダ又は知覚型エンコーダ及びエントロピーコーダのような、データを削減するエンコーディング処理又は装置を適用してもよい。このモノコンポジットオーディオと個別マルチチャンネルオーディオには、総合的な知覚型エンコーディング又は知覚型エンコーディング及びエンコーディングの処理または装置を適用してもよい。
サイドチェーン情報をエンコーダのビットストリームに組み入れる特定の方法は、本発明にとって本質的なものではない。必要に応じて、このサイドチェーン情報を、従来のデコーダ(すなわち、ビットストリームが後方互換性[backwards‐compatible]のある)と互換性のあるような方法で組み入れてもよい。これを行うために多くの適切な方法が知られている。例えば、多くのエンコーダは、デコーダにより無視される不要な又は無効なビットを有するビットストリームを生成する。このような構成の例が、Truman他の米国特許6,807,528B1、表題「Adding Data to a Compressed Data Frame」、2004年10月19日、に記載されている。この特許は、そのすべてを参照として明細書に組み込む。このようなビットをサイドチェーン情報に置き換えてもよい。他の例として、サイドチェーン情報は、エンコーダのビットストリーム内にステガノグラフィー的にエンコードされたものでもよい。あるいは、このような情報をモノ/ステレオ・ビットストリームと共に従来のデコーダで伝達又は記憶することのできる技術で、後方互換性のあるビットストリームとは別に、サイドチェーン情報を記憶又は伝達してもよい。
[基本となる1:N及び1:Mデコーダ]
図2を参照すると、本発明の特徴を具体化したデコーダ機能又は装置(「デコーダ」)が示されている。この図は、本発明の特徴を具体化した基本となるデコーダを実行する機能又は構成の1例である。以下に説明する他の及び/又は等価な機能または構成を含んで、本発明の特徴を実施する他の機能または構成を採用することもできる。
このデコーダは、すべてのチャンネル又は参照チャンネルを除くすべてのチャンネルのモノコンポジットオーディオ信号とサイドチェーン情報とを受け取る。必要ならば、このコンポジットオーディオ信号とサイドチェーン情報は、逆多重化、伸張、及び/又は、デコードされる。デコーディングでは、テーブルを参照してもよい。目的は、モノコンポジットオーディオチャンネルから、以下に記載するような本発明のビットレート削減技法に従い、図1のエンコーダに適用したオーディオチャンネルのそれぞれに近似する複数の個別のオーディオチャンネルを導き出すことである。
エンコーダに適用するチャンネルの一部は復元しないこと、又は、モノフォニックコンポジット信号にのみ用いることを選択してもよいことはいうまでもない。あるいは、2002年2月7日に出願され、2002年8月15日に公開された、米国を指定した国際出願PCT/US02/03619であって、2003年8月5日に米国に国内移行された出願S.N.10/522,515、及び、2003年8月6日に出願され、2001年3月4日にWO2004/019656として公開された、米国を指定した国際出願PCT/US03/24570であって、2005年1月27日に米国に国内移行された出願S.N.10/522,515に記載された発明の特徴を採用することによって、このエンコーダに使用されるチャンネルに加えて、チャンネルを、本発明の特徴によるデコーダの出力から導き出してもよい。上記出願は、そのすべてを参照として本出願に組み込む。復元されたチャンネルが、有益なチャンネル間の振幅の関係のみならず有益なチャンネル間の位相の関係も有する、上記で引用し組み込んだチャンネル増殖技法との関連において、本発明の特徴を実行するデコーダにより復元されるチャンネルは特に有効である。チャンネル増殖するための他の手段は、付加的なチャンネルを導き出すためのマトリックスデコーダを採用することである。本発明の特徴であるチャンネル間の振幅と位相の保存により、本発明の特徴を採用したデコーダの出力チャンネルが、振幅と位相に敏感なマトリックスデコーダの用途に特に適したものとなる。信号を適用したときにのみ適切に動作するような広帯域制御回路を採用するこのようなマトリックスデコーダは、信号の帯域幅全体にわたってステレオとなる。したがって、Nが2であるN:1:Nシステムに本発明の特徴が具体化された場合、デコーダにより復元される2チャンネルは2:Mのアクティブマトリックスデコーダに採用することができる。このようなチャンネルは、上述のように、カップリング周波数以下の個別チャンネルになっているかもしれない。例えば、「Pro Logic」及び「Pro Logic II」(「Pro Logic」は、ドルビー・ラボラトリーズ・ライセンシング・コーポレーションの登録商標である)として知られるマトリックスデコーダも含めて、多くの適切なマトリックスデコーダが当業者によく知られている。Pro Logicデコーダの特徴は米国特許4,799,260及び4,941,177に開示されており、それぞれそのすべてを本明細書に参照として組み込む。Pro Logic IIデコーダの特徴は、Fosgateの係属中の米国特許出願S.N.09/532,711、表題「Method for Deriving at Least Three Audio Signals」、2000年3月22日出願、であって、2001年6月7日にWO01/41504で公開された出願、及び、Fosgate他の係属中の米国特許出願S.N.10/362,786、表題「Method for Audio Matrix Decoding」2003年2月25日出願、であって、2004年7月1日US2004/0125960A1として公開された出願に開示されている。これらの出願はそのすべてを本明細書に参照として組み込む。ドルビープロロジック(Dolby Pro logic)及びPro Logic IIデコーダの動作は、例えば、ドルビー・ラボラトリーズのウェブサイト(www.dolby.com)でRoger Dresserの「Dolby Surround Pro Logic Decoder」の論文に、及び、Jim Hilsonの「Mixing with Dolby Pro Logic II Technology」の論文に記載されている。他の適切なアクティブマトリックスデコーダについては、1以上の以下の米国特許と公開された国際出願(それぞれ米国が指定国になっている)にも記載されている。すなわち、5,046,098、5,274,740、5,400,433、5,625,696、5,644,640、5,504,819、5,428,687、5,172,415、及びWO02/19768であり、これらはそのすべてを本明細書に参照として組み込む。
図2を参照すると、受け取ったモノコンポジットオーディオチャンネルは複数の信号経路に入力され、そこから複数のオーディオチャンネルのそれぞれが導き出される。各チャンネルを導き出す経路には、いずれかの順序で、振幅調整機能又は装置(「振幅調整」)及び角回転機能又は装置(「角の回転」)が含まれている。
振幅調整は、モノコンポジット信号に利得と損失を与えるので、ある信号状態において、導き出された出力チャンネルの相対的な出力振幅(又はエネルギーが)、エンコーダの入力におけるチャンネルの相対的な出力振幅と類似する。ある信号状態において、次に説明するように、「ランダム化された」角変化が加えられ、制御可能な量の「ランダム化された」振幅変化もまた、復元した他のチャンネルのデコリレーションを改善するために、復元したチャンネルの振幅に加えられる。
この角の回転が位相回転に適用されるので、ある信号状態において、モノコンポジット信号から導き出された出力チャンネルの相対的な位相角が、エンコーダの入力におけるチャンネルの相対的な位相角と類似する。ある信号状態において、復元した他のチャンネルのデコリレーションを改善するために、復元したチャンネルの角に、制御可能な量の「ランダム化された」角変化も加えられることが好ましい。
さらに以下に説明するように、「ランダム化された」角変化には、擬似ランダム変化と真のランダム変化のみならず、チャンネル間の相互相関を減少させる効果を持つ決定論的過程により生成された変化も含まれる。これについては、以下の図5Aのステップ505の解説においてさらに説明する。
概念的には、特定のチャンネルに対するこの振幅調整及び角の回転は、そのチャンネルに相応の復元された変換ビンを生じさせるために、モノコンポジットオーディオDFT係数に倍率を掛ける。
各チャンネルに対する振幅調整は、少なくとも特定のチャンネルに対する復元されたサイドチェーンの振幅スケールファクターにより調整することができ、あるいは、参照チャンネルの場合は、参照チャンネルのサイドチェーンの振幅スケールファクターによるか又は、参照チャンネルではない他のチャンネルの復元されたサイドチェーンの振幅スケールファクターから推定した振幅スケールファクターにより調整することができる。あるいは、復元されたチャンネルのデコリレーションを向上させるために、振幅調整も、特定のチャンネルに対する復元されたサイドチェーンデコリレーションスケールファクターから導き出されたランダム化された振幅スケールファクターパラメータと、特定のチャンネルに対する復元されたサイドチェーントランジェントフラグとにより調整することができる。
各チャンネルの回転角は、少なくとも復元されたサイドチェーン角制御パラメータにより調整することができる(この場合、デコーダの角回転はエンコーダにおける角回転により提供された角回転を実質的に元に戻す)。復元されたチャンネルのデコリレーションを向上させるために、角回転も、特定のチャンネルに対する復元されたサイドチェーンデコリレーションスケールファクターから導き出されたランダム化された角制御パラメータと、特定のチャンネルに対する復元されたサイドチェーントランジェントフラグとにより調整することができる。チャンネルに対するランダム化された角制御パラメータと、もし採用するなら、チャンネルに対するランダム化された振幅スケールファクターとは、そのチャンネルに対する復元されたデコリレーションスケールファクターと、そのチャンネルに対する復元されたトランジェントフラグから、制御可能なデコリレータ(decorrelator)機能又は装置(「デコリレータ」)により、導き出すことができる。
図2を参照すると、復元されたモノコンポジットオーディオは、チャンネル1のオーディオを導き出す第1のチャンネルオーディオ復元経路22に入力され、かつ、チャンネルnのオーディオを導き出す第2のチャンネルオーディオ復元経路24に入力される。オーディオ経路22には、振幅調整26、角回転28、及び、PCM出力が要求される場合は、逆フィルターバンク機能又は装置(「逆フィルターバンク」)30が含まれる。同様に、オーディオ経路24には、振幅調整32、角回転34、及び、PCM出力が要求される場合は、逆フィルターバンク機能又は装置(「逆フィルターバンク」)36が含まれる。図1の場合と同様に、分かりやすいように2つのチャンネルのみを示したが、2つ以上のチャンネルとなってもよいことは理解されよう。
第1のチャンネル、すなわちチャンネル1、に対する復元されたサイドチェーン情報には、基本エンコーダの説明に関連して上述したように、振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、トランジェントフラグ、及び、任意的に補間フラグが含まれていてもよい。振幅スケールファクターは、振幅調整26のために入力される。任意的な補間フラグが採用される場合は、各周波数に亘って(例えば、チャンネルの各サブ帯域の各ビンに亘って)角制御パラメータを補間するために周波数補間装置又は機能(「インターポレータ」)27を用いてもよい。このような補間は、各サブ帯域の中心間でのビンの角度の線形補間であってもよい。以下に説明するように、1ビット補間フラグの状態により、角周波数に亘る補間が行われるかどうかが選択される。トランジェントフラグとデコリレーションスケールファクターは、ランダム化された角制御パラメータを生成する可制御デコリレータ(decorrelator)38に入力される。以下に説明するように、1ビットトランジェントフラグにより、2つの複数モードのランダム化された角デコリレーションの内の1つが選択される。補間フラグと角周波数に亘る補間が用いられる場合に各周波数に亘って補間される角制御パラメータと、ランダム化された角制御パラメータとは、角の回転28に対する制御信号を出すために加算結合器又は結合機能40により、加算される。あるいは、ランダム化された角制御パラメータを生成することに加えて、トランジェントフラグとデコリレーションスケールファクターに応答して可制御デコリレータ38もまた、ランダム化された振幅スケールファクターを生成してもよい。振幅調整26のための制御信号を作るために、振幅スケールファクターに、加算結合器又は結合機能(不図示)により、このようなランダム化された振幅スケールファクターを加算してもよい。
同様に、第2のチャンネル、すなわちチャンネルn、に対する復元されたサイドチェーン情報には、基本エンコーダの説明に関連して上述したように、振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、トランジェントフラグ、及び、任意的に補間フラグが含まれていてもよい。振幅スケールファクターは、振幅調整32のために入力される。各周波数に亘って角制御パラメータを補間するために周波数補間装置又は機能(「インターポレータ」)33を用いてもよい。チャンネル1と同様に、1ビット補間フラグの状態により、角周波数に亘る補間が行われるかどうかが選択される。トランジェントフラグとデコリレーションスケールファクターは、ランダム化された角制御パラメータを生成する可制御デコリレータ42に入力される。以下に説明するように、チャンネル1と同様に、1ビットトランジェントフラグにより、2つの複数モードのランダム化された角デコリレーションの内の1つが選択される。角制御パラメータとランダム化された角制御パラメータとは、角の回転34に対する制御信号を出すために加算結合器又は結合機能44により、加算される。あるいは、チャンネル1に関連して上述したように、ランダム化された角制御パラメータを生成することに加えて、トランジェントフラグとデコリレーションスケールファクターに応答して可制御デコリレータ42もまた、ランダム化された振幅スケールファクターを生成してもよい。振幅調整32のための制御信号を作るために、加算結合器又は結合機能(不図示)により、振幅スケールファクターとランダム化された振幅スケールファクターとを加算してもよい。
このように記載したプロセスまたはトポロジー(topology)は理解に役立つが、同じか又は同様の結果をもたらす代替的なプロセス又はトポロジーにより本質的に同じ結果を得ることができる。例えば、振幅調整26(32)と角の回転28(34)の順序を逆にしてもよく、及び/又は、1つは角制御パラメータに応答し、もう1つはランダム化された角制御パラメータに応答する、2つ以上の角の回転があってもよい。図5の例で以下に説明するように、角の回転もまた、1つ又は2つの機能又は装置より3つあると考えてもよい。ランダム化された振幅スケールファクターが採用される場合は、1つは振幅スケールファクターに応答し、もう1つはランダム化された振幅スケールファクターに応答する、2つ以上の振幅調整があってもよい。人間の耳は位相に対してより振幅に対しての方に感受性が強いので、ランダム化された振幅スケールファクターを採用する場合は、振幅に対する振幅スケールファクターの効果が位相角に対するランダム化された角制御パラメータの効果より小さくなるよう、ランダム化された角制御パラメータの効果と比べて振幅スケールファクターの効果を縮減することが好ましい。他の代替的なプロセス又はトポロジーとして、(ランダム化された位相角を表すパラメータを、基本位相角を表すパラメータに加算するより)基本位相角に対するランダム化された位相角の比率を制御するためにデコリレーションスケールファクターを使ってもよく、さらに、(ランダム化された振幅を表すスケールファクターを、基本振幅を表すスケールファクターに加算するより)基本振幅シフトに対するランダム化された振幅シフトを採用してもよい。
参照チャンネルを採用する場合は、基本エンコーダに関連して上述したとおり、参照チャンネルのサイドチェーン情報に振幅スケールファクターのみが含まれているのである限り、角の回転、可制御デコリレータ、及び、チャンネルの加算的コンバイナを省略してもよい。(又は、代替的に、サイドチェーン情報に参照チャンネルの振幅スケールファクターが含まれない場合は、エンコーダ内のエネルギーの正規化によりサブ帯域内の各チャンネルに亘ってスケールファクターの和が1になることが確保できるとき、他のチャンネルの振幅スケールファクターから推定してもよい。)振幅調整は、参照チャンネルに入力され、受け取った、又は導き出された参照チャンネルに対する振幅スケールファクターにより調整される。参照チャンネルの振幅スケールファクターがサイドチェーンから導き出されたとしてもあるいはデコーダから推定されたとしても、復元された参照チャンネルは、モノコンポジットチャンネルの振幅を縮小したものである。これは他のチャンネルの回転に対する参照となるため、角回転を必要としない。
復元されたチャンネルの相対的振幅の調整により、控えめなデコリレーションの程度が得られたとしても、振幅調整のみを用いたとすると、再生されたサウンドフィールドはおそらく実質的に空間性を欠くか又は多くの信号状態のイメージを欠くことになる(例えば、「崩壊した」サウンドフィールドとなる)。振幅調整は、耳が用いる唯一の音響心理学的な方向キューである耳における聴覚同士のレベル差に影響を及ぼすかもしれない。したがって、本発明の特徴によれば、付加的なデコリレーションを作るために信号状態に応じた拡張技法が採用される。表1を参照すると、本発明の特徴に従い採用された、複数の角調整を行うデコリレーション技法又は運転モードを理解するうえで役に立つ簡潔な説明が記載されている。図8及び9と関連して以下に説明する他のデコリレーション技法を、表1の技法の代わりに、又は表1の技法に加えて用いてもよい。
実際には、角回転と振幅改変は巡回畳み込み(サイクリック畳み込み又は周期的畳み込みとしても知られている)に帰結するかもしれない。一般に巡回畳み込みは避けた方がよいとされているが、巡回畳み込みの結果できる望ましくない可聴なアーティファクトは、エンコーダとデコーダにおける相補的な角シフトにより幾分減少する。加えて、巡回畳み込みの影響は、本発明の特徴を低コストで実施することにより許容範囲に収めることができる。これによれば、特にモノチャンネル又は複数チャンネルへのダウンミキシングは、例えば1500Hz以上のような一部のオーディオ周波数帯域にのみおこる(この場合は巡回畳み込みによる可聴なアーティファクトは最小限になる)。あるいは、例えば適切にゼロパッドを用いることなども含めて、適切な技法により、巡回畳み込みをなくすか最小限に抑えることができる。ゼロパッドを用いるひとつの方法は、(角回転及び振幅スケーリングを表す)周波数領域の変動を時間領域に変換し、(任意の窓により)窓化し、ゼロでパッドし、周波数領域に戻して周波数領域にある処理するオーディオ(窓処理を必要とするオーディオ)で積算することである。
Figure 2007526522
例えば調律笛の響きのような実質的に固定的なスペクトルの信号に対して、第1番目の技法(「技法1」)により、エンコーダの入力における他のチャンネルに対する相対的な元のチャンネルの角と同様の(周波数と時間に対する粒度と量子化を条件として)角に対する他の再生されたチャンネルのそれぞれの角に対して、受信したモノコンポジット信号の相対的な角が復元される。位相角差は、特に、オーディオ信号の各サイクルを耳で聞き分けることのできる約1500Hz以下の低周波数信号成分のデコリレーションを行うために、有益である。基本角シフトを生じさせるためには、技法1はすべての信号状態で動作することが好ましい。
1500Hzを超える高周波信号成分に対しては、耳は、サウンドの個別周波数を聞き分けることができず、その代わり(臨界帯域基準の)波形エンベロープを聞き分ける。したがって、上記の約1500Hzのデコリレーションは、位相角差よりも信号エンベロープにおける差により、うまく行われる。技法1にのみに従って位相角シフトを適用することだけでは、信号のエンベロープは、高周波数信号をデコリレーションするために十分に変わることはない。第2番目及び第3番目の技法(それぞれ「技法2」と「技法3」)により、ある信号状態の下で技法1により決定された角にランダム化された角変動の制御量が加算され、これにより、ランダム化されたエンベロープの変動を引き起こし、デコリレーションを向上させる。
位相角をランダムに変動させることは、信号のエンベロープをランダムに変化させる好ましい方法である。特定のエンベロープは、サブ帯域におけるスペクトル成分の振幅と位相の特定の組み合わせでの相互作用に起因して生じる。サブ帯域におけるスペクトル成分の振幅を変化させることでエンベロープが変化するが、エンベロープを著しく変化させるためには振幅を大きく変化させることを必要とし、人間の耳はスペクトル振幅の変動に対して敏感なため、振幅を大きく変化させることは望ましくない。一方、スペクトル成分の位相角を変化させることは、スペクトル成分の振幅を変化させるより大きな効果をエンベロープに与える。すなわち、スペクトル成分は同じような配置とならず、異なった時間に生じたエンベロープを定義するような補強と減算とが行われ、それにより、エンベロープが変化する。人間の耳はエンベロープに対する感度があるが、位相は分からないので、全体的なサウンドの全体的な質は実質的に同様となる。それにもかかわらず、ある信号状態では、スペクトル成分の位相をランダム化するとともにスペクトル成分の振幅をランダム化することにより、このような振幅のランダム化が好ましくない可聴アーティファクトを生じさせないということを条件として、良好に信号エンベロープのランダム化を行うことができる。
技法2又は技法3の制御量または制御の程度が、ある信号状態の下で作用することが好ましい。トランジェントフラグは技法2(トランジェントフラグがフレームレートで送られるのかブロックレートで送られるのかに応じて、フレーム又はブロックにトランジェントがない)又は技法3(フレーム又はブロックにトランジェントがある)を選択する。このようにして、トランジェントがあるか否かにより複数の運転モードが存在する。あるいは、加えて、ある信号状態で、元のチャンネル振幅を復元するようにする振幅倍率と共に制御可能な振幅のランダム化の量またはその程度を作用させてもよい。
技法2は、一団となったオーケストラのバイオリンのような、調波の多い複雑な連続信号に適している。技法3は、拍手、カスタネット、その他のような複雑なパルス又はトランジェント信号に適している(技法2では、拍手喝采のときの拍手を不鮮明にするので、そのような信号には不適である)。さらに以下に説明するように、可聴アーティファクトを最小限にするために、技法2と技法3とでは、角をランダムに変動させるために異なった時間分解能と周波数分解能とを有する。技法2は、トランジェントが存在しないときに選択される一方、技法3は、トランジェントが存在するときに選択される。
技法1は、チャンネル内のビン角をゆっくり(フレーム毎に)シフトさせる。この基本シフトの量または程度は角制御パラメータ(このパラメータがゼロのときシフトしない)により制御される。以下に説明するように、同じパラメータ又は補間されたパラメータの一方が各サブ帯域のすべてのビンに適用され、そして、このパラメータはすべてのフレームにて更新される。その結果、各チャンネルの各サブ帯域は、他のチャンネルに対して位相がシフトし、低周波数(約1500Hz以下)でのある程度のデコリレーションがなされる。しかし、技法1は、拍手喝采のようなトランジェント信号には不適当である。そのような信号状態では、再生されチャンネルには、うっとおしく不安定なくし型フィルター効果が現れる可能性がある。拍手喝采の音の場合は、すべてのチャンネルがそのフレームの期間中同じ振幅を持つ傾向があるので、再生されたチャンネルの相対振幅のみを調整することでは、本質的にデコリレーションがなされない。
技法2はトランジェントが存在しないときに動作する。技法2では、技法1の角シフトに、チャンネルにおけるビン毎をベースに時間とともに変化しないランダム化された角シフトが加算され、チャンネルのエンベロープをお互いに異なったものとさせることで、チャンネル間の複合信号のデコリレーションを行う。ランダム化された位相角の値を長期にわたって一定にすることで、ブロック毎又はフレーム毎でのビン位相角の変動を引き起こす、ブロック又はフレームにおけるアーティファクトの発生が避けられる。この技法はトランジェントが存在しないときに非常に有用なデコリレーションツールとなり、一時的にトランジェントを不鮮明にすることができる(しばしば「プレノイズ」、すなわちポストトランジェントスミアリング、と称されるものがこのトランジェントによりマスクされる)。技法2による付加的なシフト量の程度は、デコリレーションスケールファクターにより直接的に縮小・拡大される(スケールファクターがゼロの場合は付加的なシフト量はゼロとなる)。(技法1の)基礎となる角シフトに技法2により加算されたランダム化された位相角の量は、アーティファクトを奏でる可聴信号を最小限にするような方法で、デコリレーションスケールファクターにより制御されるのが理想である。このようなアーティファクトを奏でる信号の最小限化は、デコリレーションスケールファクターを導き出す方法と、以下に説明する適切な時間平滑化の方法とにより行われる。相異なる付加的な角シフト量が各ビンに適用され、このシフト値が変化しないとはいえ、同じ縮小拡大率がサブ帯域を通じて適用されこの縮小拡大率はフレーム毎に更新される。
技法3は、トランジェントフラグが送信される程度により、フレーム又はブロックにトランジェントが存在する条件下で動作する。それにより、チャンネル内の各サブ帯域のすべてのビンを、そのサブ帯域のすべてのビンに共通するランダム化された一意的な角の値だけシフトさせ、チャンネル内の信号のエンベロープのみならず振幅や位相も他のチャンネルに対してブロックからブロックへと変化させる。各ランダム化の時間分解能及び周波数分解能の変化により、チャンネル間の定常的な信号の相似性が減少し、「プレノイズ」アーティファクトを実質的に生じさせることなくチャンネルのデコリレーションが行われる。各ランダム化における周波数分解能の変化は、技法2での非常に細かいものから(チャンネルでのすべてのビンが異なる)技法3での粗いもの(サブ帯域内ではすべてのビンが同じであるがサブ帯域ごとに異なる)まで、特に「プレノイズ」アーティファクトを最小限にする上で特に有効である。耳は高周波数において純粋な角変化を感知しないが、2以上のチャンネルがラウドスピーカからリスナーへの経路上で音響的に混合されたとき、位相差により、可聴で好ましくない振幅の変化(くし型フィルターの効果)が生じる可能性があるが、これは技法3により解消される。信号のインパルス特性は、さもなければ起こったかもしれないブロックレートによるアーティファクトを最小限にする。このようにして、技法3は、チャンネルのサブ帯域毎を基準に(ブロック毎に)急速に変化するランダム化された角シフトを技法1の角シフトに加算する。加算する角シフトの量または程度は、以下に記載するとおり、デコリレーションスケールファクターにより、間接的に縮小・拡大される(スケールファクターがゼロの場合は、シフトは加算されない)。同じ縮小拡大率がサブ帯域を通じて適用されこの縮小拡大率はフレーム毎に更新される。
角調整技法は3つの技法に分けられたが、これは語義上の問題であり、これを2つの技法に分類することもできる。すなわち、(1)技法1と技法2の可変の程度、ゼロであってもよい、を結合させたもの、と(2)技法1と技法3の可変の程度、ゼロであってもよい、を結合させたものとに分類することもできる。説明の便宜上、3つの技法に分類して取り扱う。
複数モードのデコリレーション技法とこれらを改良したものは、そのようなオーディオチャンネルが本発明の特徴によるエンコーダから導き出されたものでないときでも、1以上のオーディオチャンネルからアップミキシングのときに導き出されたオーディオ信号のデコリレーションに用いられる。このような構成は、モノオーディオチャンネルに適用されたとき、しばしば「擬似ステレオ」装置又は機能と呼ばれる。モノオーディオチャンネルまたは複数のオーディオチャンネルから複数の信号を導き出すために適切などんな装置または機能(「アップミキサー」)を用いてもよい。いったんそのような複数のオーディオチャンネルがアップミキサーにより導き出されると、そのうちの1つ以上を、ここに記載の複数モードのデコリレーション技法を適用することにより、1以上の他のオーディオ信号についてデコリレーションしてもよい。そのような応用において、デコリレーション技法が適用される、導き出された各オーディオチャンネルは、導き出されたオーディオチャンネル自身からトランジェントを検出することにより、1つの動作モードから他の動作モードへ切り換えてもよい。あるいは、トランジェントが存在するときの技法(技法3)の動作を、トランジェントが存在するときのスペクトル成分の位相角をシフトさせないように単純化することもできる。
[サイドチェーン情報]
上述のように、サイドチェーン情報には、振幅スケールファクターと、角制御パラメータと、デコリレーションスケールファクターと、トランジェントフラグと、任意的な補間フラグとが含まれる。本発明の現実的な実施の形態におけるこのようなサイドチェーン情報は、以下の表2にまとめることができる。一般的にサイドチェーン情報はフレーム毎に1度更新される。
Figure 2007526522
Figure 2007526522
各場合において、チャンネルのサイドチェーン情報は、単一のサブ帯域に適用され(トランジェントと補間フラグとが除かれる。これらはチャンネルのすべてのサブ帯域に適用される)、フレーム毎に1度更新される。時間分解能(フレーム毎に1度)、周波数分解能(サブ帯域)、値のレンジ、及び表示された量子化レベルは、有用な成果をあげることができることがわかり、ビットレートと成果との間での都合の良い妥協点がわかっていた。これらの時間分解能と周波数分解能、値のレンジ、及び量子化レベルは本質的なものではなく、他の分解能、レンジ及びレベルも本発明を実行するに当たって採用することができる。例えば、トランジェントフラグ及び/又は補間フラグが採用される場合は、サイドチェーンデータのオーバーヘッドを少し増やすだけでブロック毎に1度更新することができる。トランジェントフラグについて言えば、それにより技法2から技法3への切換及びその逆がより適切に行えるという利点がある。加えて、上述の通り、サイドチェーン情報を、関連するコーダのブロック切換が生じたときに更新させてもよい。
同じサブ帯域デコリレーションスケールファクターがサブ帯域のすべてのビンに適用されるが、上記の(表1も参照)技法2は、サブ帯域周波数分解能ではなくビン周波数分解能を出力する(すなわち、異なった擬似ランダム位相角シフトが各サブ帯域ではなく各ビンに適用される)ことには留意すべきである。同じサブ帯域デコリレーションスケールファクターがサブ帯域のすべてのビンに適用されるが、上記の(表1も参照)技法3は、ブロック周波数分解能を出力する(すなわち、異なったランダム化された位相角シフトが各フレームではなく各ブロックに適用される)ことには留意すべきである。ランダム化された位相角のシフトはデコーダ内で生成され、エンコーダ内で知られる必要はないので(これはこのエンコーダがランダム化された位相角のシフトをエンコードされたモノコンポジット信号に適用する場合であり、その案を以下に説明する)サイドチェーン情報の分解能より大きいこのような分解能が可能となる。言い換えれば、デコリレーション技法はそのような粒度に用いられていてもビン粒度またはブロック粒度を含むサイドチェーン情報を送る必要はない。このデコーダは、例えば、ランダム化されたビン位相角の1以上のルックアップテーブルを用いてもよい。サイドチェーン情報レートより大きなデコリレーションのための時間分解能及び/又は周波数分解能を得ることは、本発明の特徴の一部である。このようにして、ランダム化された位相によるデコリレーションは、時間とともに変化しない(ビン毎の)細かな周波数分解能(技法2)を伴うか、又は、粗い(帯域毎の)周波数分解能と(または、さらに以下に述べるように周波数補間が採用されるときは、(ビン毎の)細かな周波数分解能と)細かな時間分解能(ブロックレート)(技法3)を伴うかのどちらかで実行される。
復元されたチャンネルの位相にランダム化された位相シフトが多く加えられれば加えられるほど、復元されたチャンネルの絶対位相が、そのチャンネルの元の絶対位相角とは異なったものとなってゆくこともよく理解しなければならない。本発明の特徴によれば、本発明に従いランダム化された位相シフトが加えられたような信号状態であるとき、復元されたチャンネルに結果として生じる絶対位相角は元のチャンネルの絶対位相角に一致する必要はないことが理解される。例えば、極端な場合、デコリレーションスケールファクターが非常に大きなランダム化された位相シフトをもたらした場合、技法2又は技法3による位相シフトが、技法1による位相シフトを圧倒してしまう。それにもかかわらず、ランダム化された位相シフトが、ランダム化された位相シフトを加算させるようなデコリレーションスケールファクターを生じさせる、元の信号における異なったランダムな位相と聴覚的に同じであることに対する懸念はない。
上述の通り、ランダム化された位相シフトに加えて、ランダム化された振幅シフトが採用されることもある。例えば、振幅調整は、その特定のチャンネルに対し復元されたサイドチェーンデコリレーションスケールファクター及びそのチャンネルに対し復元されたサイドチェーントランジェントフラグから導き出されたランダム化された振幅スケールファクターパラメータにより、制御される。このようなランダム化された振幅シフトは、ランダム化された位相シフトの応用例と類似の2つのモードで動作することができる。例えば、トランジェントがないとき、時間とともに変化しないなランダム化された振幅シフトがビン毎を基準に(ビンが異なれば異なる)加算され、(フレーム又はブロックに)トランジェントが存在するとき、ブロック毎を基準に(ブロックが異なれば異なる)変化し、サブ帯域からサブ帯域へと変化する(あるサブ帯域のすべてのビンで同じシフトとなり、サブ帯域が異なれば異なる)ランダム化された振幅シフトが加算される。ランダム化された振幅シフトが加えられる程度は、デコリレーションスケールファクターにより制御することができるが、可聴アーティファクトが生じるのを避けるため、スケールファクター値により生じるランダム化された位相シフトより小さな振幅シフトが、特定のスケールファクター値により生じると考えられる。
トランジェントフラグがフレームに適用されるとき、フレームレートまたはブロックレートよりも細かい一時的な分解能を提供するためにデコーダにおける追加的なトランジェント検出器を用意することにより、技法2か技法3かを選択する、トランジェントフラグの時間分解能が向上する。このような追加的なトランジェント検出器は、デコーダにより受け取られたモノコンポジットオーディオ信号又はマルチチャンネルコンポジットオーディオ信号でのトランジェントの発生を検出することができ、この検出情報は各可制御デコリレータ(decorrelator)(図2の38、42)に送られる。そして、そのチャンネルのトランジェントフラグを受け取ったとき、可制御デコリレータは、そのデコーダの局所的なトランジェント検出表示の受け取ることにより、技法2から技法3に切り換える。このようにして、空間的な精度は低下するが、サイドチェーンビットレートを増加させることなく時間分解能を実質的に改善することが可能となる(ダウンミキシングに先立って、各チャンネルのトランジェントをエンコーダが検出する一方、デコーダでの検出はダウンミキシングの後行われる)。
フレーム毎を基準としてサイドチェーン情報を送る代わりに、サイドチェーン情報は、少なくとも非常にダイナミックな信号に対してはブロック毎に更新してもよい。上述の通り、トランジェントフラグ及び/又は補間フラグをブロック毎に更新することにより、サイドチェーンデータのオーバーヘッドが少し増える結果となるだけである。実質的にサイドチェーンデータレートを増加させることなく他のサイドチェーン情報の時間分解能をこのように上げるために、ブロックフローティングポイント差動コーディングの構成を用いてもよい。例えば、連続する変換ブロックを1つのフレームに対して6個のグループにまとめてもよい。全サイドチェーン情報は、最初のブロックにおける各サブ帯域チャンネルに送られる。それに続く5個のブロックにおいて、それぞれが現ブロックの振幅及び角と前のブロックの振幅及び角との差である、差値のみを送ってもよい。これにより、調律笛の音のような定常的な信号に対しては非常に低いデータレートとなる。もっとダイナミックな信号に対しては大きな範囲の差値が必要であるが、精度は小さくても良い。したがって、5つの差値については、最初に例えば3ビットを使って、指数を送り、次いで、例えば2ビットの精度で差値を量子化してもよい。このような構成により最悪の場合1又は2の係数程度、平均サイドチェーンデータレートを低下させる。上述のように、例えば算術コーディングを用いることにより、参照チャンネルへのサイドチェーンデータを省略することにより、さらなる低減ができる。代替的に又は付加的に、各周波数に亘って、例えばサブ帯域の角または振幅の差である、差動コーディングを用いてもよい。
サイドチェーン情報がフレーム毎を基準として送られていようと、またはもっと大きな頻度で送られていようと、フレーム内の全ブロックに亘ってサイドチェーン値を補間することは有益である。以下に説明するように、全周波数に亘って線形補間を行う方法である時間に亘る線形補間を行ってもよい。
本発明の特徴を適切に実行するために、それぞれの処理ステップを実行し機能的に次の説明に関連する処理ステップまたは処理装置を採用する。以下に挙げたエンコーディング及びデコーディングステップは、それぞれコンピュータソフトウェアの命令シーケンスにより、以下に挙げたステップの順序で実行されるが、ある量は先のものから導き出されることを考慮に入れて、等価な結果又は同様の結果が他の方法での命令ステップにより得られることも理解されよう。ステップのシーケンスを並列に実行するために、例えば、マルチスレッドのコンピュータソフトウェア命令シーケンスを用いてもよい。あるいは、記述された機能、機能を有する様々な装置及び以下に記載する相互機能を実行する装置として、記述ステップを導入してもよい。
[エンコーディング]
エンコーダ又はエンコーディング機能により、それがサイドチェーン情報を導き出しフレームのオーディオチャンネルを(上述した図1の例の方法で)単一のモノフォニック(モノ)オーディオチャンネルにダウンミックスするか又は、(以下に記載する図6の例の方法で)複数のオーディオ チャンネルにダウンミックスする前に、フレームのそれに値するデータを収集する。そうすることにより、サイドチェーン情報は最初にデコーダに送られ、モノチャンネルオーディオ情報又はマルチチャンネルオーディオ情報を受信後直ちにデコーディングを開始させることができる。エンコーディングプロセス(「エンコーディングステップ」)のステップについては以下に説明する通りである。エンコーディングステップに関して図4に記載されており、フローチャートと機能ブロック図の混成表現となっている。ステップ419まで、図4は1つのチャンネルに対するエンコーディングステップを示している。ステップ420と421は、図6の例に関連させて以下に記載した通り、コンポジットモノ信号を出力するために結合され又は複数のチャンネルを出力するためにマトリックス化されるすべての複数のチャンネルに適用される。
[ステップ410、トランジェントの検出]
a.入力オーディオチャンネル内のPCM値のトランジェント検出を実行する。
b.チャンネルのフレームのいずれかのブロックにトランジェントがあるとき1ビットのトランジェントフラグを真に設定する。
[ステップ401についてのコメント]
トランジェントフラグは、サイドチェーン情報の一部をなし、以下に説明するとおり、ステップ411でも用いられる。デコーダのブロックレートより細かいトランジェント分解能は、デコーダの性能を向上させることができる。上述の通り、フレームレートトランジエントフラグでなくてブロックレートトランジエントフラグが、少しビットレートを上げてサイドチェーン情報の一部をなすが、空間的な精度を下げることとなるものの、デコーダが受信したモノコンポジット信号内のトランジェントの発生を検出することによりサイドチェーンビットレートを増加させることなく同様の結果が達成できる。
フレームのチャンネル毎に1つのトランジェントフラグがあり、これは時間領域で導き出されるため、必然的にそのチャンネルの全てのサブ帯域にこのフラグを適用する。長いオーディオブロックと短いオーディオブロックとの切換時の決定を制御するためにAC−3エンコーダに採用されたものと類似の方法でトランジェント検出を行ってもよいが、より高い感度を有し、ブロックに対するトランジェントフラグが真のときどんなフレームに対してもトランジェントフラグが真になるように検出を行う(AC−3エンコーダはブロック毎を基準にトランジェントを検出する)。特に、先に引用したA/52A書面の章8.2.2参照のこと。章8.2.2におけるトランジェント検出の感度は、以下に述べる式に感度ファクターFを加算することにより向上させることができる。A/52A書面の章8.2.2は、感度ファクターを加算して以下に説明する(以下に記載する章8.2.2は、ローパスフィルターは、A/52A書面に記載された「形態I」よりむしろ形態IIのIIRフィルターから直接カスケードバイクワッドフィルターを示すよう訂正されたものである。章8.2.2は、先のA/52書面が正しかった)。本質的なものではないが、0.2の感度ファクターは、本発明の現実的な実施の形態において適切な値であることが分かっている。
代替的に、米国特許5,394,473に記載された同様のトランジェント検出技法を採用してもよい。この5,394,473特許は、A/52A書面のトランジェント検出の特徴をさらに詳細に記載している。前記A/52A書面と前記5,394,473特許は、その全体を参照としてここに組み込む。
他の代替案として、トランジェントを時間領域ではなく周波数領域で検出してもよい(ステップ408の解説を参照のこと)。この場合、ステップ401は省略し代わりのステップを以下に説明するように周波数領域で採用することができる。
[ステップ402、窓及びDFT]
PCM時間サンプルの重複ブロックを時間窓で乗算し、FFTを実施するときにDFTにより複素周波数値に変換する。
[ステップ403、複素数値の大きさ(絶対値)と偏角への変換]
各周波数領域の複素数変換ビン値(a+job)を標準的な複素数操作技法を用いて、絶対値と偏角の表現に変換する。
a.絶対値=√(a+b
b.偏角=arctan(b/a)
[ステップ403の解説]
代替的に以下のステップで、上記絶対値を2乗したものとして(すなわち、エネルギー=a+b)定義されるビンのエネルギーを用いてもよい。
[ステップ404、サブ帯域エネルギーの計算]
a.各サブ帯域内のビンのエネルギー値を加えることによりブロック毎のサブ帯域エネルギーを計算する(全周波数に亘って加算する)。
b.フレームの全てのブロックのエネルギーを積算または平均化することにより、フレーム毎のサブ帯域エネルギーを計算する(時間全部に亘って平均化/積算を行う)。
c.もしカップリング周波数が約1000Hz以下である場合、その周波数以下でかつカップリング周波数を超える全てのサブ帯域に作用する時間平滑器にサブ帯域でのフレーム平均化又はフレーム積算したエネルギーを適用する。
[ステップ404cの解説]
低周波数サブ帯域のフレーム間平滑化を行うために時間平滑が有効である。サブ帯域境界においてビン値間で不連続を生じさせるアーティファクトを避けるために、徐々に減少する時間平滑を最低周波数のサブ帯域からカップリング周波数(このとき平滑化が顕著な効果を発揮する)を含みそれ以上の、時間平滑が働くが可聴に近いが可聴ではない、周波数サブ帯域までこれは有効である。最低周波数レンジのサブ帯域(もしサブ帯域が臨界帯域ならば、このサブ帯域は単一のビンである)に対する適切な時定数は、例えば、50から100ミリセカンドである。徐々に減少する時間平滑を、例えば時定数が約10ミリセカンドであり、約1000Hzを包含するサブ帯域まで続けることができる。
1次平滑器が適切であるが、この平滑器は、トランジェントに応答する立ち上がり時間と減衰時間を短くさせる可変時定数を持つ2段階平滑器でもよい(このような2段階平滑器は、どちらもその全てを参照として本明細書に組み込まれる米国特許3,846,719と4,922,535に記載された、アナログ2段階平滑器と同等のディジタル2段階平滑器でもよい)。言い換えれば、定常的な時定数は周波数により縮小拡大してよく、トランジェントに応答して可変であってもよい。あるいは、このような平滑をステップ412に適用してもよい。
[ステップ405、ビン絶対値の合計値の計算]
a.各サブ帯域のビン絶対値(ステップ403)のブロック毎の合計を計算する(全周波数に亘って積算)。
b.フレームにおける全ブロックに亘ってステップ405aの絶対値を平均化又は積算(全時間に亘る平均化/積算)することにより各サブ帯域のビン絶対値をフレーム毎の合計を計算する。この合計値は、以下のステップ410のチャンネル間の角整合性ファクターを計算するために用いられる。
c.エンコーダのカップリング周波数が約1000Hz以下であれば、サブ帯域のフレーム平均化した絶対値又はフレーム積算した絶対値を、その周波数以下でかつカップリング周波数を超えるすべてのサブ帯域で作用する時間平滑器に適用する。
[ステップ405cの解説]
ステップ404cの解説を参照のこと。ただし、ステップ405の場合は、時間平滑化はステップ410の一部として代替的に実施される。
[ステップ406、チャンネル間の相対的なビン位相角の計算]
各ブロックの各変換ビンの相対的なチャンネル間の位相角を、参照チャンネル(例えば、第1のチャンネル)の対応するビン角をステップ403のビン角から減算することにより、計算する。計算結果は、ここでの他の角加算又は減算とともに、−πから+πのレンジになるまで2πを加算又は減算することにより、modulo(+π,−π)ラジアンを求める。
[ステップ407、チャンネル間のサブ帯域位相角の計算]
各チャンネルに対して、以下のように、各サブ帯域に対して絶対値で重み付けしたチャンネル間の平均位相角のフレームレートを計算する。
a.各ビンに対して、ステップ403の絶対値とステップ406の相対的なチャンネル間のビン位相角とから複素数値を構築する。
b.ステップ407aで構築した複素数値を各サブ帯域に亘って加算する(全周波数に亘る加算)。
[ステップ407bの解説]
例えば、2つのビンがあり、そのうちの1つは複素数値1+jを有し、他の1つは複素数値2+j2を有する場合、その複素数和は3+j3である。
c.各フレームの全ブロックに亘ってステップ407bの各サブ帯域についてのブロック毎の複素数和の平均又は積算を行う(全時間に亘る平均又は積算)。
d.もし、エンコーダのカップリング周波数が約1000Hz以下であるなら、サブ帯域のフレーム平均又はフレーム積算した複素数値を、この周波数以下でカップリング周波数を超えるすべてのサブ帯域に作用する時間平滑器に適用する。
[ステップ407dの解説]
ステップ404cの解説を参照のこと。ただし、ステップ407dの場合は、時間平滑は、代替的に、ステップ407e又はステップ410の1部として実行されることもある。
e.ステップ403の要領で、ステップ407dの複素数の大きさを計算する。
[ステップ407eの解説]
この絶対値は以下のステプ410aで用いる。ステップ407bの簡単な例では、3+j3の絶対値は√(9+9)=4.24である。
f.ステップ403の要領で、複素数値の偏角を計算する。
[ステップ407fの解説]
ステップ407bでの簡単な例において、3+j3の偏角はarctan(3/3)=45度=π/4ラジアンである。このサブ帯域の偏角は信号に依存して時間平滑され、以下に説明するように、サブ帯域偏角制御パラメータサイドチェーン情報を生成させるために量子化される。
[ステップ408、ビンスペクトルステディネスファクター]
各ビンに対して、以下のように、0から1のレンジでビンスペクトルステディネスファクターを計算する。
a.xm=ステップ403で計算された現ブロックのビン絶対値、とする
b.ym=対応する前のブロックのビン絶対値、とする
c.もし、xm>ymなら、ビンダイナミック振幅ファクター=(Ym/Xm)2
d.さもなくば、もし、ym>xmなら、ビンダイナミック振幅ファクター=(Xm/Ym)2
e.さもなくば、もし、ym=xmなら、ビンスペクトルステディネスファクター=1.
[ステップ408の解説]
「スペクトルステディネス」とは時間に関するスペクトル成分(例えば、スペクトル係数又はビン値)の拡がりの尺度である。ビンスペクトルステディネスファクターが1の場合は、与えられた時間内で変化がないことを意味する。
スペクトルステディネスは、トランジェントが存在するかどうかの指標であると考えることもできる。ブロック及びその境界におけるトランジェントの位置によっては、トランジェントは、1以上のブロックにおけるある期間を通じてスペクトルの(ビン)振幅の急激な上昇と下降の原因となる。したがって、少数のブロックでのビンのスペクトルステディネスファクターの高い値から低い値への変化は、低い値を持つブロックにおいてトランジェントが存在することを示すものと解釈してもよい。さらなるトランジェントの存在の確認、あるいは、ビンスペクトルステディネスファクターの採用に代わるものとして、ブロック内のビンの位相角の監視がある(例えば、ステップ403の出力である位相角)。トランジェントは、ブロック内で単一の時間的位置を占めるようなので、また、そのブロックで支配的なエネルギーを持つので、トランジェントの存在とその位置を、そのブロックにおいてビンからビンへの位相が実質的に一様に遅れることにより、すなわち周波数の関数として位相角が実質的に線形に傾斜することにより、表示することができる。さらなる確認又は代案としては、小数のブロックでのビン振幅(例えば、ステップ403の出力である大きさ)を監視すること、すなわち、スペクトルレベルの急激な上昇と下降を直接見ること、がある。
代案として、ステップ408にて、1つのブロックの代わりに3つの連続するブロックを見てもよい。もし、エンコーダのカップリング周波数が約1000Hz以下である場合は、ステップ408では、4つ以上の連続するブロックを監視してもよい。連続するブロックの数については、周波数の変化を考慮に入れて、サブ帯域周波数レンジが減少するにつれてブロックの数が徐々に増加するようにしてもよい。もし、ビンスペクトルステディネスファクターが2以上のブロックから得られる場合は、先に説明したように、トランジェントの検出は、トランジェントの検出に有用な数のブロックにのみ応答する別のステップにより行ってもよい。
さらなる代案として、ビンの大きさの変わりにビンエネルギーを用いてもよい。
さらには、以下のステップ409の解説に記載したような「事象決定」検出技法をステップ408で採用してもよい。
[ステップ409、サブ帯域スペクトルステディネスファクターの計算]
以下のように、フレームの全ブロックに亘るサブ帯域において、振幅で重み付けを行ったビンスペクトルステディネスファクターを平均化することにより、0から1のスケールで、フレームレートサブ帯域スペクトルステディネスファクターを計算する。
a.各ビンに対して、ステップ408のビンスペクトルステディネスファクターとステップ403のビンの大きさとの積を計算する。
b.角サブ帯域内でこの積を積算する(全周波数に亘る積算)
c.フレーム内のすべてのブロックにおいてステップ409bの積算値を平均化又は累算させる(全時間に亘る平均化/累算)。
d.もし、エンコーダのカップリング周波数が約1000Hz以下であれば、フレーム平均化又はフレーム累算したサブ帯域を、その周波数以下でカップリング周波数を超えるすべてのサブ帯域に作用する時間平滑に適用する。
[ステップ409dの解説]
ステップ404cの解説を参照のこと。ただし、ステップ409dの場合は、引き続いて代替的な時間平滑を実行するステップはない。
e.サブ帯域内で、必要に応じて、ステップ409c又はステップ409dの結果をビンの大きさ(ステップ403)の積算値で割る
[ステップ409eの解説]
ステップ409aにおける大きさを乗算すること及びステップ409eにおける大きさを積算することは振幅の重み付けを算出することである。ステップ408の出力は絶対振幅に依存し、もし振幅の重み付けを行わなければ、ステップ409の出力を非常に小さな振幅で制御することになり、これは好ましくないことである。
f.{0.5...1}から{0...1}のレンジでマッピングすることにより、この結果を縮小拡大してサブ帯域ペクトルステディネスファクターを得る。これは、結果を2で乗算し、1を引き、0未満から0までの結果に制限することで行ってもよい。
[ステップ409fの解説]
ステップ409fは、ノイズのチャンネルのサブ帯域ペクトルステディネスファクターがゼロとなることを確かめるために有用である。
[ステップ408と409の解説]
ステップ408と409の目的は、ペクトルステディネス、すなわち、チャンネルのサブ帯域における時間に対するスペクトル成分の変化、を計測することである。あるいは、国際公開番号WO02/097792Al(米国を指定)に記載されているような“event decision”検出の特徴を、ステップ408と409に関連して説明した方法の変わりにペクトルステディネスを測定するために用いてもよい。2003年11月20付け米国特許出願S.N.10/478,538は、公開されたPCT出願WO02/097792Alの米国内出願である。これらの公開されたPCT出願と米国内出願は両方ともそのすべてを参照として本出願に組み込まれる。これらの出願によれば、各ビンのFFTの複素係数の大きさが計算され正規化される(例えば、最大値が1に設定される)。そして、連続するブロックの対応するビンの大きさ(dB)が減算されて(負号は無視)、ビン間の差が合計され、そして、合計が閾値を超えた場合は、ブロックの境界が聴覚イベントの境界と考えられる。あるいは、ブロックとブロックでの振幅の変化も(必要な正規化の量をみることで)、スペクトルの大きさの変化とともに考慮してもよい。
ここに組み込まれたイベントセンシングの出願をペクトルステディネス計測のために採用する場合は、正規化は必要でなくスペクトルの大きさの変化(正規化が省略される場合は振幅の変化を計測する)はサブ帯域基準で考えることが好ましい。上述のステップ408を実行する代わりに、各サブ帯域における対応するビン同士のスペクトルの大きさの差のデシベルを、前記出願での開示にしたがって合計してもよい。次いで、ブロックとブロックでのスペクトルの変化の程度を表すこれらの合計のそれぞれを、0から1のレンジを持つスペクトルステディネスファクターになるよう縮小拡大してもよく、ここで、値1は最大のスペクトルステディネスを示し、所定のビンでのブロックとブロックでの変化が0dBである。値0は、最低のステディネスを示し、例えば12dBのような相応する量以上のデシベルの変化に割り当てられる。これらにより、上述のように、ステップ409でステップ408の結果を使ったのと同じ方法で、ビンスペクトルステディネスファクターが、ステップ409で用いられる。ステップ409で、先に説明した代替的なイベントデシジョンセンシング技法を採用することにより得られたビンスペクトルステディネスファクターを受け取るときに、ステップ409のサブ帯域のスペクトルステディネスファクターは、トランジェントの表示としても用いることができる。例えば、ステップ409で生成された値のレンジが0から1であるならば、サブ帯域スペクトルステディネスファクターが、例えば0.1のような小さな値であるとき、トランジェントが存在すると考えられ、実質的にスペクトル的にステディネスでないことが示される。
ステップ408で生成されたビンスペクトルステディネスファクターと、ステップ408の代替として記載した方法で生成されたビンスペクトルステディネスファクターはそれぞれ、ブロックからブロックでの相対的な変化の程度の基準となる値に対する可変閾値を本質的に生じさせる。あるいは、例えば、フレーム内の複数のトランジェント又は小さなトランジェントの間の大きなトランジェント(例えば、中間から低レベルの拍手喝さい音の頂点で出て来る大きなトランジェント)に応答して閾値内に具体的にシフトインさせることでこのような本質的な特性を補完させることも役に立つかもしれない。後者の例では、イベント検出器はまず各拍手をイベントとして特定するかもしれないが、大きなトランジェント(例えばドラムを叩いたような)が、ドラムを叩いた音のみをイベントとして特定するような望ましい閾値にシフトさせることができる。
あるいは、時間に対するスペクトルステディネスの測定の代わりに測定基準をランダム化させることを用いてもよい(例えば、米国特許Re36,714、これは本出願にそのすべてが組み込まれる、に記載されているように)。
[ステップ410、チャンネル間角整合性ファクターの計算]
2以上のビンを有する各サブ帯域に対して、以下のようにチャンネル間角整合性ファクターのフレームレートを計算する。
a.ステップ407の複素数の和の絶対値をステップ405の絶対値の和で割算する。その結果出てきた「生の」角整合性ファクターは、0から1までの数字となる。
b.補正係数を計算する、すなわち、n=上記ステップにおける2つの数値を導く全サブ帯域に亘る値の数(言い換えれば、「n」はサブ帯域におけるビンの数)とする。もしnが2より小さければ、角整合性ファクターは1とし、ステップ411と413に行く。
c.r=ランダム変化の期待値=1/nとする。ステップ410bの結果からrを減算する。
d.ステップ410cの結果を(1−r)で割ることにより正規化する。この結果、最大値が1となる。必要ならば、最小値を0に制限する。
[ステップ410の解説]
チャンネル間角整合性は、フレーム期間にチャンネル間の位相角がどの程度サブ帯域内にはいるかの程度を示す尺度である。もしサブ帯域のすべてのビンのチャンネル間の角が同じであれば、チャンネル間角整合性ファクターは1.0となるが、もしチャンネル間の角がランダムに散らばっていれば、この値はゼロに近づく。
サブ帯域角整合性ファクターは、チャンネル間に仮想音像があるかどうかを表示する。もし、整合性が低いならば、チャンネルをデコリレーションすることが好ましい。高い値は融合した音像を示す。音像の融合は他の信号特性とは独立している。
サブ帯域角角整合性ファクターは、1つの角パラメータであるが、2つの大きさから間接的に決定されることに注意する必要がある。もし、チャンネル間の角がすべて同じならば、複素数値を加算し、大きさ(絶対値)を求めると、すべて同じ大きさ(絶対値)を加えるから同じ結果となるのでその指数は1となる。もし、チャンネル間の角がばらばらであれば、複素数値を加算(異なった偏角を持つベクトルの加算のように)すると、少なくとも部分的に打ち消しあって、絶対値の和より和の絶対値の方が小さくなりその指数は1より小さくなる。
以下は、2つのビンを持つサブ帯域の簡単な例である。2つのビンの複素数値は(3+j4)と(6+j8)である。(それぞれの場合で同じ偏角であり、偏角=arctan(虚部/実部)、したがって偏角1=arctan(4/3)及び偏角2=arctan(8/6)=arctan(4/3)となる)。複素数値を加えて、合計=(9+j12)となり、この絶対値は√(81+144)=15となる。
絶対値の合計は、(3+j4)の絶対値+(6+j8)の絶対値=5+10=15、となる。したがって指数は15/15=1(1/n正規化の前、正規化の後も1となる)(正規化された指数=(1−0.5)/(1−0.5)=1.0)。
もし、上記ビンのうちの1つが異なった偏角を持っていたなら、例えば、2番目ものが同じ絶対値の複素数値(6−j8)であるとする。複素数同士の和は(9−j4)となり、その絶対値は√(81+16)=9.85となる。したがって指数は9.85/15=0.66=整合性(正規化前)となる。正規化すると、1/n=1/2を減算し、(1−1/n)で割算する(正規化された整合性=(0.66−0.5)/(1−0.5)=0.32となる)。
上述のサブ帯域角整合性ファクターを決定する技法は有用ではあるが、これを使用することが本質的というわけではない。他の適切な技法を用いてもよい。例えば、標準的手法を用いて偏角の標準偏差を計算してもよい。いずれにしろ、計算した整合性の値の小さな信号の影響を最小限にするために振幅の重み付けを採用することが望ましい。
加えて、サブ帯域角整合性ファクターを導く他の方法において、絶対値の変わりにエネルギー(絶対値の2乗)を用いてもよい。これは、ステップ405と407に入る前にステップ403で絶対値を2乗することで実行することができる。
[ステップ411、サブ帯域デコリレーションスケールファクターの算出]
以下のように、各サブ帯域のデコリレーションスケールファクターのフレームレートを算出する。
a.x=ステップ409fのスペクトルステディネスファクターのフレームレート、とする。
b.y=ステップ420eの角整合性ファクターのフレームレート、とする。
c.次いで、サブ帯域デコリレーションスケールファクターのフレームレート=(1−x)*(1−y)。
[ステップ411の解説]
サブ帯域デコリレーションスケールファクターは、チャンネルのサブ帯域における時間に対する信号特性のスペクトルステディネス(スペクトルステディネスファクター)と、参照チャンネルの対応するビンに関するビン角のチャンネルの同じサブ帯域における整合性(チャンネル間の角整合性ファクター)の関数である。サブ帯域デコリレーションスケールファクターは、スペクトルステディネスファクターとチャンネル間の角整合性ファクターの両方が低いときのみ、高くなる。
上述のように、デコリレーションスケールファクターは、デコーダで行われるエンベロープデコリレーションの程度を制御する。時間に対するスペクトルステディネスを表示する信号は、アーティファクト、すなわち、信号の揺れやさらさら音を生じさせる結果となるので、他のチャンネルで起こっていることを考慮しないでエンベロープを変化させることによりデコリレーションさせてはいけない。
[ステップ412、サブ帯域振幅スケールファクターの算出]
ステップ404のサブ帯域フレームエネルギー値と、他のすべてのチャンネルのサブ帯域フレームエネルギー値から、サブ帯域振幅スケールファクターを以下のように算出する。
a.各サブ帯域に対して、すべての入力チャンネルに亘ってフレーム毎のエネルギー値を合計する。
b.フレーム毎の各サブ帯域エネルギー値(ステップ404による)を、すべての入力チャンネルに亘るエネルギー値の合計(ステップ412aによる)で割算し、0から1までのレンジの値を作る。
c.−∞から0のレンジで、各比をdBに変換する。
d.スケールファクター粒度、例えば1.5dBに設定してもよい、で割算し、非負の値にするために符号を変え、量子化した値とするために最も近い整数に丸める。これらの値は、サブ帯域振幅スケールファクターのフレームレートであり、サイドチェーン情報の1部として伝達される。
e.もしエンコーダのカップリング周波数が約1000Hz以下になったら、サブ帯域のフレーム平均された絶対値又はフレーム積算された絶対値を、その周波数以下でかつカップリング周波数を超えるすべてのサブ帯域で作用する時間平滑器に適用する。
[ステップ412eの解説]
ステップ404cの解説を参照のこと。ただし、ステップ412eの場合は、時間平滑が代替的に実行される適切な後続のステップが存在しない。
[ステップ412の解説]
ここに示した粒度(分解能)と量子化精度は、有用であることが分かるが本質的なものではなく、他の値でも満足できる結果が得られる。
あるいは、サブ帯域振幅スケールファクターの代わりに振幅を用いてもよい。振幅を用いる場合は、dB=log(振幅比)を用い、もしエネルギーを用いる場合は、dBをdB=10*log(エネルギー比)を用いる。ここで、振幅比=√(エネルギー比)である。
[ステップ413、チャンネル間のサブ帯域位相角の信号依存時間平滑化]
ステップ407fで導かれたチャンネル間の偏角のサブ帯域のフレームレートに信号依存時間平滑化を行う。
a.v=ステップ409dのサブ帯域スペクトルステディネスファクター、とする。
b.w=ステップ410eの対応する角整合性ファクター、とする。
c.x=(1‐v)*w、とする。これは0と1の間の値であり、スペクトルステディネスファクターが大きく角整合性ファクターが大きい場合は、この値は大きくなる。
d.y=1‐x、とする。yは、スペクトルステディネスファクターが大きく角整合性ファクターが小さい場合に大きくなる。
e.z=yexp、とする。expは定数であり、=0.1としてよい。zも0と1の間のレンジであるが、遅い時定数に応じて1の方向にゆがむ。
f.もしこのチャンネルに対するトランジェントフラグ(ステップ401)が設定されるなら、トランジエントの存在における第1の時定数に対応してz=0に設定する。
g.zの最大許容値であるlim、すなわちlim=1−(0.1*w)、を計算する。角整合性ファクターが大きい場合は、これは0.9から1.0に上がり、角整合性ファクターが小さい場合は0に下がる。
h.必要に応じて、zをlimで制限する。すなわち、もし(z>lim)ならば、z=limとする。
i.zの値を使い、各サブ帯域で保たれた角の平滑値を実行することにより、ステップ407fのサブ帯域角を平滑化する。もし、A=ステップ407fの角であり、RSA=前のブロックで実行した平滑化された角であり、NewRSAが平滑化された角の新しい値であるとすると、NewRSA=RSA*z+A*(1−z)となる。これにより、RSAの値は、以下のブロックにおける処理に先立ちNewRSAに等しくなる。新しいRSAは、ステップ413の、信号に依存する時間平滑化された角出力となる。
[ステップ413の解説]
トランジェントが検出されたとき、サブ帯域角更新時定数が0に設定され、急速なサブ帯域角の変化を可能にする。正常な角更新機構に比較的遅い時定数のレンジを用いることで、定常信号又は擬似定常信号の期間信号がふらつくのを最小限にすることが出来、さらに、速い時定数で速く変化する信号を処理することが出来るので、このことは望ましい。
他の平滑技法及びパラメータを使用することも可能であるが、ステップ413に用いられた1次の平滑器が適切であることが分かった。もし、1次の平滑器/ローパスフィルターが用いられた場合は、変数「z」は、フィードフォワード係数(しばしば「ff1」と表示される)に対応し、「1−z」は、フィードバック係数(しばしば「fb1」と表示される)に対応する。
[ステップ414、平滑化されたチャンネル間サブ帯域位相角の量子化]
ステップ413iで算出された、平滑化されたチャンネル間サブ帯域位相角を、サブ帯域角制御パラメータを得るために量子化する。
a.もしこの値が0以下ならば、2πを加え、すべての量子化すべき偏角値が0から2πのレンジになるようにする。
b.角粒度(分解能)で割算し、角粒度は2π/64でよい、整数に丸める。最大値は、6ビット量子化に対応して、63としてもよい。
[ステップ414の解説]
量子化された値は非負の整数として扱われるため、角を量子化するための簡単な方法は、それを非負の浮動小数点の数値(0以下の場合は2πを加え、レンジを0から2π(以下)にする)、にマッピングし、粒度(分解能)で縮小拡大し、整数に丸める。同様に、この整数の逆量子化は(ほかには簡単な表を参照することでもなされる)、角粒度ファクターの逆演算により縮小拡大し、非負の整数を非負の浮動小数点で表した角(この場合もやはり、0から2πのレンジ)に変換することで実行することが出来、そして、その後の使用のために±πのレンジでランダム化することができる。このようなサブ帯域角制御パラメータの量子化が有用であることが分かったが、このような量子化は重要ではなく、他の量子化でも満足できる結果を得ることができる。
[ステップ415、サブ帯域デコリレーションスケールファクターの量子化]
ステップ411により作られたサブ帯域デコリレーションスケールファクターは、例えば、7.49を乗算し直近の整数に丸めることにより、8レベル(3ビット)に量子化する。このような量子化された値はサイドチェーン情報の一部をなす。
[ステップ415の解説]
サブ帯域デコリレーションスケールファクターのこのような量子化が有用であることが分かったが、この例の値を用いることは重要ではなく、他の量子化でも満足できる結果を得ることができる。
[ステップ416、サブ帯域角制御パラメータの量子化]
サブ帯域角制御パラメータ(ステップ414参照)を、ダウンミキシングの前に用いるために、量子化する
[ステップ416の解説]
エンコーダで量子化された値を用いることは、エンコーダとデコーダとの間の共時性を保つのを助ける。
[ステップ417、ブロックにアクセスする逆量子化されたサブ帯域角制御パラメータのフレームレートの分配]
ダウンミキシングの準備として、時間についてステップ416でフレーム毎に逆量子化されたサブ帯域角制御パラメータをフレーム内の各ブロックのサブ帯域に分配する。
[ステップ417の解説]
フレーム内の各ブロックに同じフレーム値を割り当ててもよい。あるいは、フレーム内の全ブロックに亘ってサブ帯域角制御パラメータを補間することも有用である。以下に説明するように全周波数に亘る線形補間のやり方で全時間に亘る線形補間を行ってもよい。
[ステップ418、ビンに対するブロックサブ帯域角制御パラメータの補間]
ステップ417の、全周波数に亘る各チャンネルのブロックサブ帯域角制御パラメータをビンに分配する。ここで、以下に説明する線形補間を用いることが好ましい。
[ステップ418の解説]
全周波数に亘って線形補間を採用する場合は、ステップ418により、全サブ帯域境界に亘るビンからビンへの位相角の変化を最小化し、これにより、エイリアシングアーティファクトを最小限にする。このような補間は、例えば、ステップ422の説明に続いて以下に説明するように、可能である。サブ帯域の角は、お互いに独立に計算され、それぞれがあるサブ帯域に亘る平均を表す。このようにして、1つのサブ帯域から次のサブ帯域への大きな変化が可能となる。もし、あるサブ帯域に対する正味の角の値がそのサブ帯域のすべてのビンに適用されたとすると(「直交」サブ帯域分配)、あるサブ帯域から隣のサブ帯域での完全な位相変化が2つのビン間で起こる。もしそこに強い信号成分があったとすると、深刻でおそらく可聴なエイリアシングが存在するかもしれない。各サブ帯域の中心間の線形補間により、例えば、サブ帯域におけるすべてビンに位相角の変化を分散させ、例えば、サブ帯域の低い方の端の角をその下のサブ帯域の高い方の端の角に一致させる一方、全体的な平均が、所定の計算したサブ帯域の角と同じに保持されるように、ビン同士のどのペア間においても位相角の変化を最小限にする。言い換えれば、サブ帯域の分配が長方形になる代わりに、サブ帯域角の分配が台形に形成される。
例えば、1番下で結合したサブ帯域は1つのビンを有し、サブ帯域角が20度であると仮定すると、次のサブ帯域は、3つのビンを有し、サブ帯域角が40度であり、3番目のサブ帯域は5つのビンを有し、サブ帯域角が100度である。補間がないとき、最初のビン(1つのサブ帯域)が20度の角だけシフトしたと仮定すると、次の3つのビン(別のサブ帯域)は40度角シフトし、次の5つのビン(さらなるサブ帯域)は100度角シフトする。この例では、ビン4からビン5までで60度の最大変化がある。補間を行うと、最初のビンは、それでもなお20度角のシフトするが、次の3つのビンは約30度、40度、及び50度角シフトし、次の5つのビンは約67度、83度、100度、及び133度角シフトする。平均サブ帯域角シフトは同じであるが、ビンとビンとの間の最大変化は17度に減少する。
任意的に、サブ帯域からサブ帯域での振幅の変化は、ステップ417のようにここに記載した他のステップとの関連において、同様の補間方法で処理してもよい。しかし、振幅は1つのサブ帯域から次のサブ帯域で自然な連続性があるので、必ずしもこのようにする必要はない。
[ステップ419、チャンネルに対するビン変換値への位相角の適用]
各ビン変換値へ以下のように位相角回転を適用する。
a.x=ステップ418で計算したようなこのビンに対するビン角、とする。
b.y=−x、とする。
c.角yの、絶対値が一定の複素位相回転スケールファクターzの計算、z=cos(y)+jsin(y)。
d.ビン値(a+jb)にzを乗算する。
[ステップ419の解説]
エンコーダに適用される位相角回転は、サブ帯域角制御パラメータから算出される角の反対である。
ここで説明するように、エンコーダ又はダウンミキシング(ステップ420)に先立つエンコーディングプロセスでの位相角調整はいくつかの利点がある。すなわち、(1)モノコンポジット信号又に加算されるか又は、複数のチャンネルにマトリックス演算されるチャンネルの打ち消しあいを最小限にすることと、(2)エネルギーの正規化(ステップ421)の信頼性を最大限にすることと、(3)デコーダの逆位相角回転をあらかじめ打ち消すことであり、これにより、エイリアシングを減少させる。
そのサブ帯域にある各変換ビンの値の角から各サブ帯域位相補正値を減算することにより位相補正ファクターをエンコーダに適用することができる。このことは、各ビンの複素数値に絶対値が1.0で偏角が位相補正ファクターの符号を反転したものに等しい複素数を乗算したものに等しい。ここで留意すべきは、絶対値が1で偏角Aの複素数は、cos(A)+jsin(A)に等しいことである。後者の値は、各チャンネルの各サブ帯域に対してA=−(このサブ帯域に対する位相補正)、で一度計算し、各ビン複素信号値を乗算して、位相シフトさせたビン値を得る。
位相シフトは循環し、結果として(上述のように)巡回畳み込みとなる。巡回畳み込みは連続的な信号に対して害はないが、異なったサブ帯域に異なった位相角を用いると、(調律笛のような)連続的な複素信号に偽のスペクトル成分を作り出したり、トランジェントによるぶれを引き起こしたりする。そこで、巡回畳み込みを避けるための技法や、例えばトランジェントフラグが真のとき、角計算の結果をオーバーライドさせ、チャンネル中のサブ帯域にゼロ又はランダム化された値のような位相補正ファクターを用いさせるような、トランジェントフラグを採用してもよい。
[ステップ420、ダウンミキシング]
例えば以下に説明するように図6に示す例のような方法で、モノコンポジットチャンネルを作るために、全チャンネルに亘って対応する複素変換ビンを加えるか、又は、入力チャンネルをマトリックス化し複数のチャンネルをダウンミキシングすることで、モノラルにダウンミキシングする。
[ステップ420の解説]
エンコーダにおいて、いったん、すべてのチャンネルの変換ビンを位相シフトすると、チャンネルが加算されて、モノコンポジットオーディオ信号が作られる。あるいは、図1のN:1エンコーディングにおけるように、1つのチャンネル又は複数のチャンネルに単純に総和を提供するような能動マトリックス又は受動マトリックスをチャンネルに入力してもよい。このマトリックスの係数は実数又は複素数(実数と虚数)とすることができる。
[ステップ421、正規化]
孤立したビンの削除を避け、位相のそろった信号を強調しすぎないように、以下のように、寄与するエネルギーの合計と実質的に同じエネルギーを持つように、モノコンポジットチャンネルの各ビンの振幅を正規化する。
a.x=ビンエネルギーの全チャンネルに亘る合計(すなわち、ステップ403で計算したビンの全体値の2乗)とする。
b.y=ステップ403で計算したようなモノコンポジットチャンネルの対応するビンのエネルギー、とする。
c.z=スケールファクター=√(x/y)とし、もしx=0ならyを0に設定しzを1に設定する。
d.zを最大値以下、例えば100以下に制限を加える。もしzが最初100以上(ダウンミキシングによる強い削除を意味する)であれば、モノコンポジットビンの実部及び虚部に例えば0.01*√(x)のような任意の値を加え、以下のステップによる正規化のために十分に大きくする。
e.この複素モノコンポジットビンの値にzを乗算する。
[ステップ421の解説]
一般にエンコーディングとデコーディングの両方に対して、同じ位相ファクターを使うことが望ましいが、最適なサブ帯域位相補正値を選択しても、ステップ419の位相シフトがビンというよりむしろサブ帯域を基準に行われるので、エンコードダウンミキシング処理の期間に、サブ帯域中に解消すべき1以上の可聴スペクトル成分を生じさせる。この場合、ビンのエネルギーの和がその周波数において個々のチャンネルビンのエネルギーの和より遥かに小さいことが分かれれば、エンコーダ中の孤立したビンに対して異なった位相ファクターを用いてもよい。孤立したビンが全体の音像の質に対して少ししか影響を与えない限り、一般に必ずしもそのような孤立した補正ファクターをデコーダに適用する必要はない。もし、モノチャンネルではなく複数のチャンネルを採用するならば、同様の正規化を適用してもよい。
[ステップ422、組立及びビットストリームへの圧縮]
振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、及び、各チャンネルに対するサイドチャンネル情報のトランジェントフラグを、共通のモノコンポジットオーディオ又は複数チャンネルのマトリックスと共に望ましいようにマルチプレックスさせ、記憶、伝達又は記憶、及び、伝達媒体に適した1以上のビットストリームに圧縮する。
[ステップ422の解説]
モノコンポジットオーディオ又は複数チャンネルオーディオは、データレートを減少させるエンコーディング処理又は装置、例えば、知覚エンコーダ又は知覚エンコーダ及びエントロピーコーダ(例えば算術コーダ又はハフマンコーダ)(しばしば「無損失」コーダと称される)に圧縮前に適用される。さらに、上述のように、モノコンポジットオーディオ(又は複数チャンネルオーディオ)及び関連するサイドチェーン情報は、特定の周波数(「カップリング」周波数)を超えるオーディオ周波数に対してのみ複数の入力チャンネルから算出することができる。この場合、複数入力チャンネルのそれぞれにおけるカップリング周波数以下のオーディオ周波数は、記憶し、伝達又は記憶し、及び離散チャンネルとして伝達することができ、又は、結合し又はここに記載した以外の方法で処理することができる。離散チャンネル又は他の方法で結合されたチャンネルは、データを減少させるエンコーディング処理又は装置、例えば知覚エンコーダ又は知覚エンコーダ及びエントロピーコーダに適用される。モノコンポジットオーディオ(又は複数チャンネルオーディオ)及び離散マルチチャンネルオーディオは、統合的な知覚エンコーディング又は知覚エンコーディング及びエントロピーエンコーディング処理又は装置に圧縮前に適用される。
[任意的な補間フラグ(図4に示さず)]
サブ帯域角制御パラメータにより行われる基本角シフトの全周波数に亘る補間は、エンコーダ(ステップ418)及び/又はデコーダ(下記ステップ505)により可能となる。任意的な補間フラグサイドチェーンパラメータは、デコーダにおける補間を可能にするために採用される。補間フラグ又は補間フラグに類似するイネーブリングフラグ(enabling flag)はエンコーダにおいて使うことができる。ここで留意すべきは、エンコーダがビンレベルでデータにアクセスするので、サイドチェーン情報内のサブ帯域角制御パラメータを補間するデコーダとは異なる他の補間値を用いてもよいことである。
エンコーダ又はデコーダにおける全周波数に亘るこのような補間を用いることは、例えば、以下の2つの状態が真ならば可能である。
状態1.実質的に異なった位相角の回転が割り当てられた2つのサブ帯域の境界又はその近傍に強くて孤立したスペクトルのピークが存在する。
理由:補間を行わない場合、その境界での大きな位相変化により、孤立したスペクトル成分にウォーブルを生じさせるかもしれない。帯域内の全ビン値に亘って帯域から帯域へ位相の変化を拡げるために補間を用いることにより、サブ帯域の境界での位相変化の量が減少する。スペクトルピークの強さに対する閾値、境界との密接さ、及び、この状態を満足させるためのサブ帯域からサブ帯域での位相回転の差異は、経験的に調整できる。
状態2.トランジェントの存在に依存して、チャンネル間の位相角(トランジェントが無い)又はチャンネル内の絶対位相角(トランジェントが存在する)がうまく線形連鎖している。
理由:データを再構成させるために補間を用いることで、元のデータとうまく適合できやすくなる。ここで留意すべきは、角データはサブ帯域基準でデコーダに送られるので、線形連鎖の傾きはすべての周波数に亘って一定である必要はなく、各サブ帯域内だけでよいことであり、これが補間ステップ418の入力を形成することである。この条件を満足するようにデータを適合させる程度も、経験的に決定することができる。
経験的に得られることのような他の条件も全周波数に亘って補間することの恩恵を受ける。先に説明した2つの条件の存在により、以下のことが決定される。
状態1.実質的に異なった位相角の回転が割り当てられた2つのサブ帯域の境界又はその近傍に強くて孤立したスペクトルのピークが存在する。
デコーダにて用いられる補間フラグに対してサブ帯域角制御パラメータ(ステップ414の出力)を、エンコーダ内のステップ418に権能を与えるために量子化の前のステップ413の出力を、サブ帯域からサブ帯域への角の回転を決定するために用いることができる。
補間フラグのためとエンコーダ内で権能を与えるために、ステップ403の出力の絶対値、すなわち、現在のDFTの絶対値は、サブ帯域の境界における孤立したピークを見つけるために使われる。
状態2.トランジェントの存在に依存して、チャンネル間の位相角(トランジェントが無い)又はチャンネル内の絶対位相角(トランジェントが存在する)がうまく線形連鎖している。
もしトランジェントフラグが真でない(トランジェントが存在しない)ならば、うまく線形連鎖させるためにステップ406からの相対的なチャンネル間のビン位相角を使い、もしトランジェントフラグが真(トランジェントが存在する)ならば、ステップ403からのチャンネル間の絶対的な位相角を使う。
[デコーディング]
デコーディング処理(「デコーディングステップ」)のステップを以下に記述する。デコーディングステップに関して、図5を参照する。これは、フローチャートと機能ブロック図を混合させたものである。分かりやすくするため、1つのチャンネルに対するサイドチェーン情報の派生を示しているが、他で説明したとおり、サイドチェーン情報成分は、そのような成分に対する参照チャンネルでない限り各チャンネルで得られるものであることは了解されている。
[ステップ501、サイドチェーン情報の伸張とデコーディング]
必要に応じて各チャンネル(図5には1つのチャンネルが示されている)の各フレームについてサイドチェーン情報の成分(振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、及び、トランジェントフラグ)の伸張とデコーディングを行う。振幅スケールファクター、角制御パラメータ、及び、デコリレーションスケールファクターのデコーディングのために参照テーブルを用いてもよい。
[ステップ501の解説]
上述の通り、もし参照チャンネルを採用するのならば、参照チャンネルのサイドチェーンデータには角制御パラメータ、デコリレーションスケールファクター、及びトランジェントフラグを含めなくてもよい。
[ステップ502、モノコンポジットオーディオ信号又はマルチチャンネルオーディオ信号の伸張とデコーディング]
モノコンポジットオーディオ信号又はマルチチャンネルオーディオ信号の各変換ビンへDFT係数を提供するために、必要に応じて、モノコンポジットオーディオ信号情報又はマルチチャンネルオーディオ信号情報を伸張及びデコーディングする。
[ステップ502の解説]
ステップ501とステップ502は、1つの伸張及びデコーディングステップの一部と考えてもよい。ステップ502には、受動又は能動マトリックスが含まれる。
[ステップ503、全ブロックに亘る角パラメータ値の分配]
ブロックサブ帯域角制御パラメータ値は、逆量子化されたフレームサブ帯域角制御パラメータ値から導きだされる。
[ステップ503の解説]
ステップ503は、フレーム中のすべてのブロックに同じパラメータを分配することにより実行してもよい。
[ステップ504、全ブロックに亘るサブ帯域デコリレーションスケールファクターの分配]
ブロックサブ帯域デコリレーションスケールファクター値は、フレームサブ帯域デコリレーションスケールファクター値から導き出される。
[ステップ504の解説]
ステップ504は、フレーム中のすべてのブロックに同じスケールファクターを分配することにより実行してもよい。
[ステップ505、全周波数に亘る線形補間]
任意的に、エンコーダステップ418に関連して上述したように、全周波数に亘って線形補間することにより、デコーダステップ503のブロックサブ帯域角からビン角を導き出す。ステップ505の線形補間は、補間フラグが使われそれが真であるとき可能となる。
[ステップ506、ランダム化された位相角オフセットの加算(技法3)]
上述の技法3に従い、トランジェントフラグがトランジェントを示したとき、ステップ503で提供されたブロックサブ帯域角制御パラメータに、これはステップ505で全周波数に亘って線形補間されていてもよいが、デコリレーションスケールファクターにより縮小拡大された(縮小拡大は本ステップで示すように間接的なものでもよい)ランダム化されたオフセット値を加える。すなわち、
a.y=ブロックサブ帯域デコリレーションスケールファクター、とする。
b.z=yexp、とする、ここでexpは定数、例えば5である。zは、0から1のレンジになるが、デコリレーションスケールファクター値が高くない限り、ランダム化された変数が低レベルに向かうバイアスを持つことを反映して、0の方向に傾く。
c.x=各ブロックの各サブ帯域に対し個別に選択された−1.0と+1.0の間のランダム化された数値、とする。
d.そして、技法3に従い、ランダム化された角オフセット値を加算するためにブロックサブ帯域角制御パラメータに加えられた値は、x*pi*zである。
[ステップ506の解説]
当業者に高く評価されているように、デコリレーションスケールファクターにより縮小拡大させるための「ランダム化された」角(又は振幅が縮小拡大されている場合は、「ランダム化された振幅」)には、擬似乱数値と真の乱数値のみならず、位相角又は位相角と振幅に適用するとき)、チャンネル間の相互相関を減らす効果を持つ決定論的に生成した変数も含まれる。このような「ランダム化された」変数は様々な方法で得ることができる。例えば、様々な種となる値を持つ擬似乱数発生器を用いてもよい。あるいは、ハードウェアの乱数発生器を使って真の乱数を発生させてもよい。ランダム化された角分解能がほんの1度であれば十分であり、小数第2位又は3位の十進数(例えば、0.84又は0.844)を採用することができる。このランダム化された値(上記ステップ505cを参照して−1.0から+1.0の間の値)は、各チャンネルに統計的に一様に分配させることが好ましい。
ステップ506における非線形の間接的な縮小拡大が有用であることは分かったが、これは本質的な事項ではなく、他の適当な縮小拡大を採用してもよく、特に指数について、他の値を同様な結果を得るために用いてもよい。
サブ帯域デコリレーションスケールファクター値が1のとき、−πから+πの全レンジのランダムな角が加えられる(この場合、ステップ503で作られたブロックサブ帯域角制御パラメータは、適切に作られたものでない)。サブ帯域デコリレーションスケールファクター値がゼロに向かって減少してゆくにつれて、ランダム化された角もゼロに向かって減少してゆき、ステップ506の出力を、テップ503で生成されたサブ帯域角制御パラメータ値に向かって変化させてゆく。
必要に応じて、ダウンミキシングの前に上述のエンコーダは、技法3に従いランダム化し縮小拡大したオフセットをチャンネルに適用した角シフトに加算してもよい。このようにすることでデコーダにおけるエイリアスの除去を改善することができる。これは又、エンコーダとデコーダの同時性を改善するためにも役立つ。
[ステップ507、ランダム化された位相角オフセットの加算(技法2)]
上述した技法2により、トランジェントフラグがトランジェントを示さない場合、各ビンについて、ステップ503で提供されたフレーム(ステップ505はトランジェントフラグがトランジェントを示す場合に動作する)の全てのブロックサブ帯域角制御パラメータにデコリレーションスケールファクターで縮小拡大された(この縮小拡大は本ステップで述べるように直接でもよい)別のランダム化されたオフセット値が加えられる。すなわち、
a.y=ブロックサブ帯域デコリレーションスケールファクター、とする。
b.x=各フレームの各ビンに対して別々に選択された+1.0と−1.0の間のランダム化された数値、とする。
c.そして、技法3に従いランダム化されたオフセット値を加えるため、ブロックビン角制御パラメータに加えられる値は、x*pi*yである。
[ステップ507の解説]
ランダム化された角オフセットについては、上記ステップ505についての解説を参照のこと。
ステップ507の直接的な縮小拡大が有用なことがわかったが、これはこれは本質的な事項ではなく、他の適当な縮小拡大を採用してもよい。
時間的な不連続点を最小限にするために、各チャンネルの角ビンへの一意的なランダム化された角は時間と共に変化させないことが望ましい。サブ帯域の全てのビンのランダム化された角の値は、フレームレートで更新される同じサブ帯域デコリレーションスケールファクター値により縮小拡大される。このようにして、サブ帯域デコリレーションスケールファクター値が1のとき、−πから+πの全レンジのランダム角が加算される(この場合、逆量子化されたフレームサブ帯域角の値から導き出されたブロックサブ帯域角の値は適切に作られたものでない)。サブ帯域デコリレーションスケールファクター値がゼロに向かって減少するにつれて、ランダム化された角オフセットもゼロに向かって減少する。ステップ504とは異なり、このステップ507の縮小拡大は、サブ帯域デコリレーションスケールファクター値の直接的な機能になり得る。例えば、0.5のサブ帯域デコリレーションスケールファクター値により、全ランダム角の変動を0.5倍の比率で減少させる。
縮小拡大された角の値は、次いで、デコーダステップ506からのビン角に加算される。デコリレーションスケールファクター値はフレーム毎に1度更新される。過渡的なプレノイズアーティファクトを避けるために、そのフレームについてトランジェントフラグが存在する場合は、このステプは省略される。
必要に応じて、上述のエンコーダは、ダウンミキシングの前に適用した角シフトに、技法2に従いランダム化し縮小拡大したオフセットを加算してもよい。このようにすることで、デコーダにおけるエイリアスの除去を改善することができる。これは又、エンコーダとデコーダの同時性を改善するためにも役立つ。
[ステップ508、振幅スケールファクターの正規化]
2乗和が1になるよう全チャンネルに亘って振幅スケールファクターを正規化する。
[ステップ508の解説]
例えば、もし2つのチャンネルが−3.0dB(=2*1.5dBの粒度)(0.70795)の逆量子化されたスケールファクターを有するとすると、2乗和は1.002となる。それぞれ√1.002=1.001で割算すると、2つの値は0.7072(‐3.01dB)となる。
[ステップ509、サブ帯域スケールファクターレベルの押し上げ(任意的)]
任意的に、トランジェントフラグがトランジェントを表示しないとき、サブ帯域デコリレーションスケールファクターレベルに応じて、サブ帯域スケールファクターレベルを少しだけ押し上げる。すなわち、正規化した各サブ帯域振幅スケールファクターに小さなファクター(例えば、1+0.2*サブ帯域デコリレーションスケールファクター)を乗算する。トランジエントフラグが真のとき、このステップは省略する。
[ステップ509の解説]
最終の逆フィルターバンク処理において、デコーダデコリレーションステップ507によりレベルが少しだけ減少するかもしれないので、このステップは有用である。
[ステップ510、全ビンに亘るサブ帯域振幅の分配]
同じサブ帯域振幅スケールファクター値を、サブ帯域の全てのビンに分配するためにステップ510を実行してもよい。
[ステップ510a、ランダム化した振幅オフセットの加算(任意的)]
任意的に、サブ帯域デコリレーションスケールファクターレベル及びトランジェントフラグに応じて、正規化されたサブ帯域振幅スケールファクターにランダム化された変化を加える。トランジェントが存在しないとき、ビン毎(bin-by-ビン)(ビンからビン(from ビン to ビン)とは異なる)を基準に時間と共に変化しないランダム化された振幅スケールファクターを加算し、(フレーム又はブロック内に)トランジェントが存在するとき、ブロック毎(block-by-block)(ブロックからブロック(from block to block)とは異なる)を基準に、サブ帯域からサブ帯域(from サブバンド@@サブ帯域 to サブバンド@@サブ帯域)で変化する(サブ帯域における全てのビンで同じシフトとなり、サブ帯域からサブ帯域で異なる)ランダム化された振幅スケールファクターを加算する。ステップ510aは図示されていない。
[ステップ510aの解説]
ランダム化された振幅が付加される程度はデコリレーションスケールファクターで制御されるが、特定のスケールファクターにより、アーティファクトを減少させるために同じスケールファクター値より得られる対応するランダム化された位相シフトより小さい、振幅シフトが起こると考える。
[ステップ511、アップミキシング]
a.各出力チャンネルの各ビンに、デコーダステップ508の振幅とデコーダステップ507のビン角からアップミキシングスケールファクターを組み立てる:すなわち、(振幅*(cos(角)+jsin(角)))。
b.各出力チャンネルに、複素ビン値とアップミキシングスケールファクターを乗算し、そのチャンネルの各ビンのアップミキシングされた複素出力ビン値を生成する。
[ステップ512、逆DFTの実行(任意的)]
任意的に、マルチチャンネル出力PCM値を生成させるために、各出力チャンネルのビンに逆DFT変換を実行する。よく知られているように、このような逆DFT変換との関連において、時間サンプルの各ブロックは窓処理され、最終的な出力PCMオーディオ信号を構築するために隣り合うブロックと重複して加算される。
[ステップ512の解説]
本発明によるデコーダはPCM出力を出力しない。デコーダ処理が所定のカップリング周波数以上で行われ離散MDCT係数がこの周波数以下の各チャンネルに送られる場合、デコーダアップミキシングステップ511a及び511bにより導き出されたDFT係数をMDCT係数に変換するのが好ましく、これにより、低い周波数の離散MDCT係数に結合し、例えば、逆変換が行なわれる外部装置のアプリケーションのための標準的なAC‐3SP/DIFビットストリームのような多くのユーザがインストールしているエンコーディングシステムと互換性のあるビットストリームに提供するために、再量子化することができる。逆DFT変換は、PCM出力を出力するために出力チャンネルの出力に適用される。
[感度ファクター「F」を付加したA/52A書面の第8.2.2項]
[8.2.2.トランジェントの検出]
プレエコー効率を改善するためにいつ長さの短いオーディオブロックに切り換えるかを決定するために、全帯域幅のチャンネルでトランジェントを検出する。ハイパスフィルターされた信号は、エネルギーを増加させるために、サブブロック時間セグメントから次のサブブロック時間セグメントへと、検査される。サブブロックは異なった時間スケールで検査される。もし、トランジェントがチャンネル中のオーディオブロックの第2番目の半分で検出されたなら、そのチャンネルは短いブロックに切り換えられる。ブロックが切り換えられたチャンネルはD45指数方策を用いる(すなわち、時間分解能を上げた結果生じるデータのオーバーヘッドを低減させるために、データはより粗い周波数分解能を持つ。)。
トランジェント検出器は長い変換ブロック(長さ512)から短いブロック(長さ256)に切り換えるときを決定するために用いられる。あらゆるオーディオブロックの512サンプルに対して動作する。これは、各経路で256サンプルの処理を行う2つの経路でなされる。トランジェントの検出は4つのステップに分けられる。すなわち、1)ハイパスフィルター処理、2)ブロックの約数へのセグメント化、3)各サブブロックセグメント内での振幅のピークの検出、4)閾値との比較、である。トランジェント検出器は各全帯域チャンネルに対してフラグbiksw[n]を出力する。このフラグは、「1」に設定されたとき、対応するチャンネルへの512長さの入力ブロックにおける第2番半分にトランジェントが存在することを示している。
1)ハイパスフィルター処理:ハイパスフィルターは、8kHzのカットオフを持つカスケード接続バイクワッドダイレクトフォームIIのIIRフィルターとして実行される。
2)ブロックのセグメント化:ハイパスフィルターされた256サンプルは、階層構造ツリーのレベルにセグメント化され、レベル1では、256の長さのブロックを表し、レベル2は長さ128の2つのセグメントとなり、レベル3は、長さ64の4つのセグメントとなる。
3)ピークの検出:階層構造ツリーの全てのレベルの各セグメントについて最も絶対値の大きいサンプルが特定される。信号レベルのピークは以下のように検出される。
P[j][k]=max(x(n))
n=(512×(k-1)/2^j), (512×(k-l)/2^j)+1,... (512×k/2^j)-1、そして
k=1,..., 2^(j-1)、である
ここで、
x(n)=256個の長さのブロックでのn番目のサンプル
j=1,2,3は、階層構造のレベル番号
k=レベルj内のセグメント数
である。
ここで留意すべきは、P[j][0]、(すなわちk=0)は、現ツリーの直前に計算されたレベルjのツリーにおける直前のセグメントのピークと定義される。例えば、先行するツリーのP[3][4]は現ツリーのP[3][0]である。
4)閾値との比較:第1段階の閾値比較器は、現ブロック内に大きな信号レベルがあるかどうかをチェックする。これは現ブロックの全体的なピーク値P[1][1]と「沈黙閾値(silence threshold)」とを比較することにより行う。もしP[1][1]がこの閾値以下ならば、長いブロックが強制される。沈黙閾値は、100/32768である。比較器は次の段階で、階層構造のツリーの各レベルにおいて、隣接するセグメントの相対的なピークレベルをチェックする。もし、特定のレベルにある隣接する2つのセグメントのピークの比がそのレベルにおける所定の閾値を超えているなら、現256長さのブロックにトランジェントが存在することを示すようにフラグを設定する。比は以下のように比較される。
mag(P[j][k])×T[j]>(F*mag(P[j][(k-1)])) (「F」は感度ファクター)
ここで、T[j]はレベルjにおけるあらかじめ定めた閾値であり、以下のように定義される。
T[1]=0.1
T[2]=0.075
T[3]=0.05
もし、全てのレベルにおけるどの2つのセグメントに対してもこの不等式が成り立つならば、トランジェントは、512長さの入力ブロックの最初の半分に対して表示される。この処理において、それ以外の場合は、トランジェントは、512長さの入力ブロックの第2番目の半分に存在すると判断する。
[N:Mエンコーディング]
本発明の特徴は、図1に関連して説明したN:1エンコーディングに限られるものではない。さらに一般化して、本発明の特徴は、図6のような方法であらゆる数の入力チャンネル(n個の入力チャンネル)をあらゆる数の出力チャンネル(m個の出力チャンネル)に変換するために応用することができる(すなわち、N:Mエンコーディング)。多くの一般的な応用例で入力チャンネルの数nは出力チャンネルの数mより大きいので、図6のN:Mエンコーディングの構成は、説明の便宜上「ダウンミキシング」と言われるものとなっている。
図6の詳細を参照すると、図1の構成のように加算的コンバイナ6で角の回転8の出力と角の回転10の出力とを加算する代わりに、これらの出力はダウンミックスマトリックス装置又は機能6’(「ダウンミックスマトリックス」)に入力されている。ダウンミックスマトリックス6’は、図1のN:1エンコーディングのような1つのチャンネル又は複数のチャンネルのどちらかにに単純な加算値を供給する能動マトリックス又は受動マトリックスとすることができる。マトリックス係数は実数でも複素数(実数と虚数)でもよい。図6の装置と機能は、図1の構成と同じであり、同じ参照番号を用いている。
ダウンミックスマトリックス6’は、例えば周波数レンジがf1からf2のmf1-f2チャンネルと周波数レンジがf2からf3のmf2-f3チャンネルのような混合的周波数依存機能を備えてもよい。例えば、カップリング周波数、例えば1000Hz、以下ではダウンミックスマトリックス6’は2チャンネルを出力し、カップリング周波数以上ではダウンミックスマトリックス6’は1チャンネルを出力させてもよい。カップリング周波数以下で2チャンネルを採用することにより、(人間の耳の水平性に適合するように)特に2チャンネルが水平方向を表現するときに、より良い空間的な忠実姓が得られる。
図6は、図1の構成のように各チャンネルに対し同じサイドチェーン情報を生成することを示しているが、1以上のチャンネルがダウンミックスマトリックス6’の出力により提供されるとき、サイドチェーン情報のいくつかは省略することができる。場合によっては、図6の構成で振幅スケールファクターサイドチェーン情報のみが出力されても満足の行く結果が得られる。サイドチェーンの選択に関するさらなる詳細は、図7,8,及び9の説明と関連して以下に述べる。
上述したように、ダウンミックスマトリックス6’により生成される複数のチャンネルは、入力チャンネルの数nより少なくする必要はない。図6に示したようにエンコーダの目的が伝送又は記憶のためのビット数を減らすことが目的のとき、ダウンミックスマトリックス6’により生成されるチャンネルの数はたぶん入力チャンネルの数nより少なくなると思われる。しかし、図6の構成は、「アップミキサー」としても用いることができる。その場合、ダウンミックスマトリックス6’により生成されるチャンネルの数が入力チャンネルの数nより多い用途となるだろう。
図2,5,及び6の例に関連して説明したエンコーダには、オーディオ情報及びサイドチェーン情報がそのデコーダでデコードしたとき適切な結果を出力するかどうかを判断するためのデコーダ又はデコーディング機能も含まれることがある。このような判断の結果は、例えば再帰的なプロセスを採用することによりパラメータを改善するために用いることができるであろう。エンコーディングシステム及びデコーディングシステムのブロックにおいて、オーディオ情報とそれに関連する空間的なパラメータの伝達遅れを最小限にするために、例えば、各ブロックにおいて次のブロックが終わる前に、再帰計算を行うことができる。
エンコーダにデコーダ又はデコーディング機能が含まれる構成も、空間的なパラメータが記憶されず又特定のブロックにのみに送られることもないとき、採用するとよい。空間的なパラメータのサイドチェーン情報を送らないことにより、適切でないデコーディングが結果として得られる場合は、そのようなサイドチェーン情報を特定のブロックに取りに行く。この場合、デコーダは、入ってきたビットストリームから、カップリング周波数以上の周波数に対して空間的なパラメータのサイドチェーン情報を復元する能力と、カップリング周波数以下でステレオ情報から似せて作った空間的なパラメータのサイドチェーン情報を生成する能力の両方をデコーダが有する、図2,5,及び6のデコーダ又はデコーディング機能を修正したものでもよい。
そのようなエンコーダを内蔵したローカルなデコーダに代わる単純化した案の例は、エネルギーがカップリング周波数以上である場合に空間的なパラメータのサイドチェーン情報を記憶又は保存しないというのではなく、ローカルなデコーダ又はデコーダ機能は持たないで、エンコーダがカップリング周波数以下で信号の中身があるかどうかを単純に判断する(適切な方法で判断する。例えば、その周波数レンジ全体での周波数ビンのエネルギーの合計で判断する)ためにチェックし、もしなければ、空間的なパラメータのサイドチェーン情報を記憶又は保存する。エンコーディングの仕組みに応じて、カップリング周波数以下で信号情報が低いということは、サイドチェーン情報を送るために多くのビットが利用可能になるということにもなる。
[M:Nデコーディング]
図2の構成をさらに一般化したものが図7に示されている。ここでは、アップミックスマトリックス機能又は装置(「アップミックスマトリックス」)20が、図6の構成で生成された1からmまでのチャンネルを受け取る。アップミックスマトリックス20は受動マトリックスでもよい。これは、図6の構成におけるダウンミックスマトリックス6’の共役転置(すなわち、補数)でもよいが、そうでなくてもよい。あるいは、アップミックスマトリックス20は能動マトリックス、すなわち可変マトリックス又は可変マトリックスと組み合わせた受動マトリックス、でもよい。もし能動マトリックスを採用するのならば、その穏やかな又は静的な状態において、それはダウンミックスマトリックスの複素共役でもよく、ダウンミックスマトリックスとは独立なものでもよい。振幅の調整、角の回転、及び(任意的に)補間機能又は装置を制御するために、図7に示したようにサイドチェーン情報を適用することができる。この場合、アップミックスマトリックスは、もし能動マトリックスであるならば、サイドチェーン情報とは独立に動作し、入力されたチャンネルにのみ応答して動作する。あるいは、サイドチェーン情報の一部又はすべてが能動マトリックスに入力しその動作を補助する。このような場合は、振幅の調整、角の回転、及び(任意的に)補間機能又は装置は省略される。図7のデコーダの例でも、図2と5に関連して上述したように、一定の信号状態の下でランダム化された振幅変動の程度を適用する代替案を採用することもできる。
アップミックスマトリックス20が能動マトリックスであるとき、図7の構成を、「混成マトリックスエンコーダ/デコーダシステム」として動作させるための「混成マトリックスデコーダ」として特徴づけることができる。この文脈における「混成」とはデコーダがその入力オーディオ信号からの制御情報の指標と、空間的なパラメータのサイドチェーン情報の制御情報の指標を導き出すことができる事実を指すものである。図7の他の要素は、図2の構成の通りであり同じ参照番号をつけている。
混成マトリックスデコーダ内での使用に適切な能動マトリックスデコーダには、例えば「Pro Logic」及び「Pro Logic II」デコーダ(「Pro Logic」はドルビー・ラボラトリース・ライセンシング・コーポレーションの登録商標である)として知られるマトリックスデコーダを含む上述し参考として組み込んだ能動マトリックスデコーダが含まれる。
[代替的なデコリレーション]
図8及び9は、図7の汎用デコーダの変形を示している。特に、図8の構成と9の構成は、図2及び7のデコリレーション技法の代替案を示している。図8において、それぞれのデコリレータ機能又は装置(「デコリレータ」)46及び48は、それぞれそのチャンネルの逆フィルターバンク30及び36に続く時間領域にある。図9において、それぞれのデコリレータ機能又は装置(「デコリレータ」)50及び52は、そのチャンネルの各逆フィルターバンク30及び36に先立つ周波数領域にある。図8と図9の両方の構成において、デコリレータの各々(46,48,50,52)は、その出力が相互にデコリレートするような独自の特性を持っている。デコリレーションスケールファクターは、例えば、各チャンネルに入力された相関のない信号にデコリレートする割合を制御するために使われる。以下に説明するように、デコリレータの運転モードをシフトさせるために任意的に、トランジェントフラグも用いられる。図8と図9の両方の構成において、各デコリレータは独自のフィルター特性を有するシュレーダー型反射器であってもよく、反射の量又は程度が(例えば、デコリレータの出力がデコリレータ入力とデコリレータ出力の線形結合の一部をなす程度を制御することにより)デコリレーシスケールファクターにより制御される。あるいは、他の制御可能なデコリレーション技法を、単独で、又は相互に組み合わせて又はシュレーダー型反射器と組み合わせて、採用してもよい。シュレーダー型反射器はよく知られており、2つの雑誌、「Colorless' Artificial Reverberation」、M.R.Schroeder及びB.F.Logan著、IRE Transactions on Audio、vol.AU−9、209−214ページ、1961年刊、及び「Natural Sounding Artificial Reverberation」、M.R.Schroeder著、Journal,A.E.S.、1962年10月刊、vol.10、no.2、219−223ページでその元をたどることができる。
図8の構成のように、デコリレータ46及び48が時間領域で動作するとき、単一の(すなわち広帯域の)デコリレーションスケールファクターが必要となる。これはいくつかの方法で取得することができる。例えば、単一のデコリレーションスケールファクターのみは、図1又は図7のエンコーダで生成することができる。あるいは、もし、図1又は図7のエンコーダがサブ帯域基準でデコリレーションスケールファクターを生成するならば、このサブ帯域デコリレーションスケールファクターは、図1又は図7のエンコーダ又は図8のデコーダにおける振幅又は合計された指数である。
図9の構成のように、デコリレータ50及び52が周波数領域で動作するとき、デコリレータは各サブ帯域又はサブ帯域のグループに対してデコリレーションスケールファクターを受け取り、同時に、このようなサブ帯域又はサブ帯域のグループにそれに見合った程度のデコリレーションを行うことができる。
図8のデコリレータ46及び48と、図9のデコリレータ50及び52とは、任意的に、トランジェントフラグを受け取る。図8の時間領域デコリレータにおいて、このトランジェントフラグを、それぞれのデコリレータの動作モードをシフトさせるために採用してもよい。例えば、デコリレータは、トランジェントフラグがないときシュレーダー型反射器として動作するが、トランジェントフラグを受け取ると、その後の短い期間、例えば1から10ミリセカンド、は固定時間遅れとして動作するようにしてもよい。各チャンネルは、あらかじめ定められた固定時間遅れを有してもよく、この時間遅れは短期間内の複数のトランジェントに応答して変動させてもよい。図9の周波数領域デコリレータにおいて、このトランジェントフラグを、それぞれのデコリレータの動作モードをシフトさせるために採用してもよい。しかしこの場合、トランジェントフラグを受け取ることが、例えば、フラグの生じたチャンネルにおける短期間(数ミリセカンド)の振幅増加を引き起こすようにしてもよい。
図8及び9の両方の構成において、任意的なトランジェントフラグにより制御される補間器27(33)は、上述の方法で、角の回転28(32)の出力位相角に全周波数に亘って補間を行うこととしてもよい。
上述のように、サイドチェーン情報に加えて2以上のチャンネルが伝達されるとき、サイドチェーンパラメータの数を減少させることは容認できる。例えば、振幅スケールファクターのみ伝達することも可能であり、この場合は、デコーダ内のデコリレーション装置又は機能及び角装置又は機能は省略できる(この場合図7,8,及び9では同じ構成で小さくしている)。
あるいは、振幅スケールファクター、デコリレーションスケールファクター、及び、任意的にトランジェントフラグを伝達してもよい。この場合図7,8,及び9の構成を採用してもよい(各々の角の回転28及び34は省略する)。
他の代替案として、振幅スケールファクターと角制御パラメータのみを伝達する。この場合、図7,8,及び9の構成を採用する(デコリレータ、図7の38及び42及び図8及び9の46,48,50,52を省略する)
図1及び2と同様に、図6〜9の構成は、入出力チャンネル数はどんな数でもよいが、説明を簡単にするために2つのチャンネルのみ示している。
本発明を変形又は修正した他の実施例及びその様々な形態は当業者には明らかであり、上記にて説明した発明の具体的実施形態に限定されるものではないことは了解されよう。したがって、本発明のすべての変形、修正、又はここに開示し請求した基本的な原則及び思想の範囲内のものは、本発明に含まれると考える。
本発明の実施の形態におけるN:1エンコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態における1:Nデコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 (垂直)周波数軸に沿って表したビンとサブ帯域の単純化した構成と(水平)時間軸に沿って表したブロックとフレームの単純化した構成の一例である。ここで、数値の尺度はあわせていない。 本発明の実施の形態におけるエンコーディング処理の機能を行うエンコーディングステップまたはエンコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるエンコーディング処理の機能を行うエンコーディングステップまたはエンコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるエンコーディング処理の機能を行うデコーディングステップまたはデコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるエンコーディング処理の機能を行うデコーディングステップまたはデコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるN:xエンコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態におけるx:Mデコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態におけるx:Mデコーディング処理の第1の代替案の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態におけるx:Mデコーディング処理の第2の代替案の原理的な機能又は装置を示す理想化したブロック図である。

Claims (62)

  1. 1つのオーディオエンコーダにて少なくとも2つの入力のオーディオチャンネルを受け取るオーディオのエンコード方法であって、
    前記少なくとも2つの入力のオーディオチャンネルの空間的なパラメータのセットを決定するステップを具備し、
    前記パラメータのセットは、第1の入力チャンネル切換時間におけるスペクトル成分の拡がりの尺度と、前記入力チャンネルの前記スペクトル成分のもう1つの入力チャンネルに対するチャンネル間位相角の類似性の尺度と、に対応する第1のパラメータを含むことを特徴とするオーディオのエンコード方法。
  2. 前記第1の入力チャンネル切換時間におけるスペクトル成分の拡がりの尺度は、対応するスペクトル成分の振幅又はエネルギーの変化に関連することを特徴とする請求項1に記載のオーディオのエンコード方法。
  3. 前記第1の入力チャンネルの前記スペクトル成分のチャンネル間位相角と前記もう1つの入力チャンネルのスペクトル成分のチャンネル間位相角との類似性の尺度は、前記入力チャンネルと前記もう1つの入力チャンネルとの間の仮想音像の存在に関連することを特徴とする請求項1又は請求項2に記載のオーディオのエンコード方法。
  4. 前記パラメータのセットには、前記もう1つの入力チャンネルのスペクトル成分の位相角に関連する前記第1の入力チャンネルのスペクトル成分の位相角に応答する更なるパラメータがさらに含まれることを特徴とする請求項1乃至請求項3のいずれか1項に記載のオーディオのエンコード方法。
  5. 前記少なくとも2つの入力オーディオチャンネルから導き出されたモノフォニックオーディオ信号を生成するステップを具備することを特徴とする請求項1乃至請求項4のいずれか1項に記載の方法。
  6. 前記モノフォニックオーディオ信号は、前記第1のパラメータと前記更なるパラメータに応答して前記少なくとも2つの入力オーディオチャンネルのうちの少なくとも1つを変更するステップを含む処理により、前記少なくとも2つの入力オーディオチャンネルネルから導き出されることを特徴とする、請求項4に従属する請求項5に記載の方法。
  7. 前記変更するステップにおいて、前記少なくとも2つの入力オーディオチャンネルのうちの少なくとも1つのスペクトル成分の位相角を変更することを特徴とする請求項6に記載の方法。
  8. 前記モノフォニックオーディオ信号と前記空間的なパラメータのセットを表現するエンコードされた信号を生成するステップをさらに具備することを特徴とする請求項5乃至請求項7のいずれか1項に記載の方法。
  9. 前記少なくとも2つの入力オーディオチャンネルから導き出された複数のオーディオ信号を生成するステップをさらに具備することを特徴とする請求項1乃至請求項4のいずれか1項に記載の方法。
  10. 前記複数のオーディオ信号は、少なくとも2つの入力オーディオチャンネルを受動的に又は能動的にマトリックス化する処理により、前記少なくとも2つの入力オーディオチャンネルから導き出されることを特徴とする請求項9に記載の方法。
  11. 前記複数のオーディオ信号は、前記第1のパラメータと前記更なるパラメータに応答して、前記少なくとも2つの入力オーディオチャンネルのうちの1つを変更するステップを含む処理により前記少なくとも2つの入力オーディオチャンネルから導き出されることを特徴とする請求項9又は請求項10に記載の方法。
  12. 前記変更するステップにおいて、前記少なくとも2つの入力オーディオチャンネルのうちの少なくとも1つのスペクトル成分の位相角を変更することを特徴とする請求項11に記載の方法。
  13. 前記複数のオーディオ信号と空間的なパラメータのセットを表現するエンコードされた信号を生成するステップをさらに具備することを特徴とする請求項10乃至請求項12のいずれか1項に記載の方法。
  14. 前記パラメータのセットには、前記第1の入力チャンネルにおけるトランジェントの発生に応答するパラメータがさらに含まれることを特徴とする請求項1乃至請求項13のいずれか1項に記載のオーディオのエンコード方法。
  15. 前記パラメータのセットには、前記第1の入力チャンネルの振幅又はエネルギーを示すパラメータがさらに含まれることを特徴とする請求項1乃至請求項14のいずれか1項に記載のオーディオのエンコード方法。
  16. 前記入力チャンネル切換時間におけるスペクトル成分の拡がりの尺度は、前記第1の入力チャンネルの周波数帯域のスペクトル成分に関連付けられ、前記もう1つの入力チャンネルのスペクトル成分のチャンネル間位相角と比較における前記第1の入力チャンネルの前記スペクトル成分のチャンネル間位相角の類似性の尺度は、前記もう1つの入力チャンネルの対応する周波数帯域におけるスペクトル成分に関連する前記第1の入力チャンネルの周波数帯域のスペクトル成分に関連付けられることを特徴とする請求項1乃至請求項15のいずれか1項に記載のオーディオのエンコード方法。
  17. 1つのオーディオエンコーダにて少なくとも2つの入力のオーディオチャンネルを受け取るオーディオのエンコード方法であって、
    前記少なくとも2つの入力のオーディオチャンネルの空間的なパラメータのセットを決定するステップを具備し、
    前記パラメータのセットには、前記第1の入力チャンネルにおけるトランジェントの発生に応答する第1のパラメータが含まれることを特徴とするオーディオのエンコード方法。
  18. 1以上の他のオーディオ信号について、オーディオ信号のデコリレーションを行う方法であって、前記オーディオ信号は、複数の周波数帯域に分割され、各帯域は1以上のスペクトル成分を具備し、
    少なくとも部分的に第1の動作モードと第2の動作モードに従いオーディオ信号におけるスペクトル成分の位相角をシフトするステップを具備することを特徴とする、オーディオ信号のデコリレーションを行う方法。
  19. 第1の動作モードに従いオーディオ信号におけるスペクトル成分の位相角をシフトするステップには、第1の周波数分解能と第1の時間分解能に従いオーディオ信号におけるスペクトル成分の位相角をシフトするステップが含まれ、第2の動作モードに従いオーディオ信号におけるスペクトル成分の位相角をシフトするステップには、第2の周波数分解能と第2の時間分解能に従いオーディオ信号におけるスペクトル成分の位相角をシフトするステップが含まれることを特徴とする請求項18に記載の方法。
  20. 前記第2の時間分解能は、第1の周波数分解能より細かいことを特徴とする請求項19に記載の方法。
  21. 前記第2の周波数分解能は、前記第1の周波数分解能より粗いか又は同程度であって、前記第2の時間分解能は、前記前記第1の周波数分解能より細かいことを特徴とする請求項19に記載の方法。
  22. 前記第1の動作モードは、少なくとも1以上の複数の周波数帯域においてスペクトル成分の位相角のシフティングを行うステップを具備し、ここで各スペクトル成分は実質的に時間不変量である異なった角だけシフトされ、前記第2の動作モードは、少なくとも1以上の複数の周波数帯域においてすべてのスペクトル成分の位相角を同じ角だけシフティングを行うステップを具備し、異なった位相角シフトは、その周波数帯域で位相角がシフトされ位相角シフトが時間と共に変化する各周波数帯域に適用されることを特徴とする請求項18乃至請求項21のいずれか1項に記載の方法。
  23. 前記第2の動作モードにおける1つの周波数帯におけるスペクトル成分の位相角は、1つの周波数帯域境界全般に亘るスペクトル成分からスペクトル成分での位相角の変化を減少させるために補間されることを特徴とする請求項22に記載の方法。
  24. 前記第1の動作モードは、少なくとも1以上の複数の周波数帯域においてスペクトル成分の位相角のシフティングを行うステップを具備し、ここで各スペクトル成分は実質的に時間不変量である異なった角だけシフトされ、前記第2の動作モードは、スペクトル成分の位相角のシフティングを行うステップを具備しないことを特徴とする請求項18に記載の方法。
  25. 前記シフティングを行うステップには、ランダム化されたシフティングを行うステップが含まれることを特徴とする請求項18乃至請求項24のいずれか1項に記載の方法。
  26. 前記ランダム化されたシフティングの量は、制御可能であることを特徴とする請求項18乃至請求項25のいずれか1項に記載の方法。
  27. 前記動作モードは、前記オーディオ信号に応答することを特徴とする請求項18乃至請求項26のいずれか1項に記載の方法。
  28. 前記動作モードは、前記オーディオ信号のトランジェントの存在に応答することを特徴とする請求項27に記載の方法。
  29. 前記動作モードは、制御信号に応答することを特徴とする請求項18乃至請求項26のいずれか1項に記載の方法。
  30. 前記制御信号は、オーディオ信号におけるトランジェントの存在に応答することを特徴とする請求項29に記載の方法。
  31. オーディオ信号におけるスペクトル成分の大きさのシフティングを行うステップをさらに具備することを特徴とする請求項18乃至請求項30のいずれか1項に記載の方法。
  32. オーディオ信号におけるスペクトル成分の大きさのシフティングを行うステップは、第1の動作モード及び第2の動作モードに従うことを特徴とする請求項31に記載の方法。
  33. 前記動作モードは、前記オーディオ信号に応答することを特徴とする請求項32に記載の方法。
  34. 前記動作モードは、前記オーディオ信号におけるトランジェントの存在に応答することを特徴とする請求項33に記載の方法。
  35. 前記動作モードは、制御信号に応答することを特徴とする請求項14に記載の方法。
  36. 前記制御信号は、前記オーディオ信号におけるトランジェントの存在に応答することを特徴とする請求項35に記載の方法。
  37. 前記大きさのシフティングは、ランダム化されたシフティングであることを特徴とする請求項30乃至請求項36のいずれか1項に記載の方法。
  38. 前記絶対値をシフティングする量は制御可能であることを特徴とする請求項37に記載の方法。
  39. 1つのオーディオデコーダにて、Nのオーディオチャンネルを表現するMのエンコードされたオーディオチャンネルを受け取るオーディオのデコード方法であって、Mは1以上でありNは2以上であり、Nのオーディオチャンネルを表現する空間的なパラメータを受け取るステップと、
    前記MのオーディオチャンネルからNのオーディオチャンネルを導き出すステップであって、各オーディオチャンネルのオーディオ信号は複数の周波数帯域に分割され、各帯域は1以上のスペクトル成分を具備することを特徴とするステップと、
    前記空間的なパラメータのうちの1つ以上に応答して前記Nのオーディオチャンネルのうちの少なくとも1つのオーディオ信号におけるスペクトル成分の位相角のシフティングを行うステップであって、該シフティングを行うステップは、少なくとも部分的に第1の動作モード及び第2の動作モードに従うことを特徴とするステップと、
    を具備することを特徴とするオーディオのデコード方法。
  40. 前記Nのオーディオチャンネルは、前記Mのオーディオチャンネルを受動的又は能動的に逆マトリックス化するステップを含む処理により前記Mのオーディオチャンネルから導き出されることを特徴とする請求項39に記載の方法。
  41. Mは2以上であり、前記Nのオーディオチャンネルは、前記Mのオーディオチャンネルを能動的に逆マトリックス化するステップを含む処理により前記Mのオーディオチャンネルから導き出されることを特徴とする請求項39に記載の方法。
  42. 前記逆マトリックス化するステップは、前記Mのオーディオチャンネルの特性に少なくとも部分的に応答して動作することを特徴とする請求項41に記載の方法。
  43. 前記逆マトリックス化するステップは、前記空間的なパラメータのうちの1以上に少なくとも部分的に応答して動作することを特徴とする請求項41又は請求項42に記載の方法。
  44. 第1の動作モードによる従うオーディオ信号におけるスペクトル成分の位相角をシフトするステップには、第1の周波数分解能と第1の時間分解能に従ってオーディオ信号におけるスペクトル成分の位相角をシフトするステップが含まれ、第2の動作モードによる従うオーディオ信号におけるスペクトル成分の位相角をシフトするステップには、第2の周波数分解能と第2の時間分解能に従ってオーディオ信号におけるスペクトル成分の位相角をシフトするステップが含まれることを特徴とする請求項39に記載の方法。
  45. 前記第2の時間分解能は、前記第1の時間分解能より細かいことを特徴とする請求項44に記載の方法。
  46. 前記第2の周波数分解能は、前記第1の時間分解能より粗いか又は同程度であり、前記第2の時間分解能は、前記第1の時間分解能より細かいことを特徴とする請求項44に記載の方法。
  47. 前記第1の周波数分解能は、前記空間的なパラメータの周波数分解能より細かいことを特徴とする請求項45に記載の方法。
  48. 前記第2の時間分解能は、前記空間的なパラメータの時間分解能より細かいことを特徴とする請求項46又は請求項47に記載の方法。
  49. 前記第1の動作モードは、少なくとも1以上の複数の周波数帯域においてスペクトル成分の位相角のシフティングを行うステップを具備し、ここで各スペクトル成分は実質的に時間不変量である異なった角だけシフトされ、前記第2の動作モードは、少なくとも1以上の複数の周波数帯域においてすべてのスペクトル成分の位相角を同じ角だけシフティングを行うステップを具備し、異なった位相角シフトは、その周波数帯域で位相角がシフトされ位相角シフトが時間と共に変化する各周波数帯域に適用されることを特徴とする請求項39乃至請求項48のいずれか1項に記載の方法。
  50. 前記第2の動作モードにおける1つの周波数帯におけるスペクトル成分の位相角は、1つの周波数帯域境界全般に亘るスペクトル成分からスペクトル成分での位相角の変化を減少させるために補間されることを特徴とする請求項49に記載の方法。
  51. 前記第1の動作モードは、少なくとも1以上の複数の周波数帯域においてスペクトル成分の位相角のシフティングを行うステップを具備し、ここで各スペクトル成分は実質的に時間不変量である異なった角だけシフトされ、前記第2の動作モードは、スペクトル成分の位相角のシフティングを行うステップを具備しないことを特徴とする請求項39に記載の方法。
  52. 前記シフティングを行うステップには、ランダム化されたシフティングを行うステップが含まれることを特徴とする請求項39乃至請求項51のいずれか1項に記載の方法。
  53. 前記ランダム化されたシフティングの量は、制御可能であることを特徴とする請求項52に記載の方法。
  54. 第1の動作モード及び第2の動作モードに従う前記空間的なパラメータのうちの1つ以上に応答したオーディオ信号におけるスペクトル成分の大きさのシフティングを行うステップをさらに具備することを特徴とする請求項39乃至請求項53のいずれか1項に記載の方法。
  55. 前記大きさのシフティングを行うステップには、ランダム化されたシフティングを行うステップが含まれることを特徴とする請求項54に記載の方法。
  56. 絶対値をシフティングする量は制御可能であることを特徴とする請求項54又は請求項55に記載の方法。
  57. 1つのオーディオデコーダにてNのオーディオチャンネルを表現するMのエンコードされたオーディオチャンネルを受け取るオーディオのデコード方法であって、Mは1以上でありNは2以上であり、Nのオーディオチャンネルを表現する空間的なパラメータを受け取るステップと、
    前記MのオーディオチャンネルからNのオーディオチャンネルを導き出すステップであって、前記Nのオーディオチャンネルは、前記Mのオーディオチャンネルを能動的に逆マトリックス化するステップを含む処理により前記Mのオーディオチャンネルから導き出され、前記逆マトリックス化するステップは、少なくとも部分的に前記Mのオーディオチャンネルの特性に応答して動作すると共に、少なくとも部分的に1以上の前記空間的なパラメータに応答して動作することを特徴とする、ステップと、
    を具備することを特徴とするオーディオのデコード方法。
  58. 請求項1乃至請求項57のいずれか1項に記載の方法を実行するのに適した装置。
  59. コンピュータが読み取り可能な媒体に記録された、請求項1乃至請求項57のいずれか1項に記載の方法を実行させるためのコンピュータプログラム。
  60. 請求項1乃至請求項17のいずれか1項に記載の方法により生成されたビットストリーム。
  61. 請求項1乃至請求項17のいずれか1項に記載の方法を実行するのに適した装置により生成されたビットストリーム。
  62. 請求項1乃至請求項17及び請求項39乃至請求項57のいずれか1項に記載の方法を実行するエンコーディング/デコーディングシステム。
JP2007501875A 2004-03-01 2005-02-28 マルチチャンネルオーディオコーディング Active JP4867914B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US54936804P 2004-03-01 2004-03-01
US60/549,368 2004-03-01
US57997404P 2004-06-14 2004-06-14
US60/579,974 2004-06-14
US58825604P 2004-07-14 2004-07-14
US60/588,256 2004-07-14
PCT/US2005/006359 WO2005086139A1 (en) 2004-03-01 2005-02-28 Multichannel audio coding

Publications (3)

Publication Number Publication Date
JP2007526522A true JP2007526522A (ja) 2007-09-13
JP2007526522A5 JP2007526522A5 (ja) 2009-07-02
JP4867914B2 JP4867914B2 (ja) 2012-02-01

Family

ID=34923263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007501875A Active JP4867914B2 (ja) 2004-03-01 2005-02-28 マルチチャンネルオーディオコーディング

Country Status (17)

Country Link
US (18) US8983834B2 (ja)
EP (4) EP1914722B1 (ja)
JP (1) JP4867914B2 (ja)
KR (1) KR101079066B1 (ja)
CN (3) CN102176311B (ja)
AT (4) ATE527654T1 (ja)
AU (2) AU2005219956B2 (ja)
BR (1) BRPI0508343B1 (ja)
CA (11) CA2992089C (ja)
DE (3) DE602005014288D1 (ja)
ES (1) ES2324926T3 (ja)
HK (4) HK1092580A1 (ja)
IL (1) IL177094A (ja)
MY (1) MY145083A (ja)
SG (3) SG10201605609PA (ja)
TW (3) TWI498883B (ja)
WO (1) WO2005086139A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009511966A (ja) * 2005-10-12 2009-03-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャンネル音声信号の時間的および空間的整形
JP2009531724A (ja) * 2006-03-28 2009-09-03 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチチャネルオーディオ再構成における信号整形のための改善された方法
JP2011209588A (ja) * 2010-03-30 2011-10-20 Fujitsu Ltd ダウンミクス装置およびダウンミクス方法
JP2012503791A (ja) * 2008-09-25 2012-02-09 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
US8346380B2 (en) 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
US8346379B2 (en) 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
JP2013502607A (ja) * 2009-08-18 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド マルチチャネルオーディオデコーディング方法及び装置
JP2013539553A (ja) * 2010-08-25 2013-10-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 結合ユニットとミキサーとを用いて過渡を含む信号を復号化する装置
JP2013540283A (ja) * 2010-09-28 2013-10-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイスおよび方法
WO2014208431A1 (ja) * 2013-06-27 2014-12-31 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
JP2016522445A (ja) * 2013-05-24 2016-07-28 ドルビー・インターナショナル・アーベー オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ
JP2019512740A (ja) * 2016-03-18 2019-05-16 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音声スペクトログラムに基づく構造テンソルを使用して位相情報を復元することによるエンコーディング
JP2020502562A (ja) * 2016-11-23 2020-01-23 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 相関分離フィルタの適応制御のための方法および装置
CN112218020A (zh) * 2019-07-09 2021-01-12 海信视像科技股份有限公司 一种多声道平台音频数据传输方法及其装置

Families Citing this family (263)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7461002B2 (en) 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
US7283954B2 (en) 2001-04-13 2007-10-16 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7240001B2 (en) * 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
EP2782337A3 (en) 2002-10-15 2014-11-26 Verance Corporation Media monitoring, management and information system
US7369677B2 (en) * 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
US7460990B2 (en) 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
WO2007109338A1 (en) * 2006-03-21 2007-09-27 Dolby Laboratories Licensing Corporation Low bit rate audio encoding and decoding
KR101283525B1 (ko) 2004-07-14 2013-07-15 돌비 인터네셔널 에이비 오디오 채널 변환
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
TWI497485B (zh) 2004-08-25 2015-08-21 Dolby Lab Licensing Corp 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
CA2581810C (en) 2004-10-26 2013-12-17 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
SE0402651D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
DE102005014477A1 (de) 2005-03-30 2006-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
US7983922B2 (en) 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7418394B2 (en) * 2005-04-28 2008-08-26 Dolby Laboratories Licensing Corporation Method and system for operating audio encoders utilizing data from overlapping audio segments
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2006126844A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding an audio signal
KR101251426B1 (ko) * 2005-06-03 2013-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
DE602006018618D1 (de) * 2005-07-22 2011-01-13 France Telecom Verfahren zum umschalten der raten- und bandbreitenskalierbaren audiodecodierungsrate
TWI396188B (zh) 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
US7917358B2 (en) * 2005-09-30 2011-03-29 Apple Inc. Transient detection by power weighted average
ES2478004T3 (es) * 2005-10-05 2014-07-18 Lg Electronics Inc. Método y aparato para decodificar una señal de audio
KR100857111B1 (ko) * 2005-10-05 2008-09-08 엘지전자 주식회사 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩방법 및 이의 장치
US8019611B2 (en) 2005-10-13 2011-09-13 Lg Electronics Inc. Method of processing a signal and apparatus for processing a signal
WO2007043845A1 (en) * 2005-10-13 2007-04-19 Lg Electronics Inc. Method and apparatus for processing a signal
WO2007046659A1 (en) 2005-10-20 2007-04-26 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US7676360B2 (en) * 2005-12-01 2010-03-09 Sasken Communication Technologies Ltd. Method for scale-factor estimation in an audio encoder
TWI420918B (zh) * 2005-12-02 2013-12-21 Dolby Lab Licensing Corp 低複雜度音訊矩陣解碼器
TWI329462B (en) 2006-01-19 2010-08-21 Lg Electronics Inc Method and apparatus for processing a media signal
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
JP4951985B2 (ja) * 2006-01-30 2012-06-13 ソニー株式会社 音声信号処理装置、音声信号処理システム、プログラム
JP5054035B2 (ja) 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化/復号化装置及び方法
DE102006062774B4 (de) * 2006-02-09 2008-08-28 Infineon Technologies Ag Vorrichtung und Verfahren zur Detektion von Audio-Signalrahmen
TWI517562B (zh) 2006-04-04 2016-01-11 杜比實驗室特許公司 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式
ATE448638T1 (de) * 2006-04-13 2009-11-15 Fraunhofer Ges Forschung Audiosignaldekorrelator
CA2648237C (en) 2006-04-27 2013-02-05 Dolby Laboratories Licensing Corporation Audio gain control using specific-loudness-based auditory event detection
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
EP2084901B1 (en) 2006-10-12 2015-12-09 LG Electronics Inc. Apparatus for processing a mix signal and method thereof
RU2413357C2 (ru) 2006-10-20 2011-02-27 Долби Лэборетериз Лайсенсинг Корпорейшн Обработка динамических свойств аудио с использованием перенастройки
WO2008060111A1 (en) 2006-11-15 2008-05-22 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
KR101062353B1 (ko) 2006-12-07 2011-09-05 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 그 장치
JP5450085B2 (ja) 2006-12-07 2014-03-26 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
EP2595152A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
US8200351B2 (en) * 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
DE602008001787D1 (de) * 2007-02-12 2010-08-26 Dolby Lab Licensing Corp Verbessertes verhältnis von sprachlichen zu nichtsprachlichen audio-inhalten für ältere oder hörgeschädigte zuhörer
JP5530720B2 (ja) 2007-02-26 2014-06-25 ドルビー ラボラトリーズ ライセンシング コーポレイション エンターテイメントオーディオにおける音声強調方法、装置、およびコンピュータ読取り可能な記録媒体
DE102007018032B4 (de) 2007-04-17 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung dekorrelierter Signale
ES2452348T3 (es) 2007-04-26 2014-04-01 Dolby International Ab Aparato y procedimiento para sintetizar una señal de salida
EP2278582B1 (en) * 2007-06-08 2016-08-10 LG Electronics Inc. A method and an apparatus for processing an audio signal
US7953188B2 (en) * 2007-06-25 2011-05-31 Broadcom Corporation Method and system for rate>1 SFBC/STBC using hybrid maximum likelihood (ML)/minimum mean squared error (MMSE) estimation
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
CN101790758B (zh) 2007-07-13 2013-01-09 杜比实验室特许公司 用于控制音频信号的信号处理的设备和方法
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8385556B1 (en) 2007-08-17 2013-02-26 Dts, Inc. Parametric stereo conversion system and method
WO2009045649A1 (en) * 2007-08-20 2009-04-09 Neural Audio Corporation Phase decorrelation for audio processing
PL2186090T3 (pl) 2007-08-27 2017-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Detektor stanów przejściowych i sposób wspierający kodowanie sygnału audio
MX2010004220A (es) 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
WO2009075511A1 (en) * 2007-12-09 2009-06-18 Lg Electronics Inc. A method and an apparatus for processing a signal
WO2009086174A1 (en) 2007-12-21 2009-07-09 Srs Labs, Inc. System for adjusting perceived loudness of audio signals
KR20100095586A (ko) * 2008-01-01 2010-08-31 엘지전자 주식회사 신호 처리 방법 및 장치
KR101449434B1 (ko) * 2008-03-04 2014-10-13 삼성전자주식회사 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치
KR101230479B1 (ko) * 2008-03-10 2013-02-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 트랜지언트 이벤트를 갖는 오디오 신호를 조작하기 위한 장치 및 방법
WO2009116280A1 (ja) * 2008-03-19 2009-09-24 パナソニック株式会社 ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法
US8605914B2 (en) * 2008-04-17 2013-12-10 Waves Audio Ltd. Nonlinear filter for separation of center sounds in stereophonic audio
KR20090110242A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 신호를 처리하는 방법 및 장치
KR20090110244A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
KR101599875B1 (ko) * 2008-04-17 2016-03-14 삼성전자주식회사 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
US8060042B2 (en) * 2008-05-23 2011-11-15 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8630848B2 (en) 2008-05-30 2014-01-14 Digital Rise Technology Co., Ltd. Audio signal transient detection
WO2009146734A1 (en) * 2008-06-03 2009-12-10 Nokia Corporation Multi-channel audio coding
US8355921B2 (en) * 2008-06-13 2013-01-15 Nokia Corporation Method, apparatus and computer program product for providing improved audio processing
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
JP5110529B2 (ja) * 2008-06-27 2012-12-26 日本電気株式会社 物標探査装置、物標探査プログラム及び物標探査方法
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
KR101428487B1 (ko) * 2008-07-11 2014-08-08 삼성전자주식회사 멀티 채널 부호화 및 복호화 방법 및 장치
KR101381513B1 (ko) 2008-07-14 2014-04-07 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
EP2154911A1 (en) 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
EP2154910A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for merging spatial audio streams
TWI413109B (zh) * 2008-10-01 2013-10-21 Dolby Lab Licensing Corp 用於上混系統之解相關器
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR101600352B1 (ko) * 2008-10-30 2016-03-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
JP5317177B2 (ja) * 2008-11-07 2013-10-16 日本電気株式会社 目標物探知装置及び目標物探知制御プログラム、目標物探知方法
JP5317176B2 (ja) * 2008-11-07 2013-10-16 日本電気株式会社 物体探査装置及び物体探査プログラム、物体探査方法
JP5309944B2 (ja) * 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
US8964994B2 (en) * 2008-12-15 2015-02-24 Orange Encoding of multichannel digital audio signals
TWI449442B (zh) * 2009-01-14 2014-08-11 Dolby Lab Licensing Corp 用於無回授之頻域主動矩陣解碼的方法與系統
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
SG174207A1 (en) * 2009-03-03 2011-10-28 Agency Science Tech & Res Methods for determining whether a signal includes a wanted signal and apparatuses configured to determine whether a signal includes a wanted signal
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
ES2452569T3 (es) * 2009-04-08 2014-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato, procedimiento y programa de computación para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavización de valor fase
CN102307323B (zh) * 2009-04-20 2013-12-18 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法
CN101533641B (zh) 2009-04-20 2011-07-20 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
WO2011013381A1 (ja) * 2009-07-31 2011-02-03 パナソニック株式会社 符号化装置および復号装置
US8538042B2 (en) 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
PL2491553T3 (pl) 2009-10-20 2017-05-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder audio, dekoder audio, sposób kodowania informacji audio, sposób dekodowania informacji audio i program komputerowy wykorzystujący iteracyjne zmniejszania rozmiaru przedziału
ES2805349T3 (es) 2009-10-21 2021-02-11 Dolby Int Ab Sobremuestreo en un banco de filtros de reemisor combinado
KR20110049068A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 멀티 채널 오디오 신호의 부호화/복호화 장치 및 방법
DE102009052992B3 (de) * 2009-11-12 2011-03-17 Institut für Rundfunktechnik GmbH Verfahren zum Abmischen von Mikrofonsignalen einer Tonaufnahme mit mehreren Mikrofonen
US9324337B2 (en) * 2009-11-17 2016-04-26 Dolby Laboratories Licensing Corporation Method and system for dialog enhancement
CN102667920B (zh) * 2009-12-16 2014-03-12 杜比国际公司 Sbr比特流参数缩混
FR2954640B1 (fr) * 2009-12-23 2012-01-20 Arkamys Procede d'optimisation de la reception stereo pour radio analogique et recepteur de radio analogique associe
JP5624159B2 (ja) 2010-01-12 2014-11-12 フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. オーディオ符号化器、オーディオ復号器、オーディオ情報を符号化および復号するための方法、ならびに以前に復号されたスペクトル値のノルムに基づいてコンテキストサブ領域値を取得するコンピュータプログラム
US9025776B2 (en) * 2010-02-01 2015-05-05 Rensselaer Polytechnic Institute Decorrelating audio signals for stereophonic and surround sound using coded and maximum-length-class sequences
TWI443646B (zh) * 2010-02-18 2014-07-01 Dolby Lab Licensing Corp 音訊解碼器及使用有效降混之解碼方法
US8428209B2 (en) * 2010-03-02 2013-04-23 Vt Idirect, Inc. System, apparatus, and method of frequency offset estimation and correction for mobile remotes in a communication network
KR20110116079A (ko) 2010-04-17 2011-10-25 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2012006770A1 (en) * 2010-07-12 2012-01-19 Huawei Technologies Co., Ltd. Audio signal generator
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9607131B2 (en) 2010-09-16 2017-03-28 Verance Corporation Secure and efficient content screening in a networked environment
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
WO2012037515A1 (en) 2010-09-17 2012-03-22 Xiph. Org. Methods and systems for adaptive time-frequency resolution in digital data coding
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
EP3518234B1 (en) 2010-11-22 2023-11-29 NTT DoCoMo, Inc. Audio encoding device and method
TWI759223B (zh) * 2010-12-03 2022-03-21 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
EP2464146A1 (en) 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
EP2477188A1 (en) * 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
WO2012122299A1 (en) 2011-03-07 2012-09-13 Xiph. Org. Bit allocation and partitioning in gain-shape vector quantization for audio coding
WO2012122297A1 (en) * 2011-03-07 2012-09-13 Xiph. Org. Methods and systems for avoiding partial collapse in multi-block audio coding
WO2012122303A1 (en) 2011-03-07 2012-09-13 Xiph. Org Method and system for two-step spreading for tonal artifact avoidance in audio coding
BR112013029850B1 (pt) 2011-05-26 2021-02-09 Koninklijke Philips N.V. sistema de áudio e método de operação de um sistema de áudio
US9129607B2 (en) 2011-06-28 2015-09-08 Adobe Systems Incorporated Method and apparatus for combining digital signals
WO2013002696A1 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget Lm Ericsson (Publ) Transform audio codec and methods for encoding and decoding a time segment of an audio signal
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
WO2013106322A1 (en) * 2012-01-11 2013-07-18 Dolby Laboratories Licensing Corporation Simultaneous broadcaster -mixed and receiver -mixed supplementary audio services
US10148903B2 (en) 2012-04-05 2018-12-04 Nokia Technologies Oy Flexible spatial audio capture apparatus
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
JP6258206B2 (ja) 2012-09-07 2018-01-10 サターン ライセンシング エルエルシーSaturn Licensing LLC 送信装置、送信方法、受信装置および受信方法
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9269363B2 (en) * 2012-11-02 2016-02-23 Dolby Laboratories Licensing Corporation Audio data hiding based on perceptual masking and detection based on code multiplexing
WO2014126688A1 (en) 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
TWI618051B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
WO2014126689A1 (en) 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for controlling the inter-channel coherence of upmixed audio signals
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
US9191516B2 (en) * 2013-02-20 2015-11-17 Qualcomm Incorporated Teleconferencing using steganographically-embedded audio data
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9786286B2 (en) * 2013-03-29 2017-10-10 Dolby Laboratories Licensing Corporation Methods and apparatuses for generating and using low-resolution preview tracks with high-quality encoded object and multichannel audio signals
US10635383B2 (en) 2013-04-04 2020-04-28 Nokia Technologies Oy Visual audio processing apparatus
EP3528249A1 (en) 2013-04-05 2019-08-21 Dolby International AB Stereo audio encoder and decoder
TWI546799B (zh) * 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
EP3217398B1 (en) * 2013-04-05 2019-08-14 Dolby International AB Advanced quantizer
US9706324B2 (en) 2013-05-17 2017-07-11 Nokia Technologies Oy Spatial object oriented audio apparatus
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
EP3933834B1 (en) 2013-07-05 2024-07-24 Dolby International AB Enhanced soundfield coding using parametric component generation
FR3008533A1 (fr) * 2013-07-12 2015-01-16 Orange Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
EP2830333A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
SG11201600466PA (en) 2013-07-22 2016-02-26 Fraunhofer Ges Forschung Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
EP2830335A3 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
EP2830336A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Renderer controlled spatial upmix
EP2838086A1 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9489952B2 (en) * 2013-09-11 2016-11-08 Bally Gaming, Inc. Wagering game having seamless looping of compressed audio
WO2015036350A1 (en) 2013-09-12 2015-03-19 Dolby International Ab Audio decoding system and audio encoding system
KR101782916B1 (ko) * 2013-09-17 2017-09-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
TWI557724B (zh) 2013-09-27 2016-11-11 杜比實驗室特許公司 用於將 n 聲道音頻節目編碼之方法、用於恢復 n 聲道音頻節目的 m 個聲道之方法、被配置成將 n 聲道音頻節目編碼之音頻編碼器及被配置成執行 n 聲道音頻節目的恢復之解碼器
KR101805327B1 (ko) 2013-10-21 2017-12-05 돌비 인터네셔널 에이비 오디오 신호들의 파라메트릭 재구성을 위한 역상관기 구조
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
WO2015060654A1 (ko) 2013-10-22 2015-04-30 한국전자통신연구원 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
WO2015099429A1 (ko) 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치
CN103730112B (zh) * 2013-12-25 2016-08-31 讯飞智元信息科技有限公司 语音多信道模拟与采集方法
US9564136B2 (en) 2014-03-06 2017-02-07 Dts, Inc. Post-encoding bitrate reduction of multiple object audio
EP3117626A4 (en) 2014-03-13 2017-10-25 Verance Corporation Interactive content acquisition using embedded codes
CN108600935B (zh) 2014-03-19 2020-11-03 韦勒斯标准与技术协会公司 音频信号处理方法和设备
KR101856127B1 (ko) 2014-04-02 2018-05-09 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
JP6418237B2 (ja) * 2014-05-08 2018-11-07 株式会社村田製作所 樹脂多層基板およびその製造方法
CN113808598A (zh) * 2014-06-27 2021-12-17 杜比国际公司 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的方法
CN106471822B (zh) * 2014-06-27 2019-10-25 杜比国际公司 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的设备
EP2980801A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
MX364166B (es) 2014-10-02 2019-04-15 Dolby Int Ab Método de decodificación y decodificador para mejora del diálogo.
US9609451B2 (en) * 2015-02-12 2017-03-28 Dts, Inc. Multi-rate system for audio processing
JP6798999B2 (ja) * 2015-02-27 2020-12-09 アウロ テクノロジーズ エンフェー. デジタルデータセットの符号化及び復号
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
JP6930420B2 (ja) * 2015-05-22 2021-09-01 ソニーグループ株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
US10043527B1 (en) * 2015-07-17 2018-08-07 Digimarc Corporation Human auditory system modeling with masking energy adaptation
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
CN107731238B (zh) * 2016-08-10 2021-07-16 华为技术有限公司 多声道信号的编码方法和编码器
CN107886960B (zh) * 2016-09-30 2020-12-01 华为技术有限公司 一种音频信号重建方法及装置
US10362423B2 (en) 2016-10-13 2019-07-23 Qualcomm Incorporated Parametric audio decoding
EP3539126B1 (en) 2016-11-08 2020-09-30 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10210874B2 (en) * 2017-02-03 2019-02-19 Qualcomm Incorporated Multi channel coding
US10354667B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
WO2018201113A1 (en) * 2017-04-28 2018-11-01 Dts, Inc. Audio coder window and transform implementations
CN107274907A (zh) * 2017-07-03 2017-10-20 北京小鱼在家科技有限公司 双麦克风设备上实现指向性拾音的方法和装置
ES2965741T3 (es) * 2017-07-28 2024-04-16 Fraunhofer Ges Forschung Aparato para codificar o decodificar una señal multicanal codificada mediante una señal de relleno generada por un filtro de banda ancha
KR102489914B1 (ko) 2017-09-15 2023-01-20 삼성전자주식회사 전자 장치 및 이의 제어 방법
EP3467824B1 (en) * 2017-10-03 2021-04-21 Dolby Laboratories Licensing Corporation Method and system for inter-channel coding
US10854209B2 (en) * 2017-10-03 2020-12-01 Qualcomm Incorporated Multi-stream audio coding
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
PL3707706T3 (pl) * 2017-11-10 2021-11-22 Nokia Technologies Oy Określanie kodowania przestrzennego parametrów dźwięku i związane z tym dekodowanie
US10306391B1 (en) 2017-12-18 2019-05-28 Apple Inc. Stereophonic to monophonic down-mixing
WO2019121982A1 (en) 2017-12-19 2019-06-27 Dolby International Ab Methods and apparatus for unified speech and audio decoding qmf based harmonic transposer improvements
TWI812658B (zh) * 2017-12-19 2023-08-21 瑞典商都比國際公司 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統
US11532316B2 (en) 2017-12-19 2022-12-20 Dolby International Ab Methods and apparatus systems for unified speech and audio decoding improvements
TWI702594B (zh) 2018-01-26 2020-08-21 瑞典商都比國際公司 用於音訊信號之高頻重建技術之回溯相容整合
KR102626003B1 (ko) * 2018-04-04 2024-01-17 하만인터내셔날인더스트리스인코포레이티드 자연스러운 공간 변화 시뮬레이션을 위한 동적 오디오 업믹서 파라미터
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
GB2577698A (en) * 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding
US11544032B2 (en) * 2019-01-24 2023-01-03 Dolby Laboratories Licensing Corporation Audio connection and transmission device
EP3935630B1 (en) * 2019-03-06 2024-09-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio downmixing
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
WO2020216459A1 (en) * 2019-04-23 2020-10-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method or computer program for generating an output downmix representation
CN114051738B (zh) 2019-05-23 2024-10-01 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
US11056114B2 (en) * 2019-05-30 2021-07-06 International Business Machines Corporation Voice response interfacing with multiple smart devices of different types
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
WO2021041275A1 (en) 2019-08-23 2021-03-04 Shore Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
US11270712B2 (en) 2019-08-28 2022-03-08 Insoundz Ltd. System and method for separation of audio sources that interfere with each other using a microphone array
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
DE102019219922B4 (de) 2019-12-17 2023-07-20 Volkswagen Aktiengesellschaft Verfahren zur Übertragung einer Mehrzahl an Signalen sowie Verfahren zum Empfang einer Mehrzahl an Signalen
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN112153535B (zh) * 2020-09-03 2022-04-08 Oppo广东移动通信有限公司 一种声场扩展方法、电路、电子设备及存储介质
EP4229631A2 (en) * 2020-10-13 2023-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding a plurality of audio objects and apparatus and method for decoding using two or more relevant audio objects
TWI772930B (zh) * 2020-10-21 2022-08-01 美商音美得股份有限公司 適合即時應用之分析濾波器組及其運算程序、基於分析濾波器組之信號處理系統及程序
CN112309419B (zh) * 2020-10-30 2023-05-02 浙江蓝鸽科技有限公司 多路音频的降噪、输出方法及其系统
CN112566008A (zh) * 2020-12-28 2021-03-26 科大讯飞(苏州)科技有限公司 音频上混方法、装置、电子设备和存储介质
CN112584300B (zh) * 2020-12-28 2023-05-30 科大讯飞(苏州)科技有限公司 音频上混方法、装置、电子设备和存储介质
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
US11837244B2 (en) 2021-03-29 2023-12-05 Invictumtech Inc. Analysis filter bank and computing procedure thereof, analysis filter bank based signal processing system and procedure suitable for real-time applications
US20220399026A1 (en) * 2021-06-11 2022-12-15 Nuance Communications, Inc. System and Method for Self-attention-based Combining of Multichannel Signals for Speech Processing

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102742A (ja) * 1995-10-05 1997-04-15 Sony Corp 符号化方法および装置、復号化方法および装置、並びに記録媒体
JPH1132399A (ja) * 1997-05-13 1999-02-02 Sony Corp 符号化方法及び装置、並びに記録媒体
JP2000350300A (ja) * 1999-05-17 2000-12-15 Bose Corp 指向性復号方法及び装置
JP2003533154A (ja) * 2000-05-10 2003-11-05 デジタル・シアター・システムズ・インコーポレーテッド 旧版互換性の混合を行えるディスクリート・マルチチャネル・オーディオ
JP2004504787A (ja) * 2000-07-19 2004-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ステレオサラウンド及び/又はオーディオ中央信号を得るマルチチャンネルステレオコンバータ
JP2005509927A (ja) * 2001-11-23 2005-04-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化
JP2005510093A (ja) * 2001-09-25 2005-04-14 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション マルチチャンネルロジックマトリックス復号方法及び装置
JP2005533271A (ja) * 2002-07-16 2005-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化

Family Cites Families (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US554334A (en) * 1896-02-11 Folding or portable stove
US1124580A (en) 1911-07-03 1915-01-12 Edward H Amet Method of and means for localizing sound reproduction.
US1850130A (en) 1928-10-31 1932-03-22 American Telephone & Telegraph Talking moving picture system
US1855147A (en) 1929-01-11 1932-04-19 Jones W Bartlett Distortion in sound transmission
US2114680A (en) 1934-12-24 1938-04-19 Rca Corp System for the reproduction of sound
US2860541A (en) 1954-04-27 1958-11-18 Vitarama Corp Wireless control for recording sound for stereophonic reproduction
US2819342A (en) 1954-12-30 1958-01-07 Bell Telephone Labor Inc Monaural-binaural transmission of sound
US2927963A (en) 1955-01-04 1960-03-08 Jordan Robert Oakes Single channel binaural or stereo-phonic sound system
US3046337A (en) 1957-08-05 1962-07-24 Hamner Electronics Company Inc Stereophonic sound
US3067292A (en) 1958-02-03 1962-12-04 Jerry B Minter Stereophonic sound transmission and reproduction
US3846719A (en) 1973-09-13 1974-11-05 Dolby Laboratories Inc Noise reduction systems
US4308719A (en) * 1979-08-09 1982-01-05 Abrahamson Daniel P Fluid power system
DE3040896C2 (de) 1979-11-01 1986-08-28 Victor Company Of Japan, Ltd., Yokohama, Kanagawa Schaltungsanordnung zur Erzeugung und Aufbereitung stereophoner Signale aus einem monophonen Signal
US4308424A (en) 1980-04-14 1981-12-29 Bice Jr Robert G Simulated stereo from a monaural source sound reproduction system
US4624009A (en) 1980-05-02 1986-11-18 Figgie International, Inc. Signal pattern encoder and classifier
US4464784A (en) 1981-04-30 1984-08-07 Eventide Clockworks, Inc. Pitch changer with glitch minimizer
US4941177A (en) 1985-03-07 1990-07-10 Dolby Laboratories Licensing Corporation Variable matrix decoder
US5046098A (en) 1985-03-07 1991-09-03 Dolby Laboratories Licensing Corporation Variable matrix decoder with three output channels
US4799260A (en) 1985-03-07 1989-01-17 Dolby Laboratories Licensing Corporation Variable matrix decoder
US4922535A (en) 1986-03-03 1990-05-01 Dolby Ray Milton Transient control aspects of circuit arrangements for altering the dynamic range of audio signals
US5040081A (en) 1986-09-23 1991-08-13 Mccutchen David Audiovisual synchronization signal generator using audio signature comparison
US5055939A (en) 1987-12-15 1991-10-08 Karamon John J Method system & apparatus for synchronizing an auxiliary sound source containing multiple language channels with motion picture film video tape or other picture source containing a sound track
US4932059A (en) 1988-01-11 1990-06-05 Fosgate Inc. Variable matrix decoder for periphonic reproduction of sound
US5164840A (en) 1988-08-29 1992-11-17 Matsushita Electric Industrial Co., Ltd. Apparatus for supplying control codes to sound field reproduction apparatus
US5105462A (en) 1989-08-28 1992-04-14 Qsound Ltd. Sound imaging method and apparatus
US5040217A (en) 1989-10-18 1991-08-13 At&T Bell Laboratories Perceptual coding of audio signals
CN1062963C (zh) 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
US5428687A (en) 1990-06-08 1995-06-27 James W. Fosgate Control voltage generator multiplier and one-shot for integrated surround sound processor
US5625696A (en) 1990-06-08 1997-04-29 Harman International Industries, Inc. Six-axis surround sound processor with improved matrix and cancellation control
US5504819A (en) 1990-06-08 1996-04-02 Harman International Industries, Inc. Surround sound processor with improved control voltage generator
US5172415A (en) 1990-06-08 1992-12-15 Fosgate James W Surround processor
US5235646A (en) * 1990-06-15 1993-08-10 Wilde Martin D Method and apparatus for creating de-correlated audio output signals and audio recordings made thereby
US5121433A (en) * 1990-06-15 1992-06-09 Auris Corp. Apparatus and method for controlling the magnitude spectrum of acoustically combined signals
AU8053691A (en) * 1990-06-15 1992-01-07 Auris Corp. Method for eliminating the precedence effect in stereophonic sound systems and recording made with said method
CA2085887A1 (en) 1990-06-21 1991-12-22 Kentyn Reynolds Method and apparatus for wave analysis and event recognition
US5274740A (en) 1991-01-08 1993-12-28 Dolby Laboratories Licensing Corporation Decoder for variable number of channel presentation of multidimensional sound fields
SG49883A1 (en) 1991-01-08 1998-06-15 Dolby Lab Licensing Corp Encoder/decoder for multidimensional sound fields
NL9100173A (nl) 1991-02-01 1992-09-01 Philips Nv Subbandkodeerinrichting, en een zender voorzien van de kodeerinrichting.
JPH0525025A (ja) * 1991-07-22 1993-02-02 Kao Corp 毛髪化粧料
US5175769A (en) 1991-07-23 1992-12-29 Rolm Systems Method for time-scale modification of signals
US5173944A (en) * 1992-01-29 1992-12-22 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Head related transfer function pseudo-stereophony
FR2700632B1 (fr) 1993-01-21 1995-03-24 France Telecom Système de codage-décodage prédictif d'un signal numérique de parole par transformée adaptative à codes imbriqués.
US5463424A (en) * 1993-08-03 1995-10-31 Dolby Laboratories Licensing Corporation Multi-channel transmitter/receiver system providing matrix-decoding compatible signals
US5394472A (en) * 1993-08-09 1995-02-28 Richard G. Broadie Monaural to stereo sound translation process and apparatus
US5659619A (en) * 1994-05-11 1997-08-19 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
TW295747B (ja) * 1994-06-13 1997-01-11 Sony Co Ltd
US5727119A (en) 1995-03-27 1998-03-10 Dolby Laboratories Licensing Corporation Method and apparatus for efficient implementation of single-sideband filter banks providing accurate measures of spectral magnitude and phase
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
AU709051B2 (en) 1996-01-19 1999-08-19 Helmut Kahl Electrically screening housing
US5857026A (en) * 1996-03-26 1999-01-05 Scheiber; Peter Space-mapping sound system
US6430533B1 (en) 1996-05-03 2002-08-06 Lsi Logic Corporation Audio decoder core MPEG-1/MPEG-2/AC-3 functional algorithm partitioning and implementation
US5870480A (en) * 1996-07-19 1999-02-09 Lexicon Multichannel active matrix encoder and decoder with maximum lateral separation
JPH1074097A (ja) 1996-07-26 1998-03-17 Ind Technol Res Inst オーディオ信号のパラメータを変更する方法及び装置
US6049766A (en) 1996-11-07 2000-04-11 Creative Technology Ltd. Time-domain time/pitch scaling of speech or audio signals with transient handling
US5862228A (en) 1997-02-21 1999-01-19 Dolby Laboratories Licensing Corporation Audio matrix encoding
US6111958A (en) * 1997-03-21 2000-08-29 Euphonics, Incorporated Audio spatial enhancement apparatus and methods
US6211919B1 (en) 1997-03-28 2001-04-03 Tektronix, Inc. Transparent embedment of data in a video signal
TW384434B (en) * 1997-03-31 2000-03-11 Sony Corp Encoding method, device therefor, decoding method, device therefor and recording medium
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
KR100335611B1 (ko) * 1997-11-20 2002-10-09 삼성전자 주식회사 비트율 조절이 가능한 스테레오 오디오 부호화/복호화 방법 및 장치
US6330672B1 (en) 1997-12-03 2001-12-11 At&T Corp. Method and apparatus for watermarking digital bitstreams
TW358925B (en) * 1997-12-31 1999-05-21 Ind Tech Res Inst Improvement of oscillation encoding of a low bit rate sine conversion language encoder
TW374152B (en) * 1998-03-17 1999-11-11 Aurix Ltd Voice analysis system
GB2343347B (en) * 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
GB2340351B (en) 1998-07-29 2004-06-09 British Broadcasting Corp Data transmission
US6266644B1 (en) 1998-09-26 2001-07-24 Liquid Audio, Inc. Audio encoding apparatus and methods
JP2000152399A (ja) * 1998-11-12 2000-05-30 Yamaha Corp 音場効果制御装置
SE9903552D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Efficient spectral envelope coding using dynamic scalefactor grouping and time/frequency switching
EP1173925B1 (en) 1999-04-07 2003-12-03 Dolby Laboratories Licensing Corporation Matrixing for lossless encoding and decoding of multichannels audio signals
US6389562B1 (en) * 1999-06-29 2002-05-14 Sony Corporation Source code shuffling to provide for robust error recovery
US7184556B1 (en) * 1999-08-11 2007-02-27 Microsoft Corporation Compensation system and method for sound reproduction
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
CN1160699C (zh) 1999-11-11 2004-08-04 皇家菲利浦电子有限公司 语音识别系统
US6920223B1 (en) 1999-12-03 2005-07-19 Dolby Laboratories Licensing Corporation Method for deriving at least three audio signals from two input audio signals
TW510143B (en) 1999-12-03 2002-11-11 Dolby Lab Licensing Corp Method for deriving at least three audio signals from two input audio signals
US6970567B1 (en) 1999-12-03 2005-11-29 Dolby Laboratories Licensing Corporation Method and apparatus for deriving at least one audio signal from two or more input audio signals
FR2802329B1 (fr) 1999-12-08 2003-03-28 France Telecom Procede de traitement d'au moins un flux binaire audio code organise sous la forme de trames
ES2292581T3 (es) * 2000-03-15 2008-03-16 Koninklijke Philips Electronics N.V. Funcion laguerre para la codificacion de audio.
US7076071B2 (en) * 2000-06-12 2006-07-11 Robert A. Katz Process for enhancing the existing ambience, imaging, depth, clarity and spaciousness of sound recordings
KR100898879B1 (ko) 2000-08-16 2009-05-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템
CA2420671C (en) 2000-08-31 2011-12-13 Dolby Laboratories Licensing Corporation Method for apparatus for audio matrix decoding
US20020054685A1 (en) * 2000-11-09 2002-05-09 Carlos Avendano System for suppressing acoustic echoes and interferences in multi-channel audio systems
US7382888B2 (en) * 2000-12-12 2008-06-03 Bose Corporation Phase shifting audio signal combining
US7660424B2 (en) 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
EP1410686B1 (en) 2001-02-07 2008-03-26 Dolby Laboratories Licensing Corporation Audio channel translation
US20040062401A1 (en) 2002-02-07 2004-04-01 Davis Mark Franklin Audio channel translation
WO2004019656A2 (en) 2001-02-07 2004-03-04 Dolby Laboratories Licensing Corporation Audio channel spatial translation
US7254239B2 (en) * 2001-02-09 2007-08-07 Thx Ltd. Sound system and method of sound reproduction
JP3404024B2 (ja) * 2001-02-27 2003-05-06 三菱電機株式会社 音声符号化方法および音声符号化装置
US7461002B2 (en) 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
EP1377967B1 (en) 2001-04-13 2013-04-10 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7283954B2 (en) 2001-04-13 2007-10-16 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US6807528B1 (en) 2001-05-08 2004-10-19 Dolby Laboratories Licensing Corporation Adding data to a compressed data frame
MXPA03010237A (es) 2001-05-10 2004-03-16 Dolby Lab Licensing Corp Mejoramiento del funcionamiento de transitorios en sistemas de codificacion de audio de baja tasa de transferencia de bitios mediante la reduccion del pre-ruido.
TW552580B (en) * 2001-05-11 2003-09-11 Syntek Semiconductor Co Ltd Fast ADPCM method and minimum logic implementation circuit
MXPA03010750A (es) 2001-05-25 2004-07-01 Dolby Lab Licensing Corp Metodo para la alineacion temporal de senales de audio usando caracterizaciones basadas en eventos auditivos.
JP4272050B2 (ja) 2001-05-25 2009-06-03 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディトリーイベントに基づく特徴付けを使ったオーディオの比較
TW556153B (en) * 2001-06-01 2003-10-01 Syntek Semiconductor Co Ltd Fast adaptive differential pulse coding modulation method for random access and channel noise resistance
TW526466B (en) * 2001-10-26 2003-04-01 Inventec Besta Co Ltd Encoding and voice integration method of phoneme
US7240001B2 (en) * 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US20040037421A1 (en) 2001-12-17 2004-02-26 Truman Michael Mead Parital encryption of assembled bitstreams
CN1705980A (zh) * 2002-02-18 2005-12-07 皇家飞利浦电子股份有限公司 参数音频编码
EP1339231A3 (en) 2002-02-26 2004-11-24 Broadcom Corporation System and method for demodulating the second audio FM carrier
CN1639984B (zh) 2002-03-08 2011-05-11 日本电信电话株式会社 数字信号编码方法、解码方法、编码设备、解码设备
DE10217567A1 (de) 2002-04-19 2003-11-13 Infineon Technologies Ag Halbleiterbauelement mit integrierter Kapazitätsstruktur und Verfahren zu dessen Herstellung
ES2280736T3 (es) * 2002-04-22 2007-09-16 Koninklijke Philips Electronics N.V. Sintetizacion de señal.
DE60326782D1 (de) 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
US7428440B2 (en) * 2002-04-23 2008-09-23 Realnetworks, Inc. Method and apparatus for preserving matrix surround information in encoded audio/video
EP2879299B1 (en) * 2002-05-03 2017-07-26 Harman International Industries, Incorporated Multi-channel downmixing device
US7257231B1 (en) * 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
US7567845B1 (en) * 2002-06-04 2009-07-28 Creative Technology Ltd Ambience generation for stereo signals
TWI225640B (en) 2002-06-28 2004-12-21 Samsung Electronics Co Ltd Voice recognition device, observation probability calculating device, complex fast fourier transform calculation device and method, cache device, and method of controlling the cache device
DE10236694A1 (de) 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
US7454331B2 (en) 2002-08-30 2008-11-18 Dolby Laboratories Licensing Corporation Controlling loudness of speech in signals that contain speech and other types of audio material
US7536305B2 (en) * 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
JP3938015B2 (ja) 2002-11-19 2007-06-27 ヤマハ株式会社 音声再生装置
MXPA05008317A (es) 2003-02-06 2005-11-04 Dolby Lab Licensing Corp Audio con respaldo continuo.
WO2004080125A1 (en) * 2003-03-04 2004-09-16 Nokia Corporation Support of a multichannel audio extension
KR100493172B1 (ko) * 2003-03-06 2005-06-02 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
TWI223791B (en) * 2003-04-14 2004-11-11 Ind Tech Res Inst Method and system for utterance verification
SG185134A1 (en) 2003-05-28 2012-11-29 Dolby Lab Licensing Corp Method, apparatus and computer program for calculating and adjusting the perceived loudness of an audio signal
US7398207B2 (en) 2003-08-25 2008-07-08 Time Warner Interactive Video Group, Inc. Methods and systems for determining audio loudness levels in programming
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
RU2374703C2 (ru) * 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
US7412380B1 (en) * 2003-12-17 2008-08-12 Creative Technology Ltd. Ambience extraction and modification for enhancement and upmix of audio signals
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
ATE527654T1 (de) * 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
WO2007109338A1 (en) * 2006-03-21 2007-09-27 Dolby Laboratories Licensing Corporation Low bit rate audio encoding and decoding
US7639823B2 (en) * 2004-03-03 2009-12-29 Agere Systems Inc. Audio mixing using magnitude equalization
US7617109B2 (en) 2004-07-01 2009-11-10 Dolby Laboratories Licensing Corporation Method for correcting metadata affecting the playback loudness and dynamic range of audio information
US7508947B2 (en) 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
SE0402651D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
TWI397903B (zh) 2005-04-13 2013-06-01 Dolby Lab Licensing Corp 編碼音訊之節約音量測量技術
TW200638335A (en) 2005-04-13 2006-11-01 Dolby Lab Licensing Corp Audio metadata verification
KR101251426B1 (ko) 2005-06-03 2013-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
TWI396188B (zh) 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
US7965848B2 (en) 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
CA2648237C (en) 2006-04-27 2013-02-05 Dolby Laboratories Licensing Corporation Audio gain control using specific-loudness-based auditory event detection
JP2009117000A (ja) * 2007-11-09 2009-05-28 Funai Electric Co Ltd 光ピックアップ
ATE518222T1 (de) 2007-11-23 2011-08-15 Michal Markiewicz SYSTEM ZUR ÜBERWACHUNG DES STRAßENVERKEHRS
CN103387583B (zh) * 2012-05-09 2018-04-13 中国科学院上海药物研究所 二芳基并[a,g]喹嗪类化合物、其制备方法、药物组合物及其应用

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102742A (ja) * 1995-10-05 1997-04-15 Sony Corp 符号化方法および装置、復号化方法および装置、並びに記録媒体
JPH1132399A (ja) * 1997-05-13 1999-02-02 Sony Corp 符号化方法及び装置、並びに記録媒体
JP2000350300A (ja) * 1999-05-17 2000-12-15 Bose Corp 指向性復号方法及び装置
JP2003533154A (ja) * 2000-05-10 2003-11-05 デジタル・シアター・システムズ・インコーポレーテッド 旧版互換性の混合を行えるディスクリート・マルチチャネル・オーディオ
JP2004504787A (ja) * 2000-07-19 2004-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ステレオサラウンド及び/又はオーディオ中央信号を得るマルチチャンネルステレオコンバータ
JP2005510093A (ja) * 2001-09-25 2005-04-14 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション マルチチャンネルロジックマトリックス復号方法及び装置
JP2005509927A (ja) * 2001-11-23 2005-04-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化
JP2005533271A (ja) * 2002-07-16 2005-11-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009511966A (ja) * 2005-10-12 2009-03-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャンネル音声信号の時間的および空間的整形
JP2009531724A (ja) * 2006-03-28 2009-09-03 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチチャネルオーディオ再構成における信号整形のための改善された方法
JP2012503792A (ja) * 2008-09-25 2012-02-09 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
JP2012503791A (ja) * 2008-09-25 2012-02-09 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
US8346380B2 (en) 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
US8346379B2 (en) 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
JP2013502607A (ja) * 2009-08-18 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド マルチチャネルオーディオデコーディング方法及び装置
JP2011209588A (ja) * 2010-03-30 2011-10-20 Fujitsu Ltd ダウンミクス装置およびダウンミクス方法
JP2013539553A (ja) * 2010-08-25 2013-10-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 結合ユニットとミキサーとを用いて過渡を含む信号を復号化する装置
JP2013539554A (ja) * 2010-08-25 2013-10-24 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 送信された位相情報を用いてデコリレート済み信号を生成する装置
US9368122B2 (en) 2010-08-25 2016-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for generating a decorrelated signal using transmitted phase information
US9431019B2 (en) 2010-08-25 2016-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for decoding a signal comprising transients using a combining unit and a mixer
JP2013540283A (ja) * 2010-09-28 2013-10-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイスおよび方法
US9767811B2 (en) 2010-09-28 2017-09-19 Huawei Technologies Co., Ltd. Device and method for postprocessing a decoded multi-channel audio signal or a decoded stereo signal
US9818412B2 (en) 2013-05-24 2017-11-14 Dolby International Ab Methods for audio encoding and decoding, corresponding computer-readable media and corresponding audio encoder and decoder
JP2016522445A (ja) * 2013-05-24 2016-07-28 ドルビー・インターナショナル・アーベー オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ
JP2015012366A (ja) * 2013-06-27 2015-01-19 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
WO2014208431A1 (ja) * 2013-06-27 2014-12-31 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
US10375500B2 (en) 2013-06-27 2019-08-06 Clarion Co., Ltd. Propagation delay correction apparatus and propagation delay correction method
JP2019512740A (ja) * 2016-03-18 2019-05-16 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音声スペクトログラムに基づく構造テンソルを使用して位相情報を復元することによるエンコーディング
US10607630B2 (en) 2016-03-18 2020-03-31 Fraunhofer-Gesellschaft Zur Förderung Der Encoding by reconstructing phase information using a structure tensor on audio spectrograms
JP2020502562A (ja) * 2016-11-23 2020-01-23 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 相関分離フィルタの適応制御のための方法および装置
JP2021101242A (ja) * 2016-11-23 2021-07-08 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 相関分離フィルタの適応制御のための方法および装置
JP7201721B2 (ja) 2016-11-23 2023-01-10 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 相関分離フィルタの適応制御のための方法および装置
CN112218020A (zh) * 2019-07-09 2021-01-12 海信视像科技股份有限公司 一种多声道平台音频数据传输方法及其装置
CN112218020B (zh) * 2019-07-09 2023-03-21 海信视像科技股份有限公司 一种多声道平台音频数据传输方法及其装置

Also Published As

Publication number Publication date
US20190147898A1 (en) 2019-05-16
US10796706B2 (en) 2020-10-06
US20160189723A1 (en) 2016-06-30
TWI498883B (zh) 2015-09-01
US9311922B2 (en) 2016-04-12
US20170076731A1 (en) 2017-03-16
CA3026245C (en) 2019-04-09
CA2992089C (en) 2018-08-21
AU2009202483A1 (en) 2009-07-16
CA3026276A1 (en) 2012-12-27
US20170148456A1 (en) 2017-05-25
CA2992051C (en) 2019-01-22
US9779745B2 (en) 2017-10-03
US9715882B2 (en) 2017-07-25
US20150187362A1 (en) 2015-07-02
TWI484478B (zh) 2015-05-11
EP1721312B1 (en) 2008-03-26
HK1142431A1 (en) 2010-12-03
KR20060132682A (ko) 2006-12-21
US9520135B2 (en) 2016-12-13
US20190122683A1 (en) 2019-04-25
US20070140499A1 (en) 2007-06-21
CA2992097A1 (en) 2005-09-15
CA2992065C (en) 2018-11-20
ATE430360T1 (de) 2009-05-15
SG10201605609PA (en) 2016-08-30
EP1914722A1 (en) 2008-04-23
US20170365268A1 (en) 2017-12-21
CN1926607B (zh) 2011-07-06
EP2224430B1 (en) 2011-10-05
CN102169693B (zh) 2014-07-23
US20170148457A1 (en) 2017-05-25
US20170178650A1 (en) 2017-06-22
CA2992125A1 (en) 2005-09-15
AU2005219956B2 (en) 2009-05-28
US9697842B1 (en) 2017-07-04
CA2992051A1 (en) 2005-09-15
AU2009202483B2 (en) 2012-07-19
JP4867914B2 (ja) 2012-02-01
US9691404B2 (en) 2017-06-27
BRPI0508343B1 (pt) 2018-11-06
CA2556575C (en) 2013-07-02
US9640188B2 (en) 2017-05-02
CA3026267C (en) 2019-04-16
IL177094A (en) 2010-11-30
ATE390683T1 (de) 2008-04-15
WO2005086139A1 (en) 2005-09-15
US9672839B1 (en) 2017-06-06
US20170178653A1 (en) 2017-06-22
MY145083A (en) 2011-12-15
US20170178652A1 (en) 2017-06-22
ES2324926T3 (es) 2009-08-19
CN102176311A (zh) 2011-09-07
ATE475964T1 (de) 2010-08-15
US9691405B1 (en) 2017-06-27
US20160189718A1 (en) 2016-06-30
DE602005014288D1 (de) 2009-06-10
CN102176311B (zh) 2014-09-10
KR101079066B1 (ko) 2011-11-02
ATE527654T1 (de) 2011-10-15
CA3026245A1 (en) 2005-09-15
US9454969B2 (en) 2016-09-27
US10403297B2 (en) 2019-09-03
US8170882B2 (en) 2012-05-01
US20170178651A1 (en) 2017-06-22
CA2556575A1 (en) 2005-09-15
US9704499B1 (en) 2017-07-11
HK1119820A1 (en) 2009-03-13
DE602005022641D1 (de) 2010-09-09
SG10202004688SA (en) 2020-06-29
IL177094A0 (en) 2006-12-10
HK1092580A1 (en) 2007-02-09
DE602005005640D1 (de) 2008-05-08
EP2224430A3 (en) 2010-09-15
TW200537436A (en) 2005-11-16
AU2005219956A1 (en) 2005-09-15
US10269364B2 (en) 2019-04-23
CN1926607A (zh) 2007-03-07
CA3035175A1 (en) 2012-12-27
HK1128100A1 (en) 2009-10-16
CA2917518C (en) 2018-04-03
EP2224430A2 (en) 2010-09-01
CA3026276C (en) 2019-04-16
DE602005005640T2 (de) 2009-05-14
TW201331932A (zh) 2013-08-01
US20080031463A1 (en) 2008-02-07
US11308969B2 (en) 2022-04-19
EP1914722B1 (en) 2009-04-29
US8983834B2 (en) 2015-03-17
CA3035175C (en) 2020-02-25
US20210090583A1 (en) 2021-03-25
SG149871A1 (en) 2009-02-27
US20170148458A1 (en) 2017-05-25
CA2992097C (en) 2018-09-11
EP2065885A1 (en) 2009-06-03
EP2065885B1 (en) 2010-07-28
TW201329959A (zh) 2013-07-16
US10460740B2 (en) 2019-10-29
CA2917518A1 (en) 2005-09-15
CA2992125C (en) 2018-09-25
US20200066287A1 (en) 2020-02-27
CA2992065A1 (en) 2005-09-15
CN102169693A (zh) 2011-08-31
BRPI0508343A (pt) 2007-07-24
CA3026267A1 (en) 2005-09-15
TWI397902B (zh) 2013-06-01
CA2992089A1 (en) 2005-09-15
EP1721312A1 (en) 2006-11-15

Similar Documents

Publication Publication Date Title
JP4867914B2 (ja) マルチチャンネルオーディオコーディング
CA2808226C (en) Multichannel audio coding
AU2012208987B2 (en) Multichannel Audio Coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110627

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20111025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

R150 Certificate of patent or registration of utility model

Ref document number: 4867914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250