JP2012516596A - ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム - Google Patents

ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム Download PDF

Info

Publication number
JP2012516596A
JP2012516596A JP2011546745A JP2011546745A JP2012516596A JP 2012516596 A JP2012516596 A JP 2012516596A JP 2011546745 A JP2011546745 A JP 2011546745A JP 2011546745 A JP2011546745 A JP 2011546745A JP 2012516596 A JP2012516596 A JP 2012516596A
Authority
JP
Japan
Prior art keywords
signal
audio signal
downmix
upmixed
uncorrelated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011546745A
Other languages
English (en)
Other versions
JP5490143B2 (ja
Inventor
マティアス ノイズィンガー
ユリアン ロビヤール
ジョーハン ヒルペアト
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2012516596A publication Critical patent/JP2012516596A/ja
Application granted granted Critical
Publication of JP5490143B2 publication Critical patent/JP5490143B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)

Abstract

一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にダウンミックスオーディオ信号をアップミックスするためのアップミキサーは、アップミックスされたオーディオ信号を得るために、ダウンミックスオーディオ信号をアップミックスするためにアップミキシングパラメータを適用するように構成されたパラメータ適用器を含む。パラメータ適用器は、非相関信号を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、アップミックスされたオーディオ信号を得るためにダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するように更に構成される。
【選択図】図1

Description

本発明による実施形態は、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にダウンミックスオーディオ信号をアップミックスするためのアップミキサーに関する。本発明によるいくつかの実施形態は、ダウンミックスオーディオ信号をアップミックスするための方法に、そして、コンピュータ・プログラムに関する。
本発明によるいくつかの実施形態は、パラメトリックマルチチャンネルオーディオ符号化のための改善された位相処理に関する。
以下に、短い概要が与えられ、そして、本発明の背景が説明される。パラメトリックオーディオ符号化の領域における最近の開発は、補助情報ストリームを加えた1つ(又はそれ以上)のダウンミックスチャンネルにマルチチャンネルオーディオ信号(例えば5.1)を一緒に符号化するための技術を供給する。これらの技術は、バイノーラルキュー符号化(Binaural Cue Coding)、パラメトリックステレオ(Parametric Stereo)およびMPEGサラウンド(MPEG Surround)などとして知られる。
例えば参照[1][2][3][4][5]などの多くの刊行物は、いわゆる「バイノーラルキュー符号化」というパラメトリックマルチチャンネル符号化アプローチを説明している。
「パラメトリックステレオ」は、パラメータ補助情報を加えた送信されたモノフォニック信号に基づいた2チャンネルステレオ信号のパラメトリック符号化のための関連した技術である。詳細は、参照[6]および[7]を参照することができる。
「MPEGサラウンド」は、パラメトリックマルチチャンネル符号化のためのISO(国際標準化機構)基準である。詳細のため、参照[8]を参照することができる。
これらの技術は、関連したモノラルまたはステレオダウンミックス信号と共に、簡潔な形で人間の空間聴覚のための関連した知覚キューをレシーバに送信することに基づく。典型的なキューは、チャンネル間時間差(ITD)およびチャンネル間位相差(IPD)の他に、チャンネル間レベル差(ILD)、チャンネル間相関またはコヒーレンス(ICC)でありうる。
これらのパラメータは、人の聴覚分解能に適用された、周波数および時間分解能において送信される。
元の信号の特性を再現するために、復号器は、送信されたダウンミックス信号の一つ以上の非相関バージョンを生成しうる。加えて、出力信号の位相回転は、元のチャンネル間位相関係を復元するために、復号器において実行されうる。
「図4の例バイノーラルキュー符号化システム」
以下に、一般的なバイノーラルキュー符号化スキームは、図4を参照にして説明される。図4は、バイノーラルキュー符号化送信システム400のブロック略図を示す。そして、それはバイノーラルキュー符号化符号器410およびバイノーラルキュー符号化復号器420を含む。例えば、バイノーラルキュー符号化符号器410は、複数のオーディオ信号412a、412bおよび412cを受けうる。更に、バイノーラルキュー符号化符号器410は、例えば和信号でありうるダウンミックス信号416を得るために、ダウンミキサー414を使用してオーディオ入力信号412a〜412cをダウンミックスするように構成される。更に、バイノーラルキュー符号化符号器410は、補助情報信号419を得るために、解析器418を使用してオーディオ入力信号412a〜412cを解析するように構成されうる。和信号416および補助情報信号419は、バイノーラルキュー符号化符号器410からバイノーラルキュー符号化復号器420へ送られる。バイノーラルキュー符号化復号器420は、例えば、和信号416およびチャンネル間キュー424に基づいて、オーディオチャンネルy1、y2、…、yNを含んでいるマルチチャンネルオーディオ出力信号を合成するように構成されうる。この目的のために、バイノーラルキュー符号化復号器420は、和信号416およびチャンネル間キュー424を受けるバイノーラルキュー符号化合成器422を含み、オーディオ信号y1、y2、…、yNを供給しうる。バイノーラルキュー符号化復号器420は、補助情報419および、任意選択的に、ユーザー入力427を受けるように構成される補助情報処理装置426を更に含む。補助情報処理装置426は、補助情報419および任意選択のユーザー入力427に基づいて、チャンネル間キュー424を供給するように構成される。
要約すると、オーディオ入力信号は、BCC符号器410で、解析されて、ダウンミックスされる。和信号さらに補助情報は、BCC復号器420に発信される。チャンネル間キューは、補助情報およびローカル・ユーザー入力から生成される。バイノーラルキュー符号化合成器は、マルチチャンネルオーディオ出力信号を生成する。
詳細のために、C.ファーラー、F.バウムガルテ著の論文「バイノーラルキュー符号化 −パート2:方式及び応用例」(音声及びオーディオ処理、IEEE会報、11巻、No.6、2003年11月に掲載)を参照することができる。
C.ファーラー、F.バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、IEEE会報、WASPAA、モホンク、ニューヨーク、2001年10月(C.Faller and F.Baumgarte,"Efficient representation of spatial audio using perceptual parameterization",IEEE WASPAA,Mohonk,NY,October 2001) F.バウムガルテ、C.ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ICASSP論文、フロリダ州オーランド、2002年5月(F.Baumgarte and C.Faller,"Estimation of auditory spatial cues for binaural cue coding",ICASSP,Orlando,FL,May 2002) C.ファーラー、F.バウムガルテ、「バイノーラルキュー符号化:空間オーディオの新規で効率的な表現」、ICASSP論文、フロリダ州オーランド、2002年5月(C.Faller and F.Baumgarte,"Binaural cue coding:a novel and efficient representation of spatial audio,"ICASSP,Orlando,FL,May 2002) C.ファーラー、F.バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、AES第113回コンベンション、予稿集5686、ロサンゼルス、2002年10月(C.Faller and F.Baumgarte,"Binaural cue coding applied to audio compression with flexible rendering",AES 113th Convention,Los Angeles,Preprint 5686,October 2002) C.ファーラー、F.バウムガルテ、「バイノーラルキュー符号化 −パート2:方式及び応用例」、音声及びオーディオ処理、IEEE会報、 11巻、No.6、2003年11月(C.Faller and F.Baumgarte,"Binaural Cue Coding − Part II: Schemes and applications,"IEEE Trans,on Speech and Audio Proc.,vol.11,no.6,Nov. 2003) J.ブリーバールト、S.ファン・デ・パール、A.コーラウシュ、E.シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、AES第116回コンベンション、予稿集6072、ベルリン、2004年5月(J.Breebaart, S.van de Par, A.Kohlrausch, E.Schuijers,"High−Quality Parametric Spatial Audio Coding at Low Bitrates", AES 116th Convention, Berlin, Preprint 6072, May 2004) E.シュイヤース、J.ブリーバールト、H.プルンハーゲン、J.エングデガルト、「低煩雑性パラメトリックステレオ符号化」、AES第116回コンベンション、予稿集6073、ベルリン、2004年5月(E.Schuijers, J.Breebaart, H.Purnhagen, J.Engdegard,"Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlin, Preprint 6073, May 2004) ISO/IEC JTC 1/SC 29/WG 11、23003―1、MPEGサラウンド(ISO/IEC JTC 1/SC 29/WG 11, 23003−1, MPEG Surround) J.ブラウエルト、空間聴覚:人間の音の定位の精神物理学、修正編集.ケンブリッジ、マサチューセッツ州、The MIT Press、1997(J. Blauert, Spatial Hearing:The Psychophysics of Human Sound Localization, The MIT Press, Cambridge, MA, revised edition 1997)
上記のアプローチにおいて、適切にチャンネル間関係を制御することは、困難である。
したがって、チャンネル間関係に関してより良い正確さを供給する、ダウンミックス信号をアップミックスするための構想を創作することは望ましい。
本発明による実施形態は、ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするためのアップミキサーを創作する。アップミキサーは、アップミックスされたオーディオ信号を得るために、ダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するように構成されたパラメータ適用器を含む。パラメータ適用器は、位相シフトに非相関信号を修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、アップミックス信号を得るために、ダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するようにも構成される。
本発明によるいくつかの実施形態は、異なるアップミックスされたオーディオ信号間のチャンネル間相関が、位相シフト(例えば、空間キューに依存する時間可変の位相シフト)を非相関信号に適用することによって、低下させられるという発見に基づく。したがって、異なるアップミックスされたオーディオチャンネル間で適当なチャンネル間位相シフトを得るためにダウンミックス信号に適用される位相シフトに非相関信号を修正されないままにすることが望ましいことが分かっている。
したがって、本発明による改善された位相処理は、非相関信号部分を位相シフトすることにより生じるであろう(アップミックスされたオーディオチャンネルの)誤った出力チャンネル間相関を防止することに貢献する。
好ましい実施形態において、アップミキサーは、非相関信号がダウンミックスオーディオ信号の非相関バージョンであるように、非相関信号を得るように構成される。このように、非相関信号は、ダウンミックス信号から容易に得ることができる。しかし、いくつかの他の実施形態において、異なる構想は、非相関信号を得るために使用されうる。非常にシンプルな解決策において、雑音信号が非相関信号として使用されうる。
好ましい実施形態において、アップミキサーは、ダウンミックスオーディオ信号を、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするように構成される。この場合、パラメータ適用器は、第1のアップミックスされたオーディオチャンネル信号および第2のアップミックスされたオーディオチャンネル信号を得るために、非相関信号を使用してダウンミックスオーディオ信号をアップミックスするために、アップミキシングパラメータを適用するように構成される。パラメータ適用器は、互いに関して時間的位相シフトを含んでいるダウンミックスオーディオ信号の少なくとも2つのバージョンを得るために、時間的位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、非相関信号が時間的位相シフトに影響を受けないままであるように、少なくとも2つのアップミックスされたオーディオチャンネル信号を得るために、ダウンミックスオーディオ信号の少なくとも2つのバージョンを非相関信号と結合するようにも構成される。したがって、アップミックスされたオーディオ信号の複数のチャンネル信号を得ることができ、(アップミックスされたオーディオ信号の)複数のアップミックスされたチャンネルの中の非相関信号部分は、その相関している信号部分間に導入された相対的な位相シフトに影響を受けない。従って、アップミックスされたオーディオチャンネル間のチャンネル間相関は、より良い正確さで制御できる。
実施形態において、非相関信号を示している第1のアップミックスされたオーディオチャンネル信号の信号部分および非相関信号を示している第2のアップミックスされたオーディオチャンネル信号の信号部分が、時間的に一定の位相関係、例えば互いに関して同相または180°逆位相にあるように、ダウンミックスオーディオ信号の少なくとも2つのバージョンを、非相関信号と結合するように構成される。従って、非相関信号を示している信号部分は、アップミックスされたオーディオチャンネル信号の相関を調整するのに効果的に働くことができる。対照的に、非相関信号を示している信号部分が、異なるアップミックスされたオーディオチャンネル信号において、互いに関して任意選択的に、または、可変的に位相シフトされる場合、所望のチャンネル間相関の調整は低下させられる、または、防止されさえするだろう。
本発明による実施形態において、パラメータ適用器は、非相関信号が時間的位相シフトに影響を受けないままにされる非相関信号と、(互いに関して時間的位相シフトを含んでいる)ダウンミックスオーディオ信号の少なくとも2つのバージョンを結合する前に、互いに関して時間的位相シフトを含んでいるダウンミックスオーディオ信号の少なくとも2つのバージョンを得るように構成される。その結果生じたものを非相関信号と結合する前に時間的位相シフトを適用することによって、非相関信号は、時間的位相シフトに影響を受けないままにされる。従って、結果として生じるアップミックスされたオーディオチャンネル信号の相関特性は、正確に調整できる。
本発明による実施形態において、アップミキサーは、チャンネル間位相差パラメータに基づいて、ダウンミックスオーディオ信号に適用される位相シフトを決定するように構成されるパラメータ決定器を含む。したがって、位相シフトは、所望の人のヒアリング印象に合うように適合される。
本発明による実施形態において、パラメータ適用器は、ダウンミックス信号の一つ以上のサンプルおよび非相関信号の一つ以上のサンプルを示している入力ベクトルを、アップミックスパラメータを示しているマトリクスエントリを含んでいるマトリクスと掛けるように構成されたマトリクスベクトル乗算器を含む。その乗算は、結果として、第1のアップミックスされたオーディオ信号チャンネルの一つ以上のサンプルおよび第2のアップミックスされたオーディオ信号チャンネルの一つ以上のサンプルを示している出力ベクトルを得るために実行される。アップミキサーは、ダウンミックスオーディオ信号と関連した空間キューに基づいて、マトリクスエントリを得るように構成されたパラメータ決定器を含む。パラメータ決定器は、非相関信号の一つ以上のサンプルに適用されるマトリクスエントリの位相を、時変の位相回転に影響を受けないままにする一方で、時変の位相回転をダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリだけに適用するように構成される。いくつかのマトリクスエントリ、すなわち、非相関信号に適用されるものを時変の位相回転に影響を受けないままにすることによって、本発明概念の効率的な実施を得ることができる。必要とされるコンピュータの作業量は、固定した位相値(または、例えば、空間キューとは独立した実数値でありうる)を含むいくつかのマトリクス要素を有することによって低減できる。加えて、位相値が一定である場合、マトリクスエントリの決定は、当然に比較的単純である。
実施形態において、マトリクスベクトル乗算器は、ダウンミックスオーディオ信号のサンプルおよび非相関信号のサンプルを複素数値の表現で受けるように構成される。加えて、マトリクスベクトル乗算器は、位相シフトを適用するために複素数値のマトリクスエントリを入力ベクトルに適用し、そして、複素数値の表現でアップミックスされたオーディオ信号チャンネルのサンプルを得るように構成される。この場合、パラメータ決定器は、ダウンミックスオーディオ信号と関連したチャンネル間レベル差パラメータおよび/またはチャンネル間相関パラメータおよび/またはチャンネル間コヒーレンスパラメータ(またはチャンネル間相関またはコヒーレンスパラメータ)に基づいて、マトリクスエントリの実数値または強度値を計算するように構成される。加えて、パラメータ決定器は、ダウンミックスオーディオ信号と関連したチャンネル間位相差パラメータに基づいて、ダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリの位相値を計算するように構成される。加えて、パラメータ決定器は、ダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリを得るために、対応する位相値に応じてダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリの強度値に複素回転を適用するように構成される。したがって、マトリクスエントリの効率的な多段階決定を実行できる。マトリクスエントリの実数値または強度値は、チャンネル間位相差を考慮せずに算出できる。同様に、マトリクスエントリの位相値は、チャンネル間レベル差パラメータまたはチャンネル間相関/コヒーレンスパラメータを考慮せずに得ることができる。そして、そのことは計算の任意の並列化を可能にさせる。加えて、アップミックスされたオーディオチャンネル信号のチャンネル間相関がより良い正確さで調整できるように、マトリクスエントリは効率よく構成できる。
本発明による実施形態は、ダウンミックスオーディオ信号を、アップミックスされたオーディオ信号にアップミックスするための方法を創作する。
本発明による他の実施形態は、本発明の方法の機能を実行するためのコンピュータ・プログラムを含む。
本発明による実施形態は、同封された図を参照として、以下に説明される。
図1は、本発明の一実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスするためのアップミキサーのブロック略図を示す。 図2は、本発明の他の実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスするためのアップミキサーの詳細なブロック略図を示す。 図3aは、本発明の一実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスする方法のフローチャートを示す。 図3bは、本発明の一実施形態による一組のアップミックスパラメータを得るための方法のブロック略図を示す。 図4は、従来の一般的なバイノーラルキュー符号化スキームのブロック略図を示す。
「図1による実施形態」
図1は、本発明の一実施形態によるアップミキサー100のブロック略図を示す。図1は、簡単のため、単一チャンネルをアップミックスすることを示す。当然、本願明細書において開示された構想は、例えば、図2に関して、後述するように、マルチチャンネルシステムにも適用できる。
アップミキサー100は、ダウンミックスオーディオ信号110を受け、ダウンミックスオーディオ信号110を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号120にアップミックスするように構成される。
アップミキサーは、アップミックスされたオーディオ信号120を得るために、ダウンミックスオーディオ信号110をアップミックスするためのアップミキシングパラメータを適用するように構成されるパラメータ適用器130を含む。パラメータ適用器130は、非相関信号150を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号110の位相シフトされたバージョン142を得るために、位相シフト(参照番号140で示される)をダウンミックスオーディオ信号110に適用するように構成される。パラメータ適用器130は、アップミックスされたオーディオ信号120を得るために、ダウンミックスオーディオ信号110の位相シフトされたバージョン142を非相関信号150と結合(参照番号160で示される)するように更に構成される。
位相シフトをダウンミックスオーディオ信号110だけに適用し、非相関信号150(それは、例えば、ダウンミックスオーディオ信号110の非相関バージョンでありうる)には適用しないことによって、アップミックスされたオーディオ信号120は非相関部分を含む。そこにおいて、アップミックスされたオーディオ信号120の非相関部分は非相関信号150に基づき、そして、非相関部分の位相はダウンミックスオーディオ信号110に適用された位相シフトに影響を受けないままにされる。したがって、ダウンミックスオーディオ信号110と相関しているアップミックスされたオーディオ信号120の信号部分は、適用された位相シフトに応じて、(例えば時変の方法で)位相シフトされる。その一方で、ダウンミックスオーディオ信号110とは非相関である一部のアップミックスされたオーディオ信号120は位相シフトに影響を受けないままにされる。したがって、(更なるアップミックスされたオーディオ信号に関して)アップミックスされたオーディオ信号のチャンネル間相関特性の調整は、ダウンミックスオーディオ信号に適用された時変の位相シフトを考慮する必要性を有さずに、高い正確性をもって実行できる。
「図2aおよび図2bによる実施形態」
図2aおよび図2bは、本発明の他の実施形態による装置200の詳細なブロック略図を示す。
装置200は、ダウンミックスオーディオ信号210を受けて、ダウンミックスオーディオ信号210をアップミックスされたオーディオ信号220にアップミックスするように構成される。アップミックスされたオーディオ信号220は、例えば、第1のアップミックスされたオーディオチャンネル222aおよび第2のアップミックスされたオーディオチャンネル222bを表す。
ダウンミックスオーディオ信号210は、例えば、空間オーディオ符号器によって供給された和信号(例えばバイノーラルキュー符号化符号器410によって供給された和信号416)でありうる。ダウンミックスオーディオ信号210は、例えば、複素数値の周波数分解の形で示されうる。例えば、ダウンミックスオーディオ信号は、(時間的インデックスkによって示された)オーディオサンプル更新間隔ごとに、(複数の周波数バンドのうち)周波数バンドごとに1つのサンプルを含みうる。
以下に、1つの周波数バンドにおけるサンプルの処理について、説明される。しかし、他の周波数バンドのオーディオサンプルは、同様に処理できる。換言すれば、本発明によるいくつかの実施形態において、異なる周波数バンドは、独立に処理されうる。
同様に、第1のアップミックスされたオーディオチャンネル信号222aが、複素数値のサンプルの形で、アップミックスされたオーディオ信号220の特定の周波数バンドのオーディオ内容を示すと仮定される。同様に、第2のアップミックスされたオーディオチャンネル信号222bが、複素数値のサンプルの形で、考慮の対象の特定の周波数バンドのオーディオ内容を示すと仮定される。しかし、異なる周波数バンドに対するアップミックスされたオーディオチャンネル信号は、本願明細書において説明された同じ構想により得られうる。
装置200の周波数バンド処理(すなわち、単一の周波数バンドのためのアップミックス信号の生成)は、従って、考慮の対象の周波数バンドのオーディオ内容の続く複素数値のサンプルのシーケンスを表しているストリームx(k)を受けるように構成される。この表現法において、kは時間インデックスとして働く。以下では、x(k)は、簡潔に「ダウンミックスオーディオ信号」として表される。そして、x(k)が全体の(多重周波数バンドの)ダウンミックスオーディオ信号のうちの考慮の対象の一つの周波数バンドのオーディオ内容を単に表しているだけであることに留意する。
周波数バンド処理は、ダウンミックスオーディオ信号x(k)を受け、それに基づいて、ダウンミックスオーディオ信号x(k)の非相関バージョンq(k)を供給するように構成される非相関器230を含む。非相関バージョンq(k)は、複素数値のサンプルのシーケンスによって示されうる。周波数バンド処理はまた、ダウンミックスオーディオ信号x(k)およびダウンミックスオーディオ信号の非相関バージョンq(k)を受けて、それに基づいて、第1のアップミックスされたオーディオチャンネル信号222aおよび第2のアップミックスされたオーディオチャンネル信号222bを供給するように構成されるパラメータ適用器240を含む。
図2の実施形態において、パラメータ適用器240は、アップミックスされたオーディオチャンネル信号222a、222bを得るために、ダウンミックスオーディオ信号x(k)およびダウンミックスオーディオ信号の非相関バージョンq(k)の重み付けされた線形結合を実行するように構成されるマトリクスベクトル乗算器242(または他の適切な手段)を含む。x(k)およびq(k)の重み付けは、重み付けマトリクスH(k)のエントリにより決定される。そこにおいて、重み付けマトリクスエントリは、時間的でありうる(すなわち、時間インデックスkに依存している)。以下に詳述するように、一般に、重み付けマトリクスH(k)のエントリのいくつかは、複素数値でありうる。
図2の実施形態において、第1のアップミックスされたオーディオチャンネル信号222aのサンプルy1(k)は、複素数値のマトリクスエントリH11により重み付けされたダウンミックスオーディオ信号のサンプルx(k)と(一般的に、必ずではないが、実数値の)マトリクスエントリH12で重み付けされた非相関信号の時間的に対応しているサンプルq(k)を足すことにより得られる。同様に、第2のアップミックスされたオーディオチャンネル信号222bのサンプルy2(k)は、複素数値のマトリクスエントリH21により重み付けされたダウンミックスオーディオ信号のサンプルx(k)と(一般的に実数値の)マトリクスエントリH22で重み付けされた非相関信号の時間的に対応しているサンプルq(k)を足すことにより得られる。
したがって、位相シフトまたは位相回転は、アップミックスされたオーディオチャンネル信号222a、222bのサンプルy1(k)、y2(k)をそこから導き出すとき、(相関する)ダウンミックスオーディオ信号のサンプルx(k)に適用される。対照的に、アップミックスされたオーディオチャンネル信号222a、222bのサンプルへの非相関信号のサンプルq(k)の寄与を算出するときに、位相シフトまたは位相回転の適用は回避される。
以下に、マトリクスHのマトリクスエントリH11、H12、H21、H22をどのように得ることができるかについて、説明する。
この目的のために、装置200は、アップミックスパラメータを表している補助情報262を受けるように構成される補助情報処理装置260を含む。補助情報262は、例えば、チャンネル間レベル差パラメータ、チャンネル間相関又はコヒーレンスパラメータ、チャンネル間時間差パラメータ、あるいは、チャンネル間位相差パラメータのような空間キューを含みうる。前記パラメータILD、ICC、ITD、IPDは、空間符号化の当該技術分野でよく知られており、ここでは詳述しない。
補助情報処理装置260は、マトリクスベクトル乗算器242(それは、参照番号264で示される)に(全部の)マトリクスエントリH11、H12、H21、H22を供給するように構成される。従って、補助情報処理装置260を「パラメータ決定器」とみなすこともできる。
Figure 2012516596
補助情報処理装置260は、アップミックスされたオーディオチャンネル信号222a、222bの異なる信号成分間の位相シフトを示している空間キューを受けるように構成されるアップミックスパラメータ位相シフト角決定器280を含む。例えば、アップミックスパラメータ位相シフト角度決定器280は、チャンネル間位相差パラメータ282を受けるように構成される。アップミックスパラメータ位相シフト角度決定器280は、284でも表される、ダウンミックスオーディオ信号と関連した位相シフト角度値α1、α2を供給するようにも構成される。チャンネル間位相差パラメータ282に基づいた位相シフト角度値の計算は、当該技術分野においてよく知られている。そうであるので、詳細な説明はここで省略される。例えば、節「参照」中で引用された文書や、また、当業者によく知られた他の刊行物を参照することができる。
補助情報処理装置260は、実数値のマトリクスエントリ272および位相シフト角度値284を受けて、それに基づいて、マトリクスH(また、時間依存性を示すために、H(k)とも表される)の(全部の)マトリクスエントリを計算するように構成されるマトリクスエントリ回転器290を更に含む。この目的のために、マトリクスエントリ回転器290は、位相シフト角度値α1、α2を、ダウンミックスオーディオ信号x(k)への適用を目的としたそれら実数値のマトリクスエントリ272(および、好ましくは、それらのみ)に適用するように構成されうる。対照的に、マトリクスエントリ回転器290は、非相関信号q(k)のサンプルに適用されることを目的とするそれら実数値のマトリクスエントリを位相シフト角度値α1、α2に影響を受けないままにするように好ましくは構成される。従って、非相関信号q(k)のサンプルに(マトリクスベクトル乗算器242によって)適用されることを目的とするそれらマトリクスエントリは、アップミックスパラメータ実数値決定器270によって供給されたように実数値のままである。しかし、いくつかの実施形態において、符号の逆変換は生じうる。
Figure 2012516596
したがって、マトリクスエントリ回転器290は、マトリクスHの(全部の)マトリクスエントリを導き出し、マトリクスベクトル乗算器242にこれらの(全部の)マトリクスエントリを供給するように構成される。
通常通り、マトリクスHのマトリクスエントリは、装置200の演算の間、更新されうる。例えば、補助情報262の新規な一組が、装置200によって受け取られるときはいつでも、マトリクスHのマトリクスエントリ264は、更新されうる。他の実施形態において、補間は、実行されうる。このように、マトリクスエントリ264は、補間が適用されうるいくつかの実施形態において、オーディオサンプル更新間隔kごとに、一回更新されうる。
以下では、図2aおよび図2bに関して詳述された本発明の構想が、簡潔に要約される。本発明による実施形態は、非相関信号の一部の位相をシフトすることによって生じる誤った出力チャンネル間相関を防止する改善された位相処理によって、アップミキシング技術を強化する。
説明を簡単にするため、図2に示された実施形態、並びに以下の説明は、1から2チャンネルへのアップミックスだけに限定する。例えば1から2チャンネルへの復号器のアップミックス処置は、アップミックスマトリクスHを用いた、「ドライ信号」と呼ばれるダウンミックス信号x、および、「ウェット信号」と呼ばれるダウンミックス信号qの非相関バージョンから成るベクトルのマトリクス乗算によって実行される。ウェット信号qは、(非相関器230の形の)非相関フィルタを介してダウンミックス信号xを送ることによって生成されうる。出力信号yは、出力(例えば第1のアップミックスオーディオチャンネル信号222aおよび第2のアップミックスオーディオチャンネル222b)の第1および第2のチャンネルを含んでいるベクトルである。
Figure 2012516596
マトリクスベクトル乗算器242によって実行されうる前記マトリクス演算はまた、図2に示される。そこにおいて、時間インデックスkは、入力サンプルx、y、アップミックスされた出力サンプルy1、y2、更にはアップミックスマトリクスHが、一般的に時変であることを示す。
アップミックスマトリクスHの係数(又はマトリクスエントリ)H11、H12、H21、H22は、例えば補助情報処理装置260を使用して、空間キューから導き出される。マトリクスベクトル乗算器242によって実行されるマトリクス演算は、ICCによるドライ信号xとウェット信号qのミキシング、および、ILDによる出力チャンネル222a、222bの重み付けを適用する。複素数値の係数を使用することにより、IPDによる更なる位相シフトは、(以下に説明されるように)適用できる。
ウェット信号qは、xとq間の相関が十分にゼロに近い方法で設計される非相関性フィルタ(例えば非相関器230)にダウンミックス信号xを通すことによって生成される。送られたICCによって表される2チャンネル間の元の相関度を再現するために、信号xおよびqは、2つの出力チャンネル222a、222bに対して異なってミックスされる。ミキシング係数(例えばマトリクスHのマトリクスエントリ)は、出力チャンネルの相関が送信されたICCと整合する方法で算出される。
送信されたIPDによって表される2チャンネル間の位相関係は、位相シフトを出力信号に適用することによって再現される。2つの信号は、通常、異なる角度で回転される。
従来の復号器は、位相シフトを全部の出力信号に適用する。そして、そのことは、ドライおよびウェットの信号成分が処理されることを意味する。
送信されたIPDは、2チャンネル間の位相角の差を表す。無相関の信号に対して定めることのできる位相差はないので、IPD値は、相関している信号成分に常に基づくことが分かっている。従って、位相回転を出力チャンネルのウェット信号の一部に適用することは必要でないことが分かっている。更に、ドライおよびウェットのミキシングの計算は、同じ非相関信号が両方のチャンネルにミックスされるという仮定に基づきうるので、2チャンネル(非相関信号部分を含む)への異なる位相シフトの適用により、結果として誤った出力相関度が生じうることが分かっている。
ドライおよびウェット信号のミキシングのための一般のアプローチは、両方のチャンネルに同じ量のウェット信号を異なる符号でミックスすることである。異なる位相シフトが、(例えば、ドライ信号xおよびウェット信号qを結合した後に)出力チャンネルに適用される場合、ウェット信号部分のこの異相特性が破壊され、そして、結果として非相関性の損失となることが分かっている。
対照的に、本発明の解決案は、所望の非相関度を維持するのに役立つ。
以下では、上記の実施形態に関する更なる詳細が説明される。本発明による実施形態において、(従来のアップミックス技術と比較したとき)修正されたアップミックスは、チャンネル間位相差(IPD)によるこの回転によって非相関性の損失を回避するために使用される。上述の通り、ウェット信号部分の位相シフトが、結果として非相関性の損失をもたらしうるし、チャンネル間の元の位相関係の再構成のために必要でないことが分かっている。複素係数を使用してアップミックスマトリクスHの位相シフトを適用するときに、その処理はドライ信号によって乗算されたそれらの係数の回転しかしないことによってドライ信号に限定できる。
以下に、アップミックスマトリクスHまたはアップミックスパラメータ(例えばアップミックスマトリクスHのエントリ)を得るために使用できる方法は説明される。
Figure 2012516596
(第1ステップと並列に、または、「第1ステップ」の前にさえ、任意選択で実行されうる)次のステップにおいて、例えば2出力チャンネルα1およびα2のための位相シフト角度は、通常通り、送信されたIPDから(例えば、アップミックスパラメータ位相シフト決定器280において)算出される。
Figure 2012516596
この修正されたアップミックスマトリクスを使用して、位相回転は、(例えば、マトリクスHを適用しているマトリクスベクトル乗算器242によって)ドライ信号部分に適用されるだけであり、その一方で、ウェット信号部分は修正されず、そして、正しい非相関性は保持される。
「図3aによる方法」
図3aは、ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするための方法300のフローチャートを示す。方法300は、一般に、アップミックスされたオーディオ信号を得るために、アップミックスダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するステップ310を含む。アップミキシングパラメータを適用するステップ310は、非相関信号を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、位相シフトをダウンミックスオーディオ信号に適用するステップ320を含む。アップミキシングパラメータを適用するステップ310は、アップミックスされたオーディオを得るために、ダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するステップ330を更に含む。
方法300が本願明細書において説明された機能のいずれかによって補充できる点に留意する必要があり、本発明の装置に関しても同様である。
「図3bによる方法」
本発明の一実施形態によれば、図3bは、一組のアップミックスパラメータを得るための方法350を示す。方法350は、寄与のインテンシティを示している一つ以上の空間キュー(例えばILD、ICC)に応じて、アップミックスされたオーディオチャンネル信号(例えばy1、y2)へのダウンミックス信号(例えば信号x)および非相関信号(例えば信号q)の所望の寄与のインテンシティを表している実数値のアップミックスパラメータ(例えば実数値のマトリクスエントリ)を得る第1のステップ360を含む。方法350は、チャンネル間位相シフト(例えばIPD)を示している一つ以上の空間キューに応じて、異なるアップミックスされたオーディオチャンネル信号(例えばy1、y2)のダウンミックスオーディオ信号の要素間の所望の位相シフトを表している位相シフト値(例えばα1、α2)を得る第2のステップ370を更に含む。方法350は、アップミックスパラメータの組の全部のアップミックスパラメータを得るために、非相関信号に適用されることを目的とする実数値のアップミックスパラメータを、位相シフト角度値に影響を受けないままにする一方で、位相シフト角度値に応じて、ダウンミックスオーディオ信号に適用されることを目的とした実数値のアップミックスパラメータを回転させる(位相シフトさせる)ステップ380を更に含む。
方法350は、本願明細書において説明された特徴および機能のいずれによっても補充でき、本発明の装置に関しても同様である。
「コンピュータ・プログラム実施例」
特定の実現要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実施できる。その実施は、各方法が実施されるように、プログラミング可能なコンピュータシステムと協動する(または協動できる)、それに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して実施できる。
本発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの1つが実施されるように、プログラミング可能なコンピュータシステムと協動できる電子的に読み込み可能な制御信号を有するデータキャリアを含む。
通常、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施でき、そして、コンピュータ・プログラム製品がコンピュータ上で動作するときに、プログラムコードがその方法のうちの1つを実施するために働く。プログラムコードは、例えば、機械読み取り可能なキャリアに格納できる。
他の実施形態は、機械読み取り可能なキャリアに格納された、本願明細書において説明された方法のうちの1つを実施するためのコンピュータ・プログラムを含む。換言すれば、本発明の方法の実施形態は、従って、コンピュータ・プログラムはコンピュータ上で動作するときに本願明細書において説明された方法のうちの1つを実施するためのプログラムコードを有するコンピュータ・プログラムである。
従って、本発明の方法の更なる実施形態は、それに記録され、本願明細書において説明された方法のうちの1つを実施するためのコンピュータ・プログラムを含んでいるデータキャリア(またはデジタル記憶媒体またはコンピュータ読み取り媒体)である。
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの1つを実施するためのコンピュータ・プログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を介して、例えばインターネットを介して、送信されるように例えば構成されうる。
更なる実施形態は、本願明細書において説明された方法のうちの1つを実施するように構成された、又は、適合された処理手段、例えばコンピュータまたはプログラミング可能な論理回路を含む。
更なる実施形態は、本願明細書において説明された方法のうちの1つを実施するためのコンピュータ・プログラムをインストールしているコンピュータを含む。
いくつかの実施形態において、プログラミング可能な論理回路(例えばフィールド・プログラマブル・ゲート・アレイ)は、本願明細書において説明された方法の機能のいくつかまたは全てを実施するために使用されうる。いくつかの実施形態において、フィールド・プログラマブル・ゲート・アレイは、本願明細書において説明された方法のうちの1つを実施するために、マイクロプロセッサと協動しうる。
「結論」
上記を要約すると、正しい非相関性を保持する一方で、元のチャンネル間位相差を再現するための改善されたアップミキシング方法が説明された。本発明による実施形態は、非相関器出力の不必要な位相処理によって生じる出力信号の非相関性の損失を防止することによって、他の技術に取って代わる。
「参照」
[1]C.ファーラー、F.バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、IEEE会報、WASPAA、モホンク、ニューヨーク、2001年10月
[2]F.バウムガルテ、C.ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ICASSP論文、フロリダ州オーランド、2002年5月
[3]C.ファーラー、F.バウムガルテ、「バイノーラルキュー符号化:空間オーディオの新規で効率的な表現」、ICASSP論文、フロリダ州オーランド、2002年5月
[4]C.ファーラー、F.バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、AES第113回コンベンション、予稿集5686、ロサンゼルス、2002年10月
[5]C.ファーラー、F.バウムガルテ、「バイノーラルキュー符号化 −パート2:方式及び応用例」、音声及びオーディオ処理、IEEE会報、11巻、No.6、2003年11月
[6]J.ブリーバールト、S.ファン・デ・パール、A.コーラウシュ、E.シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、AES第116回コンベンション、予稿集6072、ベルリン、2004年5月
[7]E.シュイヤース、J.ブリーバールト、H.プルンハーゲン、J.エングデガルト、「低煩雑性パラメトリックステレオ符号化」、AES第116回コンベンション、予稿集6073、ベルリン、2004年5月
[8]ISO/IEC JTC 1/SC 29/WG 11、23003―1、MPEGサラウンド
[9]J.ブラウエルト、空間聴覚:人間の音の定位の精神物理学、修正編集.ケンブリッジ、マサチューセッツ州、The MIT Press、1997

Claims (15)

  1. ダウンミックスオーディオ信号(110;210)を、一つ以上のアップミックスされたオーディオチャンネル(222a、22b)を表しているアップミックスされたオーディオ信号(120;220)にアップミックスするためのアップミキサー(100;200)であって、前記アップミキサーは、
    前記アップミックスされたオーディオ信号(120;220)を得るために、前記ダウンミックスオーディオ信号(110;210)をアップミックスするためのアップミキシングパラメータ(H11、H12、H21、H22)を適用するように構成されたパラメータ適用器(130;240)を含み、
    前記パラメータ適用器(130;240)は、非相関信号(150;q)を位相シフトにより修正されないままにする一方で、前記ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、前記位相シフトを前記ダウンミックスオーディオ信号(110;x)に適用するように、および、
    前記アップミックスされたオーディオ信号(120;220)を得るために、前記ダウンミックスオーディオの前記位相シフトされたバージョンを前記非相関信号(150;q)と結合するように構成されること、を特徴とする、前記アップミキサー。
  2. 前記アップミキサーは、前記非相関信号が前記ダウンミックスオーディオ信号(110;x)の非相関バージョンであるように、前記非相関信号(150;q)を得るように構成されること、を特徴とする、請求項1に記載のアップミキサー(100;200)。
  3. 前記アップミキサー(100;200)は、前記ダウンミックスオーディオ信号(110;x)を、複数のアップミックスされたオーディオチャンネル(222a、222b)を表しているアップミックスされたオーディオ信号(120;220)にアップミックスするように構成されること、
    前記パラメータ適用器(130;240)は、第1のアップミックスされたオーディオチャンネル信号(y1)および第2のアップミックスされたオーディオチャンネル信号(y2)を得るために、前記非相関信号(150;q)を使用して前記ダウンミックスオーディオ信号(110;x)をアップミックスするための前記アップミキシングパラメータ(H11、H12、H21、H22)を適用するように構成されること、
    前記パラメータ適用器(130;240)は、互いに関して時間的位相シフト(α1−α2)を含んでいる前記ダウンミックスオーディオ信号の少なくとも2つのバージョン(H11 x、H21 x)を得るために、時間的位相シフト(α1、α2)を前記ダウンミックスオーディオ信号(110;x)に適用するように構成されること、および、
    前記パラメータ適用器(130;240)は、前記非相関信号が前記時間的位相シフト(α1−α2)に影響を受けないままであるように、少なくとも2つのアップミックスされたオーディオチャンネル信号(y1、y2)を得るために、前記ダウンミックスオーディオ信号の前記少なくとも2つのバージョンを、前記非相関信号(150;q)と結合するように構成されること、を特徴とする、請求項1又は請求項2に記載のアップミキサー(100;200)。
  4. 前記パラメータ適用器(130;240)は、前記非相関信号(150;q)を示している前記第1のアップミックスされたオーディオチャンネル信号(y1)の信号部分および前記非相関信号(150;q)を示している前記第2のアップミックスされたオーディオチャンネル信号(y2)の信号部分が時間的に一定の位相関係にあるように、前記ダウンミックスオーディオ信号(110;x)の前記少なくとも2つのバージョン(H11 x、H21 x)を、前記非相関信号(150;q)と結合するように構成されること、を特徴とする、請求項3に記載のアップミキサー(100;200)。
  5. 前記パラメータ適用器(130;240)は、前記非相関信号(150;q)を示している前記第1のアップミックスされたオーディオチャンネル信号(y1)の信号部分および前記非相関信号(150;q)を示している前記第2のアップミックスされたオーディオチャンネル信号(y2)の信号部分が互いに関して同相又は180°逆位相にあるように、前記ダウンミックスオーディオ信号(110;x)の前記少なくとも2つのバージョン(H11 x、H21 x)を、前記非相関信号(150;q)と結合するように構成されること、を特徴とする、請求項3または請求項4に記載のアップミキサー(100;200)。
  6. 前記パラメータ適用器(130;240)は、前記ダウンミックスオーディオ信号の前記少なくとも2つのバージョン(H11 x、H21 x)を、非相関信号が前記時間的位相シフトに影響を受けないままである前記非相関信号(150;q)と結合する前に、互いに関して時間的位相シフトを含んでいる前記ダウンミックスオーディオ信号の前記少なくとも2つのバージョン(H11 x、H21 x)を得るように構成されること、を特徴とする、請求項3〜請求項5のうちの1つに記載のアップミキサー(100;200)。
  7. 前記アップミキサーは、チャンネル間位相差パラメータ(282)に基づいて、前記位相シフト(α1、α2)を決定するように構成されたパラメータ決定器(260)を含むこと、を特徴とする、請求項1〜請求項6のうち1つに記載のアップミキサー(100;200)。
  8. 前記パラメータ適用器(130;240)は、結果として、第1のアップミックスされたオーディオチャンネル信号(222a)の一つ以上のサンプル(y1)および第2のアップミックスされたオーディオチャンネル信号(222b)の一つ以上のサンプル(y2)を示している出力ベクトルを得るために、前記ダウンミックスオーディオ信号(110;210)の一つ以上のサンプル(x)および前記非相関信号(150;q)の一つ以上のサンプル(q)を示している入力ベクトルに、前記アップミックスパラメータを示しているマトリクスエントリ(H11、H12、H21、H22)を含んでいるマトリクス(H)を掛けるように構成された、マトリクスベクトル乗算器(242)を含むこと、
    前記アップミキサーは、前記ダウンミックスオーディオ信号(110;210)と関連した空間キューに基づいて前記マトリクスエントリ(H11、H12、H21、H22)を得るように構成されたアップミックスパラメータ決定器(260)を含むこと、および、
    前記アップミックスパラメータ決定器(260)は、前記非相関信号(q)の前記一つ以上のサンプルに適用されるマトリクスエントリ(H12、H22)の位相を時間的位相回転に影響を受けないままにする一方で、前記時間的位相回転を、前記ダウンミックス信号(x)の一つ以上のサンプルに適用されるマトリクスエントリ(H11、H21)にのみ適用するように構成されること、を特徴とする、請求項1〜請求項7のうちの1つに記載のアップミキサー(100;200)。
  9. Figure 2012516596
  10. Figure 2012516596
  11. Figure 2012516596
  12. アップミックスパラメータの前記組は、アップミックスマトリクスによって示されること、
    前記実数値のアップミックスパラメータは、実数値のマトリクスエントリであること、および、
    前記全部のアップミックスパラメータは、全部のマトリクスエントリであること、および、
    前記装置は、前記非相関信号に適用されるアップミックスパラメータが、空間キューと独立している所定の位相値を含む一方で、前記ダウンミックス信号に適用されるアップミックスパラメータが、前記装置によって受け取られた前記空間キューに依存している位相を含むように、前記全部のアップミックスパラメータを得るように構成されること、を特徴とする、請求項11に記載の装置(260)。
  13. ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするための方法(300)であって、前記方法は、
    前記アップミックスされたオーディオ信号を得るために、前記ダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するステップ(310)を含み、
    アップミキシングパラメータを適用するステップ(310)は、非相関信号を位相シフトに修正されないままにする一方で、前記ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、前記位相シフトを前記ダウンミックスオーディオ信号に適用するステップ(320)を含むこと、および、
    前記アップミキシングパラメータを適用するステップ(310)は、前記アップミックスされたオーディオ信号を得るために、前記ダウンミックスオーディオ信号の前記位相シフトされたバージョンを前記非相関信号と結合するステップ(330)を含むこと、を特徴とする、方法。
  14. ダウンミックスオーディオ信号を、複数のアップミックスされたオーディオ信号を表しているアップミックスされたオーディオ信号にアップミックスするための一組のアップミックスパラメータを得るための方法(350)であって、前記方法は、
    寄与のインテンシティを示している一つ以上の空間キューに応じて、前記アップミックスされたオーディオチャンネル信号への前記ダウンミックス信号のおよび前記非相関信号の前記寄与の所望の前記インテンシティを表している実数値のアップミックスパラメータを得るステップ(360)、
    チャンネル間位相差を示している一つ以上の空間キューに応じて、異なるアップミックスされたオーディオチャンネル信号においてダウンミックスオーディオ信号要素間の所望の位相シフトを表している位相シフト角度値を得るステップ(370)、および、
    アップミックスパラメータの前記組の全部のアップミックスパラメータを得るために、
    前記非相関信号に適用されることを目的とした実数値のアップミックスパラメータを前記位相シフト角度値に影響を受けないままにする一方で、前記位相シフト角度値に応じて、前記ダウンミックスオーディオ信号に適用されることを目的とした実数値のアップミックスパラメータを回転させるステップ(380)、を含むこと、を特徴とした、方法。
  15. コンピュータ・プログラムがコンピュータ上で動作するときに、請求項13または請求項14に記載の方法を実施するための前記コンピュータ・プログラム。
JP2011546745A 2009-01-28 2010-01-12 ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム Active JP5490143B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14781009P 2009-01-28 2009-01-28
US61/147,810 2009-01-28
EP09012285A EP2214162A1 (en) 2009-01-28 2009-09-28 Upmixer, method and computer program for upmixing a downmix audio signal
EP09012285.4 2009-09-28
PCT/EP2010/050287 WO2010086218A1 (en) 2009-01-28 2010-01-12 Upmixer, method and computer program for upmixing a downmix audio signal

Publications (2)

Publication Number Publication Date
JP2012516596A true JP2012516596A (ja) 2012-07-19
JP5490143B2 JP5490143B2 (ja) 2014-05-14

Family

ID=41278722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011546745A Active JP5490143B2 (ja) 2009-01-28 2010-01-12 ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム

Country Status (16)

Country Link
US (1) US9099078B2 (ja)
EP (2) EP2214162A1 (ja)
JP (1) JP5490143B2 (ja)
KR (1) KR101290461B1 (ja)
CN (1) CN102334158B (ja)
AR (1) AR075162A1 (ja)
AU (1) AU2010209872B2 (ja)
CA (1) CA2750451C (ja)
ES (1) ES2596319T3 (ja)
HK (1) HK1163913A1 (ja)
MX (1) MX2011007923A (ja)
PL (1) PL2382624T3 (ja)
PT (1) PT2382624T (ja)
RU (1) RU2547221C2 (ja)
TW (1) TWI415113B (ja)
WO (1) WO2010086218A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016503635A (ja) * 2012-12-04 2016-02-04 サムスン エレクトロニクス カンパニー リミテッド オーディオ提供装置及びオーディオ提供方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2214162A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
KR101842257B1 (ko) * 2011-09-14 2018-05-15 삼성전자주식회사 신호 처리 방법, 그에 따른 엔코딩 장치, 및 그에 따른 디코딩 장치
EP2880654B1 (en) * 2012-08-03 2017-09-13 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases
KR20140027831A (ko) * 2012-08-27 2014-03-07 삼성전자주식회사 오디오 신호 전송 장치 및 그의 오디오 신호 전송 방법, 그리고 오디오 신호 수신 장치 및 그의 오디오 소스 추출 방법
US9830917B2 (en) 2013-02-14 2017-11-28 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
TWI618051B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
US9754596B2 (en) 2013-02-14 2017-09-05 Dolby Laboratories Licensing Corporation Methods for controlling the inter-channel coherence of upmixed audio signals
CN105393304B (zh) * 2013-05-24 2019-05-28 杜比国际公司 音频编码和解码方法、介质以及音频编码器和解码器
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
AU2014339065B2 (en) * 2013-10-21 2017-04-20 Dolby International Ab Decorrelator structure for parametric reconstruction of audio signals
EP3061089B1 (en) * 2013-10-21 2018-01-17 Dolby International AB Parametric reconstruction of audio signals
EP2963646A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
CN107004421B (zh) * 2014-10-31 2020-07-07 杜比国际公司 多通道音频信号的参数编码和解码
TWI587286B (zh) 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
US10306391B1 (en) 2017-12-18 2019-05-28 Apple Inc. Stereophonic to monophonic down-mixing
EP3550561A1 (en) * 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005523480A (ja) * 2002-04-22 2005-08-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的オーディオのパラメータ表示
JP2006337767A (ja) * 2005-06-02 2006-12-14 Matsushita Electric Ind Co Ltd 低演算量パラメトリックマルチチャンネル復号装置および方法
JP2008516290A (ja) * 2004-11-02 2008-05-15 コーディング テクノロジーズ アクチボラゲット 非相関信号を用いた音声符号化
JP2008543227A (ja) * 2005-06-03 2008-11-27 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション サイド情報を有するチャンネルの再構成

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
AU2003216686A1 (en) * 2002-04-22 2003-11-03 Koninklijke Philips Electronics N.V. Parametric multi-channel audio representation
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
ATE430360T1 (de) * 2004-03-01 2009-05-15 Dolby Lab Licensing Corp Mehrkanalige audiodekodierung
US7457497B2 (en) 2004-08-05 2008-11-25 Sumitomo Electric Industries, Ltd. Optical multiplexer/demultiplexer and optical communication system
US7283634B2 (en) 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
TWI396188B (zh) * 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
JP4806031B2 (ja) * 2006-01-19 2011-11-02 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
PL2137725T3 (pl) * 2007-04-26 2014-06-30 Dolby Int Ab Urządzenie i sposób do syntetyzowania sygnału wyjściowego
EP2214162A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005523480A (ja) * 2002-04-22 2005-08-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的オーディオのパラメータ表示
JP2008516290A (ja) * 2004-11-02 2008-05-15 コーディング テクノロジーズ アクチボラゲット 非相関信号を用いた音声符号化
JP2006337767A (ja) * 2005-06-02 2006-12-14 Matsushita Electric Ind Co Ltd 低演算量パラメトリックマルチチャンネル復号装置および方法
JP2008543227A (ja) * 2005-06-03 2008-11-27 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション サイド情報を有するチャンネルの再構成

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016503635A (ja) * 2012-12-04 2016-02-04 サムスン エレクトロニクス カンパニー リミテッド オーディオ提供装置及びオーディオ提供方法
US9774973B2 (en) 2012-12-04 2017-09-26 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
US10149084B2 (en) 2012-12-04 2018-12-04 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
US10341800B2 (en) 2012-12-04 2019-07-02 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method

Also Published As

Publication number Publication date
EP2382624A1 (en) 2011-11-02
CA2750451C (en) 2015-05-12
RU2547221C2 (ru) 2015-04-10
ES2596319T3 (es) 2017-01-05
KR101290461B1 (ko) 2013-07-26
US20120020499A1 (en) 2012-01-26
JP5490143B2 (ja) 2014-05-14
CA2750451A1 (en) 2010-08-05
KR20110114605A (ko) 2011-10-19
TW201032217A (en) 2010-09-01
TWI415113B (zh) 2013-11-11
RU2011133697A (ru) 2013-03-10
PT2382624T (pt) 2016-09-29
AU2010209872B2 (en) 2013-06-20
AU2010209872A1 (en) 2011-08-25
AR075162A1 (es) 2011-03-16
EP2382624B1 (en) 2016-08-17
WO2010086218A1 (en) 2010-08-05
CN102334158A (zh) 2012-01-25
US9099078B2 (en) 2015-08-04
MX2011007923A (es) 2011-08-17
EP2214162A1 (en) 2010-08-04
CN102334158B (zh) 2013-07-24
PL2382624T3 (pl) 2017-02-28
HK1163913A1 (zh) 2012-09-14

Similar Documents

Publication Publication Date Title
JP5490143B2 (ja) ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム
JP5174973B2 (ja) ダウンミックスオーディオ信号をアップミックスするための装置、方法およびコンピュータ・プログラム
JP5563647B2 (ja) マルチチャンネル復号化方法及びマルチチャンネル復号化装置
US9966080B2 (en) Audio object encoding and decoding
EP1808047B1 (en) Multichannel audio signal decoding using de-correlated signals
JP4966981B2 (ja) 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置
JP5358691B2 (ja) 位相値平滑化を用いてダウンミックスオーディオ信号をアップミックスする装置、方法、およびコンピュータプログラム
EP1905006B1 (en) Generation of multi-channel audio signals
US8885854B2 (en) Method, medium, and system decoding compressed multi-channel signals into 2-channel binaural signals
JP2017535153A (ja) オーディオ・エンコーダおよびデコーダ
BRPI1005360B1 (pt) dispositivo upmixador

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131114

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140225

R150 Certificate of patent or registration of utility model

Ref document number: 5490143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250