JP2008542815A - オーディオ信号のデコーディング方法及び装置 - Google Patents

オーディオ信号のデコーディング方法及び装置 Download PDF

Info

Publication number
JP2008542815A
JP2008542815A JP2008513378A JP2008513378A JP2008542815A JP 2008542815 A JP2008542815 A JP 2008542815A JP 2008513378 A JP2008513378 A JP 2008513378A JP 2008513378 A JP2008513378 A JP 2008513378A JP 2008542815 A JP2008542815 A JP 2008542815A
Authority
JP
Japan
Prior art keywords
information
channel
filter
domain
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008513378A
Other languages
English (en)
Other versions
JP2008542815A5 (ja
JP4988718B2 (ja
Inventor
ヒョンオ オ
ヤンウォン ジョン
ヒソク パン
ドンス キム
ジェヒョン イム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060030670A external-priority patent/KR20060122695A/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority claimed from PCT/KR2006/002016 external-priority patent/WO2006126855A2/en
Publication of JP2008542815A publication Critical patent/JP2008542815A/ja
Publication of JP2008542815A5 publication Critical patent/JP2008542815A5/ja
Application granted granted Critical
Publication of JP4988718B2 publication Critical patent/JP4988718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】効率的なオーディオ信号の処理のためのオーディオ信号のデコーディング方法及び装置を提供する。
【解決手段】受信したオーディオ信号からダウンミックス信号と空間情報を抽出する段階と、空間情報を用いて、ダウンミックス信号から仮想サラウンド信号を生成する段階とを含むオーディオ信号のデコーディング方法を提供する。
また、受信したオーディオ信号からダウンミックス信号と空間情報を抽出する逆多重化部と、空間情報を用いて、ダウンミックス信号から仮想サラウンド信号を生成する仮想サラウンドデコーディング部とを備えるオーディオ信号のデコーディング装置を提供する。
【選択図】図1

Description

本発明は、オーディオ信号の処理に係り、より詳細には、仮想サラウンド信号(Pseudo surround signal)を生成するオーディオ信号処理方法及び装置に関する。
近年、デジタルオーディオ信号に対する様々なコーディング技術(coding technology)及び方法が開発されており、これと関連した製品が生産されてきている。また、心理音響モデル(psychoacoustic model)を用いてマルチチャネルオーディオ信号のコーディング方法が開発されており、これに対する標準化作業が進行されている。
心理音響モデルによれば、人間が声を認識する方式、例えば、大きい声に続く小さい声は聞こえないし、20Hz乃至20000Hzの周波数に該当する声のみが聞けるという事実に着目し、コーディング過程で不要な部分に対する信号を除去することによって必要なデータの量を效果的に縮減することが可能になる。
しかしながら、空間情報を含むオーディオビットストリームから仮想サラウンド信号を生成するためのオーディオ信号に対する処理方法が具体的に提示されておらず、オーディオ信号を效率的に処理するのに多くの難題があった。
本発明は、上記の問題点を解決するためのもので、その目的は、オーディオ・システムで仮想の立体音響効果(Pseudo surround effect)を提供するオーディオ信号処理方法及び装置を提供することにある。
本発明の一実施形態によれば、フィルタ情報を受信する段階と、前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する段階と、前記サラウンド変換情報を出力する段階と、を含むことを特徴とするオーディオ信号のデコーディング方法が提供される。
本発明の他の実施形態によれば、フィルタ情報が入力されるフィルタ情報入力部と、前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する情報変換部と、前記サラウンド変換情報を出力するサラウンド変換情報出力部と、を備えることを特徴とするオーディオ信号のデコーディング装置が提供される。
本発明のさらに他の実施形態によれば、フィルタ情報と空間情報とを含んでなり、前記空間情報が適用されて前記フィルタ情報がサラウンド変換情報に変換されることを特徴とするオーディオ信号のデータ構造を提供する。
本発明に係るオーディオ信号のデコーディング方法及び装置によれば、マルチチャネルをダウンミックスしてダウンミックスチャネルを生成し、該マルチチャネルの空間情報を抽出して生成されたオーディオビットストリーム(audio bitstream)を受信したデコーディング装置が、マルチチャネルを生成できる環境でない場合にも仮想サラウンド効果(Pseudo surround effect)を持つようにデコーディングすることが可能になる。
以下、上記の目的を具体的に実現できる本発明の好適な実施例を、添付の図面を参照しつつ説明する。
なお、本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語としたが、特定の場合は、出願人が任意に選定した用語もあり、この場合は、該当する発明の説明部分で詳細にその意味を記載しておいたので、単純な用語の名称ではなく用語が持つ意味をもって本発明を把握しなければならない。
本発明で“空間情報(spatial information)”とは、ダウンミックス(down−mix)された信号に対して、アップミックス(up−mix)を行ってマルチチャネルを生成するための情報のことを意味する。ここでは、該空間情報を空間パラメータとして説明するが、本発明がこれに限定されることはない。この空間パラメータには、2チャネル間のエネルギー差を意味するCLD(channel level difference)、2チャネル間の相関関係(correlation)を意味するICC(inter channel coherences)及び2チャネルから3チャネルを生成する時に用いられる予測係数であるCPC(channel prediction coefficients)などがある。
本発明で“コアコーデック(core codec)”とは、空間情報でないオーディオ信号をコーディングするコーデックのことをいう。本発明では、空間情報でないオーディオ信号をダウンミックスオーディオ信号として説明する。また、該コアコーデックには、MPEG Layer−II、MP3、OggVorbis、AC−3、DTS、WMA、AACまたはHE−AACが含まれることができる。一方、コアコーデックの代わりに圧縮していないPCM信号が用いられることもできる。オーディオ信号に対してコーデック機能を行うとしたら、既存に開発されたコーデックだけでなく、今後開発されるコーデックをも含むことができる。
本発明で“チャネル分割部(channel splitting part)”は、特定本数の入力チャネルを入力チャネル数と異なる特定出力チャネル数に分割する分割部を意味する。該チャネル分割部は、入力チャネル(input channel)が2つある場合、出力チャネル(output channel)を3つに変換するTTT(two to three:以下、‘TTT'という。)ボックス、または、入力チャネルが1つである場合、出力チャネルを2つに変換するOTT(one to two:以下、‘OTT’という。)ボックスを含む。ただし、本発明のチャネル分割部は、TTTボックスとOTTボックスに限定されず、入力チャネルと出力チャネルが任意の個数を持つ場合のいずれにも適用可能であることは自明である。
図1は、本発明の一実施例による信号処理システムを示す図である。図1を参照すると、該信号処理システムは、エンコーディング装置100及びデコーディング装置150を備える。ただし、ここではオーディオ信号について説明するが、本発明はオーディオ信号の他、如何なる信号の処理にも適用可能であることは明らかである。
エンコーディング装置100は、ダウンミックス部(downmixing part)110、コアエンコーディング部(core encoding part)120及び多重化部(multiplexing part)130を備える。該ダウンミキシング部110は、チャネルダウンミックス部(channel downmixing part)111及び空間情報抽出部(spatial information estimating part)112を備える。
オーディオ信号がN個のマルチチャネルX,X,…,Xに入力されると、ダウンミキシング部110は、あらかじめ定められたダウンミックス方法または任意に設定したダウンミックス方法(artistic downmix method)によって、入力チャネルの数よりも小さいチャネルのオーディオ信号を出力し、該出力された信号は、コアエンコーディング部120に入力される。一方、空間情報抽出部112は、マルチチャネルから空間情報を抽出し、該抽出された空間情報を多重化部130に送信する。ここで、ダウンミックスチャネルは、一つのチャネルまたは二つのチャネルを持つ、または、ダウンミックス命令によって特定数のチャネルを持つことができる。この場合、ダウンミックスチャネルの数は設定可能である。また、選択的にダウンミックスオーディオ信号はアーティスティックダウンミックス信号を利用できることは明らかである。
コアエンコーディング部120は、ダウンミックスチャネルを通して転送されたダウンミックスオーディオ信号に対するエンコーディングを行う。該エンコーディングされたダウンミックスオーディオ信号は、多重化部130に入力される。
多重化部130は、当該ダウンミックスオーディオ信号と空間情報を多重化してビットストリームを生成し、生成したビットストリームをデコーディング装置150に送信する。この時、ビットストリームは、コアコーデックビットストリームと空間情報ビットストリームを含むことができる。
デコーディング装置150は、逆多重化部(demultiplexing part)160、コアデコーディング部(core decoding part)170及び仮想サラウンドデコーディング部(Pseudo surround decoding part)180を備える。仮想サラウンドデコーディング部180は、仮想サラウンド生成部(Pseudo surround generating part)200及び情報変換部300を備えることができる。なお、デコーディング装置150は、空間情報デコーディング部(spatial information decoding part)190をさらに備えることができる。逆多重化部160は、ビットストリームを受信し、受信したビットストリームをコアコーデックビットストリームと空間情報ビットストリームとに逆多重化する。また、逆多重化部160は、受信したビットストリームからダウンミックス信号と空間情報を抽出できる。
コアデコーディング部170は、逆多重化部160からコアコーデックビットストリームを受信し、デコーディングされたダウンミックス信号を出力する。例えば、エンコーディング装置でマルチチャネルをダウンミックスする時、モノチャネルまたはステレオチャネルにダウンミックスした場合には、該デコーディングされたダウンミックス信号はモノチャネルまたはステレオチャネル信号になりうる。ただし、本発明の実施例は、ダウンミックスチャネルとして用いられるモノチャネルまたはステレオチャネルに基づいて説明されるが、ダウンミックスチャネルの数に限定されることはない。
空間情報デコーディング部190は、逆多重化部160から空間情報ビットストリームを受信し、該空間情報ビットストリームをデコーディングして空間情報を生成できる。
仮想サラウンドデコーディング部180は、空間情報を用いてダウンミックス信号から仮想サラウンド信号を生成する。以下、該仮想サラウンドデコーディング部180に備えられる情報変換部300と仮想サラウンド生成部200について説明する。
情報変換部(information converting part)300は、空間情報を受信し、フィルタ情報を受信する。また、該フィルタ情報及び空間情報を用いて仮想サラウンド信号の生成に適用させうるような形態のサラウンド変換情報を生成する。該サラウンド変換情報は、仮想サラウンド生成部200が特定フィルタである場合にフィルタ係数を意味する。したがって、本発明は、サラウンド変換情報としてフィルタ係数を挙げて説明するが、該フィルタ係数に限定されることはない。ここでは、フィルタ情報の一例としてHRTF(head−related transfer functions)が挙げられるが、本発明がこれに限定されることはない。
また、本発明でフィルタ係数(filter coefficient)は、特定フィルタが持つ係数を意味する。例えば、該フィルタ係数を次のように命名できる。原形HRTFフィルタ係数(proto−type HRTF filter coefficient)は、特定HRTFフィルタが持つ元来のフィルタ係数を意味し、GL_Lなどで表現可能である。変形されたHRTFフィルタ係数(converted HRTF filter coefficient)は、原形HRTFフィルタ係数が変形された後のフィルタ係数を意味し、GL_L’などで表現可能である。空間化したHRTFフィルタ係数(spatialized HRTF filter coefficient)は、原形HRTFフィルタ係数を仮想サラウンド信号生成のために空間化したフィルタ係数を意味し、FL_L1等で表現可能である。マスターレンダリング係数は、レンダリングを行うために必要なフィルタ係数を意味し、HL_Lなどで表現可能である。インタポレーティング(interpolating)されたマスターレンダリング係数は、該マスターレンダリング係数をインタポレーティング及び/またはブラリング(blurring)したフィルタ係数を意味し、HL_L’などで表現可能である。ただし、本発明が上記のフィルタ係数の名称に限定されないことは明らかである。
仮想サラウンド生成部200は、コアデコーディング部170からデコーディングされたダウンミックス信号を受信し、情報変換部300からサラウンド変換情報を受信し、該デコーディングされたダウンミックス信号と該サラウンド変換情報を用いて仮想サラウンド信号を生成する。例えば、仮想サラウンド信号は、ステレオ装置のみを持つオーディオ・システムで仮想の立体音響効果を提供する信号である。このとき、本発明は、出力される信号がステレオである装置のみを持つオーディオ・システムに限定されず、他の装置にも適用可能であることは明らかである。そして、仮想サラウンド生成部200で行うレンダリング(rendering)は、設定されたモード(mode)によって様々に行われることができる。
このように、本発明は、エンコーディング装置100がマルチチャネルオーディオ信号をそのまま転送するのではなく、ステレオまたはモノオーディオ信号にダウンミックスして転送し、かつ、該マルチチャネルオーディオ信号の空間情報を共に転送する場合、デコーディング装置150が本発明に係る仮想サラウンドデコーディング部180を備えているため、出力チャネルがマルチチャネルではなくステレオチャネルである場合にも使用者は仮想のマルチチャネル効果を経験できる、という非常に優れた方式である。
また、本発明によるオーディオ信号構造140の一例について説明すると、該オーディオ信号は、一つのペイロードを基盤に転送される場合、それぞれのチャネルを通して受信されても良く、一つのチャネルを通して受信されても良い。オーディオペイロード(audio payload)1フレーム(frame)には、コーディングされたオーディオデータを含むフィールドと、付加データフィールド(ancillary data field)を含む。ここで、付加データフィールドに、コーディングされた空間情報を含むことができる。例えば、オーディオペイロードが48〜128kbpsである時、空間情報は5〜32kbps程度の範囲を持つことができるが、これに制限されることはない。
図2は、本発明の一実施例による仮想サラウンド生成部200を略ブロック図である。
本発明でドメインは、ダウンミックス信号のデコーディングがなされるダウンミックスドメイン、サラウンド変換情報を生成するために空間情報の処理がなされる空間情報ドメイン、空間情報を用いてダウンミックス信号に対するレンダリングがなされるレンダリングドメイン、及び、時間領域の仮想サラウンド信号を出力する出力ドメインを含む。ここで、出力ドメインは人間に聞こえる状態のオーディオ信号のドメインで、時間ドメインを意味する。仮想サラウンド生成部200は、レンダリング部220と出力ドメイン変換部(output domain converting part)230を備える。また、ダウンミックスドメインとレンダリングドメインが相互に異なる場合、ダウンミックスドメインをレンダリングドメインと一致させるようにドメイン変換するレンダリングドメイン変換部210をさらに備えることができる。
例えば、レンダリングドメイン変換部210では、レンダリングドメインとダウンミックスドメインを一致させるためにドメイン変換を行う。このレンダリングドメイン変換部210で行うドメイン方法を説明すると、次の第1、第2、第3の方法が可能である。ここで、レンダリングドメインは、サブバンドドメインに設定された場合としたが、本発明はこれに限定されない。第1の方法は、ダウンミックスドメインが時間ドメインである場合、該時間ドメインをレンダリングドメインに変換することである。第2の方法は、ダウンミックスドメインが離散周波数ドメインである場合、該離散周波数ドメインをレンダリングドメインに変換することである。第3の方法は、ダウンミックスドメインが離散周波数ドメインである場合、該離散周波数ドメインを時間ドメインに変更した後、レンダリングドメインに変更することである。
レンダリング部220は、サラウンド変換情報を用いてダウンミックス信号の仮想サラウンドレンダリングを行って仮想サラウンド信号を生成する。この時、出力部がステレオチャネルである場合、該仮想サラウンド信号は、仮想の立体的音響を持つ仮想サラウンドステレオ出力(pseudo−surround stereo output)となる。また、レンダリング部220から出力する仮想サラウンド信号は、レンダリングドメイン上の信号であるので、該レンダリングドメインがタイムドメインでない場合、ドメイン変換が必要である。ここでは、仮想サラウンドデコーディング部180の出力部(output part)がステレオチャネルである場合としたが、本発明において出力部はチャネル数に関らずに適用可能である。
例えば、仮想サラウンドレンダリング方法には、HRTF(head−related transfer functions:以下、‘HRTF'という。)フィルタが行うHRTFフィルタリングがある。この場合、空間情報は、MPEGサラウンドで定義されたハイブリッドフィルタバンクドメイン(hybrid filterbank domain)で適用されうる値が可能である。なお、該仮想サラウンドレンダリングする方法は、ドメインによって次のような実施例が可能であるが、このため、レンダリングドメインにダウンミックスドメインと空間情報ドメインを一致させることが必要である。
第一の実施例は、ダウンミックス信号に対してサブバンドドメイン(QMF)で仮想サラウンドレンダリングを行う方法である。該サブバンドドメインは、シンプルサブバンドドメインとハイブリッドドメインを含む。例えば、ダウンミックス信号がPCM信号で、且つ、ダウンミックスドメインがサブバンドドメインでない場合、レンダリングドメイン変換部210からサブバンドドメインにドメイン変換を行い、ダウンミックス信号がサブバンドドメインである場合には、ドメイン変換を行う必要がない。必要によって、ダウンミックス信号と空間情報間の適用フレームを合わせるためにいずれか一方に時間遅れをおくことが必要である。この時、空間情報ドメインがサブバンドドメインである場合、空間情報ドメインに対する変換は必要でない。また、タイムドメイン上の仮想サラウンド信号を生成するためには、出力ドメイン変換部230でレンダリングドメインをタイムドメインに変換する必要がある。
第二の実施例は、ダウンミックス信号に対して離散周波数ドメインで仮想サラウンドレンダリングを行う方法である。ここで、離散周波数ドメインは、サブバンドドメイン以外の周波数ドメインを意味する。例えば、ダウンミックスドメインが離散周波数ドメインでない場合、レンダリングドメイン変換部210で離散周波数ドメインにドメイン変換を行う。この時、空間情報ドメインがサブバンドドメインである場合、空間情報ドメインも離散周波数ドメインに変換する。この方法は、時間領域におけるフィルタリングを離散周波数ドメインでの演算で置換するもので、高速演算が可能である。また、タイムドメイン上の仮想サラウンド信号を生成するためには、出力ドメイン変換部230でレンダリングドメインをタイムドメインに変換する必要がある。
第三の実施例は、ダウンミックス信号に対してタイムドメインで仮想サラウンドレンダリングを行う方法である。例えば、ダウンミックスドメインがタイムドメインでない場合、レンダリングドメイン変換部210でタイムドメインにドメイン変換を行う。この時、空間情報ドメインがサブバンドドメインである場合、空間情報ドメインもタイムドメインに変換する。また、この場合は、タイムドメイン上の仮想サラウンド信号を生成するために出力ドメイン変換部230でドメイン変換を行う必要がない。
図3は、本発明の一実施例による情報変換部300を示す図である。図3を参照すると、情報変換部(information converting part)300は、チャネルマッピング部(channel mapping part)310、係数生成部(coefficient generating part)320、合成部(integrating part)330を備える。そして、情報変換部300は、フィルタ係数に対する追加プロセシングを行う追加処理部及び/またはレンダリングドメイン変換部(rendering domain converting part)340をさらに備えることができる。
情報変換部300は、フィルタ情報と空間情報を受信し、該フィルタ情報に空間情報を適用してサラウンド変換情報を生成し、該サラウンド変換情報を出力する。この場合、フィルタ情報に空間情報を適用するためには、フィルタ情報ドメインと空間情報ドメインが一致しなければならない。受信したフィルタ情報のドメインが空間情報ドメインと同一でない場合、これら両ドメインを一致させるためにフィルタ情報ドメインの変換を行う場合が生じうる。以下では空間情報ドメインがサブバンドドメインである場合に基づいて説明するが、本発明はこれに限定されることはない。
例えば、フィルタ情報ドメインと空間情報ドメインが一致せず、入力されたフィルタ情報に対してドメイン変換を行うと、該フィルタ情報は、各サブバンド別フィルタ情報で表現される。このとき、各サブバンド別に割り当てられたフィルタ情報をそのまま利用すると、相当多い演算量を招く。したがって、割り当てられたフィルタ情報の縮約過程が必要とされる。このような縮約の形態としてはパラメータ化が挙げられる。以下、説明の便宜上、パラメータ化以前のフィルタ情報をサブバンド別原形フィルタ情報、パラメータ化以降のフィルタ情報をパラメータフィルタ情報と称する。また、ドメイン変換後にパラメータ化された最終パラメータフィルタ情報は、変形されたフィルタ情報と称し、パラメータフィルタ情報を含むことができる。
チャネルマッピング部310は、入力された空間情報をマルチチャネル信号の少なくとも一つの信号にマッピングされるようにチャネルマッピングを行い、チャネルマッピング出力値を生成する。係数生成部320は、チャネルに対応する係数情報を生成し、この係数情報は、チャネル別係数情報またはチャネル間係数情報を含むことができる。ここで、チャネル別係数情報は、大きさ情報、エネルギー情報などを表し、チャネル間係数情報は、フィルタ係数とチャネルマッピング出力値を用いて算出したチャネル間の相関情報を表す。係数生成部320は、複数のチャネル別係数生成部を備えることができ、フィルタ情報及びチャネルマッピング出力値を用いて係数情報を生成する。ここで、チャネルは、マルチチャネル、ダウンミックスチャネル、出力チャネルのうちの少なくとも一つを含む。以下ではチャネルをマルチチャネルとし、チャネル別係数情報は大きさ情報として説明するが、これに限定されることはない。そして、係数生成部320は、チャネル数に対応させる、または、他の特性によってその数を設定すれば良い。
チャネル別係数を受信した合成部330は、該チャネル別係数を統合または合算して合成係数を生成し、該合成係数を用いてフィルタ係数を生成する機能を果たす。合成係数を生成する過程でチャネル別係数以外の追加情報をさらに合成して合成係数を生成しても良い。合成部330は、係数情報の特性によって少なくとも一つのチャネル別に合成(integration)をし、特性によってダウンミックスチャネル別、出力チャネル別、出力チャネルを結合した一つのチャネル、これらを組み合わせたチャネル別に行うことができる。そして、合成部330は、合成係数に追加処理を行い、フィルタ係数を生成しても良い。例えば、合成係数に対して別個の関数を適用したり、複数の合成係数を結合するなど、合成係数に対して追加処理を行ってフィルタ係数を生成しても良い。
レンダリングドメイン変換部340は、空間情報ドメインがレンダリングドメインと異なる場合、空間情報ドメインをレンダリングドメインに一致させる役割を担う。これは、仮想サラウンドレンダリングのためのレンダリングドメインに変換させ、仮想サラウンドレンダリングのためのフィルタ係数(filter coefficients)を出力する。
ここで、合成部330は、仮想サラウンドレンダリングする演算量を低減させる機能を担うもので、省略可能である。また、ダウンミックス信号がステレオである場合は、各チャネル別係数生成過程で左側(left)及び右側(right)ダウンミックス信号に適用される係数セット(coefficient set)を生成する。ここで、フィルタ係数セットは、それぞれのチャネルから自分のチャネルに伝達される係数と相手側のチャネルに伝達される係数を含むことができる。
図4は、本発明の一実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための図である。特に、仮想サラウンド生成部410に入力されるダウンミックス信号がステレオである場合を示している。
情報変換部400は、空間情報を用いて仮想サラウンド生成部410の自分のチャネルに伝達される係数と相手側のチャネルに伝達される係数を生成できる。該情報変換部400は、第1のレンダリング部(first rendering part)413に入力され、自分のチャネル出力である左側出力(left out)に伝達する係数HL_Lと、相手側のチャネルである右側出力(right out)に伝達する係数HL_Rを生成する。また、情報変換部400は、第2のレンダリング部(second rendering part)414に入力され、自分のチャネル出力である右側出力に伝達する係数HR_Rと、相手側のチャネルである左側出力に伝達する係数HR_Lを生成する。
仮想サラウンド生成部410は、第1のレンダリング部413、第2のレンダリング部414及び加算器(Adder)415,416を備える。そして、例えば、ダウンミックスドメインがサブバンドドメインでなく、レンダリングドメインがサブバンドドメインである場合、ドメイン一致のためにドメイン変換のためのドメイン変換部(domain converting part)411,412をさらに備えることができる。ここで、サブバンドドメインをタイムドメインに変換するための逆ドメイン変換部(Inverse domain converting part)417,418をさらに備えることができる。この場合、使用者はステレオチャネルを持つイヤホンなどでマルチチャネル効果を持つ音響を聞くことが可能になる。
第1のレンダリング部413、第2のレンダリング部414は、ステレオチャネルでダウンミックス信号を受信し、合成部403から出力した左側、右側ダウンミックス信号に適用されるフィルタ係数セットを受信する。
例えば、第1のレンダリング部413、第2のレンダリング部414は、四つのフィルタ係数セット(例えば、HL_L、HL_R、HR_L、HR_R)を用いてダウンミックス信号から仮想サラウンド信号を生成するためのレンダリングを行うことができる。
より詳細には、第1のレンダリング部413は、フィルタ係数セットである左側セット(left set)から自分のチャネルに伝達されるフィルタ係数セットHL_Lと、相手側のチャネルに伝達されるフィルタ係数セットHL_Rを用いてレンダリングを行うことができる。第1のレンダリング部413は、第1−1のレンダリング部と第1−2のレンダリング部を備えることができる。第1−1のレンダリング部は、自分のチャネル出力である左側出力に伝達するフィルタ係数セットHL_Lを用いてレンダリングを行い、第1−2のレンダリング部は、相手側のチャネルである右側出力に伝達するフィルタ係数セットHL_Rを用いてレンダリングを行うことができる。また、第2のレンダリング部414は、フィルタ係数セットである右側セットから自分のチャネルに伝達されるフィルタ係数セットHR_Rと相手側のチャネルに伝達されるフィルタ係数セットHR_Lを用いてレンダリングを行うことができる。第2のレンダリング部414は、第2−1のレンダリング部と第2−2のレンダリング部を備えることができる。第2−1のレンダリング部は、自分のチャネル出力である右側出力に伝達するフィルタ係数セットHR_Rを用いてレンダリングを行い、第2−2のレンダリング部は、相手側のチャネルである左側出力に伝達するフィルタ係数セットHR_Lを用いてレンダリングを行う。ここで、HL_R、HR_Lは、加算器415,416で相手側のチャネルに加えられる。この時、場合によってはHL_R、HR_Lが0となることができるが、これは、クロスターム(cross term)の係数は0値になりうるということを意味する。ここで、HL_R,HR_Lが0になると、両パスが互いに何ら影響も与えないことを意味する。
一方、ダウンミックス信号がモノである場合にも、図4と類似の構造によるレンダリングを行うことができる。このため、元来のモノ入力を第1のチャネル信号とし、第1のチャネル信号に無相関(decorrelation)が行なわれた信号を第1のチャネル信号とすれば、第1のチャネル信号と第2のチャネル信号のそれぞれを第1のレンダリング部413、第2のレンダリング部414の入力としてレンダリングを行うことができる。
以下、図4のように入力信号がステレオダウンミックス信号(stereo downmix signal)である場合にダウンミックス信号をx、空間情報をチャネルマッピングした係数(channel mapping coefficients)をD、外部入力である原形HRTFフィルタ係数をG、臨時マルチチャネル信号(temporary multi−channel signal)をp、レンダリングされた出力信号をyと定義し、これらを行列式(matrix)で表すと、下記の式1のようになる。下記の式1では原形HRTFフィルタ係数を基準にしているが、変形されたHRTFフィルタ係数が用いられる場合に、下記の式においてGがG’に取り替えられることは明らかである。
Figure 2008542815
ここで、各係数が周波数領域の値であれば、次のような形態に展開可能である。まず、臨時マルチチャネル信号は空間情報をチャネルマッピングした係数(Channel mapping coefficient)とダウンミックス信号との積で表すことができ、これは下記の式2で表される。
Figure 2008542815
なお、臨時マルチチャネルpは、原形HRTFフィルタ係数Gを用いてレンダリングすると、下記の式3のようになる。
[数3]
y=G・p
ここで、上記p=D・xを代入してyを求めることができる。
[数4]
y=GDx
ここで、HをH=GDと定義すれば、レンダリングされた出力信号yとダウンミックス信号xとは、下記の式5の関係を持つ。
Figure 2008542815
したがって、フィルタ係数間の積をまず処理してHを生成した後、これをダウンミックス信号xに乗じてyを求めることができる
したがって、以下に説明されるF係数は、H=GDの下記式6の関係によって得ることができる。
Figure 2008542815
図5は、本発明の他の実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための図である。特に、仮想サラウンド生成部510に入力されるデコーディングされたダウンミックス信号がモノ(mono)である場合を例示している。
図5を参照すると、情報変換部500は、チャネルマッピング部501、係数生成部502及び合成部503を備える。情報変換部500の構成要素は、図4に示す情報変換部400の構成要素と同じ機能を行うので、その詳細説明は省略する。ただし、情報変換部500は、仮想サラウンドレンダリングを行うレンダリングドメインと同じドメインを持つ最終的なフィルタ係数を生成できる。該フィルタ係数は、デコーディングされたダウンミックス信号がモノである場合、モノ信号をレンダリングして左側チャネルに出力するのに用いられるフィルタ係数セットHM_Lと、モノ信号をレンダリングして右側チャネルに出力するのに用いられるフィルタ係数セットHM_Rを含むことができる。
仮想サラウンド生成部510は、第3のレンダリング部(third rendering part)512を備える。また、ドメイン変換部511と逆ドメイン変換部513,514をさらに備えることができる。仮想サラウンド生成部510の構成要素と図4に示す仮想サラウンド生成部410の相違点は、デコーディングされたダウンミックス信号がモノであるから、仮想サラウンドレンダリングを行う第3のレンダリング部512が一つであり、ドメイン変換部511を一つ含むことができるという点である。第3のレンダリング部512は、合成部503からフィルタ係数を受信し、該受信したフィルタ係数を用いて仮想サラウンド信号を生成するための仮想サラウンドレンダリングを行うことができる。この時、フィルタ係数は、モノ信号をレンダリングして左側チャネルに出力するのに用いられるフィルタ係数セットHM_Lと、モノ信号をレンダリングして右側チャネルに出力するのに用いられるフィルタ係数セットHM_Rを含む。
一方、モノであるダウンミックス信号の入力に対して、仮想サラウンドレンダリング後の出力がダウンミックスステレオのような形態の出力を得ようとする場合には、次のような2種の方法が可能である。
第一に、第3のレンダリング部512(例えば、HRTFフィルタ)を、仮想サラウンド効果のためのフィルタ係数を使用せず、ステレオダウンミックス(stereo downmix)時に使用する値を利用する。この場合、ステレオダウンミックス時に使用する値は左側出力のための係数left front=1,right front=0,…などが可能である。
第二に、ダウンミックスチャネルから空間情報を用いてマルチチャネルを生成するデコーディング過程において最後のマルチチャネルを生成せず、所望のチャネル数を得るために該当の段階(step)までのみデコーディングを進行することができる。
以下、図5のように入力信号がモノダウンミックス信号である場合にダウンミックス信号をx、空間情報をチャネルマッピングした係数をD、外部入力の原形HRTFフィルタ係数をG、臨時マルチチャネル信号をp、レンダリングされた出力信号をyと定義し、これらを行列式で表すと、下記の式7のようになる。
Figure 2008542815
ここで、該行列式の関係は図4で説明したので、ここでは省略する。ただし、図4は入力ダウンミックス信号がステレオである場合を例にしており、図5は入力ダウンミックス信号がモノである場合を例にしている。
図6及び図7は、本発明によるチャネルマッピング過程を示す図である。
チャネルマッピング過程は、受信した空間情報を仮想サラウンド生成部に合うようにマルチチャネル上のチャネル別にマッピングされる値を生成する過程を意味する。該チャネルマッピング過程は、チャネルマッピング部401,501で行なわれる。この時、各チャネルにマッピングされる情報、例えば、エネルギーをマッピングする過程で各チャネルを全て考慮して複数のチャネルのうちの少なくとも2つのチャネルをマッピングできる。この場合、Lfeチャネルをセンター(C)チャネルと共に考慮することができ、これによれば、チャネル分割数を使用しなくて済み、計算を単純化できる。
例えば、ダウンミックス信号がモノ(mono)である場合には、CLD1〜CLD5、ICC1〜ICC5などの係数を用いて、チャネルマッピング出力値を生成する。該チャネルマッピング出力値は、D,D,D,DLFE,DLs,DRsなどが可能であり、空間情報を用いて求めるので、様々な公式によって種々のものを求めうることは明らかである。ここで、該チャネルマッピング出力値を生成する過程は、デコーディング装置に受信された空間情報に対応するツリーコンフィギュレーション(tree configuration)とデコーディング装置で使用する空間情報の範囲などによって可変する。
図6及び図7は、本発明によるチャネルマッピング過程を説明するための略ブロック図である。ここで、チャネル構成をなすチャネル変換部はOTTボックスであり、該チャネル構成は5151の構造を有する。
図6を参照すると、OTTボックス601,602,603,604,605と空間情報(例えば、CLD,CLD,CLD,CLD,CLD,ICC,ICC,ICC,ICC等)を用いて、ダウンミックスチャネルmからマルチチャネルL,R,C,LFE,Ls,Rsを生成することが可能である。例えば、ツリー構造(tree structure)が5151である場合、CLDのみを用いてチャネルマッピング出力値を得る方法は、次の式8のようである。
Figure 2008542815
図7を参照すると、OTTボックス701,702,703,704,705と空間情報(例えば、CLD,CLD,CLD,CLD,CLD,ICC,ICC,ICC,ICC等)を用いて、ダウンミックスチャネルmからマルチチャネルL,Ls,R,Rs,C,LFEを生成することが可能である。
例えば、ツリー構造が5152である場合、CLDのみを用いてチャネルマッピング出力値を得る方法は、下記の式9のようである。
Figure 2008542815
そして、チャネルマッピング出力値は、周波数バンド別、パラメータバンド別及び/または転送されたタイムスロット(time slot)別に異なる値を持つ。ここで、隣接するバンド間、境界となるタイムスロット間で値ずれが大きいと、仮想サラウンドレンダリング時に歪みが生じうる。該発生した歪みを防ぐためには、周波数及び時間領域でブラリング(blurring)をする過程が必要となる。該歪みを防止するために行う方法は、次の通りである。まず、上記した周波数ブラリング(frequency blurring)と時間領域ブラリング(time blurring)を利用でき、仮想サラウンドレンダリングに適合する他の方法を使用することができる。また、チャネルマッピング出力値のそれぞれに特定ゲイン(gain)を乗じて用いることができる。
図8は、本発明によるチャネル別フィルタ係数を例示する図である。例えば、該フィルタ係数はHRTF係数とすれば良い。
仮想サラウンドレンダリングのためには、左側チャネルソース(left channel source)に対してGL_Lフィルタを通過した信号を左側出力として送り、GL_Rフィルタを通過した信号を右側出力として送る。以降、各チャネルから受信した全ての信号を総合して左側最終出力(例えば、Lo)と右側最終出力(例えば、Ro)を生成する過程を行う。
したがって、仮想サラウンドレンダリングが行われた左右チャネル出力は、下記の式10のようになる。
[数10]
Lo=L*GL_L+C*GC_L+R*GR_L+Ls*GLs_L+Rs*GRs_L
Ro=L*GL_R+C*GC_R+R*GR_R+Ls*GLs_R+Rs*GRs_R
本発明の一実施例によれば、L(810),C(800),R(820),Ls(830),Rs(840)を求める方法は次の通りである。第一、ダウンミックスチャネル及び空間情報を用いてマルチチャネルを生成する復号化方法を用いて、L(810),C(800),R(820),Ls(830),Rs(840)を求めることができる。例えば、このマルチチャネルを生成する方法には、MPEGサラウンド復号化方法がある。第二、空間情報同士のみの関係式でL(810),C(800),R(820),Ls(830),Rs(840)を表現できる。
図9乃至図11は、本発明による仮想サラウンド情報を生成する過程を説明するための略ブロック図である。
図9は、本発明による仮想サラウンド情報を生成する過程の第1の実施例を示す図である。図9を参照すると、チャネルマッピング部を除外した情報変換部は、少なくとも一つの係数生成部(coef_1 generating part:900_1、coef_2 generating part:900_2、…、coef_N generating part:900_N)を含む係数生成部(coefficient generating part)900と、合成部(integrating part)910とを備える。また、フィルタ係数の追加プロセシングのためのインタポレーティング部(interpolating part)920とドメイン変換部(domain converting part)930とをさらに備えることができる。
係数生成部900で行う係数生成過程は、空間情報にフィルタ情報を用いて係数を生成する過程を意味する。この場合、特定係数生成部(例えば、第1の係数生成部をcoef_1 generating part:900_1とする。)における係数生成過程は、下記の式で表現可能である。
例えば、ダウンミックスチャネルがモノである場合、第1の係数生成部900_1は、空間情報から生成された係数D_Lを用いて、マルチチャネルの左側チャネルのための係数FL_L及びFL_Rを生成する。該生成された係数FL_L及びFL_Rは、下記の式11で表現できる。
[数11]
FL_L=D_L*GL_L(モノ入力から左側出力を生成するのに用いられた係数)
FL_R=D_L*GL_R(モノ入力から右側出力を生成するのに用いられた係数)
ここで、D_Lは、空間情報のチャネルマッピング過程で空間情報から生成した値である。ただし、該D_Lを求める過程は、エンコーディング装置から送信し、デコーディング装置で受信したチャネルツリーコンフィギュレーション(tree configuration)によって異なってくる。なお、第2の係数生成部(coef_2 generating part)900_2、第3の係数生成部(coef_3generating part)900_3では、当該係数生成方法と同じ方法で第2の係数生成部900_2はFR_L,FR_Rを生成し、第3の係数生成部900_3はFC_L,FC_Rなどを生成できる。
例えば、ダウンミックスチャネルがステレオである場合、第1の係数生成部900_1は、空間情報から生成された係数D_L1,D_L2を用いて、マルチチャネルの左側チャネルのための係数FL_L1,FL_L2、FL_R1、FL_R2を生成でき、これらは、下記の式12で表現される。
[数12]
FL_L1=D_L1*GL_L(左側入力から左側出力を生成するのに用いられた係数)
FL_L2=D_L2*GL_L(右側入力から左側出力を生成するのに用いられた係数)
FL_R1=D_L1*GL_R(左側入力から右側出力を生成するのに用いられた係数)
FL_R2=D_L2*GL_R(右側入力から右側出力を生成するのに用いられた係数)
ここで、ダウンミックスチャネルがステレオである場合は、ダウンミックスチャネルがモノである場合と同じ方法で、少なくとも一つの係数生成器で複数の係数を生成できる。
合成部910は、チャネル別に生成されたチャネル別係数を合成してフィルタ係数を生成する。合成部910における合成過程を、モノ入力の場合とステレオ入力の場合とに分けて説明すると、下記の式13のようになる。
[数13]
<モノ入力の例>
HM_L=FL_L+FR_L+FC_L+FLS_L+FRS_L+FLFE_L
HM_R=FL_R+FR_R+FC_R+FLS_R+FRS_R+FLFE_R
<ステレオ入力の例>
HL_L=FL_L1+FR_L1+FC_L1+FLS_L1+FRS_L1+FLFE_L1
HR_L=FL_L2+FR_L2+FC_L2+FLS_L2+FRS_L2+FLFE_L2
HL_R=FL_R1+FR_R1+FC_R1+FLS_R1+FRS_R1+FLFE_R1
HR_R=FL_R2+FR_R2+FC_R2+FLS_R2+FRS_R2+FLFE_R2
ここで、HM_L、HM_Rはモノ入力である場合に仮想サラウンドレンダリング用フィルタ係数として合成された係数を表し、HL_L、HR_L、HL_R、HR_Rは、ステレオ入力である場合に仮想サラウンドレンダリング用フィルタ係数として合成された係数を表す。
インタポレーティング部920は、フィルタ係数に対してインタポレーションを行うことができる。また、フィルタ係数の後処理として時間領域ブラリングを行うことができる。該時間領域ブラリングをタイムブラリング部(time bluring part)で行う。インタポレーティング部910におけるインタポレーションは、転送及び生成された空間情報が時間軸で間隔が広い場合、該転送及び生成された空間情報間に存在しない空間情報を得るために行われる。例えば、n番目のparamSlotとn+k番目のparamSlotで空間情報が存在する場合(k>1)、生成された係数(例えば、HL_L、HR_L、HL_R、HR_R)を用いて、転送されなかったparamSlot上での線形インタポレーションを行うと、下記の式14のように表される。下記の式14は一つの実施例に過ぎず、様々なインタポレーティング方法が適用可能である。
[数14]
<モノ入力の例>
HM_L(n+j)=HM_L(n)*a+HM_L(n+k)*(1-a)
HM_R(n+j)=HM_R(n)*a+HM_R(n+k)*(1-a)
<ステレオ入力の例>
HL_L(n+j)=HL_L(n)*a+HL_L(n+k)*(1-a)
HR_L(n+j)=HR_L(n)*a+HR_L(n+k)*(1-a)
HL_R(n+j)=HL_R(n)*a+HL_R(n+k)*(1-a)
HR_R(n+j)=HR_R(n)*a+HR_R(n+k)*(1-a)
ここで、HM_L(n+j)、HM_R(n+j)は、モノ入力である場合に入力された仮想サラウンドレンダリング用フィルタ係数として合成された係数をインタポレーションした係数を表す。HL_L(n+j)、HR_L(n+j)、HL_R(n+j)、HR_R(n+j)は、ステレオ入力である場合に入力された仮想サラウンドレンダリング用フィルタ係数として合成された係数をインタポレーションした係数を表す。ここで、j及びkはそれぞれ整数で、0<j<kであり、aは0<a<1の実数で、下記の式15で表される。
[数15]
a=j/k
したがって、当該転送されなかったparamSlot上での線形インタポレーションを行う場合に対する数式は、n番目のパラメータスロット(parameter slot)の値とn+k番目のパラメータスロットの値を用いて、その間に存在するパラメータスロットの値を探す方法である。上記の式15によって2スロットにおける値を直線で連結した線上で該当位置に対応する値が得られる。
タイムブラリング部(time bluring part)における時間領域ブラリング(time blurring)は、時間領域において隣接するブロック間に係数値が急に変化すると、不連続点(discontinuous point)が発生し、歪み(distortion)につながる問題を防止するために行うことができる。該時間領域ブラリングは、インタポレーションと並行でき、または、その位置によって適用される方法が異なることができる。ダウンミックスチャネルがモノである場合に、フィルタ係数の時間領域ブラリングは、下記の式16で表されることができる。
[数16]
HM_L(n)'=HM_L(n)*b+HM_L(n-1)'*(1-b)
HM_R(n)'=HM_R(n)*b+HM_R(n-1)'*(1-b)
すなわち、以前ブロック(n−1)でのフィルタ係数(HM_L(n−1)'またはHM_R(n−1)')に(1−b)を乗じ、現在ブロックnで生成されたフィルタ係数(HM_L(n)またはHM_R(n))にbを乗じて足す1−pole IIRフィルタ形態のブラリングを行うことができる。ここで、bは、0<b<1の定数値であり、該b値が小さいほどブラリング効果が大きく、b値が大きいほどブラリング効果は小さくなる。また、他のフィルタも同じ方法が適用可能である。
該時間領域ブラリングのための上記の式16を用いてインタポレーションとブラリングを一つの数式で表現すると、下記の式17のようになる。
[数17]
HM_L(n+j)'=(HM_L(n)*a+HM_L(n+k)*(1-a))*b+HM_L(n+j-1)'*(1-b)
HM_R(n+j)'=(HM_R(n)*a+HM_R(n+k)*(1-a))*b+HM_R(n+j-1)'*(1-b)
一方、インタポレーティング部910及び/またはタイムブラリング部でインタポレーションと時間領域ブラリング過程を行うと、元来のフィルタ係数が持つエネルギーと異なるエネルギー値を持つフィルタ係数が得られるが、この種の問題を防止するためにエネルギー正規化作業が加えられることができる。
ドメイン変換部930は、レンダリングドメインと空間情報ドメインが同一でない場合、該空間情報ドメインをレンダリングドメインと一致させるためにドメイン変換を行う。ただし、空間情報ドメインとレンダリングドメインが同じ場合には、ドメイン変換が必要でない。このとき、空間情報ドメインがサブバンドドメインで、レンダリングドメインが周波数ドメインである場合、ドメイン変換は、各サブバンドの周波数及び時間範囲に合うように係数を拡張、伸縮する過程になりうる。
図10は、本発明による仮想サラウンド情報を生成する過程の第2の実施例を示す図である。図10を参照すると、チャネルマッピング部を除外した情報変換部は、少なくとも一つの係数生成部(coef_1 generating part:1000_1、coef_2 generating part:1000_2,…,coef_N generating part:1000_N)を含む係数生成部(coefficient generating part)1000と合成部(integrating part)1020とを備える。また、追加プロセシングのために少なくとも一つのインタポレーティング部1010_1,1010_2,…,1010_Nを含むインタポレーティング部(interpolating part)1010と、ドメイン変換部(domain converting part)1030とをさらに備えることができる。図10に示す第2の実施例は、図9に示す第1の実施例と違い、係数生成部1000で各チャネル別に生成された係数(例えば、モノである場合はFL_L、FL_R、ステレオである場合はFL_L1、FL_L2、FL_R1、FL_R2)に対して全てインタポレーションを行う。
図11は、本発明による仮想サラウンド情報を生成する過程の第3の実施例を示す図である。図11の実施例は、上記の図9、図10の第1、第2の実施例と違い、チャネルマッピングされた空間情報に対してそれぞれインタポレーティング部1100でインタポレーションを行った後、該インタポレーションされた値を用いてチャネル別係数を生成する。
図9乃至図11で説明した各実施例の方法において、空間情報をチャネルマッピングした出力値は周波数領域の値(例えば、パラメータバンド(parameter band)単位は一つの値を持つ値)であるから、フィルタ係数の生成過程などは全て周波数領域で進行される場合と仮定して説明したものである。また、仮想サラウンドレンダリングもまた、サブバンド領域で行われる場合にはドメイン変換部は何らの役割を行わず、サブバンド領域でのフィルタ係数をそのまま出力する、または、周波数解像度(frequency resolution)を合わせる変換過程のみを行って出力することができる。
また、本発明は、ダウンミックス信号を仮想サラウンド信号に変換できるサラウンド変換情報の生成方法及び装置と、データ構造及び媒体を提供することができる。そして、本発明は、サラウンド変換情報を生成するためにフィルタ情報に空間情報を適用する適用する方法、フィルタ情報を前処理する方法などを提供できる。
本発明は、上記の実施例に限定されず、添付の特許請求の範囲内において様々な変形が可能であるということは、当該技術分野における通常の知識を持つ者にとっては自明であり、これらの変形はいずれも本発明の範囲に含まれる。
本発明の一実施例による信号処理システムを示す図である。 本発明の一実施例による仮想サラウンド生成部を示す略ブロック図である。 本発明の一実施例による情報変換部を示す略ブロック図である。 本発明の一実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための略ブロック図である。 本発明の他の実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための略ブロック図である。 本発明の一実施例によるチャネルマッピング過程を説明するための略ブロック図である。 本発明の他の実施例によるチャネルマッピング過程を説明するための略ブロック図である。 本発明の一実施例によるチャネル別フィルタ係数を説明するための概略図である。 本発明によるサラウンド変換情報を生成する過程を説明するための略ブロック図である。 本発明によるサラウンド変換情報を生成する過程を説明するための略ブロック図である。 本発明によるサラウンド変換情報を生成する過程を説明するための略ブロック図である。

Claims (16)

  1. (a)フィルタ情報を受信する段階と、
    (b)前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する段階と、
    (c)前記サラウンド変換情報を出力する段階と、
    を含むことを特徴とする、オーディオ信号のデコーディング方法。
  2. 前記サラウンド変換情報を用いて前記空間情報に対応するダウンミックス信号を仮想サラウンド信号に変換する段階をさらに含むことを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  3. 前記フィルタ情報は、変形されたフィルタ情報を含むことを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  4. 前記(a)段階は、
    前記フィルタ情報に対するドメイン変換を行う段階と、
    前記ドメイン変換されたフィルタ情報に対応する前記変形されたフィルタ情報を算出する段階と、
    を含むことを特徴とする、請求項3に記載のオーディオ信号のデコーディング方法。
  5. 前記(b)段階は、
    前記空間情報をチャネル別にマッピングしたチャネルマッピング情報を生成する段階と、
    前記チャネルマッピング情報及び前記フィルタ情報を用いてチャネル係数情報を生成する段階と、
    前記チャネル係数情報を用いて前記サラウンド変換情報を生成する段階と、
    を含むことを特徴とする、請求項1に記載のオーディオ信号のデコーディング方法。
  6. 前記サラウンド変換情報は、チャネル係数情報を合成した合成係数情報及び前記合成係数情報に追加処理を行った後処理係数情報のうちの少なくとも一つであり、
    前記合成係数情報は、出力チャネル大きさ情報、出力チャネルエネルギー情報及び出力チャネル相関情報のうちの少なくとも一つであることを特徴とする、請求項5に記載のオーディオ信号のデコーディング方法。
  7. フィルタ情報が入力されるフィルタ情報入力部と、
    前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する情報変換部と、
    前記サラウンド変換情報を出力するサラウンド変換情報出力部と、
    を備えることを特徴とする、オーディオ信号のデコーディング装置。
  8. 前記オーディオ信号のデコーディング装置は、
    前記サラウンド変換情報を用いて前記空間情報に対応するダウンミックス信号を仮想サラウンド信号に変換する仮想サラウンド生成部を備えることを特徴とする、請求項7に記載のオーディオ信号のデコーディング装置。
  9. 前記フィルタ情報は、変形されたフィルタ情報を含むことを特徴とする、請求項7に記載のオーディオ信号のデコーディング装置。
  10. 前記情報変換部は、前記フィルタ情報に対するドメイン変換を行い、ドメイン変換されたフィルタ情報に対応する変形されたフィルタ情報を算出することを特徴とする、請求項9に記載のオーディオ信号のデコーディング装置。
  11. 前記情報変換部は、
    前記空間情報をチャネル別にマッピングしたチャネルマッピング情報を生成するチャネルマッピング部と、
    前記チャネルマッピング情報及び前記フィルタ情報を用いてチャネル別係数情報を生成する係数生成部と、
    前記チャネル別係数情報を用いて前記サラウンド変換情報を生成する合成部と、
    を備えることを特徴とする、請求項7に記載のオーディオ信号のデコーディング装置。
  12. 前記サラウンド変換情報は、チャネル別係数情報を合成した合成係数情報及び前記合成係数情報に追加処理を行った後処理係数情報のうちの少なくとも一つであり、
    前記合成係数情報は、出力チャネル大きさ情報、出力チャネルエネルギー情報及び出力チャネル相関情報のうちの少なくとも一つであることを特徴とする、請求項11に記載のオーディオ信号のデコーディング装置。
  13. フィルタ情報と空間情報とを含んでなり、
    前記空間情報が適用されて前記フィルタ情報がサラウンド変換情報に変換されることを特徴とする、オーディオ信号のデータ構造。
  14. 前記サラウンド変換情報が適用され、前記空間情報に対応するダウンミックス信号が仮想サラウンド信号に変換されることを特徴とする、請求項13に記載のオーディオ信号のデータ構造。
  15. 前記フィルタ情報は、変形されたフィルタ情報を含むことを特徴とする、請求項13に記載のオーディオ信号のデータ構造。
  16. 前記フィルタ情報は、変形されたフィルタ情報でドメイン変換されることを特徴とする、請求項13に記載のオーディオ信号のデータ構造
JP2008513378A 2005-05-26 2006-05-26 オーディオ信号のデコーディング方法及び装置 Active JP4988718B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US68457905P 2005-05-26 2005-05-26
US60/684,579 2005-05-26
US75998006P 2006-01-19 2006-01-19
US60/759,980 2006-01-19
US77672406P 2006-02-27 2006-02-27
US60/776,724 2006-02-27
US77941706P 2006-03-07 2006-03-07
US77944206P 2006-03-07 2006-03-07
US77944106P 2006-03-07 2006-03-07
US60/779,442 2006-03-07
US60/779,417 2006-03-07
US60/779,441 2006-03-07
KR1020060030670A KR20060122695A (ko) 2005-05-26 2006-04-04 오디오 신호의 디코딩 방법 및 장치
KR10-2006-0030670 2006-04-04
PCT/KR2006/002016 WO2006126855A2 (en) 2005-05-26 2006-05-26 Method and apparatus for decoding audio signal

Publications (3)

Publication Number Publication Date
JP2008542815A true JP2008542815A (ja) 2008-11-27
JP2008542815A5 JP2008542815A5 (ja) 2010-09-30
JP4988718B2 JP4988718B2 (ja) 2012-08-01

Family

ID=40148669

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008513374A Active JP4988716B2 (ja) 2005-05-26 2006-05-25 オーディオ信号のデコーディング方法及び装置
JP2008513375A Active JP4988717B2 (ja) 2005-05-26 2006-05-25 オーディオ信号のデコーディング方法及び装置
JP2008513378A Active JP4988718B2 (ja) 2005-05-26 2006-05-26 オーディオ信号のデコーディング方法及び装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2008513374A Active JP4988716B2 (ja) 2005-05-26 2006-05-25 オーディオ信号のデコーディング方法及び装置
JP2008513375A Active JP4988717B2 (ja) 2005-05-26 2006-05-25 オーディオ信号のデコーディング方法及び装置

Country Status (3)

Country Link
US (1) US9595267B2 (ja)
JP (3) JP4988716B2 (ja)
HK (3) HK1119821A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530672A (ja) * 2006-03-29 2009-08-27 ドルビー スウェーデン アクチボラゲット 減数されたチャネルへの復号化
JP2011501823A (ja) * 2007-10-17 2011-01-13 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ アップミックスを使用した音声符号器
US8515771B2 (en) 2009-09-01 2013-08-20 Panasonic Corporation Identifying an encoding format of an encoded voice signal
JP2014509754A (ja) * 2011-03-18 2014-04-21 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 柔軟なコンフィギュレーション機能性を有するオーディオエンコーダおよびデコーダ

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010538571A (ja) * 2007-09-06 2010-12-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP5518638B2 (ja) 2010-08-30 2014-06-11 ヤマハ株式会社 情報処理装置、音響処理装置、音響処理システム、プログラムおよびゲームプログラム
JP5521908B2 (ja) 2010-08-30 2014-06-18 ヤマハ株式会社 情報処理装置、音響処理装置、音響処理システムおよびプログラム
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348295A (ja) * 1993-06-07 1994-12-22 Sanyo Electric Co Ltd 音声帯域分割復号化装置
JPH09224300A (ja) * 1996-02-16 1997-08-26 Sanyo Electric Co Ltd 音像位置の補正方法及び装置
JPH1132400A (ja) * 1997-07-14 1999-02-02 Matsushita Electric Ind Co Ltd デジタル信号再生装置
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル/キュー符号化/復号化
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
WO2005036925A2 (en) * 2003-10-02 2005-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compatible multi-channel coding/decoding
WO2005043511A1 (en) * 2003-10-30 2005-05-12 Koninklijke Philips Electronics N.V. Audio signal encoding or decoding
JP2005352396A (ja) * 2004-06-14 2005-12-22 Matsushita Electric Ind Co Ltd 音響信号符号化装置および音響信号復号装置

Family Cites Families (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166685A (en) 1990-09-04 1992-11-24 Motorola, Inc. Automatic selection of external multiplexer channels by an A/D converter integrated circuit
US5632005A (en) 1991-01-08 1997-05-20 Ray Milton Dolby Encoder/decoder for multidimensional sound fields
DE4217276C1 (ja) 1992-05-25 1993-04-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev, 8000 Muenchen, De
DE4236989C2 (de) 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle
US5561736A (en) 1993-06-04 1996-10-01 International Business Machines Corporation Three dimensional speech synthesis
DE69428939T2 (de) 1993-06-22 2002-04-04 Deutsche Thomson-Brandt Gmbh Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix
EP0637191B1 (en) 1993-07-30 2003-10-22 Victor Company Of Japan, Ltd. Surround signal processing apparatus
TW263646B (en) 1993-08-26 1995-11-21 Nat Science Committee Synchronizing method for multimedia signal
DK0912076T3 (da) 1994-02-25 2002-01-28 Henrik Moller Binaural syntese, head-related transfer functions samt anvendelser deraf
CA2189126C (en) 1994-05-11 2001-05-01 Jonathan S. Abel Three-dimensional virtual audio display employing reduced complexity imaging filters
JP3397001B2 (ja) 1994-06-13 2003-04-14 ソニー株式会社 符号化方法及び装置、復号化装置、並びに記録媒体
US5703584A (en) 1994-08-22 1997-12-30 Adaptec, Inc. Analog data acquisition system
GB9417185D0 (en) 1994-08-25 1994-10-12 Adaptive Audio Ltd Sounds recording and reproduction systems
JP3395807B2 (ja) 1994-09-07 2003-04-14 日本電信電話株式会社 ステレオ音響再生装置
US6072877A (en) 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
JPH0884400A (ja) 1994-09-12 1996-03-26 Sanyo Electric Co Ltd 音像制御装置
JPH08123494A (ja) 1994-10-28 1996-05-17 Mitsubishi Electric Corp 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置
US5668924A (en) 1995-01-18 1997-09-16 Olympus Optical Co. Ltd. Digital sound recording and reproduction device using a coding technique to compress data for reduction of memory requirements
JPH08202397A (ja) 1995-01-30 1996-08-09 Olympus Optical Co Ltd 音声復号化装置
JPH0974446A (ja) 1995-03-01 1997-03-18 Nippon Telegr & Teleph Corp <Ntt> 音声通信制御装置
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP3088319B2 (ja) 1996-02-07 2000-09-18 松下電器産業株式会社 デコード装置およびデコード方法
JP3483086B2 (ja) 1996-03-22 2004-01-06 日本電信電話株式会社 音声電話会議装置
US6252965B1 (en) 1996-09-19 2001-06-26 Terry D. Beard Multichannel spectral mapping audio apparatus and method
US5886988A (en) 1996-10-23 1999-03-23 Arraycomm, Inc. Channel assignment and call admission control for spatial division multiple access communication systems
SG54383A1 (en) 1996-10-31 1998-11-16 Sgs Thomson Microelectronics A Method and apparatus for decoding multi-channel audio data
US6721425B1 (en) 1997-02-07 2004-04-13 Bose Corporation Sound signal mixing
US6711266B1 (en) 1997-02-07 2004-03-23 Bose Corporation Surround sound channel encoding and decoding
TW429700B (en) 1997-02-26 2001-04-11 Sony Corp Information encoding method and apparatus, information decoding method and apparatus and information recording medium
US6449368B1 (en) 1997-03-14 2002-09-10 Dolby Laboratories Licensing Corporation Multidirectional audio decoding
JP3594281B2 (ja) 1997-04-30 2004-11-24 株式会社河合楽器製作所 ステレオ拡大装置及び音場拡大装置
US6307941B1 (en) 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
US5890125A (en) 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
WO1999014983A1 (en) 1997-09-16 1999-03-25 Lake Dsp Pty. Limited Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
US6081783A (en) 1997-11-14 2000-06-27 Cirrus Logic, Inc. Dual processor digital audio decoder with shared memory data transfer and task partitioning for decompressing compressed audio data, and systems and methods using the same
US7085393B1 (en) 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6414290B1 (en) 1998-03-19 2002-07-02 Graphic Packaging Corporation Patterned microwave susceptor
CA2325482C (en) 1998-03-25 2009-12-15 Lake Technology Limited Audio signal processing method and apparatus
US6122619A (en) 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
JP3781902B2 (ja) 1998-07-01 2006-06-07 株式会社リコー 音像定位制御装置および音像定位制御方式
TW408304B (en) 1998-10-08 2000-10-11 Samsung Electronics Co Ltd DVD audio disk, and DVD audio disk reproducing device and method for reproducing the same
DE19846576C2 (de) 1998-10-09 2001-03-08 Aeg Niederspannungstech Gmbh Plombierbare Verschließeinrichtung
US6574339B1 (en) 1998-10-20 2003-06-03 Samsung Electronics Co., Ltd. Three-dimensional sound reproducing apparatus for multiple listeners and method thereof
JP3346556B2 (ja) 1998-11-16 2002-11-18 日本ビクター株式会社 音声符号化方法及び音声復号方法
EP1173925B1 (en) 1999-04-07 2003-12-03 Dolby Laboratories Licensing Corporation Matrixing for lossless encoding and decoding of multichannels audio signals
GB2351213B (en) 1999-05-29 2003-08-27 Central Research Lab Ltd A method of modifying one or more original head related transfer functions
KR100416757B1 (ko) 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US6442278B1 (en) 1999-06-15 2002-08-27 Hearing Enhancement Company, Llc Voice-to-remaining audio (VRA) interactive center channel downmix
US6226616B1 (en) 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
KR20010001993U (ko) 1999-06-30 2001-01-26 양재신 직선 이송계의 텔레스코픽형 냉각장치
KR20010009258A (ko) 1999-07-08 2001-02-05 허진호 가상 멀티 채널 레코딩 시스템
US6175631B1 (en) 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
US7031474B1 (en) 1999-10-04 2006-04-18 Srs Labs, Inc. Acoustic correction apparatus
US6931370B1 (en) 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
US6633648B1 (en) 1999-11-12 2003-10-14 Jerald L. Bauck Loudspeaker array for enlarged sweet spot
US6829012B2 (en) 1999-12-23 2004-12-07 Dfr2000, Inc. Method and apparatus for a digital parallel processor for film conversion
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP4281937B2 (ja) 2000-02-02 2009-06-17 パナソニック株式会社 ヘッドホンシステム
US7266501B2 (en) 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
TW468182B (en) 2000-05-03 2001-12-11 Ind Tech Res Inst Method and device for adjusting, recording and playing multimedia signals
JP2001359197A (ja) 2000-06-13 2001-12-26 Victor Co Of Japan Ltd 音像定位信号の生成方法、及び音像定位信号生成装置
JP3576936B2 (ja) 2000-07-21 2004-10-13 株式会社ケンウッド 周波数補間装置、周波数補間方法及び記録媒体
JP4645869B2 (ja) 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
EP1211857A1 (fr) 2000-12-04 2002-06-05 STMicroelectronics N.V. Procédé et dispositif d'estimation des valeurs successives de symboles numériques, en particulier pour l'égalisation d'un canal de transmission d'informations en téléphonie mobile
WO2004019656A2 (en) 2001-02-07 2004-03-04 Dolby Laboratories Licensing Corporation Audio channel spatial translation
JP3566220B2 (ja) 2001-03-09 2004-09-15 三菱電機株式会社 音声符号化装置、音声符号化方法、音声復号化装置及び音声復号化方法
US6504496B1 (en) 2001-04-10 2003-01-07 Cirrus Logic, Inc. Systems and methods for decoding compressed data
US20030007648A1 (en) 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
WO2003001841A2 (en) 2001-06-21 2003-01-03 1... Limited Loudspeaker
JP2003009296A (ja) * 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd 音響処理装置および音響処理方法
JP2003111198A (ja) 2001-10-01 2003-04-11 Sony Corp 音声信号処理方法および音声再生システム
MXPA03005133A (es) 2001-11-14 2004-04-02 Matsushita Electric Ind Co Ltd Dispositivo de codificacion, dispositivo de decodificacion y sistema de los mismos.
EP1315148A1 (en) 2001-11-17 2003-05-28 Deutsche Thomson-Brandt Gmbh Determination of the presence of ancillary data in an audio bitstream
TWI230024B (en) 2001-12-18 2005-03-21 Dolby Lab Licensing Corp Method and audio apparatus for improving spatial perception of multiple sound channels when reproduced by two loudspeakers
DE60323331D1 (de) 2002-01-30 2008-10-16 Matsushita Electric Ind Co Ltd Verfahren und vorrichtung zur audio-kodierung und -dekodierung
EP1341160A1 (en) 2002-03-01 2003-09-03 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a digital information signal
US7707287B2 (en) 2002-03-22 2010-04-27 F5 Networks, Inc. Virtual host acceleration system
BR0304231A (pt) 2002-04-10 2004-07-27 Koninkl Philips Electronics Nv Métodos para codificação de um sinal de canais múltiplos, método e disposição para decodificação de informação de sinal de canais múltiplos, sinal de dados incluindo informação de sinal de canais múltiplos, meio legìvel por computador, e, dispositivo para comunicação de um sinal de canais múltiplos
DE60326782D1 (de) 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
ES2280736T3 (es) 2002-04-22 2007-09-16 Koninklijke Philips Electronics N.V. Sintetizacion de señal.
EP2879299B1 (en) 2002-05-03 2017-07-26 Harman International Industries, Incorporated Multi-channel downmixing device
JP4296752B2 (ja) 2002-05-07 2009-07-15 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
DE10228999B4 (de) 2002-06-28 2006-12-14 Advanced Micro Devices, Inc., Sunnyvale Konstellationsmanipulation zur Frequenz/Phasenfehlerkorrektur
AU2003244932A1 (en) 2002-07-12 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
EP1523863A1 (en) 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
DE60327039D1 (de) 2002-07-19 2009-05-20 Nec Corp Audiodekodierungseinrichtung, dekodierungsverfahren und programm
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
ES2328922T3 (es) 2002-09-23 2009-11-19 Koninklijke Philips Electronics N.V. Generacion de una señal de sonido.
US20060100861A1 (en) 2002-10-14 2006-05-11 Koninkijkle Phillips Electronics N.V Signal filtering
US8437868B2 (en) 2002-10-14 2013-05-07 Thomson Licensing Method for coding and decoding the wideness of a sound source in an audio scene
WO2004036954A1 (en) 2002-10-15 2004-04-29 Electronics And Telecommunications Research Institute Apparatus and method for adapting audio signal according to user's preference
WO2004036955A1 (en) 2002-10-15 2004-04-29 Electronics And Telecommunications Research Institute Method for generating and consuming 3d audio scene with extended spatiality of sound source
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
KR20050085017A (ko) 2002-11-20 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오에 기초한 데이터 표시 장치 및 방법
US8139797B2 (en) 2002-12-03 2012-03-20 Bose Corporation Directional electroacoustical transducing
US6829925B2 (en) 2002-12-20 2004-12-14 The Goodyear Tire & Rubber Company Apparatus and method for monitoring a condition of a tire
US7519530B2 (en) 2003-01-09 2009-04-14 Nokia Corporation Audio signal processing
KR100917464B1 (ko) 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
US7391877B1 (en) 2003-03-31 2008-06-24 United States Of America As Represented By The Secretary Of The Air Force Spatial processor for enhanced performance in multi-talker speech displays
JP4196274B2 (ja) 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
CN1253464C (zh) 2003-08-13 2006-04-26 中国科学院昆明植物研究所 安丝菌素苷类化合物及其药物组合物,其制备方法及其应用
US20050063613A1 (en) 2003-09-24 2005-03-24 Kevin Casey Network based system and method to process images
US6937737B2 (en) 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
US7680289B2 (en) 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
KR20060106834A (ko) 2003-11-17 2006-10-12 1...리미티드 라우드 스피커
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
KR101117591B1 (ko) 2004-01-05 2012-02-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계
JP2007519995A (ja) 2004-01-05 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ内容から未レンダリング色空間を経由したマッピング変換によって導出される環境光
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7492915B2 (en) 2004-02-13 2009-02-17 Texas Instruments Incorporated Dynamic sound source and listener position based audio rendering
JPWO2005081229A1 (ja) 2004-02-25 2007-10-25 松下電器産業株式会社 オーディオエンコーダ及びオーディオデコーダ
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
ES2426917T3 (es) 2004-04-05 2013-10-25 Koninklijke Philips N.V. Aparato codificador, aparato decodificador, sus métodos y sistema de audio asociado
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US20050276430A1 (en) 2004-05-28 2005-12-15 Microsoft Corporation Fast headphone virtualization
KR100636144B1 (ko) 2004-06-04 2006-10-18 삼성전자주식회사 오디오 신호 부호화/복호화 장치 및 방법
KR100636145B1 (ko) 2004-06-04 2006-10-18 삼성전자주식회사 확장된 고해상도 오디오 신호 부호화 및 복호화 장치
US20050273324A1 (en) 2004-06-08 2005-12-08 Expamedia, Inc. System for providing audio data and providing method thereof
JP4594662B2 (ja) 2004-06-29 2010-12-08 ソニー株式会社 音像定位装置
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US7617109B2 (en) 2004-07-01 2009-11-10 Dolby Laboratories Licensing Corporation Method for correcting metadata affecting the playback loudness and dynamic range of audio information
WO2006003813A1 (ja) 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ符号化及び復号化装置
TW200603652A (en) 2004-07-06 2006-01-16 Syncomm Technology Corp Wireless multi-channel sound re-producing system
KR20060003444A (ko) 2004-07-06 2006-01-11 삼성전자주식회사 모바일 기기에서 크로스토크 제거 장치 및 방법
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
PL2175671T3 (pl) 2004-07-14 2012-10-31 Koninl Philips Electronics Nv Sposób, urządzenie, urządzenie kodujące, urządzenie dekodujące i system audio
KR100773539B1 (ko) 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
TWI497485B (zh) 2004-08-25 2015-08-21 Dolby Lab Licensing Corp 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
DE102004042819A1 (de) 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
KR20060022968A (ko) 2004-09-08 2006-03-13 삼성전자주식회사 음향재생장치 및 음향재생방법
US7634092B2 (en) 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402650D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
WO2006054360A1 (ja) 2004-11-22 2006-05-26 Mitsubishi Denki Kabushiki Kaisha 音像生成装置及び音像生成プログラム
US7761304B2 (en) 2004-11-30 2010-07-20 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
EP1817767B1 (en) 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
KR100608025B1 (ko) 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
CN101151659B (zh) 2005-03-30 2014-02-05 皇家飞利浦电子股份有限公司 多通道音频编码器、设备、方法及其解码器、设备和方法
US7961890B2 (en) 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
CN101138274B (zh) 2005-04-15 2011-07-06 杜比国际公司 用于处理去相干信号或组合信号的设备和方法
US7983922B2 (en) 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
WO2006126844A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding an audio signal
KR101251426B1 (ko) 2005-06-03 2013-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
WO2007004831A1 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US8081764B2 (en) 2005-07-15 2011-12-20 Panasonic Corporation Audio decoder
US7880748B1 (en) 2005-08-17 2011-02-01 Apple Inc. Audio view using 3-dimensional plot
JP5108767B2 (ja) 2005-08-30 2012-12-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
CN102395098B (zh) 2005-09-13 2015-01-28 皇家飞利浦电子股份有限公司 生成3d声音的方法和设备
KR100739776B1 (ko) 2005-09-22 2007-07-13 삼성전자주식회사 입체 음향 생성 방법 및 장치
WO2007046659A1 (en) 2005-10-20 2007-04-26 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
CN101310563A (zh) 2005-12-16 2008-11-19 唯听助听器公司 用于监视助听器装配系统中的无线连接的方法和系统
WO2007080212A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Controlling the decoding of binaural audio signals
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
KR100803212B1 (ko) 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
US8190425B2 (en) 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
JP5054035B2 (ja) 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化/復号化装置及び方法
KR100773562B1 (ko) 2006-03-06 2007-11-07 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
WO2007110103A1 (en) 2006-03-24 2007-10-04 Dolby Sweden Ab Generation of spatial downmixes from parametric representations of multi channel signals
DE602006021347D1 (de) 2006-03-28 2011-05-26 Fraunhofer Ges Forschung Verbessertes verfahren zur signalformung bei der mehrkanal-audiorekonstruktion
WO2007111568A2 (en) 2006-03-28 2007-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
JP4778828B2 (ja) 2006-04-14 2011-09-21 矢崎総業株式会社 電気接続箱
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US7876904B2 (en) 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
US20080235006A1 (en) 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
WO2008039041A1 (en) 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
JP5450085B2 (ja) 2006-12-07 2014-03-26 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
JP2009044268A (ja) 2007-08-06 2009-02-26 Sharp Corp 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、及び、記録媒体
JP5056530B2 (ja) 2008-03-27 2012-10-24 沖電気工業株式会社 復号システム、方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348295A (ja) * 1993-06-07 1994-12-22 Sanyo Electric Co Ltd 音声帯域分割復号化装置
JPH09224300A (ja) * 1996-02-16 1997-08-26 Sanyo Electric Co Ltd 音像位置の補正方法及び装置
JPH1132400A (ja) * 1997-07-14 1999-02-02 Matsushita Electric Ind Co Ltd デジタル信号再生装置
JP2004535145A (ja) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化
JP2004078183A (ja) * 2002-06-24 2004-03-11 Agere Systems Inc オーディオ信号のマルチチャネル/キュー符号化/復号化
WO2005036925A2 (en) * 2003-10-02 2005-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compatible multi-channel coding/decoding
WO2005043511A1 (en) * 2003-10-30 2005-05-12 Koninklijke Philips Electronics N.V. Audio signal encoding or decoding
JP2005352396A (ja) * 2004-06-14 2005-12-22 Matsushita Electric Ind Co Ltd 音響信号符号化装置および音響信号復号装置
WO2005122639A1 (ja) * 2004-06-14 2005-12-22 Matsushita Electric Industrial Co., Ltd. 音響信号符号化装置および音響信号復号装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009530672A (ja) * 2006-03-29 2009-08-27 ドルビー スウェーデン アクチボラゲット 減数されたチャネルへの復号化
JP2011501823A (ja) * 2007-10-17 2011-01-13 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ アップミックスを使用した音声符号器
US8515771B2 (en) 2009-09-01 2013-08-20 Panasonic Corporation Identifying an encoding format of an encoded voice signal
JP2014509754A (ja) * 2011-03-18 2014-04-21 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 柔軟なコンフィギュレーション機能性を有するオーディオエンコーダおよびデコーダ
US9524722B2 (en) 2011-03-18 2016-12-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Frame element length transmission in audio coding
US9773503B2 (en) 2011-03-18 2017-09-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder and decoder having a flexible configuration functionality
US9779737B2 (en) 2011-03-18 2017-10-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Frame element positioning in frames of a bitstream representing audio content

Also Published As

Publication number Publication date
HK1119823A1 (en) 2009-03-13
JP4988716B2 (ja) 2012-08-01
JP4988718B2 (ja) 2012-08-01
JP4988717B2 (ja) 2012-08-01
HK1119821A1 (en) 2009-03-13
US9595267B2 (en) 2017-03-14
HK1119822A1 (en) 2009-03-13
US20150088530A1 (en) 2015-03-26
JP2009501457A (ja) 2009-01-15
JP2009501346A (ja) 2009-01-15

Similar Documents

Publication Publication Date Title
US8577686B2 (en) Method and apparatus for decoding an audio signal
JP4787331B2 (ja) メディア信号の処理方法及び装置
CN101406074B (zh) 解码器及相应方法、双耳解码器、包括该解码器的接收机或音频播放器及相应方法
JP4988718B2 (ja) オーディオ信号のデコーディング方法及び装置
CN101185118B (zh) 解码音频信号的方法和装置
KR20060122695A (ko) 오디오 신호의 디코딩 방법 및 장치
MX2008011994A (es) Generacion de mezclas descendentes espaciales a partir de representaciones parametricas de señales de multicanal.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100315

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100406

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20100806

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120426

R150 Certificate of patent or registration of utility model

Ref document number: 4988718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250