JP2013508770A - 位相情報と残余信号を用いる符号化／復号化装置及び方法 - Google Patents

位相情報と残余信号を用いる符号化／復号化装置及び方法 Download PDF

Info

Publication number
JP2013508770A
JP2013508770A JP2012535143A JP2012535143A JP2013508770A JP 2013508770 A JP2013508770 A JP 2013508770A JP 2012535143 A JP2012535143 A JP 2012535143A JP 2012535143 A JP2012535143 A JP 2012535143A JP 2013508770 A JP2013508770 A JP 2013508770A
Authority
JP
Japan
Prior art keywords
channel signals
decoding
residual signal
encoding
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012535143A
Other languages
English (en)
Other versions
JP5833557B2 (ja
Inventor
キム，ジュン−フェ
オ，ウン−ミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013508770A publication Critical patent/JP2013508770A/ja
Application granted granted Critical
Publication of JP5833557B2 publication Critical patent/JP5833557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)

Abstract

複数のチャネル信号を符号化／復号化するシステム及び方法が開示される。位相情報と残余信号を用いて複数のチャネル信号をアップミックスすることによって本来の信号に近い音質に復元することができる。

Description

本発明の実施形態は複数のチャネル信号を符号化／復号化する装置及び方法に関し、より詳しくは、位相情報と残余信号を用いて複数のチャネル信号を符号化／復号化する装置及び方法に関する。
複数のチャネル信号をコーディングする方法としてＭＰＥＧサラウンドコーディングがある。ＭＰＥＧサラウンドは、入力されたステレオ信号をダウンミックスしてモノ信号を生成し、ステレオ信号のパラメータを抽出した後モノ信号とパラメータを符号化してもよい。ＭＰＥＧサラウンド技術は１−ｔｏ−２（ｏｎｅ−ｔｏ−ｔｗｏ）と２−ｔｏ−３（Ｔｗｏ−ｔｏ−Ｔｈｒｅｅ）を基本にして、複数のチャネル信号に対してダウンミックス／アップミックスしてもよい。
ＭＰＥＧサラウンドの場合、複数のチャネル信号をパラメータに表してコーディングするとき、パラメータによってビットレートを増加させても本来の信号を復元することが困難である問題がある。したがって、複数のチャネル信号をパラメータに表しても本来の信号に近く復元することのできる方法が求められている。
本発明の一実施形態に係る符号化装置は、Ｎ個のチャネル信号に対して位相情報に関連する空間パラメータを抽出して符号化するパラメータ符号化部と、前記空間パラメータを用いて前記Ｎ個のチャネル信号をＭ個のチャネル信号にダウンミックスするダウンミックス部と、前記Ｎ個のチャネル信号に関連する残余信号を符号化する残余信号符号化部と、前記ダウンミックスされたＭ個のチャネル信号を符号化するチャネル信号符号化部とを備えてもよい。
本発明の一実施形態に係る復号化装置、符号化されたＭ個のチャネル信号をＡＣＥＬＰ、ｗＬＰＴ、またはＡＡＣのいずれか１つに基づいて復号化するチャネル信号復号化部と、符号化された空間パラメータを復号化するパラメータ復号化部と、前記空間パラメータを用いて位相情報を推定する位相情報推定部と、符号化された残余信号を復号化する残余信号復号化部と、前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するマトリックス算出部と、前記残余信号とアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするアップミックス部とを備えてもよい。
本発明の一実施形態に係る復号化装置は、ＭＰＥＧ ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｅｒ）に符号化されたＭ個のチャネル信号を動作するＬＰＤ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｄｏｍａｉｎ）に基づいたＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）、ｗＬＰＴ（ｗｅｉｇｈｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ）、またはＦＤ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）に基づいたＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）のいずれか１つによって復号化するチャネル信号復号化部と、符号化された空間パラメータを復号化するパラメータ復号化部と、前記空間パラメータを用いて位相情報を推定する位相情報推定部と、符号化された残余信号を復号化する残余信号復号化部と、前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するマトリックス算出部と、前記残余信号とアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするアップミックス部とを備えてもよい。
本発明の一実施形態に係る符号化方法は、Ｎ個のチャネル信号に対して位相情報と空間パラメータを抽出して符号化するステップと、前記空間パラメータを用いて前記Ｎ個のチャネル信号をＭ個のチャネル信号にダウンミクシンするステップと、前記Ｎ個のチャネル信号に関連する残余信号を符号化するステップと、前記ダウンミックスされたＭ個のチャネル信号を符号化するステップとを含んでもよい。
本発明の一実施形態に係る復号化方法は、符号化されたＭ個のチャネル信号を復号化するステップと、符号化された空間パラメータを復号化するステップと、前記空間パラメータを用いて位相情報を推定するステップと、符号化された残余信号を復号化するステップと、前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するステップと、前記残余信号及びアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするステップとを含んでもよい。
本発明の一実施形態に係る復号化方法は、ＭＰＥＧ ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｅｒ）に符号化されたＭ個のチャネル信号を動作するＬＰＤ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｄｏｍａｉｎ）に基づいたＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）、ｗＬＰＴ（ｗｅｉｇｈｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ）、またはＦＤ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）に基づいたＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）のいずれか１つによって復号化するステップと、符号化された空間パラメータを復号化するステップと、前記空間パラメータを用いて位相情報を推定するステップと、符号化された残余信号を復号化するステップと、前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するステップと、前記残余信号とアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするステップとを含んでもよい。
本発明の一実施形態によれば、位相情報と残余信号によってダウンミックスされたチャネル信号をアップミックスすることによって本来の信号に近く復元することにある。
本発明の一実施形態に係る符号化装置及び復号化装置を示す図である。 本発明の一実施形態に係る符号化装置の細部構成を示すブロックダイアグラムである。 本発明の一実施形態に係る復号化装置の細部構成を示すブロックダイアグラムである。 本発明の一実施形態に係るアップミックスマトリックスを算出する過程を示す図である。 本発明の一実施形態に係る符号化過程を示す図である。 本発明の一実施形態に係る復号化過程を示す図である。 本発明の一実施形態に係る復号化の順序を示す図である。
以下、本発明の実施形態を添付する図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態に係る符号化装置及び復号化装置を示す図である。図１を参考すれば、符号化装置１０１は、Ｎ個のチャネル信号をダウンミックスしたＭ個のチャネル信号を符号化する。ここで、ＮはＭよりも大きい値を表す。例えば、符号化装置１０１は、２つのチャネル信号から構成されたステレオ信号が入力されれば、１つのチャネル信号から構成されたモノ信号にダウンミックスして符号化してもよい。Ｎは２以上の値を表し、Ｍは１以上の値を表す。
本発明の一実施形態に係る符号化装置１０１は、Ｎ個のチャネル信号間の関係を表す空間パラメータを抽出して符号化してもよい。ここで、空間パラメータは復号化装置１０２で推定する位相情報に関連がある。そして、符号化装置１０１は、Ｎ個のチャネル信号を空間パラメータの表現によって発生するエラー信号の残余信号を抽出して符号化してもよい。これによって、符号化装置１０１は、ダウンミックスされたＭ個のチャネル信号、空間パラメータ、及び残余信号を符号化した後、ビットストリームを介して復号化装置１０２に送信する。
復号化装置１０２は、ビットストリームに含まれた残余信号と空間パラメータを復号化してもよい。そして、復号化装置１０２は、空間パラメータによって推定された位相情報を用いてアップミックスマトリックスを算出する。その後、復号化装置１０２は、算出されたアップミックスマトリックスと残余信号を用いてＭ個のチャネル信号をアップミックスしてＮ個のチャネル信号を復元してもよい。
本発明の一実施形態に係る復号化装置は、Ｎ個のチャネル信号間の関係を表す空間パラメータを介して推定された位相情報と残余信号を用いることによって、本来の信号のＮ個のチャネル信号に近く復元することができる。
図２は、本発明の一実施形態に係る符号化装置の細部構成を示すブロックダイアグラムである。図２を参考すれば、符号化装置２０１は、パラメータ符号化部２０２、ダウンミックス部２０３、残余信号符号化部２０４、及びチャネル信号符号化部２０５を備えてもよい。
パラメータ符号化部２０２は、Ｎ個のチャネル信号に対して位相情報に関連する空間パラメータを抽出して符号化する。例えば、パラメータ符号化部２０２は、２つのチャネル信号を示すステレオ信号が入力されれば、左側信号と右側信号との間の関係を表す空間パラメータを抽出して符号化してもよい。
一例として、パラメータ符号化部２０２は、Ｎ個のチャネル信号をＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）分析とナイキストフィルタバンク分析（Ｎｙｑｕｉｓｔ ＦｉｌｔｅｒＢａｎｋ Ａｎａｌｙｓｉｓ）によってサブサンプルに変換して空間パラメータを抽出する。これによって、パラメータ符号化部２０２は、抽出された空間パラメータを量子化した後、無損失符号化を行う。
ここで、空間パラメータは、Ｎ個のチャネル信号のエネルギーレベルによる強度差を示すＩＩＤ（Ｉｎｔｅｒ−ｃｈａｎｎｅｌ Ｉｎｔｅｎｓｉｔｙ Ｄｉｆｆｅｒｅｎｃｅ）あるいはＣＬＤ（ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅｓ）、Ｎ個のチャネル信号の波形の類似性による相関度を示すＩＣＣ（Ｉｎｔｅｒ−ｃｈａｎｎｅｌ ＣｏｈｅｒｅｎｃｅまたはＩｎｔｅｒ−ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）、Ｎ個のチャネル信号間の位相差を示すＩＰＤ（Ｉｎｔｅｒ−ｃｈａｎｎｅｌ Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ）を含んでもよい。ここで、入力信号が２つのチャネル信号から構成されたステレオ信号である場合、空間パラメータはステレオ信号に含まれた２つのチャネル間の関係を表す。
ダウンミックス部２０３は、空間パラメータを用いてＮ個のチャネル信号をＭ個のチャネル信号にダウンミックスしてもよい。ここで、ＮはＭよりも大きい値である。例えば、ダウンミックス部２０３は、ステレオ信号（Ｎ＝２）をモノ信号（Ｍ＝１）にダウンミックスしてもよい。
残余信号符号化部２０４は、空間パラメータによって抽出された残余信号を符号化してもよい。残余信号は、Ｎ個のチャネル信号を空間パラメータを表すことによって発生するエラー信号を意味する。一例として、残余信号はＭＤＣＴ方式によってＭＰＥＧ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）に符号化される。
チャネル信号符号化部２０５は、ダウンミックスされたＭ個のチャネル信号を符号化してもよい。具体的に、チャネル信号符号化部２０５は、ダウンミックスされたＭ個のチャネル信号をナイキストフィルタバンクによってＱＭＦドメインに変換した後、ＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄｗｉｄｔｈ Ｒｅｐｌｉｃａｔｉｏｎ）符号化を行う。その後、チャネル信号符号化部２０５は、ＱＭＦ合成によって時間ドメインに変換した後コア符号化される。ここで、コア符号化は、ＭＰＥＧ ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｅｒ）で動作するＬＰＤ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｄｏｍａｉｎ）に基づいたＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）、ｗＬＰＴ（ｗｅｉｇｈｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ）、またはＦＤ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）に基づいたＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）のいずれか１つであってもよい。
図３は、本発明の一実施形態に係る復号化装置の細部構成を示すブロックダイアグラムである。図３を参考すれば、復号化装置３０１は、チャネル信号復号化部３０２、パラメータ復号化部３０３、位相情報推定部３０４、残余信号復号化部３０５、マトリックス算出部３０６、及びアップミックス部３０７を備えてもよい。
チャネル信号復号化部３０２は、符号化されたＭ個のチャネル信号を復号化してもよい。ここで、チャネル信号復号化部３０２は、ＭＰＥＧ ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｅｒ）で動作するＬＰＤ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｄｏｍａｉｎ）に基づいたＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）、ｗＬＰＴ（ｗｅｉｇｈｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ）、またはＦＤ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）に基づいたＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）のいずれか１つによってビットストリームから符号化されたＭ個のチャネル信号を復号化してもよい。そして、チャネル信号復号化部３０２は、ＱＭＦ分析によって復元されたＭ個のチャネル信号をサブバンド信号に変換する。その後、復元されたＭ個のチャネル信号は、サブバンド信号に変換されたＭ個のチャネル信号に対してＳＢＲ復号化を行う。ＳＢＲ復号化が行われたＭ個のチャネル信号はナイキストフィルタバンクが適用され得る。
パラメータ復号化部３０３は、ビットストリームから符号化された空間パラメータを復号化してもよい。ここで、空間パラメータは、Ｎ個のチャネル信号のエネルギーレベルによる強度差を示すＩＩＤ（Ｉｎｔｅｒ−ｃｈａｎｎｅｌ Ｉｎｔｅｎｓｉｔｙ Ｄｉｆｆｅｒｅｎｃｅ）あるいはＣＬＤ（ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅｓ）、Ｎ個のチャネル信号の波形の類似性による相関度を示すＩＣＣ（Ｉｎｔｅｒ−ｃｈａｎｎｅｌ ＣｏｈｅｒｅｎｃｅまたはＩｎｔｅｒ−ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）、Ｎ個のチャネル信号の間の位相差を示すＩＰＤ（Ｉｎｔｅｒ−ｃｈａｎｎｅｌ Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ）を含んでもよい。
位相情報推定部３０４は空間パラメータを用いて位相情報を推定する。一例として、位相情報推定部３０４は、空間パラメータを用いてＮ個のチャネル信号間の位相差がＭ個のチャネル信号に基づいて分布する程度を表すパラメータ（ＯＰＤ：Ｏｖｅｒａｌｌ Ｐｈａｓｅ Ｄｉｆｅｒｅｎｃｅ）を推定する。
残余信号復号化部３０５は符号化された残余信号を復号化してもよい。ここで、残余信号復号化部３０５は、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いてビットストリームから残余信号を復号化してもよい。その後、残余信号復号化部３０５は復号化された残余信号をＱＭＦドメインに変換してもよい。もし、ビットストリームに残余信号が含まれてない場合、残余信号復号化部３０５はデコリレータ（ｄｅｃｏｒｒｅｌａｔｏｒ）を用いて別途の信号を生成する。
マトリックス算出部３０６は、位相情報を用いてＭ個のチャネル信号に対するアップミックスマトリックスを算出する。
アップミックス部３０７は、残余信号とアップミックスマトリックスを用いてＭ個のチャネル信号をＮ個のチャネル信号にアップミックスしてもよい。もし、残余信号が復号化されていない場合、アップミックス部３０７は、デコリレータによって生成された別の信号を用いてアップミックスしてもよい。アップミックスされたＮ個のチャネル信号は、ナイキストフィルタバンクとＱＭＦ合成によって最終的に復元され得る。
図４は、本発明の一実施形態に係るアップミックスマトリックスを算出する過程を示す図である。図４において、復号化装置３０１の入力信号はダウンミックスされたモノ信号であり、出力信号はステレオ信号であると仮定する。図４を参考すれば、復号化装置３０１のマトリックス算出部３０６は、空間パラメータから推定された位相情報を用いてモノ信号を左側信号と右側信号から構成されたステレオ信号にアップミックスするためのアップミックスマトリックスを算出する。ここで、モノ信号は１つのチャネル信号を意味し、ステレオ信号は２つのチャネル信号を意味する。そして、空間パラメータはＩＰＤとＣＬＤによって推定されたＯＰＤを意味する。
ステレオ信号に対してＩＰＤは下記の数式（１）によって決定される。
ＩＰＤ＝∠（Ｌ・Ｒ） （１）
ここで、Ｌ・Ｒは左チャネル信号と右チャネル信号のドット積（ｄｏｔ ｐｒｏｄｕｃｔ）、ＩＰＤは左チャネル信号と右チャネル信号がなす角度、＊は複素共役（ｃｏｍｐｌｅｘ ｃｏｎｊｕｇａｔｅ）をそれぞれ意味する。
ステレオ信号に対してＯＰＤは下記の数式（２）により決定される。
ＯＰＤ＝∠（Ｌ・Ｍ） （２）
ここで、Ｌ・Ｍは左チャネル信号と右チャネル信号のドット積、ＯＰＤは左チャネル信号と右チャネル信号がなす角度、＊は複素共役をそれぞれ意味する。
ここで、ＯＰＤは下記の数式（３）によって表してもよい。
Figure 2013508770
 マトリックス算出部３０６は数式（３）によって算出された位相情報のＯＰＤを用いて下記の数式（４）のアップミックスマトリックスを算出する。
Figure 2013508770
 これによって、アップミックス部３０７は、残余信号とダウンミックスされたモノ信号に数式（４）のアップミックスマトリックスを適用してアップミックスした後位相合成を行う。
また、マトリックス算出部３０６は、数式（３）によって算出された位相情報のＯＰＤを用いて下記の数式（５）のアップミックスマトリックスを算出する。ここで、ｒｅｓＢａｎｄは残余信号の符号化が行われるバンドを意味する。
Figure 2013508770
 アップミックス部３０７は、残余信号とダウンミックスされたモノ信号に数式（５）のアップミックスマトリックスを適用してアップミックスしてもよい。ここで、位相合成はダウンミックスされたモノ信号にのみ適用され、残余信号を用いて最終的なステレオ信号が生成される。
数式（４）と数式（５）において、
Figure 2013508770
 は下記の数式（６）によって決定される。
Figure 2013508770
 そして、
Figure 2013508770
 は下記の数式（７）によって決定される。
Figure 2013508770
 ここで、アップミックス部３０７は、下記の数式（８）によって残余信号とダウンミックスされたモノ信号に数式（４）または数式（５）のアップミックスマトリックスを適用してアップミックスしてもよい。アップミックスによってステレオ信号が生成される。
Figure 2013508770
 ここで、ｘはＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）ドメインのダウンミックスされたモノ信号であり、ｑはステレオ信号の残余信号である。もし、残余信号がないであれば、デコリレータによって生成された別の信号が用いられてもよい。
図４に示すアップミックスマトリックスはＭＰＥＧサラウンドのＯＴＴ（ｏｎｅ−ｔｏ−ｔｗｏ）モジュールに適用されることによって多チャンネルへの拡張が容易である。
図５は、本発明の一実施形態に係る符号化過程を示す図である。図５に示された符号化過程は図２に示す符号化装置によって行われる。そして、図５は、入力信号で２つのチャネル信号から構成されたステレオ信号の場合を示す。
符号化装置２０１は入力されたステレオ信号に対してＱＭＦ分析を行ない（Ｓ５０１）、ナイキストフィルタバンク分析を行って（Ｓ５０２）サブサンプルに変換してもよい。その後、符号化装置２０１は、サブサンプルに変換されたステレオ信号に対して空間パラメータを抽出する（Ｓ５０３）。符号化装置２０１は、抽出された空間パラメータを量子化及び無損失符号化してビットストリームを生成する。
そして、符号化装置２０１は、空間パラメータを用いてステレオ信号をモノ信号にダウンミックスする（Ｓ５０８）。その後、符号化装置２０１は、ダウンミックスされたモノ信号をナイキストフィルタバンク合成を介してＱＭＦドメインに変換する（Ｓ５０９）。
一方、符号化装置２０１は、ステレオ信号を空間パラメータに表すことによって発生するエラー信号の残余信号を抽出する（Ｓ５０４）。符号化装置は抽出された残余信号にＭＤＣＴを行って（Ｓ５０５）符号化（Ｓ５０６）し、ビットストリームを生成する。ここで、符号化装置は、ＭＤＣＴドメインでＭＰＥＧ ＡＡＣを用いて残余信号を符号化してもよい。
ステップＳ５０１からステップＳ５０８の過程がＭＰＥＧサラウンド符号化部で行われる。ここで、ＭＰＥＧサラウンド符号化部は、図２に示すパラメータ符号化部２０２、ダウンミックス部２０３、及び残余信号符号化部２０４を備えてもよい。
符号化装置は、ＱＭＦドメインに変換されたモノ信号にＳＢＲ符号化を行う（Ｓ５１０）。その後、符号化装置はＱＭＦ合成を介して時間ドメインに変換した後（Ｓ５１１）、ＵＳＡＣコアの符号化を行って（Ｓ５１２）、モノ信号のビットストリームを生成する。ステップＳ５１０の過程がＳＢＲ符号化部で行われ、ステップＳ５１２の過程がＵＳＡＣコアの符号化部で行われてもよい。ここで、ＵＳＡＣコアの符号化部は図２に示すチャネル信号符号化部２０５を備えてもよい。
図６は、本発明の一実施形態に係る復号化過程を示す図である。図６に示された符号化過程は図３に示す復号化装置によって行われる。復号化装置は、ＵＳＡＣコア復号化によってビットストリームからモノ信号を復号化する（Ｓ６０１）。ここで、復号化装置は、ＡＣＥＬＰ、ｗＬＰＴ、及びＡＡＣのいずれか１つの方式によってモノ信号を復号化してもよい。
そして、復号化装置はＱＭＦ分析によって時間ドメインのモノ信号をサブバンド信号に変換する（Ｓ６０２）。その後、復号化装置は、サブバンド信号に変換されたモノ信号に対してＳＢＲ復号化を行う（Ｓ６０３）。ステップＳ６０１の過程がＵＳＡＣコア復号化部で行われ、ステップＳ６０３の過程がＳＢＲ復号化部で行われる。ここで、ＵＳＡＣ復号化部は図３に示すチャネル信号復号化部３０２を備えてもよい。
復号化装置はＳＢＲ復号化が行われたモノ信号にナイキストフィルタバンク分析を適用する（Ｓ６０４）。そして、復号化装置はビットストリームから空間パラメータを復号化した後（Ｓ６０５）、位相情報のＯＰＤを推定する（Ｓ６０６）。これによって、復号化装置は推定されたＯＰＤを用いてアップミックスマトリックスを算出する（Ｓ６０７）。
一方、復号化装置はビットストリームから残余信号を復号化する（Ｓ６０９）。そして、復号化装置は、ＭＤＣＴドメインの残余信号をＱＭＦドメインに変換してもよい（Ｓ６１０）。それで、復号化装置はモノ信号と残余信号にアップミックスマトリックスを適用してアップミックスする（Ｓ６１１）。もし、ビットストリームに残余信号を含んでいなければ、復号化装置はデコリレータによって特定信号を生成し（Ｓ６０８）、モノ信号と特定信号にアップミックスマトリックスを適用してアップミックスしてもよい。その後、復号化装置は、ナイキストフィルタバンク分析とＱＭＦ合成を行って（Ｓ６１２）、時間ドメインのステレオ信号を復元する。
ステップＳ６０４〜ステップＳ６１２はＭＰＥＧサラウンド復号化部で行われてもよく、ＭＰＥＧサラウンド復号化部は図３に示すパラメータ復号化部３０３、位相情報推定部３０４、残余信号復号化部３０５、マトリックス算出部３０６、及びアップミックス部３０７を備えてもよい。
図７は、本発明の一実施形態に係る復号化の順序を示す図である。特に、図７は、復号化が行われるとき、これをシグナリングする方法に関する。
本発明の一実施形態によれば、次にシンタックス（ｓｙｎｔａｘ）によって復号化を行うための基本情報はヘッダに表現され、ビットストリームに含まれてもよい。
Figure 2013508770
 ここで、bsStereoSbrとbsPseudoLrは残余信号をコーディングするために必要な構成要素として、次のように定義され得る。
bsStereoSbr This flag signals the usage of the stereo SBR in combination with MPEG Surround decoding.
bsStereoSbrは下の表１のように定義される。bsStereoSbrによって図７に示すような復号化の順序が決定される。
Figure 2013508770
 bsStereoSbr情報はＭＰＥＧサラウンドモジュールと組み合わせることのできるＳＢＲ（Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ）モジュールの位置とチャネル数を示す。Ｍｏｎｏ ＳＢＲが適用されれば、ダウンミックス信号が入力されてＳＢＲ復号化が行われた後ＭＰＥＧサラウンドステレオ復号化が行われる。そして、Ｓｔｅｒｅｏ ＳＢＲが適用されれば、ＭＰＥＧサラウンドステレオ復号化が行われた後ＳＢＲ復号化が行われて、最終的なステレオ信号は復元される。
bsPseudoLr This flag signals that an inverse mid/side rotation should be applied to the core signal prior to MPEG Surround processing.
bsPseudoLrは下の表２のように定義される。
Figure 2013508770
 channelConfigurationはUSAC core coderのチャネル数を示すものとして、Syntax of USACSpecificConfig（）によればUSAC core coderがステレオ信号の２つのチャネル信号に符号化された場合、SBR configurationに対してシグナリングする。しかし、ＭＰＥＧサラウンドを採用しているＵＳＡＣ技術は５−２−５及び７−２−７のツリー構造を支援し、ここでchannelConfigurationは２に送信される。ここで、５．１チャネル信号にアップミックスするためbsStereoSbrに該当のSBR configurationを定義することはできない。基本的に５−２−５、７−２−７構造でＳＢＲが適用された場合、ダウンミックスされた信号に先にＳＢＲを適用し、最終複数のチャネル信号にアップミックスされる。
このような理由により、Syntax of USACSpecificConfig（）は次のように修正されてもよい。
Figure 2013508770
 Modified Syntax of USACSpecificConfig（）ではSpatialSpecificConfig（）を先に解釈し、その後に取得されたbsTreeConfigによりbsStereoSbrとbsPseudoLrが送信される。このような過程により、従来の５−２−５及び７−２−７との互換性の問題が解決される。bsTreeConfigが０ｘ０７である場合２−１−２を意味し、これはステレオ信号を生成することを表す。
また、残余信号の符号化は高いビット率に適用されるため、ＭＰＥＧサラウンドのbitrate modeを示すｂｓ２１２Ｍｏｄｅによって選択的に復号化されてもよい。また、bsResidualCoding情報を用いて残余信号が選択的に復号化されてもよい。
Figure 2013508770
 bs212Mode indicates operation mode of SpatialFrame()according to:
bsStereoSbrは下記の表３のように定義される。
Figure 2013508770
 他の実現形態として、前記の条件はbsTreeConfigあるいはbs212ModeあるいはbsResidualCodingを適用して判断してもよい。
本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
１０１、２０１ 符号化装置
１０２、３０１ 復号化装置
２０２ パラメータ符号化部
２０３ ダウンミックス部
２０４ 残余信号符号化部
２０５ チャネル信号符号化部
３０２ チャネル信号復号化部
３０３ パラメータ復号化部
３０４ 位相情報推定部
３０５ 残余信号復号化部
３０６ マトリックス算出部
３０７ アップミックス部

Claims (13)

  1. Ｎ個のチャネル信号に対して位相情報に関連する空間パラメータを抽出して符号化するパラメータ符号化部と、
    前記空間パラメータを用いて前記Ｎ個のチャネル信号をＭ個のチャネル信号にダウンミックスするダウンミックス部と、
    前記Ｎ個のチャネル信号に関連する残余信号を符号化する残余信号符号化部と、
    前記ダウンミックスされたＭ個のチャネル信号を符号化するチャネル信号符号化部と、
    を備えることを特徴とする符号化装置。
  2. 前記残余信号符号化部は、前記Ｎ個のチャネル信号を空間パラメータに表すとき発生するエラー信号の残余信号を抽出することを特徴とする請求項１に記載の符号化装置。
  3. 符号化されたＭ個のチャネル信号をＡＣＥＬＰ、ｗＬＰＴ、またはＡＡＣのいずれか１つに基づいて復号化するチャネル信号復号化部と、
    符号化された空間パラメータを復号化するパラメータ復号化部と、
    前記空間パラメータを用いて位相情報を推定する位相情報推定部と、
    符号化された残余信号を復号化する残余信号復号化部と、
    前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するマトリックス算出部と、
    前記残余信号とアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするアップミックス部と、
    を備えることを特徴とする復号化装置。
  4. 前記空間パラメータは、Ｎ個のチャネル信号のエネルギーレベルによる強度差を示すエネルギー差パラメータ（ＣＬＤ：Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅｓ）及びＮ個のチャネル信号間の位相差を示す位相差パラメータ（ＩＰＤ：Ｉｎｔｅｒ−ｃｈａｎｎｅｌ Ｐｈａｓｅ Ｄｉｆｆｅｒｅｎｃｅ）のうち少なくとも１つを含み、
    前記位相情報推定部は、前記空間パラメータを用いて前記Ｎ個のチャネル信号間の位相差がＭ個のチャネル信号に基づいて分布する程度を表すパラメータ（ＯＰＤ：Ｏｖｅｒａｌｌ Ｐｈａｓｅ Ｄｉｆｅｒｅｎｃｅ）を推定することを特徴とする請求項３に記載の復号化装置。
  5. 前記残余信号は、前記Ｎ個のチャネル信号を空間パラメータに表すとき発生するエラー信号であることを特徴とする請求項３に記載の復号化装置。
  6. ＭＰＥＧ ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｅｒ）に符号化されたＭ個のチャネル信号を動作するＬＰＤ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｄｏｍａｉｎ）に基づいたＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）、ｗＬＰＴ（ｗｅｉｇｈｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ）、またはＦＤ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）に基づいたＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）のいずれか１つによって復号化するチャネル信号復号化部と、
    符号化された空間パラメータを復号化するパラメータ復号化部と、
    前記空間パラメータを用いて位相情報を推定する位相情報推定部と、
    符号化された残余信号を復号化する残余信号復号化部と、
    前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するマトリックス算出部と、
    前記残余信号とアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするアップミックス部と、
    を備えることを特徴とする復号化装置。
  7. Ｎ個のチャネル信号に対して位相情報と空間パラメータを抽出して符号化するステップと、
    前記空間パラメータを用いて前記Ｎ個のチャネル信号をＭ個のチャネル信号にダウンミクシンするステップと、
    前記Ｎ個のチャネル信号に関連する残余信号を符号化するステップと、
    前記ダウンミックスされたＭ個のチャネル信号を符号化するステップと、
    を含むことを特徴とする符号化方法。
  8. 前記残余信号を符号化するステップは、前記Ｎ個のチャネル信号を空間パラメータに表すとき発生するエラー信号の残余信号を抽出することを特徴とする請求項７に記載の符号化方法。
  9. 符号化されたＭ個のチャネル信号を復号化するステップと、
    符号化された空間パラメータを復号化するステップと、
    前記空間パラメータを用いて位相情報を推定するステップと、
    符号化された残余信号を復号化するステップと、
    前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するステップと、
    前記残余信号及びアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするステップと、
    を含むことを特徴とする復号化方法。
  10. 前記空間パラメータは、Ｎ個のチャネル信号のエネルギーレベルによる強度差を示すエネルギー差パラメータ及びＮ個のチャネル信号の間の位相差を示す位相差パラメータのうち少なくとも１つを含み、
    前記位相情報を推定するステップは、前記空間パラメータを用いて前記Ｎ個のチャネル信号間の位相差がＭ個のチャネル信号に基づいて分布する程度を表すパラメータを推定することを特徴とする請求項９に記載の復号化方法。
  11. 前記残余信号は、前記Ｎ個のチャネル信号を空間パラメータに表すとき発生するエラー信号であることを特徴とする請求項９に記載の復号化方法。
  12. ＭＰＥＧ ＵＳＡＣ（Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｅｒ）に符号化されたＭ個のチャネル信号を動作するＬＰＤ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｄｏｍａｉｎ）に基づいたＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）、ｗＬＰＴ（ｗｅｉｇｈｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｔｒａｎｓｆｏｒｍ）、またはＦＤ（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）に基づいたＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）のいずれか１つによって復号化するステップと、
    符号化された空間パラメータを復号化するステップと、
    前記空間パラメータを用いて位相情報を推定するステップと、
    符号化された残余信号を復号化するステップと、
    前記位相情報を用いて前記Ｍ個のチャネル信号に対するアップミックスマトリックスを算出するステップと、
    前記残余信号とアップミックスマトリックスを用いて前記Ｍ個のチャネル信号をＮ個のチャネル信号にアップミックスするステップと、
    を含むことを特徴とする復号化方法。
  13. 請求項７〜請求項１２のいずれか一項の方法を行うプログラムを記録したコンピュータで読み出し可能な記録媒体。
JP2012535143A 2009-10-23 2010-10-25 位相情報と残余信号を用いる符号化／復号化装置及び方法 Active JP5833557B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US25441909P 2009-10-23 2009-10-23
US61/254,419 2009-10-23
KR1020100087613A KR101710113B1 (ko) 2009-10-23 2010-09-07 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
KR10-2010-0087613 2010-09-07
PCT/KR2010/007332 WO2011049416A2 (en) 2009-10-23 2010-10-25 Apparatus and method encoding/decoding with phase information and residual information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015213316A Division JP6219903B2 (ja) 2009-10-23 2015-10-29 復号化装置及び復号化方法

Publications (2)

Publication Number Publication Date
JP2013508770A true JP2013508770A (ja) 2013-03-07
JP5833557B2 JP5833557B2 (ja) 2015-12-16

Family

ID=44049382

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012535143A Active JP5833557B2 (ja) 2009-10-23 2010-10-25 位相情報と残余信号を用いる符号化／復号化装置及び方法
JP2015213316A Active JP6219903B2 (ja) 2009-10-23 2015-10-29 復号化装置及び復号化方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015213316A Active JP6219903B2 (ja) 2009-10-23 2015-10-29 復号化装置及び復号化方法

Country Status (6)

Country Link
US (2) US8948404B2 (ja)
EP (3) EP2978233A1 (ja)
JP (2) JP5833557B2 (ja)
KR (3) KR101710113B1 (ja)
CN (2) CN102577384B (ja)
WO (1) WO2011049416A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014195152A (ja) * 2013-03-28 2014-10-09 Fujitsu Ltd 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置
JP2016529544A (ja) * 2013-07-22 2016-09-23 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム
JP2016534410A (ja) * 2013-09-12 2016-11-04 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ・コンテンツの符号化
JP2018511825A (ja) * 2015-03-09 2018-04-26 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャンネル信号を符号化するためのオーディオエンコーダおよび符号化されたオーディオ信号を復号化するためのオーディオデコーダ
JP2019191596A (ja) * 2013-04-05 2019-10-31 ドルビー・インターナショナル・アーベー 信号をインタリーブするためのオーディオ復号器

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
RU2683175C2 (ru) 2010-04-09 2019-03-26 Долби Интернешнл Аб Стереофоническое кодирование на основе mdct с комплексным предсказанием
KR20130093798A (ko) 2012-01-02 2013-08-23 한국전자통신연구원 다채널 신호 부호화 및 복호화 장치 및 방법
JP5949270B2 (ja) * 2012-07-24 2016-07-06 富士通株式会社 オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
KR20140016780A (ko) * 2012-07-31 2014-02-10 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
TWI517141B (zh) * 2012-08-10 2016-01-11 弗勞恩霍夫爾協會 編碼器、解碼器、殘差信號產生器、編碼系統、解碼方法、產生殘差信號之方法、以及相關電腦可讀媒體與電腦程式
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
CN104299615B (zh) 2013-07-16 2017-11-17 华为技术有限公司 一种声道间电平差处理方法及装置
PL3429233T3 (pl) * 2013-07-30 2020-11-16 Dts, Inc. Dekoder matrycowy z panoramowaniem parami o stałej mocy
CN103413553B (zh) * 2013-08-20 2016-03-09 腾讯科技（深圳）有限公司 音频编码方法、音频解码方法、编码端、解码端和系统
TWI671734B (zh) * 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
EP3074969B1 (en) 2013-11-27 2018-11-21 DTS, Inc. Multiplet-based matrix mixing for high-channel count multichannel audio
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
KR101641645B1 (ko) * 2014-06-11 2016-07-22 전자부품연구원 오디오 소스 분리 방법 및 이를 적용한 오디오 시스템
CN110895943B (zh) 2014-07-01 2023-10-20 韩国电子通信研究院 处理多信道音频信号的方法和装置
WO2016108655A1 (ko) * 2014-12-31 2016-07-07 한국전자통신연구원 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치
KR20160081844A (ko) 2014-12-31 2016-07-08 한국전자통신연구원 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치
EP3353784A4 (en) * 2015-09-25 2019-05-22 VoiceAge Corporation METHOD AND SYSTEM FOR CODING THE LEFT AND RIGHT CHANNELS OF A STEREOTONE SIGNAL WITH SELECTION BETWEEN TWO OR FOUR MODEL MODELS PER BIT HOLIDAY HOUSEHOLD
US9826332B2 (en) * 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9924291B2 (en) 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
US10535357B2 (en) * 2017-10-05 2020-01-14 Qualcomm Incorporated Encoding or decoding of audio signals
US10839814B2 (en) * 2017-10-05 2020-11-17 Qualcomm Incorporated Encoding or decoding of audio signals
US10580420B2 (en) * 2017-10-05 2020-03-03 Qualcomm Incorporated Encoding or decoding of audio signals
BR112020012648A2 (pt) 2017-12-19 2020-12-01 Dolby International Ab métodos e sistemas de aparelhos para aprimoramentos de decodificação de fala e áudio unificados
TWI812658B (zh) 2017-12-19 2023-08-21 瑞典商都比國際公司 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統
KR20200099560A (ko) 2017-12-19 2020-08-24 돌비 인터네셔널 에이비 통합 음성 및 오디오 디코딩 및 인코딩 qmf 기반 고조파 트랜스포저 개선을 위한 방법, 장치 및 시스템
CN110556117B (zh) * 2018-05-31 2022-04-22 华为技术有限公司 立体声信号的编码方法和装置
US11443737B2 (en) 2020-01-14 2022-09-13 Sony Corporation Audio video translation into multiple languages for respective listeners
CN114360559B (zh) * 2021-12-17 2022-09-27 北京百度网讯科技有限公司 语音合成方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531913A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネル・エンコーダ
JP2008519306A (ja) * 2004-11-04 2008-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号の組のエンコード及びデコード
JP2008536184A (ja) * 2005-04-15 2008-09-04 コーディング テクノロジーズ アクチボラゲット 適応残差オーディオ符号化
JP2009503615A (ja) * 2005-08-02 2009-01-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP2011501823A (ja) * 2007-10-17 2011-01-13 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ アップミックスを使用した音声符号器
JP5171256B2 (ja) * 2005-08-31 2013-03-27 パナソニック株式会社 ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6854841B1 (en) 1998-04-17 2005-02-15 Elesys, Inc. Point-of-incidence ink-curing mechanisms for radial printing
DE602004002390T2 (de) * 2003-02-11 2007-09-06 Koninklijke Philips Electronics N.V. Audiocodierung
JP2007524124A (ja) * 2004-02-16 2007-08-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トランスコーダ及びそのための符号変換方法
WO2005098824A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Multi-channel encoder
US7646875B2 (en) 2004-04-05 2010-01-12 Koninklijke Philips Electronics N.V. Stereo coding and decoding methods and apparatus thereof
WO2006000952A1 (en) * 2004-06-21 2006-01-05 Koninklijke Philips Electronics N.V. Method and apparatus to encode and decode multi-channel audio signals
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
EP1860649B8 (en) * 2005-02-24 2011-10-05 Panasonic Corporation Data reproduction device
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
CN101479785B (zh) * 2006-09-29 2013-08-07 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
US8504376B2 (en) * 2006-09-29 2013-08-06 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
EP2437257B1 (en) * 2006-10-16 2018-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Saoc to mpeg surround transcoding
JP4930320B2 (ja) * 2006-11-30 2012-05-16 ソニー株式会社 再生方法及び装置、プログラム並びに記録媒体
KR101411901B1 (ko) * 2007-06-12 2014-06-26 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
KR20090004778A (ko) * 2007-07-05 2009-01-12 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
CN101350197B (zh) * 2007-07-16 2011-05-11 华为技术有限公司 立体声音频编/解码方法及编/解码器
KR101505831B1 (ko) * 2007-10-30 2015-03-26 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 방법 및 장치
CN101836250B (zh) * 2007-11-21 2012-11-28 Lg电子株式会社 用于处理信号的方法及装置
BR122019023877B1 (pt) * 2009-03-17 2021-08-17 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531913A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネル・エンコーダ
JP2008519306A (ja) * 2004-11-04 2008-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号の組のエンコード及びデコード
JP2008536184A (ja) * 2005-04-15 2008-09-04 コーディング テクノロジーズ アクチボラゲット 適応残差オーディオ符号化
JP2009503615A (ja) * 2005-08-02 2009-01-29 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP5171256B2 (ja) * 2005-08-31 2013-03-27 パナソニック株式会社 ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法
JP2011501823A (ja) * 2007-10-17 2011-01-13 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ アップミックスを使用した音声符号器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN7014001223; ＪｕｎｇＨｏｅ　Ｋｉｍ，　外２名: 'Ｅｎｈａｎｃｅｄ　Ｓｔｅｒｅｏ　Ｃｏｄｉｎｇ　ｗｉｔｈ　Ｐｈａｓｅ　Ｐａｒａｍｅｔｅｒｓ　ｆｏｒ　ＭＰＥＧ　Ｕｎｉｆｉｅｄ　Ｓｐｅｅｃｈ　ａｎｄ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ' １２７ｔｈ　ＡＥＳ　Ｃｏｎｖｅｎｔｉｏｎ Ｐｒｅｐｒｉｎｔ　７８７５, 20091009 *
JPN7014001224; Ｊｕｒｇｅｎ　Ｈｅｒｒｅ，　外１１名: 'ＭＰＥＧ　Ｓｕｒｒｏｕｎｄ　-　ｔｈｅ　ＩＳＯ／ＭＰＥＧ　Ｓｔａｎｄａｒｄ　ｆｏｒ　Ｅｆｆｉｃｉｅｎｔ　ａｎｄ　Ｃｏｍｐａｔｉｂｌｅ　Ｍｕｌｔｉ-Ｃｈａｎｎｅｌ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ' １２２ｎｄ　ＡＥＳ　Ｃｏｎｖｅｎｔｉｏｎ Ｐｒｅｐｒｉｎｔ　７０８４, 20070505 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014195152A (ja) * 2013-03-28 2014-10-09 Fujitsu Ltd 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置
JP2019191596A (ja) * 2013-04-05 2019-10-31 ドルビー・インターナショナル・アーベー 信号をインタリーブするためのオーディオ復号器
JP7413418B2 (ja) 2013-04-05 2024-01-15 ドルビー・インターナショナル・アーベー 信号をインタリーブするためのオーディオ復号器
JP2022068353A (ja) * 2013-04-05 2022-05-09 ドルビー・インターナショナル・アーベー 信号をインタリーブするためのオーディオ復号器
US11114107B2 (en) 2013-04-05 2021-09-07 Dolby International Ab Audio decoder for interleaving signals
JP2016529544A (ja) * 2013-07-22 2016-09-23 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム
US11657826B2 (en) 2013-07-22 2023-05-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US9940938B2 (en) 2013-07-22 2018-04-10 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US9953656B2 (en) 2013-07-22 2018-04-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US10147431B2 (en) 2013-07-22 2018-12-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
US10741188B2 (en) 2013-07-22 2020-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US10593340B2 (en) 2013-09-12 2020-03-17 Dolby International Ab Methods and apparatus for decoding encoded audio signal(s)
JP7196268B2 (ja) 2013-09-12 2022-12-26 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ・コンテンツの符号化
CN110473560A (zh) * 2013-09-12 2019-11-19 杜比国际公司 多声道音频内容的编码
JP2016534410A (ja) * 2013-09-12 2016-11-04 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ・コンテンツの符号化
US10325607B2 (en) 2013-09-12 2019-06-18 Dolby International Ab Coding of multichannel audio content
US11776552B2 (en) 2013-09-12 2023-10-03 Dolby International Ab Methods and apparatus for decoding encoded audio signal(s)
JP2020204778A (ja) * 2013-09-12 2020-12-24 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ・コンテンツの符号化
US9899029B2 (en) 2013-09-12 2018-02-20 Dolby International Ab Coding of multichannel audio content
JP2018146975A (ja) * 2013-09-12 2018-09-20 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ・コンテンツの符号化
JP2022010239A (ja) * 2013-09-12 2022-01-14 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ・コンテンツの符号化
CN110473560B (zh) * 2013-09-12 2023-01-06 杜比国际公司 多声道音频内容的编码
US11410665B2 (en) 2013-09-12 2022-08-09 Dolby International Ab Methods and apparatus for decoding encoded audio signal(s)
JP2018511825A (ja) * 2015-03-09 2018-04-26 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャンネル信号を符号化するためのオーディオエンコーダおよび符号化されたオーディオ信号を復号化するためのオーディオデコーダ
US10395661B2 (en) 2015-03-09 2019-08-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11238874B2 (en) 2015-03-09 2022-02-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11107483B2 (en) 2015-03-09 2021-08-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11741973B2 (en) 2015-03-09 2023-08-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US10777208B2 (en) 2015-03-09 2020-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US10388287B2 (en) 2015-03-09 2019-08-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US11881225B2 (en) 2015-03-09 2024-01-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal

Also Published As

Publication number Publication date
KR101945309B1 (ko) 2019-04-17
CN105323632A (zh) 2016-02-10
US8948404B2 (en) 2015-02-03
KR101710113B1 (ko) 2017-02-27
WO2011049416A2 (en) 2011-04-28
US20150124974A1 (en) 2015-05-07
US10163445B2 (en) 2018-12-25
EP2502421A2 (en) 2012-09-26
JP6219903B2 (ja) 2017-10-25
EP2502421A4 (en) 2013-09-11
KR20110044693A (ko) 2011-04-29
US20110103592A1 (en) 2011-05-05
JP5833557B2 (ja) 2015-12-16
JP2016029500A (ja) 2016-03-03
WO2011049416A3 (en) 2011-10-27
EP2978233A1 (en) 2016-01-27
KR101835850B1 (ko) 2018-03-08
CN102577384A (zh) 2012-07-11
KR20170021821A (ko) 2017-02-28
EP3358566A1 (en) 2018-08-08
CN102577384B (zh) 2016-01-06
KR20180023941A (ko) 2018-03-07

Similar Documents

Publication Publication Date Title
KR101945309B1 (ko) 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
JP6856595B2 (ja) スペクトルドメイン・リサンプリングを用いて多チャネル信号を符号化又は復号化する装置及び方法
JP6633706B2 (ja) デコーダシステム、復号方法及びコンピュータプログラム
US20240119948A1 (en) Apparatus for encoding and decoding of integrated speech and audio
TWI466106B (zh) 音訊或視訊編碼器、音訊或視訊解碼器及用以利用可變預測方向來處理多頻道音訊或視訊信號的相關方法
TWI444990B (zh) 用以利用複數預測來處理多聲道音訊信號之音訊編碼器、音訊解碼器及相關方法
US8254584B2 (en) Method, medium, and system encoding/decoding multi-channel signal
JP2011522472A (ja) パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ
KR20090089638A (ko) 신호 부호화 및 복호화 방법 및 장치
KR101500972B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151029

R150 Certificate of patent or registration of utility model

Ref document number: 5833557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250