JP2005522722A - ステレオ信号の符号化 - Google Patents

ステレオ信号の符号化 Download PDF

Info

Publication number
JP2005522722A
JP2005522722A JP2003582752A JP2003582752A JP2005522722A JP 2005522722 A JP2005522722 A JP 2005522722A JP 2003582752 A JP2003582752 A JP 2003582752A JP 2003582752 A JP2003582752 A JP 2003582752A JP 2005522722 A JP2005522722 A JP 2005522722A
Authority
JP
Japan
Prior art keywords
signal
signal component
filter
component
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003582752A
Other languages
English (en)
Other versions
JP4805541B2 (ja
Inventor
エム アールツ,ロナルデュス
イルワン,ロイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2005522722A publication Critical patent/JP2005522722A/ja
Application granted granted Critical
Publication of JP4805541B2 publication Critical patent/JP4805541B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Error Detection And Correction (AREA)

Abstract

少なくとも第1の信号成分(y)と第2の信号成分(r)を含むマルチチャンネル信号を符号化する方法が開示されている。本方法は、前記第1の信号成分を入力として受信したとき予測フィルターが前記第2の信号成分の推定(P)を提供する前記予測フィルター(201)の一組のフィルターパラメータ(Fp)を決定するステップと、前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すステップとを有する。マルチチャンネル信号を符号化する対応する装置、および上記信号を復号する対応する方法および装置がさらに開示されている。

Description

発明の詳細な説明
本発明は少なくとも第1と第2の信号成分を含むマルチチャンネル信号の符号化に関する。特に、マルチ音声のオーディオ信号、例えばステレオ音声信号の符号化に関する。
ステレオ音声オーディオ信号は、ステレオ信号源、例えば別々のマイクロホン信号から生ずる左(L)と右(R)信号成分を有する。オーディオ信号の符号化はステレオ音声信号のビットレートの削減を目的としている。すなわち、モデム、アナログ電話線、モバイル通信チャンネル、その他の無線ネットワーク等を介して、通信ネットワーク、例えばインターネットを介してサウンド信号を効率的に送信することを目的とし、またステレオ音声サウンド信号をチップカードその他の記憶容量が限られた記憶媒体に記憶することを目的としている。
米国特許第6,121,904は、左右のステレオチャンネルの対応する予測器を有するデジタルオーディオ信号を圧縮するコンプレッサを開示している。左チャンネルの予測器は、右オーディオ信号の現在のサンプルおよび前のサンプルと同様に、左オーディオ信号の現在のサンプルと前のサンプルを受信する。そして、左信号の予測された次のサンプルを生成する。同様に、右チャンネルの予測器は、左オーディオ信号の現在のサンプルおよび前のサンプルと同様に、右オーディオ信号の現在のサンプルと前のサンプルを受信する。そして、右信号の予測された次のサンプルを生成する。
本発明の目的は、低いビットレートでマルチチャンネル信号を符号化する方法および装置を提供することである。
上記およびその他の目的は、少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法であって、
前記第1の信号成分を入力として受信したとき予測フィルターが前記第2の信号成分の推定を提供するように前記予測フィルターの一組のフィルターパラメータを決定するステップと、
前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すステップとを有する方法により達成される。
その結果として、マルチチャンネル信号を第1の信号成分および一組のフィルターパラメータとして符号化することによって、マルチチャンネル信号は単一チャンネル、例えばモノチャンネルのビットレートより少し高いだけのビットレートで符号化される。結果として得られる符号化信号は記憶したり、レシーバに通信したりしてもよい。本発明は、多くのマルチメディア信号について、1つの信号成分はアダプティブフィルタープロセスによりそのマルチチャンネル信号の少なくとも1つの他のチャンネルから予測できるとの認識に基づく。その結果として、決定されたフィルターパラメータがデコーダに通信されたとき、デコーダが第2の信号成分をモデル化することにより、第1の信号成分とフィルターパラメータを基礎としてそのマルチチャンネル信号を回復できる。
マルチチャンネル信号という用語は、2以上の相互関係を有する信号成分を含むいかなる信号を含んでもよい。上記信号の例として、例えば、同じオーディオプレゼンテーションの同期した記録を含むステレオ音声信号等のマルチ音声オーディオ信号がある。本発明のいくつかの実施形態によると、マルチチャンネル信号は、マルチチャンネルソース信号の変換された信号成分を含む。例えば、LとRのステレオ信号を変換された一組の信号に変換することにより生成された、本発明により1つの信号成分を他の信号成分でモデル化するのにより適した、変換されたステレオ音声信号成分を含む。マルチチャンネル信号の例としてさらに、デジタルバーサタイルディスク(DVD)またはスーパーオーディオコンパクトディスク等から受信した信号を含む。
本発明の好ましい実施形態において、前記一組のフィルターパラメータを決定する前記ステップは前記第2の信号成分と前記推定された信号成分の差が所定値より小さくなるように前記フィルターパラメータを決定するステップを有する。モデル化された信号と第2の信号成分の間の差が小さいとき、そのモデル化された信号は第2の信号成分のよい推定を提供する。よって、第2の信号成分のモデル化のために品質の測度が提供され、それによって、本発明による符号化プロセスによる品質低下を最小としている。例えば、ステレオオーディオ信号の例では、信号の可聴歪みが最小となる。
本発明のさらに好ましい実施形態によると、前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表す前記ステップは、前記差が前記所定値よりも小さくないとき、前記第1の信号成分、前記一組のフィルターパラメータ、および前記第2の信号成分と前記推定された信号成分との差を示す誤差信号として前記マルチチャンネル信号を表すステップをさらに有する。
よって、フィルターするステップにより提供された推定された信号が十分よく第2の信号成分をモデル化していないとき、符号化された信号にエラー信号が含まれる。その結果デコーダに付加的情報を提供する。デコーダは予測した信号を受信したエラー信号と組み合わせて、第2の信号成分のよい近似を達成してもよい。エラー信号を通信するために用いるビットレートは、例えば、与えられた時刻に通信リンクに利用可能なバンド幅に応じて変化する。それゆえ、信号の通信に用いるビットレートとレシーバにおける信号品質のために用いるビットレート間をトレードオフすることを可能とすることは、本発明の利点である。それゆえ、例えば、エラー信号に許されたビットレートをアダプティブに上げたり下げたりすることによって、ソフトフェイルのメカニズムを提供することができる。
本発明の他の好ましい実施形態において、本方法は、少なくともマルチチャンネルソース信号の第1のソース信号成分と第2のソース信号成分を前記第1と第2の信号成分に変換するステップをさらに有する。その結果として、第1と第2の信号成分は、第1と第2のソース信号成分のそれぞれの組合せであり、それにより予測フィルターに第2の信号成分を予測するのにより適した入力信号を対応するソース信号として提供する。変換の例として、第1と第2のソース信号の線形結合がある。例えば、ステレオ音声オーディオ信号の場合、L+RおよびL-Rの組み合わせである。さらに例として、信号空間内における回転その他の変換がある。変換は、固定またはアダプティブな変換パラメータによりパラメータ表示されていてもよい。すなわち、変換パラメータは、ソース信号の特性に応じて決められてもよい。
本発明のさらに好ましい実施形態において、
前記第1の信号成分は多数のソース信号成分を含むソースマルチチャンネル信号の主信号成分であり、前記第2の信号成分は対応する剰余信号であり、
当該方法は所定の変換により少なくとも前記第1と第2のソース信号を前記信号エネルギーのほとんどを含む前記主成分信号と前記主成分信号より小さいエネルギーを含む少なくとも前記剰余信号に変換するステップをさらに有し、ここで前記所定の変換は少なくとも1つの変換パラメータによりパラメータ表示され、
前記第1の信号成分と前記一組のフィルターパラメータで前記マルチチャンネル信号を表すステップは、前記マルチチャンネル信号を前記主成分信号、前記一組のフィルターパラメータ、および前記変換パラメータとして表すステップをさらに有する。
よって、この実施形態によると、マルチチャンネル信号は主信号、変換パラメータ、一組のフィルターパラメータにより表され、レシーバは小さい剰余信号をモデル化でき、それによってマルチチャンネル信号の符号化をより効率的なものにすることができる。この実施形態は、多くのマルチチャンネル信号について、例えば音楽のオーディオ信号やスピーチ信号の場合に、剰余信号は主信号をフィルターしたものとして正確に推定できるという認識に基づく。高い品質レベルを保ちつつ特に効率的な符号化をする方法を提供することは、この実施形態の利点である。
好ましくは、最適な変換パラメータが連続的にトラックされ、それにより、例えば音源が動いたり環境の音響特性が変化したりして入力信号の特徴が変化しても、変換は最適に保たれる。
所定の変換が回転であり、変換パラメータが回転角に対応するとき、単一のパラメータである回転角だけに基づき、簡単な変換を提供することができる。信号成分、例えばステレオ信号のL、R信号成分が主成分信号と剰余信号に回転するような角度を適用することにより、高い品質の信号を維持しながら効率的な符号化が提供される。
ビットレートを効率的に使用できること、すなわち与えられた音質に対し低いビットレートを用いる符号化方法を提供することは、本発明の利点である。本発明による符号化方法は、音質を大きく損なうことなくビットレートを低減するために、または音質を向上しながらビットレートを維持するために、またはこれらの組み合わせに用いてもよい。
本発明の好ましい実施形態において、一組のフィルターパラメータを決定する前記ステップは、前記第2の信号成分と前記第2の信号成分の前記推定の間の相関の少なくとも1つの測度が増加するように、前記第2の信号成分の推定をスケーリングするための少なくとも1つのスケーリングパラメータ(β12)を決定するステップをさらに有する。その結果として、推定された信号と実際の信号の間の類似度の測度が最適化され、それにより符号化信号の品質がさらに向上する。
本発明は、マルチチャンネル信号情報を復号する方法であって、
第1の信号成分と一組のフィルタパラメータを受信するステップと、
前記受信した一組のフィルタパラメータに対応する予測フィルタを用いて、第2の信号成分を推定するステップと、ここで、前記予測フィルタは前記受信された第1の信号成分を入力として受信する方法にさらに関する。
本発明は、上で説明した、また以下で説明する方法、マルチチャンネル信号をそれぞれ符号化および復号する装置、データ信号、およびさらなる製品手段を含む異なった方法で実施することができる。これらはそれぞれ、最初に触れた方法に関連して説明した1以上の利益および長所を生じ、最初に触れた方法に関連して説明した、および従属項で開示した好ましい実施形態に対応する1以上の好ましい実施形態を持つ。
上で説明したおよび以下で説明する方法の特徴は、ソフトウェアで実施してもよく、コンピュータで実行可能な命令の実行によりデータ処理システムまたは他の処理手段で実施してもよい。命令は、記憶媒体から、またはコンピュータネットワークを介して他のコンピュータからメモリ、例えばRAMにロードされたプログラムコード手段にでもよい。あるいは、説明した特徴は、ソフトウェアまたはその組み合わせではなくハードウェア回路により実施されてもよい。
本発明は、少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する装置であって、
前記第2の信号成分を推定する予測フィルターと、ここで、前記予測フィルターは一組のフィルターパラメータに対応し、前記信号成分を入力として受信し、
前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すための処理手段とを有する装置にさらに関する。
本発明は、少なくとも2つの信号成分に対応するマルチチャンネル信号を復号する装置であって、
前記マルチチャンネル信号の第1の信号成分と一組のフィルターパラメータを受信する受信手段と、
前記マルチチャンネル信号の第2の信号成分を推定する予測フィルターと、ここで、前記予測フィルターは前記受信した一組のフィルターパラメータと前記受信した第1の信号成分を入力として受信する予測フィルターとを有する装置にさらに関する。
上記装置は、例えば据え置きおよびポータブルPC等のコンピュータ、据え置きおよびポータブルのラジオ通信装置、および携帯電話、ページャ、オーディオプレーヤ、マルチメディアプレーヤ、コミュニケータ、すなわち電子オーガナイザ、スマートフォン、パーソナルデジタルアシスタント(PDA)、ハンドヘルドコンピュータ等のその他ハンドヘルドまたはポータブルのデバイスを含むいかなる電子装置の一部であってもよい。
処理手段という用語は、汎用または特定用途のプログラマブルマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途用集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途電子回路等、またはこれらの組み合わせを含む。上記の第1および第2の処理手段は、別々の処理手段であってもよく、1つの処理手段に含まれてもよい。
受信手段という用語は、例えば、有線または無線のデータリンクを介してデータの通信を可能とするのに好適な回路および/またはデバイスを含む。上記受信手段の例としては、ネットワークインターフェイス、ネットワークカード、ラジオレシーバ、他の好適な電磁信号、例えばIrDAポートを介する赤外線、ブルートゥーストランシーバを介するラジオベースの通信のレシーバを含む。さらに上記の受信手段の例として、ケーブルモデム、電話モデム、統合サービスデジタルネットワーク(ISDN)アダプタ、デジタル加入者線(DSL)アダプタ、衛星トランシーバ、イーサネット(登録商標)アダプタ等を含む。
受信手段という用語は、データ信号、例えば、コンピュータ読み取り可能な媒体に記憶されたデータ信号を受信するための他の入力回路・デバイスを含む。上記の受信手段の例としては、フロッピディスクドライブ(登録商標)、CD-ROMドライブ、DVDドライブ、その他の好適なディスクドライブ、メモリーカードアダプタ、スマートカードアダプタがある。
本発明はマルチチャンネル信号情報を含むデータ信号にさらに関する。そのデータ信号は上で説明した、および以下で説明する方法により生成される。信号は搬送波上のデータ信号、例えば上で説明したおよび以下で説明するように通信手段により送信されたデータ信号として実施されてもよい。
本発明はさらに、上で説明したおよび以下で説明する方法により生成されたマルチチャンネル信号情報を表すデータレコードを有するコンピュータ読み取り可能な媒体に関する。コンピュータ読み取り可能な媒体という用語は、磁気テープ、光ディスク、デジタルビデオディスク(DVD)、コンパクトディスク(CDまたはCD-ROM)、ミニディスク、ハードディスク、フロッピディスク(登録商標)、強誘電体メモリ、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリ、EPROM、リードオンリメモリ(ROM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、強磁性メモリ、光記憶、電化結合素子、スマートカード、PCMCIAカード等を含む。
本発明はさらに、少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を通信するデバイスであって、当該デバイスは上で説明したおよび以下で説明するように、前記マルチチャンネル信号を符号化する装置を有するデバイスに関する。
図1は本発明の一実施形態によるステレオ信号を通信するためのシステムを示す概略図である。当該システムは、符号化されたステレオ音声信号を生成するための符号化デバイス101と、受信した符号化された信号をステレオL信号とステレオR信号成分に復号するための復号デバイス105を有する。符号化デバイス101と復号デバイス105の各々は、いかなる電子装置であっても、またはその一部であってもよい。ここで、電子装置という用語は、コンピュータ、例えばデスクトップPCおよびノートブックPC、据付およびポータブルのラジオ通信装置、およびその他のハンドヘルドまたはポータブルデバイス、例えば携帯電話、ページャー、オーディオプレーヤ、マルチメディアプレーヤ、コミュニケータ、すなわち電子オーガナイザ、スマートフォン、パーソナルデジタルアシスタント(PDA)、ハンドヘルドコンピュータ等を含む。符号化デバイス101と復号デバイスは、ステレオ音声信号が後で再生するためにコンピュータ読み取り可能な媒体上に記憶された1つの電子装置になっていてもよいことに注意すべきである。
符号化デバイス101は、本発明によるステレオ音声信号を符号化するためのエンコーダ102を有する。そのステレオ音声信号はL信号成分とR信号成分とを含む。そのエンコーダはL・R信号成分を受信し、符号化された信号Tを生成する。ステレオ音声信号L・Rは、一組のマイクロホンから、例えばさらに電子装置、例えばミキシング装置等を介して生成されてもよい。その信号はさらに、他のステレオプレーヤからの出力として、ラジオ信号として放送で、またはその他の好適な手段によって受信されてもよい。本発明による上記のエンコーダの好ましい実施形態を以下に説明する。一実施形態において、エンコーダ102は、復号デバイス105に通信チャンネル109を介して符号化された信号Tを送信するためにトランスミッタ103に接続されている。トランスミッタ103は、例えば有線または無線のデータリンク109を介して、データを通信可能とするために好適な回路を有してもよい。上記トランスミッタの例として、ネットワークインターフェイス、ネットワークカード、ラジオトランスミッタ、その他好適な電子信号のトランスミッタ、例えばIrDAポートを介した赤外線を送信するためのLED、ブルートゥースを介したラジオベースの通信等がある。さらに、好適なトランスミッタの例として、ケーブルモデム、電話モデム、統合サービスデジタルネットワーク(ISDN)アダプタ、デジタル加入者線(DSL)アダプタ、衛星トランシーバ、イーサネット(登録商標)アダプタ等がある。相応じて、通信チャンネル109は、いかなる好適な有線または無線のデータリンク、例えば、インターネットや他のTCP/IPネットワーク等のパケットベースの通信ネットワークのデータリンク、赤外線リンク、ブルートゥース接続、その他のラジオベースのリンク等の短距離通信リンクであってもよい。さらに、通信チャンネルの例として、コンピュータネットワーク、無線通信、例えばセルラーデジタルパケットデータ(CDPD)ネットワーク、グローバルシステムフォーモバイル(GSM)ネットワーク、符号分割多重アクセス(CDMA)ネットワーク、時間分割多重アクセス(TDMA)ネットワーク、一般パケットラジオサービス(GPRS)ネットワーク、UMTSネットワーク等の第3世代ネットワークなどがある。代替的に、または追加的に、符号化デバイスは符号化されたステレオ信号Tを復号デバイス105に送信するための1以上の他のインターフェイス104を有してもよい。上記インターフェイスの例として、コンピュータ読み込み可能な媒体110にデータを記憶させるディスクドライブ、例えばフロッピディスク(登録商標)ドライブ、リード/ライトCD-ROMドライブ、DVDドライブ等がある。他の例として、メモリーカードスロット、磁気カードリーダ/ライタ、スマートカードアクセス用インターフェイス等がある。相応じて、符号化デバイス105は、インターフェイス104およびコンピュータ読み取り可能な媒体110を介して通信された符号化されたステレオ信号を受信するために、トランスミッタおよび/またはその他のインターフェイス106により送信された信号を受信するための対応するレシーバ108を有している。復号デバイスは、受信信号Tを受信し、対応するステレオ成分L´とR´に復号するデコーダ107を有する。本発明による上記デコーダの好ましい実施形態は以下で説明する。復号された信号L´とR´は、一組のスピーカ、ヘッドホンなどを介して再生するためのステレオプレーヤに供給される。
図2は、本発明の第1の実施形態によるマルチチャンネル信号を符号化する装置を示す概略図である。この実施形態によると、マルチチャンネル信号は2つの成分S1とS2を有する。本装置は、信号成分S1を入力として受信し、フィルターされた信号
Figure 2005522722
を生成するアダプティブフィルター201を有する。このアダプティブフィルターのフィルターパラメータFpは、例えば、減算回路203により生成されるS2
Figure 2005522722
の間の差を示すエラー信号eによりアダプティブフィルター201を制御することにより、フィルターされた信号
Figure 2005522722
が第2の信号成分S2を近似するように選択される。フィルター201は当該技術分野で知られた好適なフィルターであればいずれでもよい。上記のフィルターの例としてはさらに、有限インパルス応答(FIR)フィルターまたは無限インパルス応答(IIR)フィルターであって、アダプティブまたは固定であり、カットオフ周波数を有し、強度が固定または再帰的にトラックされたもの等がある。フィルターのオーダーはいくつでもよいが、好ましくは10より小さい方がよい。フィルターのタイプは、バターワース、チェビシェフ、その他好適なタイプであればよい。オーディオ信号の場合、上記アダプティブフィルターの例として、エコーキャンセレーションの分野で知られたアダプティブフィルターや、例えば、MPEG符号化で知られているように、人間の聴覚システムの音響心理学的モデルに基づくフィルターがあり、それによりフィルターパラメータの数を減らすことができる。他の実施形態によると、例えば5つの4次フィルターと人工反響器を用いた10次オーダーのフィルターにより、フィルターはさらに簡略化することができる。この実施形態において、符号化側ではフィルターを適合させ反響時間を決定する。これらのパラメータはゆっくりと変化するので、送信に必要なビットレートを減らすことができる。
結果として得られるフィルターパラメータFpは、エンコーダ205に入力される。エンコーダ205は、例えば、ハフマン符号化またはその他の好適な符号化方法を提供するエンコーダである。入力の結果、符号化されたフィルターパラメータFpeが得られる。符号化されたフィルターパラメータFpeはコンバイナ回路204に入力される。本装置は、信号成分S1の適当な符号化を実行するエンコーダ202をさらに有する。例えば、オーディオ信号の場合、信号S1はMPEG、例えばMPEG-Iレイヤー3(MP3)、またはシヌソイド符号化(SSC)、またはサブバンド、パラメトリック、または変換法に基づくオーディオ符号化方法、その他の好適方法、またはこれらの組み合わせにより符号化してもよい。結果として得られる符号化された信号S1,eはコンバイナ回路204にフィルターパラメータFpとともに入力される。コンバイナ回路204は、フレーミング、ビットレート割当て、ロスレス符号化を実行し、結果として通信に供する結合信号Tを生ずる。
図3は、本発明の第1の実施形態によるマルチチャンネル信号を復号する装置を示す概略図である。本装置は、例えば図2と関連して説明した実施形態によるエンコーダから発せられる符号化されたマルチチャンネル信号Tを受信する。本装置は、結合信号Tから符号化された信号S1,eと符号化されたフィルターパラメータFpeを抽出する回路301を有する。すなわち、回路301は、図2のコンバイナ204の逆演算を実行する。図2のエンコーダ205によるフィルターパラメータの符号化に対応して、フィルターパラメータはデコーダ303により復号される。抽出された信号S1,eは、図2のエンコーダ202により実行される符号化に対応してオーディオ復号するデコーダ302に入力され、その結果復号された第1の信号成分信号S1´が得られる。信号S1´は、復号されたフィルターパラメータFpとともに、フィルタ303に入力される。フィルター304は対応する推定された第2の信号成分
Figure 2005522722
を生成する。よって、図2のデコーダは、受信した第1の信号成分S1´と推定された第2の信号成分
Figure 2005522722
に対応する出力を生成する。
図4は、本発明の第2の実施形態によるステレオ信号を符号化する装置102を示す概略図である。本装置は、L-R空間内のステレオ信号を角αだけ回転し、その変換により、回転した信号成分yとrとを結果として生ずる回路401を有する。
Figure 2005522722
ここで、wL=cosα、wR=sinαは重み付けファクターと呼ばれる。
本発明によると、角αは信号分散が高い方向に対応するように決められる。信号分散が最大の方向、すなわち主成分は、回転したy成分が信号エネルギーのほとんどを含む主成分信号に対応し、rが剰余信号であるように主成分分析により推定してもよい。相応じて、図4の装置は、角α、または代替的に重み付けファクターwLとwRを決定する回路400を有する。
図5を参照して、好ましい実施形態によると、上記の重み付けファクターwLとwRは、次のアルゴリズムにより決定される。
最初に、入力ステレオ信号LとRは整形され、ローパスフィルタにかけられる。その結果、LとRのそれぞれの包絡線信号p(k)とq(k)が得られる。ここで、p(k)、q(k)は好適にサンプリングされ、サンプルインデックスをkで表した。よって、ベクトルx(k)=(p(k),q(k))は入力信号ベクトルを表す。代替的に、信号LとRを直接、すなわちフィルターせずに用いてもよい。LとRを他のフィルターで処理したものを用いてもよい。例えば、ハイパスフィルターで処理したLとR等である。図5において、多数の信号点が丸として示されている。一例として、信号点x(k)とそれに対応する成分p(k)とq(k)が示されている。本発明によると、信号は信号ベクトルの主成分の方向に回転される。図5の例において、これはy方向に対応し、αはy方向とp方向間の角度である。重み付けベクトルw=(wL,wR)は、主成分の方向を示し、x(k)の回転した方向はy(k)とr(k)でそれぞれ示される。
主成分は当該技術分野において知られたいかなる好適な方法で決定してもよい。有利な実施形態において、Ojaのルールを使用した繰り返し法が用いられた(例えば、S. Haykin、「ニューラルネットワーク」、プレンティスホール、ニュージャージー、1999年を参照)。本実施形態によると、重み付けベクトルwは、次式により反復的に推定される。
Figure 2005522722
ここで、w(k)=(wL(k),wR(k))は時刻kにおける推定に対応する。上記の繰り返しは、例えば、一組の小さなランダムの重み付けw(0)から始めてもよいし、他のいかなる好適な方法で始めてもよい。上記推定された重み付けベクトルはy(k)=wT(k)x(k)により回転された信号を計算するために用いられてもよい。代替的に、式(2)の繰り返しはブロックベースで、例えばN個のサンプルのブロックごとに実行してもよい。ここで、Nは特定の実施に依存し、例えばN=512、1024、2048などである。本実施形態において、1つのブロックの推定された重み付けベクトルw(N)は、y(k)=wT(k)x(k)によるそのブロックの全サンプルの変換で用いられてもよい。
式(2)の係数μはトラッキングアルゴリズムの時間スケールに対応する。μ=0のとき、重み付けファクタおよび角αは一定であり、μが大きいときは急速に変化する。一例として、ブロックサイズ2048個のサンプルについて、μは44.1kHzのサンプリングレートに対して10-3のオーダーとなる。
線形であること、すなわち三角関数や平方根の計算を要しないこと等は、上記の繰り返しアルゴリズムの長所である。式(2)の項+μx(k-1)が重み付けベクトルを主成分の方向に動かすが、項-μw(k-1)y(k-1)が大きな重み付けを不利にする重み付け減少項に対応するので、上記の繰り返しが正規化された重み付けベクトルwを生じることはさらに有利である。本実施形態において、x(k)は包絡線信号なので、wL,wR∈[0,1]、すなわち、重み付けベクトルwは図5の第1象限にあり、それによってμは正となることにさらに注意すべきである。他のファクターは次式により決定されるので、wLおよびwRの一方を送信すれば十分であることはさらに有利である。
Figure 2005522722
代替的に、角αが送信されてもよい。
再び図4を参照して、回路400は決定された角α、または代替的に重み付けファクターwLとwRの一方または両方を出力する。角度情報は、回転した信号成分yとrを生成する回転回路401に入力される。回路400と401は、式(2)の繰り返し計算と式(1)によるyとrの計算を実行する単一の回路であってもよい。
本発明のこの実施形態によると、主信号をフィルターしたものとして剰余信号rを推定できるということが分かる。2つのマイクロホンにより、例えば反射による音響歪みなくオーディオソースを音響記録した場合、主信号yはオーディオソースに対応し、剰余信号はほぼゼロである。例えば、ステレオ信号LとRは、L=M+S、R=M-Sと表される。ここで、Mは中央またはセンター信号に対応し、Sはステレオまたは再度信号に対応する。静止した音源の音響記録の場合、例えば2つのマイクロホンにより記録された話者の場合、その話者がマイクロホンのちょうど中間にいて、反射等の音響的歪みがないと仮定すれば、LおよびR信号はほぼ等しくなる。それゆえ、この場合、Sはほぼ0であるか少なくとも小さく、本発明による符号化方法はL+Rに一致するyと、0または小さいL-Rに一致するrを実質的に生ずる。これはα=45°に対応する。話者がマイクロホンのちょうど真ん中に位置していないとき、すなわち非対称性があるとき、しかし反射等の歪みがないと仮定して、本発明による回転した信号yはその話者に一致し、剰余信号rはほぼゼロである。しかし、この場合、αは45°ではない。
現実的な状況においては、例えば、部屋の壁や話者の頭や胴体の反射による歪みが存在する。これらの効果は剰余信号rに影響する。その結果として、フィルターにより剰余信号を推定するとき、そのフィルターが実質的に部屋の音響等をモデル化する。クラシックオーケストラの場合も状況は同様であるが、モダンポップミュージックの場合は状況が少し違う。この場合、サウンドエンジニアが、しばしば人工的な反射、効果ボックス等を用いて、一般的には複数のチャンネルを2つのチャンネルにミックスする。この場合、そのフィルターはミキシング過程により導入された音響効果をモデル化する。
したがって、さらに図4を参照して、本装置は主信号yを入力として受信し、フィルターされた信号
Figure 2005522722
を生成するアダプティブフィルタ201を有する。そのアダプティブフィルターのフィルターパラメータFpは、例えば減算回路203により生成されるrと
Figure 2005522722
間の差を示すエラー信号eによりアダプティブフィルター201を制御することにより、フィルターされた信号
Figure 2005522722
が剰余信号rを近似するように選択される。結果として生じるフィルターパラメータFpは、例えばハフマン符号化や他の好適な符号化方法を提供するエンコーダ205にに入力され、符号化されたフィルターパラメータFpeを得る。符号化されたフィルターパラメータFpeはコンバイナ回路204に入力される。フィルター201は、当該技術分野で知られた好適なフィルターであればいかなるものであってもよい。上記フィルターの例としては、有限インパルス応答(FIR)フィルターまたは無限インパルス応答(IIR)フィルターであり、アダプティブまたは固定であり、カットオフ周波数を有し、強度が固定または繰り返しトラックされているもの等がある。フィルターの次数はいくつでもよいが、好ましくは10より小さい方がよい。フィルターのタイプは、バターワース、チェビシェフ、その他好適なタイプでもよい。本装置は、図2と関連して説明した主信号を符号化するエンコーダ202をさらに有する。エンコーダ202は結果として、フィルターパラメータFpと角度情報αとともにコンバイナ回路204に入力される符号化された主信号yeを生ずる。図2と関連して説明したように、コンバイナ回路204は、フレーミング、ビットレート割当て、ロスレス符号化を実行し、符号化された主信号ye、フィルターパラメータFp、および角度情報αを含む、通信される結合信号Tを結果として生じる。一実施形態において、角度α、または代替的にwおよび/またはwを信号フレーム、信号ブロック等の前に送信されるヘッダーの一部として通信してもよい。
本発明によると、主信号がほとんどの信号エネルギーを含むように変換角αをトラックするので、信号yとrに割り当てるビットレートは異なってもよく、符号化効率を最適化することができる。上で説明したように、音響歪みがない状態で2つのマイクロホンにより記録されたオーディオソースの音響記録の例において、主信号yはオーディオソースに一致し、剰余信号はほぼゼロである。この例において、角度αはマイクロホンに対する音源の位置に対応する。音源が例えば左から右に動くとき、本発明による方法は音源に対応する主成分信号yと小さな剰余信号rを生じる。理想的にはr=0である。この場合、αは0(左端)から90°(右端)まで変化する。上記の例は角度αをトラッキングする利点を示している。よって、ステレオ信号の効率的な符号化をできることは、本発明の利点である。
本発明のこの実施形態によると、フィルターパラメータFpに割り当てられるビットレートは、主信号yに必要なビットレートよりかなり小さくともよい。例えば、一実施形態において、Fpのビットレートは、平均として、yのビットレートの10%より小さくともよい。よって、ステレオ信号の送信に必要なビットレートを下げることができることは、本発明の利点である。本発明による総ビットレートは、単一のモノチャンネルのビットレートより少し大きいだけである。しかし、記録中にこの割合は変化してもよいことには注意すべきである。例えば、歪みが少なく音源が動かない状況では、この割合はより小さくても良く、LとR信号が一瞬独立であるときは、この割合は大きい。
図6は、本発明の第2の実施形態によるステレオ信号を復号する装置107の概略図である。装置107は、例えば、図4と関連して説明した実施形態によるエンコーダから発せられた符号化されたステレオ信号Tを受信する。本装置107は、結合信号Tから符号化信号ye、符号化されたフィルターパラメータFpe、角度情報αを抽出する回路301を有する。すなわち、回路301は、図4のコンバイナ204の逆演算を実行する。抽出された信号yeは、図4のエンコーダ202により実行された符号化に対応するオーディオ復号を実行するデコーダ302に入力される。その結果として復号された主成分信号y´を生じる。符号化されたフィルターパラメータFpeは、図4のエンコーダ205によるフィルターパラメータの符号化に対応するデコーダ303により復号される。信号y´は、受信したフィルターパラメータFpとともにフィルター304に入力される。フィルター304は、対応する推定された剰余信号
Figure 2005522722
を生成する。受信された主成分信号y´、推定された剰余信号
Figure 2005522722
、および受信された角度情報αは、元のLとR成分の方向に信号y´、
Figure 2005522722
を戻す回転をする回転回路601に入力される。その結果として受信した信号L´とR´が生じる。
図4と6に関連して説明した実施形態において、フィルター201と304は、例えばエコーキャンセレーションの技術分野で知られたアダプティブフィルターである、テンポラルまたは時間ドメインの標準的アダプティブフィルタ(例えば、「アダプティブフィルター理論」、S. Haykin、プレンティスホール、2001年を参照)でもよい。フィルターのその他の例としては、固定またはアダプティブなカットオフ周波数と強度を有する固定FIRまたはIIRフィルターがある。代替的に、フィルターは、人間の聴覚システムの音響心理学的モデルに基づいたものでも、その他の好適なフィルターでもよい。例えば5つの4次のフィルターと人工的反響ユニットを用いた10次のフィルターを用いていてもよい。
図7a〜cは本発明の一実施形態で用いられるフィルター回路の例の概略図である。
図7aの例において、フィルター201はフィルター701と反響フィルター702の組み合わせを有する。例えば、フィルター701はテンポラルまたは時間ドメインの標準的アダプティブフィルタ、固定またはアダプティブのカットオフ周波数と強度を有する固定FIRまたはIIRフィルタであってもよい。この実施形態によると、フィルター701のフィルターパラメータとT60と示した反響時間等の反響フィルター702のパラメータは、フィルターパラメータFpとして送信される。
図7bの例において、フィルター701と702に加え、2つの制御回路703−704が加えられている。制御回路703は、例えば反響器702の出力にパラメータβ1をかけることにより、剰余信号rの平均パワーと反響器702の出力の平均パワーがほぼ等しくなるようにするために付加されている。第2の制御回路704は、反響器702のスケールされた出力にβ2をかける。ファクターβ2は-3dBと+6dBの間の範囲で選択され、rと
Figure 2005522722
間の相互相関ρができるだけ高くなるように、すなわち信号rと
Figure 2005522722
ができるだけ似るように決定される。よって、図7bのフィルター装置は、相互相関ρを決定する回路705をさらに有する。フィルター装置は、フィルターパラメータFpの一部として出力される積β=β1・β2を生成する掛け算器706をさらに有する。よって、β1は、例えばrと
Figure 2005522722
の絶対平均を比較することにより自動的に制御されるゲインであり、β2は、例えば、相互相関係数ρを使用することにより自動的に制御される他のゲインである。第1のゲインはrのエネルギーが保存されるように、すなわちレシーバにおける予測信号
Figure 2005522722
のエネルギーがrのエネルギーに対応するように決められる。第2のゲインは、rと
Figure 2005522722
がよく相関するように決められる。
一実施形態において、反響器702とフィルター701は固定、すなわちフィルターパラメータFpに応じて適合しなくてもよい。さらに、β2は固定でもよく、それによりゆっくり変化するパラメータβ1を調整および送信する必要のある唯一のアダプティブパラメータとしてもよい。その結果として、特に簡単なフィルター装置が提供される。ステレオ信号を送信する元のステレオビットレートの約半分を要する。上記の実施形態をさらに変形して用いることもできることに注意すべきである。例えば、一実施形態においてフィルター701は省略してもよい。
さらにまた、相関ρに替えてまたは加えて、相関の他の測度が元の信号と符号化・復号後の信号との高い類似性を確保するために用いられてもよい。例えば、一実施形態において、相関器705の替わりに2つの相関器を用いてもよい。1つの相関器が入力信号LとRの相互相関ρLRを算出してもよい。さらにまた、第2の相関器が、エンコーダ・デコーダの結果として生じる出力L´とR´の相互相関ρ´LRの算出をしてもよい。すなわち、この実施形態によると、エンコーダは信号L´とR´を決定するデコーダ回路をさらに有する。この実施形態は、β2を制御するために差ερLR-ρ´LRをερが最小になるように用いる。これは図7cに示されている。ここで、図7bの相関器は、信号LとRをL´とR´と同様に入力として受信し、差ερを示す信号を出力として生成する回路707により置き換えられている。回路707の出力ερは、ερが最小になるように推定された剰余
Figure 2005522722
をスケールするために回路704を制御する。一実施形態において、回路707の入力は、周波数が低いほどερへの貢献が減るように例えば250Hzのハイパスフィルターでフィルターされている。図7bの実施形態において、符号化・復号の前の結果として生じるステレオイメージと元のステレオイメージ間の相関が非常に高いことは、この実施形態の利点である。
図8は、本発明の第3の実施形態によるステレオ信号を符号化する装置の概略図である。本装置は、図4と関連して説明した実施形態のバリエーションである。本装置は、図4と関連して説明したように、ステレオ信号LとRの回転を実行する回路401と、回転角度を決定する回路400と、アダプティブフィルター201と、減算回路203と、エンコーダ202と、エンコーダ205と、コンバイナ回路204とを有する。この実施形態によると、主成分信号yはフィルター201には直接入力されない。その代わりとして、本装置は、図6と関連して説明したデコーダ302をさらに有する。デコーダ302は、エンコーダ202により生成された符号化された主成分信号yeを受信し、フィルター201に入力される復号された主信号y´を生成する。信号yの符号化と復号により入り込んだ符号化エラーの効果を減らせることが、この実施形態の利点である。これらの符号化エラーは、デコーダ302が実際にはエンコーダ202の完全な逆演算になっていないので、すなわちEE-1≠1なので、復号された信号y´は元の信号yから少し異なったものになる。その結果として、デコーダにおいて信号yの符号化および復号を適用することにより、フィルター201への入力y´はレシーバにおいてフィルター304(図6参照)に入力された入力y´に対応し、それによりレシーバにおける剰余信号の
Figure 2005522722
の予測結果が向上する。よって、この実施形態によるエンコーダは、図6の実施形態によるデコーダと関連して用いられてもよい。
図9は、本発明の第4の実施形態によるステレオ信号を符号化する装置の概略図である。本装置は、図4と関連して説明した実施形態のバリエーションである。図4に関連して説明したように、本装置は、ステレオ信号LとRの回転をする回転回路401、回転角度を決定する回路400、アダプティブフィルター201、減算回路203、エンコーダ202、エンコーダ205、コンバイナー回路204を有する。この実施形態によると、主成分信号yはフィルター201に直接入力されない。その代わりとして、装置は、回路401から受信した剰余信号rに定数γをかける乗算回路901と、スケールされた剰余信号を主成分信号yに加える加算回路902と有し、結果としてフィルター201に入力する信号y+γrを生じる。ここで、γは小さな正の値で、例えばそのオーダーは10-2である。一実施形態において、定数γはアダプティブにトラックされる。信号yのスペクトルにはほとんど無いが、rのスペクトルにはある周波数が、符号化された信号の品質を向上させるために、フィルター201により剰余信号
Figure 2005522722
のモデル化に用いられることができることは、この実施形態の利点である。この実施形態によると、信号y+γrは、レシーバに送信される復号された主信号yを生成するエンコーダ202に入力される。さらにまた、この実施形態において、定数γはコンバイナ204に入力され、レシーバに送信される。
図10は本発明の第4の実施形態によるステレオ信号を復号する装置の概略図であり、図9によるエンコーダから受信した信号を復号するのに好適である。本装置は、図6と関連して説明したように、結合信号Tから受信した情報を抽出する回路301と、デコーダ302と、デコーダ303と、フィルター304と、回転回路601とを有する。この実施形態によると、回路301は、結合信号Tから定数γをさらに抽出する。本装置は、フィルター304により生成された予測された剰余信号
Figure 2005522722
に受信した定数γをかける乗算回路1001をさらに有する。本装置は、復号された主信号y´から結果として得られるスケールされた予測剰余信号
Figure 2005522722
を引く回路1002をさらに有する。
図11は、本発明の第5の実施形態によるマルチチャンネル信号を符号化する装置の概略図である。本装置は、nチャンネルS1、...、Snを有するマルチチャンネル信号x=(x1,...,xn)を受信する。本装置は、信号成分S1、...、Snの主成分分析を実行する主成分アナライザ1100を有し、結果として入力信号を主成分信号yとn-1個の剰余信号r1、r2、...、rn-1に変換する重み付けベクトルw=(w1,...,wn)を生じる。本装置は、入力信号成分S1、...、Snと決定された重み付けベクトルwを受信し、上記の変換により信号yおよびr1、...、rn-1を生成する変換回路1101をさらに有する。主成分信号yは一組のアダプティブフィルター201に入力される。図4と関連して説明したように、各アダプティブフィルター201は、剰余信号r1、...、rn-1の1つを予測する。その結果として対応するフィルターパラメータFp1、...、Fp(n-1)が得られ、対応するエンコーダ503に入力され、その後コンバイナ204に入力される。対応するデコーダ(図示せず)において、図6と関連して説明したように、フィルターパラメータに基づき剰余信号の推定
Figure 2005522722
を生成するために対応するフィルターが用いられる。本装置は、主成分信号yを符号化するエンコーダ202をさらに有し、結果として符号化された信号yeを生じ、これはコンバイナ204にも入力される。
一実施形態によると、剰余信号のサブセットのみ、例えばr1、...、rk、k<n-1がレシーバに送信され、対応するフィルターに入力されてもよいことが分かる。それにより、ほとんどの信号品質を維持しながら必要なビットレートを削減できる。
図12は、本発明の一実施形態に用いられる減算回路を示す概略図である。上記の実施形態において、フィルターパラメータは、ターゲット信号を推定された信号と比較することにより、すなわち減算回路502により生成されたrと
Figure 2005522722
の間の差を示すエラー信号eにより決定される。本減算回路は、rと
Figure 2005522722
の間の差の異なった測度を生成してもよい、例えば差は時間ドメインで決定されても周波数ドメインで決定されてもよいということが分かる。図12を参照して、回路203は、例えば高速フーリエ変換(FFT)を実行することにより、信号rと
Figure 2005522722
をそれぞれ周波数ドメインに変換する回路1201を有する。結果として得られる周波数成分は、それぞれの回路1204によりさらに処理されてもよい。例えば、好ましくは人間の聴覚システムの特性により、異なった周波数には異なる重み付けがされ、それにより可聴周波数範囲をより強く重み付けしてもよい。回路1204によりさらに処理をする他の例として、所定周波数成分の平均化、複雑な周波数成分の強度の計算、フィルター成分のクラスター化などがある。例えば、好ましい実施形態において、クラスター化が周波数ドメインにおける減算の前に実行される。このクラスター化は、例えば線形または対数サブバンド幅を有するフィルターバンクを用いて実行される。代替的に、クラスター化は、いわゆる等価方形バンド幅(ERB)を用いて実行してもよい(例えば、「聴覚の心理学入門」、Brian Moore、アカデミックプレス、ロンドン、1997年を参照)。等価方形バンド幅法は、人間の聴覚フィルターに対応する周波数バンド、例えばいわゆるクリティカルバンドをクラスター化する。この実施形態によると、センター周波数の関数としてERBの対応する値f(単位kHz)は、ERB=24.7(4.37f+1)により計算することができる。さらに図12を参照して、回路203は、処理された周波数成分を減算する減算回路1203をさらに有する。代替的に、回路1201により生成された変換された信号は、さらに処理されることなく減算回路1204に直接入力される。減算回路1204により生成された差信号は、例えば逆高速フーリエ変換(IFFT)を実行することにより、エラー信号を時間ドメインに戻すために変換する変換回路1202に入力される。代替的に、周波数ドメインの差信号を直接用いることができる。
当業者は、例えば要素を付け加えたり削除したり、または上記の実施形態の特徴を組み合わせたりすることにより、上記の実施形態を適合させることができることが分かる。例えば、図8と9に出てきた要素を図11の実施形態にも組み入れることができることが分かる。他の例として、図4の実施形態において推定された剰余信号の品質を説明するエラー信号eは、最大受け入れ可能エラーを示す閾値エラーと比較してもよい。線形予測符号化(LPC)の技術分野で用いられる方法と同様に、エラーが受け入れ可能でないときは、エラー信号は、適当な符号化の後信号Tとともに送信されてもよい。
本発明はステレオ音声信号に限定されておらず、2以上の入力チャンネルを有するその他のマルチチャンネル入力信号に適用してもよいということに、さらに注意すべきである。上記のマルチチャンネル信号の例としては、デジタルバーサタイルディスク(DVD)やスーパーオーディオコンパクトディスク等から受信した信号がある。このより一般の場合において、主成分信号yと1以上の剰余信号rは、やはり本発明により生成することができる。送信される剰余信号の数は、チャンネル数と所望のビットレートによって決まる。高いオーダーの剰余は信号品質を大きく悪化させることなく省略することができるからである。
一般的に、ビットレートの割当てがアダプティブに変化してもよいことは本発明の利点であり、それによりフェイルソフトとできる。例えば、ネットワークトラッフィックが増大したりノイズ等により通信チャンネルが一瞬低いビットレートしか送信できなくなったとき、信号の知覚可能な品質を大きく損なうことなく送信信号のビットレートを下げることができる。例えば、上で説明した静止した音源の場合、信号品質を大きく損なうことなく、2チャンネルでなく単一のチャンネルを送信するのに対応して、ビットレートを約2のファクターで低下させることができる。
上記の装置は、汎用たまは特定用途プログラマブルマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途用集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途電子回路、またはこれらの組み合わせにより実施可能であるということに注意すべきである。
上述の実施形態は、本発明を例示するものであり限定するものではなく、当該技術分野の当業者は、添付した請求項の範囲から逸脱することなく多くの代替的実施形態をデザインすることができるであろうということに注意すべきである。請求項において、括弧内の参照記号はその請求項を限定するものと解してはならない。「有する」という言葉は、請求項に列挙された構成要素やステップ以外の構成要素やステップの存在を排除するものではない。本発明は、いくつかの別個の構成要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実施することができる。いくつかの手段を列挙した装置の請求項において、これらの手段は1つの同一のハードウェアによって実施することができる。ある手段が相互に異なる従属項に記載されていることをもって、それらの手段を組み合わせて使用することができないということを示すものではない。
本発明の一実施形態によるステレオ信号を通信するためのシステムを示す概略図である。 本発明の第1の実施形態によるマルチチャンネル信号を符号化する装置を示す概略図である。 本発明の第1の実施形態によるマルチチャンネル信号を復号する装置を示す概略図である。 本発明の第2の実施形態によるステレオ信号を符号化するための装置を示す概略図である。 本発明の一実施形態による信号変換の決定を示す図である。 本発明の第2の実施形態によるステレオ信号を復号するための装置を示す概略図である。 図7a〜cは、本発明の一実施形態で用いるフィルター回路の例を示す概略図である。 本発明の第3の実施形態によるステレオ信号を符号化するための装置を示す概略図である。 本発明の第4の実施形態によるステレオ信号を符号化するための装置を示す概略図である。 本発明の第4の実施形態によるステレオ信号を復号するための装置を示す概略図である。 本発明の第5の実施形態によるマルチチャンネル信号を符号化するための装置を示す概略図である。 本発明の一実施形態に用いる減算回路を示す概略図である。

Claims (16)

  1. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法であって、
    前記第1の信号成分を入力として受信したとき予測フィルターが前記第2の信号成分の推定を提供するように前記予測フィルターの一組のフィルターパラメータを決定するステップと、
    前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すステップとを有する方法。
  2. 請求項1に記載の方法であって、前記一組のフィルターパラメータを決定する前記ステップは前記第2の信号成分と前記推定された信号成分の差が所定値より小さくなるように前記フィルターパラメータを決定するステップを有する方法。
  3. 請求項2に記載の方法であって、前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表す前記ステップは、前記差が前記所定値よりも小さくないとき、前記第1の信号成分、前記一組のフィルターパラメータ、および前記第2の信号成分と前記推定された信号成分との差を示す誤差信号として前記マルチチャンネル信号を表すステップをさらに有する方法。
  4. 請求項1ないし3いずれか一項に記載の方法であって、前記第1の信号成分は第1の信号エネルギーに対応し、前記第2の信号成分は前記第1の信号エネルギーよりも小さい第2の信号エネルギーに対応する方法。
  5. 請求項1ないし4いずれか一項に記載の方法であって、
    少なくともマルチチャンネルソース信号の第1のソース信号成分と第2のソース信号成分を前記第1と第2の信号成分に変換するステップをさらに有する方法。
  6. 請求項5に記載の方法であって、前記マルチチャンネルソース信号は、左右の信号成分を含むステレオ音声信号を有する方法。
  7. 請求項1ないし6いずれか一項記載の方法であって、
    前記第1の信号成分は多数のソース信号成分を含むソースマルチチャンネル信号の主信号成分であり、前記第2の信号成分は対応する剰余信号であり、
    当該方法は所定の変換により少なくとも前記第1と第2のソース信号を前記信号エネルギーのほとんどを含む前記主成分信号と前記主成分信号より小さいエネルギーを含む少なくとも前記剰余信号に変換するステップをさらに有し、ここで前記所定の変換は少なくとも1つの変換パラメータによりパラメータ表示され、
    前記第1の信号成分と前記一組のフィルターパラメータで前記マルチチャンネル信号を表すステップは、前記マルチチャンネル信号を前記主成分信号、前記一組のフィルターパラメータ、および前記変換パラメータとして表すステップをさらに有する方法。
  8. 請求項7に記載の方法であって、前記所定の変換は回転であり、前記変換パラメータは回転角に対応する方法。
  9. 請求項1ないし8いずれか一項に記載の方法であって、一組のフィルターパラメータを決定する前記ステップは、前記第2の信号成分と前記第2の信号成分の前記推定の間の相関の少なくとも1つの測度が増加するように、前記第2の信号成分の推定をスケーリングするための少なくとも1つのスケーリングパラメータを決定するステップをさらに有する方法。
  10. マルチチャンネル信号情報を復号する方法であって、
    第1の信号成分と一組のフィルタパラメータを受信するステップと、
    前記受信した一組のフィルタパラメータに対応する予測フィルタを用いて、第2の信号成分を推定するステップと、ここで、前記予測フィルタは前記受信された第1の信号成分を入力として受信する方法。
  11. 請求項10に記載の方法であって、
    前記第1の信号成分を受信する前記ステップは、変換パラメータを受信するステップをさらに有し、ここで、前記第1の信号成分はソースマルチチャンネル信号の少なくとも第1と第2のソース信号成分の所定の変換の結果に対応し、前記所定の変換は少なくとも前記変換パラメータによりパラメータ表示されており、
    当該方法は前記受信した第1の信号成分と前記推定した第2の信号成分を逆変換することにより第1と第2の復号された信号成分を生成するステップをさらに有する方法。
  12. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する装置であって、
    前記第2の信号成分を推定する予測フィルターと、ここで、前記予測フィルターは一組のフィルターパラメータに対応し、前記信号成分を入力として受信し、
    前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すための処理手段とを有する装置。
  13. 少なくとも2つの信号成分に対応するマルチチャンネル信号を復号する装置であって、
    前記マルチチャンネル信号の第1の信号成分と一組のフィルターパラメータを受信する受信手段と、
    前記マルチチャンネル信号の第2の信号成分を推定する予測フィルターと、ここで、前記予測フィルターは前記受信した一組のフィルターパラメータと前記受信した第1の信号成分を入力として受信する予測フィルターとを有する装置。
  14. マルチチャンネル信号情報を含むデータ信号であって、ここで、前記データ信号は少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法により生成され、当該方法は、
    前記第1の信号成分を入力として受信したとき予測フィルターが前記第2の信号成分の推定を提供するように前記予測フィルターの一組のフィルターパラメータを決定するステップと、
    前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すステップとを有する方法である装置。
  15. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法により生成されたマルチチャンネル信号情報を示すデータ記録を有するコンピュータ読み取り可能な媒体であって、前記方法は、
    前記第1の信号成分を入力として受信したとき予測フィルターが前記第2の信号成分の推定を提供するように前記予測フィルターの一組のフィルターパラメータを決定するステップと、
    前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すステップとを有する方法である媒体。
  16. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する装置を有する、マルチチャンネル信号を通信するデバイスであって、前記装置は
    前記第2の信号成分を推定する予測フィルターと、ここで、前記予測フィルターは一組のフィルターパラメータに対応し、前記信号成分を入力として受信し、
    前記マルチチャンネル信号を前記第1の信号成分と前記一組のフィルターパラメータとして表すための処理手段とを有する装置であるデバイス。
JP2003582752A 2002-04-10 2003-03-20 ステレオ信号の符号化 Expired - Lifetime JP4805541B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02076408.0 2002-04-10
EP02076408 2002-04-10
PCT/IB2003/001154 WO2003085645A1 (en) 2002-04-10 2003-03-20 Coding of stereo signals

Publications (2)

Publication Number Publication Date
JP2005522722A true JP2005522722A (ja) 2005-07-28
JP4805541B2 JP4805541B2 (ja) 2011-11-02

Family

ID=28685942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003582752A Expired - Lifetime JP4805541B2 (ja) 2002-04-10 2003-03-20 ステレオ信号の符号化

Country Status (11)

Country Link
US (1) US7359522B2 (ja)
EP (1) EP1500086B1 (ja)
JP (1) JP4805541B2 (ja)
KR (1) KR100981694B1 (ja)
CN (1) CN1311426C (ja)
AT (1) ATE459957T1 (ja)
AU (1) AU2003212592A1 (ja)
BR (2) BRPI0308691A2 (ja)
DE (1) DE60331535D1 (ja)
ES (1) ES2341327T3 (ja)
WO (1) WO2003085645A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183528A (ja) * 2005-12-06 2007-07-19 Fujitsu Ltd 符号化装置、符号化方法、および符号化プログラム
JP2008503767A (ja) * 2004-06-21 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネルオーディオ信号を符号化及び復号する方法及び装置
JP2008530616A (ja) * 2005-02-22 2008-08-07 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. ニアトランスペアレントまたはトランスペアレントなマルチチャネルエンコーダ/デコーダ構成
JP2008536184A (ja) * 2005-04-15 2008-09-04 コーディング テクノロジーズ アクチボラゲット 適応残差オーディオ符号化
WO2009144953A1 (ja) * 2008-05-30 2009-12-03 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
CN104205211A (zh) * 2012-04-05 2014-12-10 华为技术有限公司 多声道音频编码器以及用于对多声道音频信号进行编码的方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2316154C2 (ru) * 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
ES2355240T3 (es) 2003-03-17 2011-03-24 Koninklijke Philips Electronics N.V. Procesamiento de señales de múltiples canales.
KR20050116828A (ko) * 2003-03-24 2005-12-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 다채널 신호를 나타내는 주 및 부 신호의 코딩
DE102004009954B4 (de) * 2004-03-01 2005-12-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
CN104112450A (zh) * 2004-06-08 2014-10-22 皇家飞利浦电子股份有限公司 音频编码器,音频解码器,编码与解码音频信号的方法及音频设备
EP1810279B1 (en) * 2004-11-04 2013-12-11 Koninklijke Philips N.V. Encoding and decoding of multi-channel audio signals
KR100707177B1 (ko) * 2005-01-19 2007-04-13 삼성전자주식회사 디지털 신호 부호화/복호화 방법 및 장치
CN101151660B (zh) * 2005-03-30 2011-10-19 皇家飞利浦电子股份有限公司 多通道音频编码器、解码器以及相应方法
US8050915B2 (en) 2005-07-11 2011-11-01 Lg Electronics Inc. Apparatus and method of encoding and decoding audio signals using hierarchical block switching and linear prediction coding
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR100803212B1 (ko) 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
FR2898725A1 (fr) * 2006-03-15 2007-09-21 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
WO2007104882A1 (fr) 2006-03-15 2007-09-20 France Telecom Dispositif et procede de codage par analyse en composante principale d'un signal audio multi-canal
CN1909064B (zh) * 2006-08-22 2011-05-18 复旦大学 一种在线自然语音卷积混合信号的时域盲分离方法
KR100860830B1 (ko) * 2006-12-13 2008-09-30 삼성전자주식회사 음성 신호의 스펙트럼 정보 추정 장치 및 방법
US8935158B2 (en) 2006-12-13 2015-01-13 Samsung Electronics Co., Ltd. Apparatus and method for comparing frames using spectral information of audio signal
CN101067931B (zh) * 2007-05-10 2011-04-20 芯晟(北京)科技有限公司 一种高效可配置的频域参数立体声及多声道编解码方法与系统
EP2293292B1 (en) * 2008-06-19 2013-06-05 Panasonic Corporation Quantizing apparatus, quantizing method and encoding apparatus
CN101673548B (zh) * 2008-09-08 2012-08-08 华为技术有限公司 参数立体声编码方法、装置和参数立体声解码方法、装置
EP2439964B1 (en) * 2009-06-01 2014-06-04 Mitsubishi Electric Corporation Signal processing devices for processing stereo audio signals
JP5511848B2 (ja) * 2009-12-28 2014-06-04 パナソニック株式会社 音声符号化装置および音声符号化方法
US8634569B2 (en) * 2010-01-08 2014-01-21 Conexant Systems, Inc. Systems and methods for echo cancellation and echo suppression
WO2012094528A1 (en) 2011-01-05 2012-07-12 Conexant Systems, Inc., A Delaware Corporation Systems and methods for stereo echo cancellation
EP2645748A1 (en) * 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
CN105336333B (zh) * 2014-08-12 2019-07-05 北京天籁传音数字技术有限公司 多声道声音信号编码方法、解码方法及装置
CN105632505B (zh) * 2014-11-28 2019-12-20 北京天籁传音数字技术有限公司 主成分分析pca映射模型的编解码方法及装置
CN109427328B (zh) * 2017-08-28 2023-04-28 中国科学院声学研究所 一种基于滤波网络声学模型的多通道语音识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62239631A (ja) * 1986-04-10 1987-10-20 Toshiba Corp ステレオ音声伝送蓄積方式
JPH04360331A (ja) * 1991-02-01 1992-12-14 Philips Gloeilampenfab:Nv サブバンドコーディングシステム、及び該システムを具えている送信機
JPH0723009A (ja) * 1993-06-05 1995-01-24 Robert Bosch Gmbh 冗長性低減方法
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第1成分と第2成分を含む信号を処理する装置と方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4554670A (en) * 1982-04-14 1985-11-19 Nec Corporation System and method for ADPCM transmission of speech or like signals
US4815132A (en) * 1985-08-30 1989-03-21 Kabushiki Kaisha Toshiba Stereophonic voice signal transmission system
US5434948A (en) * 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
JP3176474B2 (ja) * 1992-06-03 2001-06-18 沖電気工業株式会社 適応ノイズキャンセラ装置
JP2758846B2 (ja) * 1995-02-27 1998-05-28 埼玉日本電気株式会社 ノイズキャンセラ装置
JPH11502324A (ja) * 1995-12-15 1999-02-23 フィリップス エレクトロニクス エヌ ベー 適応雑音除去装置、雑音減少システム及び送受信機
US6430295B1 (en) * 1997-07-11 2002-08-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for measuring signal level and delay at multiple sensors
US6121904A (en) * 1998-03-12 2000-09-19 Liquid Audio, Inc. Lossless data compression with low complexity
ES2237081T3 (es) * 1998-03-18 2005-07-16 Koninklijke Philips Electronics N.V. Prediccion de datos en un sistema de transmision.
GB9922654D0 (en) * 1999-09-27 1999-11-24 Jaber Marwan Noise suppression system
KR100809310B1 (ko) * 2000-07-19 2008-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오 서라운드 및/또는 오디오 센터 신호를 구동하기 위한 다중-채널 스테레오 컨버터
US6963649B2 (en) * 2000-10-24 2005-11-08 Adaptive Technologies, Inc. Noise cancelling microphone
JP2004517538A (ja) * 2000-12-22 2004-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 多チャネル・オーディオ変換器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62239631A (ja) * 1986-04-10 1987-10-20 Toshiba Corp ステレオ音声伝送蓄積方式
JPH04360331A (ja) * 1991-02-01 1992-12-14 Philips Gloeilampenfab:Nv サブバンドコーディングシステム、及び該システムを具えている送信機
JPH0723009A (ja) * 1993-06-05 1995-01-24 Robert Bosch Gmbh 冗長性低減方法
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第1成分と第2成分を含む信号を処理する装置と方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503767A (ja) * 2004-06-21 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネルオーディオ信号を符号化及び復号する方法及び装置
JP2008530616A (ja) * 2005-02-22 2008-08-07 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. ニアトランスペアレントまたはトランスペアレントなマルチチャネルエンコーダ/デコーダ構成
JP4887307B2 (ja) * 2005-02-22 2012-02-29 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. ニアトランスペアレントまたはトランスペアレントなマルチチャネルエンコーダ/デコーダ構成
JP2008536184A (ja) * 2005-04-15 2008-09-04 コーディング テクノロジーズ アクチボラゲット 適応残差オーディオ符号化
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
JP4685925B2 (ja) * 2005-04-15 2011-05-18 ドルビー インターナショナル アクチボラゲット 適応残差オーディオ符号化
JP2007183528A (ja) * 2005-12-06 2007-07-19 Fujitsu Ltd 符号化装置、符号化方法、および符号化プログラム
WO2009144953A1 (ja) * 2008-05-30 2009-12-03 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
US8452587B2 (en) 2008-05-30 2013-05-28 Panasonic Corporation Encoder, decoder, and the methods therefor
JP5383676B2 (ja) * 2008-05-30 2014-01-08 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
CN104205211A (zh) * 2012-04-05 2014-12-10 华为技术有限公司 多声道音频编码器以及用于对多声道音频信号进行编码的方法
US9449603B2 (en) 2012-04-05 2016-09-20 Huawei Technologies Co., Ltd. Multi-channel audio encoder and method for encoding a multi-channel audio signal

Also Published As

Publication number Publication date
WO2003085645A1 (en) 2003-10-16
ES2341327T3 (es) 2010-06-18
EP1500086A1 (en) 2005-01-26
CN1647158A (zh) 2005-07-27
ATE459957T1 (de) 2010-03-15
DE60331535D1 (de) 2010-04-15
JP4805541B2 (ja) 2011-11-02
CN1311426C (zh) 2007-04-18
KR100981694B1 (ko) 2010-09-13
US7359522B2 (en) 2008-04-15
BRPI0308691A2 (pt) 2016-11-16
KR20040101429A (ko) 2004-12-02
US20050213522A1 (en) 2005-09-29
AU2003212592A1 (en) 2003-10-20
EP1500086B1 (en) 2010-03-03
BRPI0308691B1 (pt) 2018-06-19

Similar Documents

Publication Publication Date Title
JP4805541B2 (ja) ステレオ信号の符号化
JP4805540B2 (ja) ステレオ信号の符号化
JP7161564B2 (ja) チャネル間時間差を推定する装置及び方法
KR100978018B1 (ko) 공간 오디오의 파라메터적 표현
RU2762302C1 (ru) Устройство, способ или компьютерная программа для оценки разности во времени между каналами
US9467790B2 (en) Reverberation estimator
WO2019170955A1 (en) Audio coding
JP5309944B2 (ja) オーディオ復号装置、方法、及びプログラム
CN113302688A (zh) 高分辨率音频编解码
Aarts et al. Coding of stereo signals
CN118283489A (zh) 用于估计通道间时间差的装置、方法或计算机程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090911

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110811

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4805541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term