JP2005522721A - ステレオ信号の符号化 - Google Patents

ステレオ信号の符号化 Download PDF

Info

Publication number
JP2005522721A
JP2005522721A JP2003582751A JP2003582751A JP2005522721A JP 2005522721 A JP2005522721 A JP 2005522721A JP 2003582751 A JP2003582751 A JP 2003582751A JP 2003582751 A JP2003582751 A JP 2003582751A JP 2005522721 A JP2005522721 A JP 2005522721A
Authority
JP
Japan
Prior art keywords
signal
main
channel
conversion
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003582751A
Other languages
English (en)
Other versions
JP4805540B2 (ja
Inventor
エム アールツ,ロナルデュス
イルワン,ロイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2005522721A publication Critical patent/JP2005522721A/ja
Application granted granted Critical
Publication of JP4805540B2 publication Critical patent/JP4805540B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/667Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

少なくとも第1の信号成分(L)と第2の信号成分(R)を含むマルチチャンネル信号、例えば、ステレオ音声オーディオ信号を符号化する方法が開示されている。その方法は、所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号(y)と前記主信号より少ないエネルギーを含む剰余信号(r)に変換するステップと、ここで前記所定の信号は少なくとも1つの変換パラメータ(α)でパラメータ表示されており、前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップとを有する。マルチチャンネル信号を符号化するための対応する装置、および上記信号を復号するための対応する方法および装置がさらに開示されている。

Description

発明の詳細な説明
本発明は少なくとも第1と第2の信号成分を含むマルチチャンネル信号の符号化に関する。特に、マルチ音声のオーディオ信号、例えばステレオ音声信号の符号化に関する。
ステレオ音声オーディオ信号は、ステレオ信号源、例えば別々のマイクロホン信号から生ずる左(L)と右(R)信号成分を有する。オーディオ信号の符号化はステレオ音声信号のビットレートの削減を目的としている。すなわち、モデム、アナログ電話線、モバイル通信チャンネル、その他の無線ネットワーク等を介して、通信ネットワーク、例えばインターネットを介してサウンド信号を効率的に送信することを目的とし、またステレオ音声サウンド信号をチップカードその他の記憶容量が限られた記憶媒体に記憶することを目的としている。
米国特許第4,589,127号は、ステレオ信号L、Rの和信号と差信号を生成するステレオ音声信号のトランスミッタを開示している。その和信号と差信号は、和情報と差情報の両方を有する変調信号を結果として生ずる変調方法で用いられる。

しかし、上記先行技術の方法はステレオ信号を効率的にビットレートを用いて、すなわち、与えられた音質に対して低いビットレートで符号化するという問題を解決できない。
上記その他の問題は、少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法であって、
所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号と前記主信号より少ないエネルギーを含む剰余信号に変換するステップと、ここで前記所定の信号は少なくとも1つの変換パラメータでパラメータ表示されており、
前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップとを有する方法により解決される。
その結果として、マルチチャンネル信号をエネルギーのほとんどを含む主信号と、信号エネルギー少ししか含まない剰余信号に変換することにより、マルチチャンネル信号は前記主信号、前記変換パラメータ、および選択的にエネルギーが小さい剰余信号により表すことができる。効果的に、マルチチャンネル信号は単一チャンネル、すなわちモノチャンネルのビットレートよりも少し高いだけのビットレートで符号化することができる。結果として生ずる符号化された信号は記憶され、および/またはレシーバに送信される。
前記方法が少なくとも前記第1と第2の信号成分に基づき前記変換パラメータを適合的に決定するステップをさらに有するとき、最適な変換パラメータを連続的に追跡できる。それにより、入力信号の特徴が変化しても、例えば、動いている音源によるオーディオ信号や環境の音響特性が変化するような場合に、最適な変換が可能となる。
前記所定の変換は回転であり、前記変換パラメータは回転角に対応するとき、簡単な変換が単一のパラメータである回転角だけに基づき与えられる。信号成分、例えばステレオ信号のL、R信号成分が主成分信号と剰余信号に回転するような角度を適用することにより、高い音質の信号を維持しながら効率的な符号化が提供される。
本発明の好ましい実施形態において、前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップは、前記マルチチャンネル信号を前記主信号、前記変換パラメータ、および前記剰余信号により表すステップをさらに有する。それにより、いずれの信号情報も捨てられないので、符号化された信号の音質がさらに向上する。剰余信号は主信号と比較して小さいので、それらの信号の間でビットの割当てがトレードオフされる。さらにまた、ビットレートの割当ては変化するかもしれないので、フェイルソフトのメカニズム、例えば、剰余信号に許されるビットレートをアダプティブに増加または減少することにより提供される。
その結果として、さらに好ましい実施形態において、前記マルチチャンネル信号を前記主信号、前記変換パラメータ、および前記剰余信号により表すステップは、
前記主信号を第1のビットレートで符号化するステップと、
前記剰余信号を前記第1のビットレートより低い第2のビットレートで符号化するステップとをさらに有する。
他の好ましい実施形態において、
当該方法は、一組のフィルターパラメータに対応する予測フィルターを用いて前記剰余信号を前記主信号から推定するステップをさらに有し、
前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップは、前記主信号、前記変換パラメータ、および前記一組のフィルターパラメータによって前記マルチチャンネル信号を表すステップを有する。
本発明の本実施形態は、多くのマルチチャンネル信号について、例えば、音楽のオーディオ信号および音声信号の場合、剰余信号は主信号のフィルターされたバージョンとして推定できるであろうという認識に基づく。それゆえ、剰余信号をモデル化するアダプティブフィルターの一組のフィルターパラメータを決定するとき、そのフィルターパラメータは主信号および変換パラメータとともに符号化されてもよい。その結果として、剰余信号の通信をしなくともその信号に含まれる情報を失うことない。それゆえ、高い音質レベルを保ったまま効率的な符号化ができる。
ビットレートを効率的に使用できること、すなわち与えられた音質に対して低いビットレートを用いる符号化方法が、本発明の長所である。本発明による符号化方法は、音質を大きく損なうことなくビットレートを削減するために、音質を向上させつつビットレートを維持するために、または上記の組み合わせのために用いることができる。
本発明は、マルチチャンネル信号情報を復号する方法であって、
主信号と変換パラメータを受信するステップと、ここで、前記主信号はマルチチャンネルソース信号の少なくとも第1と第2の信号成分の所定の変換の結果に対応し、前記所定の変換は少なくとも前記変換パラメータによりパラメータ表示されており、
前記受信した主信号と少なくとも1つの剰余信号を逆変換することにより第1と第2の復号された信号成分を生成するステップとを有する方法にもさらに関する。
本発明は、上で説明した、また以下で説明する方法、マルチチャンネル信号をそれぞれ符号化および復号する装置、データ信号、およびさらなる製品手段を含む異なった方法で実施することができる。これらはそれぞれ、最初に触れた方法に関連して説明した1以上の利益および長所を生じ、最初に触れた方法に関連して説明した、および従属項で開示した好ましい実施形態に対応する1以上の好ましい実施形態を持つ。
上で説明したおよび以下で説明する方法の特徴は、ソフトウェアで実施してもよく、コンピュータで実行可能な命令の実行によりデータ処理システムまたは他の処理手段で実施してもよい。命令は、記憶媒体から、またはコンピュータネットワークを介して他のコンピュータからメモリ、例えばRAMにロードされたプログラムコード手段でもよい。あるいは、説明した特徴は、ソフトウェアまたはその組み合わせではなくハードウェア回路により実施されてもよい。
本発明は、少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する装置であって、
所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号と前記主信号より少ないエネルギーを含む剰余信号に変換する第1の処理手段と、ここで前記所定の信号は少なくとも1つの変換パラメータでパラメータ表示されており、
前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表す第2の処理手段とを有する装置にさらに関する。
本発明は、マルチチャンネル信号情報を復号する装置であって、
主信号と変換パラメータを受信する受信手段と、ここで、前記主信号はマルチチャンネルソース信号の少なくとも第1と第2の信号成分の所定の変換の結果に対応し、前記所定の変換は少なくとも前記変換パラメータによりパラメータ表示されており、
前記受信した主信号と少なくとも1つの剰余信号を逆変換することにより第1と第2の復号された信号成分を生成する処理手段とを有する装置にさらに関する。
上記装置は、例えばデスクトップおよびノートブックPC等のコンピュータ、据え置きおよびポータブルのラジオ通信装置、および携帯電話、ページャ、オーディオプレーヤ、マルチメディアプレーヤ、コミュニケータ、すなわち電子オーガナイザ、スマートフォン、パーソナルデジタルアシスタント(PDA)、ハンドヘルドコンピュータ等のその他ハンドヘルドまたはポータブルのデバイスを含むいかなる電子装置の一部であってもよい。
処理手段という用語は、汎用または特定用途のプログラマブルマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途用集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途電子回路等、またはこれらの組み合わせを含む。上記の第1および第2の処理手段は、別々の処理手段であってもよく、1つの処理手段に含まれてもよい。
受信手段という用語は、例えば、有線または無線のデータリンクを介してデータの通信を可能とするのに好適な回路および/またはデバイスを含む。上記受信手段の例としては、ネットワークインターフェイス、ネットワークカード、ラジオレシーバ、他の好適な電磁信号、例えばIrDAポートを介する赤外線、ブルートゥーストランシーバを介するラジオベースの通信のレシーバを含む。さらに上記の受信手段の例として、ケーブルモデム、電話モデム、統合サービスデジタルネットワーク(ISDN)アダプタ、デジタル加入者線(DSL)アダプタ、衛星トランシーバ、イーサネット(登録商標)アダプタ等を含む。
受信手段という用語は、データ信号、例えば、コンピュータ読み取り可能な媒体に記憶されたデータ信号を受信するための他の入力回路・デバイスを含む。上記の受信手段の例としては、フロッピディスクドライブ(登録商標)、CD-ROMドライブ、DVDドライブ、その他の好適なディスクドライブ、メモリーカードアダプタ、スマートカードアダプタがある。
本発明はマルチチャンネル信号情報を含むデータ信号にさらに関する。そのデータ信号は上で説明した、および以下で説明する方法により生成される。信号は搬送波上のデータ信号、例えば上で説明したおよび以下で説明するように通信手段により送信されたデータ信号として実施されてもよい。
本発明はさらに、上で説明したおよび以下で説明する方法により生成されたマルチチャンネル信号情報を表すデータレコードを有するコンピュータ読み取り可能な媒体に関する。コンピュータ読み取り可能な媒体という用語は、磁気テープ、光ディスク、デジタルビデオディスク(DVD)、コンパクトディスク(CDまたはCD-ROM)、ミニディスク、ハードディスク、フロッピディスク(登録商標)、強誘電体メモリ、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリ、EPROM、リードオンリメモリ(ROM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、強磁性メモリ、光記憶、電化結合素子、スマートカード、PCMCIAカード等を含む。
本発明はさらに、少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を通信するデバイスであって、当該デバイスは上で説明したおよび以下で説明するように、前記マルチチャンネル信号を符号化する装置を有するデバイスに関する。

図1は本発明の一実施形態によるステレオ信号を通信するためのシステムを示す概略図である。当該システムは、符号化されたステレオ音声信号を生成するための符号化デバイス101と、受信した符号化された信号をステレオL信号とステレオR信号成分に復号するための復号デバイス105を有する。符号化デバイス101と復号デバイス105の各々は、いかなる電子装置であっても、またはその一部であってもよい。ここで、電子装置という用語は、コンピュータ、例えばデスクトップPCおよびノートブックPC、据付およびポータブルのラジオ通信装置、およびその他のハンドヘルドまたはポータブルデバイス、例えば形態電話、ページャー、オーディオプレーヤ、マルチメディアプレーヤ、コミュニケータ、すなわち電子オーガナイザ、スマートフォン、パーソナルデジタルアシスタント(PDA)、ハンドヘルドコンピュータ等を含む。符号化デバイス101と復号デバイスは、ステレオ音声信号が後で再生するためにコンピュータ読み取り可能な媒体上に記憶された1つの電子装置になっていてもよいことに注意すべきである。
符号化デバイス101は、本発明によるステレオ音声信号を符号化するためのエンコーダ102を有する。そのステレオ音声信号はL信号成分とR信号成分とを含む。そのエンコーダはL・R信号成分を受信し、符号化された信号Tを生成する。ステレオ音声信号L・Rは、一組のマイクロホンから、例えばさらに電子装置、例えばミキシング装置等を介して生成されてもよい。その信号はさらに、他のステレオプレーヤからの出力として、ラジオ信号として放送で、またはその他の好適な手段によって受信されてもよい。本発明による上記のエンコーダの好ましい実施形態を以下に説明する。一実施形態において、エンコーダ102は、復号デバイス105に通信チャンネル109を介して符号化された信号Tを送信するためにトランスミッタ103に接続されている。トランスミッタ103は、例えば有線または無線のデータリンク109を介して、データを通信可能とするために好適な回路を有してもよい。上記トランスミッタの例として、ネットワークインターフェイス、ネットワークカード、ラジオトランスミッタ、その他好適な電子信号のトランスミッタ、例えばIrDAポートを介した赤外線を送信するためのLED、ブルートゥースを介したラジオベースの通信等がある。さらに、好適なトランスミッタの例として、ケーブルモデム、電話モデム、統合サービスデジタルネットワーク(ISDN)アダプタ、デジタル加入者線(DSL)アダプタ、衛星トランシーバ、イーサネット(登録商標)アダプタ等がある。相応じて、通信チャンネル109は、いかなる好適な有線または無線のデータリンク、例えば、インターネットや他のTCP/IPネットワーク等のパケットベースの通信ネットワークのデータリンク、赤外線リンク、ブルートゥース接続、その他のラジオベースのリンク等の短距離通信リンクであってもよい。さらに、通信チャンネルの例として、コンピュータネットワーク、無線通信、例えばセルラーデジタルパケットデータ(CDPD)ネットワーク、グローバルシステムフォーモバイル(GSM)ネットワーク、符号分割多重アクセス(CDMA)ネットワーク、時間分割多重アクセス(TDMA)ネットワーク、一般パケットラジオサービス(GPRS)ネットワーク、UMTSネットワーク等の第3世代ネットワークなどがある。代替的に、または追加的に、符号化デバイスは符号化されたステレオ信号Tを復号デバイス105に送信するための1以上の他のインターフェイス104を有してもよい。上記インターフェイスの例として、コンピュータ読み込み可能な媒体110にデータを記憶させるディスクドライブ、例えばフロッピディスク(登録商標)ドライブ、リード/ライトCD-ROMドライブ、DVDドライブ等がある。他の例として、メモリーカードスロット、磁気カードリーダ/ライタ、スマートカードアクセス用インターフェイス等がある。相応じて、符号化デバイス105は、インターフェイス104およびコンピュータ読み取り可能な媒体110を介して通信された符号化されたステレオ信号を受信するために、トランスミッタおよび/またはその他のインターフェイス106により送信された信号を受信するための対応するレシーバ108を有している。復号デバイスは、受信信号Tを受信し、対応するステレオ成分L´とR´に復号するデコーダ107を有する。本発明による上記デコーダの好ましい実施形態は以下で説明する。復号された信号L´とR´は、一組のスピーカ、ヘッドホンなどを介して再生するためのステレオプレーヤに供給される。
図2は本発明による第1の実施形態によるステレオ信号を符号化するための装置102を示す概略図である。本装置は、L-R空間内のステレオ信号を角αだけ回転し、その変換により、回転した信号成分yとrとを結果として生ずる回路201を有する。
Figure 2005522721
ここで、wL=cosα、wR=sinαは重み付けファクターと呼ばれる。
本発明によると、角αは信号分散が高い方向に対応するように決められる。信号分散が最大の方向、すなわち主成分は、回転したy成分が信号エネルギーのほとんどを含む主成分信号に対応し、rが剰余信号であるように主成分分析により推定してもよい。相応じて、図2の装置は、角α、または代替的に重み付けファクターwLとwRを決定する回路200を有する。
図3を参照して、好ましい実施形態によると、上記の重み付けファクターwLとwRは、次のアルゴリズムにより決定される。
最初に、入力ステレオ信号LとRは整形され、ローパスフィルタにかけられる。その結果、LとRのそれぞれの包絡線信号p(k)とq(k)が得られる。ここで、p(k)、q(k)は好適にサンプリングされ、サンプルインデックスをkで表した。よって、ベクトルx(k)=(p(k),q(k))は入力信号ベクトルを表す。代替的に、信号LとRを直接、すなわちフィルターせずに用いてもよい。LとRを他のフィルターで処理したものを用いてもよい。例えば、ハイパスフィルターで処理したLとR等である。図3において、多数の信号点が丸として示されている。一例として、信号点x(k)とそれに対応する成分p(k)とq(k)が示されている。本発明によると、信号は信号ベクトルの主成分の方向に回転される。図3の例において、これはy方向に対応し、αはy方向とp方向間の角度である。重み付けベクトルw=(wL,wR)は、主成分の方向を示し、x(k)の回転した方向はy(k)とr(k)でそれぞれ示される。
主成分は当該技術分野において知られたいかなる好適な方法で決定してもよい。有利な実施形態において、Ojaのルールを使用した繰り返し法が用いられた(例えば、S. Haykin、「ニューラルネットワーク」、プレンティスホール、ニュージャージー、1999年を参照)。本実施形態によると、重み付けベクトルwは、次式により繰り返し推定される。
Figure 2005522721
ここで、w(k)=(wL(k),wR(k))は時刻kにおける推定に対応する。上記の繰り返しは、例えば、一組の小さなランダムの重み付けw(0)から始めてもよいし、他のいかなる好適な方法で始めてもよい。上記推定された重み付けベクトルはy(k)=wT(k)x(k)により回転された信号を計算するために用いられてもよい。代替的に、式(2)の繰り返しはブロックベースで、例えばN個のサンプルのブロックごとに実行してもよい。ここで、Nは特定の実施に依存し、例えばN=512、1024、2048などである。本実施形態において、1つのブロックの推定された重み付けベクトルw(N)は、y(k)=wT(k)x(k)によるそのブロックの全サンプルの変換で用いられてもよい。
式(2)の係数μはトラッキングアルゴリズムの時間スケールに対応する。μ=0のとき、重み付けファクタおよび角αは一定であり、μが大きいときは急速に変化する。一例として、ブロックサイズ2048個のサンプルについて、μは44.1kHzのサンプリングレートに対して10-3のオーダーとなる。
線形であること、すなわち三角関数や平方根の計算を要しないこと等は、上記の繰り返しアルゴリズムの長所である。式(2)の項+μx(k-1)が重み付けベクトルを主成分の方向に動かすが、項-μw(k-1)y(k-1)が大きな重み付けを不利にする重み付け減少項に対応するので、上記の繰り返しが正規化された重み付けベクトルwを生じることはさらに有利である。本実施形態において、x(k)は包絡線信号なので、wL,wR∈[0,1]、すなわち、重み付けベクトルwは図3の第1象限にあり、それによってμは正となることにさらに注意すべきである。他のファクターは次式により決定されるので、wLおよびwRの一方を送信すれば十分であることはさらに有利である。
Figure 2005522721
代替的に、角αが送信されてもよい。
再び図2を参照して、回路200は決定された角α、または代替的に重み付けファクターwLとwRの一方または両方を出力する。角度情報は、回転した信号成分yとrを生成する回転回路201に入力される。回路200と201は、式(2)の繰り返し計算と式(1)によるyとrの計算を実行する単一の回路であってもよい。
本装置は、信号yとrをそれぞれ適当に符号化するエンコーダ202を有する。例えば、信号は、シヌソイド符号化(SSC)、またはサブバンド、パラメトリック、または変換方法に基づくオーディオ符号化、またはその他の好適な方法ならいずれでもよく、それらの組み合わせでもよい方法により、MPEG、例えばMPEG-Iレイヤー3(MP3)により符号化される。エンコーダ202は同じタイプでも異なるタイプでもよく、例えば1つのMP3エンコーダと1つのSSCエンコーダであってもよい。結果として生ずる符号化信号yeとreはそれぞれ、角度情報αとともにコンバイナ回路204に入力される。コンバイナ回路204はフレーミング、ビットレート割当て、ロスレス符号化、を実行し、結果として通信用の結合信号Tを生じる。一実施形態において、角度α、または代替的にwLとwRは、信号フレーム、信号ブロック等の前に送信されるヘッダの一部として通信されてもよい。本発明によると、変換角度αは主成分信号が信号エネルギーのほとんどを含むようにトラックされるので、yとr信号に割り当てられるビットレートは、異なるように選択され、それによって符号化効率を最適化する。
例えば、ステレオ信号LとRは、L=M+S、R=M-Sと表される。ここで、Mは中央またはセンター信号に対応し、Sはステレオまたはサイド信号に対応する。静止した音源の音響記録の場合、例えば2つのマイクロホンにより記録された話者の場合、その話者がマイクロホンのちょうど中間にいて、反射等の音響的歪みがないと仮定すれば、LおよびR信号はほぼ等しくなる。それゆえ、この場合、Sはほぼ0であるか少なくとも小さく、本発明による符号化方法はL+Rに一致するyと、0または小さいL-Rに一致するrを実質的に生ずる。これはα=45°に対応する。話者がマイクロホンのちょうど真ん中に位置していないとき、すなわち非対称性があるとき、しかし反射等の歪みがないと仮定して、本発明による回転した信号yはその話者に一致し、剰余信号rはほぼゼロである。
しかし、この場合、αは45°ではない。音源が例えば左から右に動くとき、本発明による方法は音源に対応する主成分信号yと小さな剰余信号rを生じる。理想的にはr=0である。この場合、αは0(左端)から90°(右端)まで変化する。
上記の例は角度αをトラッキングする利点を示す。上記の状況において、デコーダが音質を大きく損なうことなく元の信号RとLを再構成するために、主成分信号yと角度αを送信するだけでよい。一般に、主信号と比較して剰余信号rは小さいので、ビット割当てまたは符号化効率はyとrの間で交換可能である。よって、ステレオ信号の効率的な符号化を可能とすることは、本発明の有利性である。
図4は、本発明の第1の実施形態によるステレオ信号を復号する装置107の概略図である。本装置は、例えば図2に関連して説明した実施形態によるエンコーダから生ずる符号化されたステレオ信号Tを受信する。本装置は、結合信号Tから符号化された信号ye、reと角度情報αを抽出する回路404を有する。すなわち、回路404は、図2のコンバイナ204の逆演算を行う。抽出された信号yeとreは、図2のエンコーダ202により実行される符号化に対応するオーディオ復号を実行するデコーダ402に入力され、復号された主成分信号y´と復号された剰余信号r´を生ずる。信号y´、r´、および角度情報αは、信号y´、r´を元のLとR成分の方向に戻す回転をする回転回路401に入力され、受信された信号L´とR´を生ずる。
図5は、本発明の第2の実施形態によるステレオ信号を符号化する装置の概略図である。本装置は、ステレオ信号LとRを角度αだけ回転し、図2と関連して説明したように回転した信号成分yとrを生ずる回路201を有する。本装置は、図2と3に関連して説明した回転の角度を決定する回路200をさらに有する。本発明のこの形態によると、剰余信号rは主信号yのフィルターされたものとして推定されてもよい。図2と関連して説明したように、例えば反射等による音響的歪み無しに2つのマイクロホンによって記録されたオーディオソースの音響記録において、主信号yはオーディオソースに一致し、剰余信号はほぼゼロである。しかし、現実的な状況においては、例えば、部屋の壁や話者の頭や胴体の反射による歪みが存在する。これらの効果は剰余信号rに影響する。その結果として、フィルターにより剰余信号を推定するとき、そのフィルターが実質的に部屋の音響等をモデル化する。クラシックオーケストラの場合も状況は同様であるが、モダンポップミュージックの場合は状況が少し違う。この場合、サウンドエンジニアが、しばしば人工的な反射、効果ボックス等を用いて、一般的には複数のチャンネルを2つのチャンネルにミックスする。この場合、そのフィルターはミキシング過程により導入された音響効果をモデル化する。
さらに図5を参照して、本装置は主信号yを入力として受信し、フィルターされた信号
Figure 2005522721
を生成するアダプティブフィルタ501を有する。そのアダプティブフィルタのフィルターパラメータFpは、例えば減算回路502により生成されるrと
Figure 2005522721
間の差を示すエラー信号eによりアダプティブフィルタ501を制御することにより、フィルターされた信号
Figure 2005522721
が剰余信号rを近似するように選択される。結果として生じるフィルターパラメータFpは、好ましくはエンコーダ503、例えばハフマン符号化や他の好適な符号化方法を提供するエンコーダによる適当な符号化の後、コンバイナ回路204に入力される。フィルター501は、当該技術分野で知られた好適なフィルターであればいかなるものであってもよい。上記フィルターの例としては、有限インパルス応答(FIR)フィルターまたは無限インパルス応答(IIR)フィルターであり、アダプティブまたは固定であり、カットオフ周波数を有し、強度が固定または繰り返しトラックされているもの等がある。フィルターの次数はいくつでもよいが、好ましくは10より小さい方がよい。フィルターのタイプは、バターワース、チェビシェフ、その他好適なタイプであればよい。本装置は、図2を関連して説明した主信号を符号化するエンコーダ202をさらに有する。エンコーダ202は結果として、フィルターパラメータFpと角度情報αとともにコンバイナ回路204に入力される符号化された主信号yeを生ずる。図2と関連して説明したように、コンバイナ回路204は、フレーミング、ビットレート割当て、ロスレス符号化を実行し、符号化された主信号ye、フィルターパラメータFp、および角度情報αを含む、通信される結合信号Tを結果として生じる。本発明のこの実施形態によると、フィルターパラメータFpに割り当てられるビットレートは、主信号yに必要なビットレートよりかなり小さくともよい。例えば、一実施形態において、Fpのビットレートは、平均として、yのビットレートの10%より小さくともよい。よって、ステレオ信号の送信に必要なビットレートを下げることができることは、本発明の利点である。本発明による総ビットレートは、単一のモノチャンネルのビットレートより少し大きいだけである。しかし、記録中にこの割合は変化してもよいことには注意すべきである。例えば、歪みが少なく音源が動かない状況では、この割合はより小さくても良く、LとR信号が一瞬独立であるときは、この割合は大きい。
図6は、本発明の第2の実施形態によるステレオ信号を復号する装置107の概略図である。装置107は、例えば、図5と関連して説明した実施形態によるエンコーダから発せられた符号化されたステレオ信号Tを受信する。本装置107は、結合信号Tから符号化信号ye、フィルターパラメータFp、角度情報αを抽出する回路404を有する。すなわち、回路404は、図5のコンバイナ204の逆演算を実行する。抽出された信号yeは、図5のエンコーダ202により実行された符号化に対応するオーディオ復号を実行するデコーダ402に入力される。その結果として復号された主成分信号y´を生じる。好ましくは、フィルターパラメータは、図5のエンコーダ503によるフィルターパラメータの符号化に対応するデコーダ602により復号される。信号y´は、受信したフィルターパラメータFpとともにフィルター601に入力される。フィルター601は、対応する推定された剰余信号
Figure 2005522721
を生成する。受信された主成分信号y´、不意呈された剰余信号
Figure 2005522721
、および受信された角度情報αは、元のLとR成分の方向に信号y´、
Figure 2005522721
を戻す回転をする回転回路401に入力される。その結果として受信した信号L´とR´が生じる。
図5と6に関連して説明した実施形態において、フィルター501と601は、例えばエコーキャンセレーションの技術分野で知られた、テンポラルまたは時間ドメインの標準的アダプティブフィルタ(例えば、「アダプティブフィルタ理論」、S. Haykin、プレンティスホール、2001年を参照)でもよい。フィルターのその他の例としては、固定またはアダプティブなカットオフ周波数と強度を有する固定FIRまたはIIRフィルターがある。代替的に、一実施形態において、フィルターは、フィルターパラメータの数を減らすために、例えばMPEG符号化から知られているように人間の聴覚システムの音響心理学的モデルに基づいてもよい。さらに別の実施形態によると、フィルターは、例えば5つの4次のフィルターと人工的反響ユニットを用いた10次のフィルターを用いることにより、さらに簡単化される。この実施形態において、符号化側において、フィルターは適合させられ、反響時間が決定される。これらのパレメータはゆっくりと変化するので、送信に必要なビットレートを削減できる。
図7a〜cは本発明の一実施形態で用いられるフィルター回路の例の概略図である。
図7aの例において、フィルター501はフィルター701と反響フィルター702の組み合わせを有する。例えば、フィルター701はテンポラルまたは時間ドメインの標準的アダプティブフィルタ、固定またはアダプティブのカットオフ周波数と強度を有する固定FIRまたはIIRフィルタであってもよい。この実施形態によると、フィルター701のフィルターパラメータとT60と示した反響時間等の反響フィルター702のパラメータは、フィルターパラメータFpとして送信される。
図7bの例において、フィルター701と702に加え、2つの制御回路703−704が加えられている。制御回路703は、例えば反響器702の出力にパラメータβ1をかけることにより、剰余信号rの平均パワーと反響器702の出力の平均パワーがほぼ等しくなるようにするために付加されている。第2の制御回路704は、反響器702のスケールされた出力にβ2をかける。ファクターβ2は-3dBと+6dBの間の範囲で選択され、rと
Figure 2005522721
間の相互相関ρができるだけ高くなるように、すなわち信号rと
Figure 2005522721
ができるだけ似るように決定される。よって、図7bのフィルター装置は、相互相関ρを決定する回路705をさらに有する。フィルター装置は、フィルターパラメータFpの一部として出力される積β=β1・β2を生成する掛け算器706をさらに有する。よって、β1は、例えばrと
Figure 2005522721
の絶対平均を比較することにより自動的に制御されるゲインであり、β2は、例えば、相互相関係数ρを使用することにより自動的に制御される他のゲインである。第1のゲインはrのエネルギーが保存されるように、すなわちレシーバにおける予測信号
Figure 2005522721
のエネルギーがrのエネルギーに対応するように決められる。第2のゲインは、rと
Figure 2005522721
がよく相関するように決められる。
一実施形態において、反響器702とフィルター701は固定、すなわちフィルターパラメータFpに応じて適合しなくてもよい。さらに、β2は固定でもよく、それによりゆっくり変化するパラメータβ1を調整および送信する必要のある唯一のアダプティブパラメータとしてもよい。その結果として、特に簡単なフィルター装置が提供される。ステレオ信号を送信する元のステレオビットレートの約半分を要する。上記の実施形態をさらに変形して用いることもできることに注意すべきである。例えば、一実施形態においてフィルター701は省略してもよい。
さらにまた、相関ρに替えてまたは加えて、相関の他の測度が元の信号と符号化・復号後の信号との高い類似性を確保するために用いられてもよい。例えば、一実施形態において、相関器705の替わりに2つの相関器を用いてもよい。1つの相関器が入力信号LとRの相互相関ρLRを算出してもよい。さらにまた、第2の相関器が、エンコーダ・デコーダの結果として生じる出力L´とR´の相互相関ρ´LRの算出をしてもよい。すなわち、この実施形態によると、エンコーダは信号L´とR´を決定するデコーダ回路をさらに有する。この実施形態は、β2を制御するために差ερLR-ρ´LRをερが最小になるように用いる。これは図7cに示されている。ここで、図7bの相関器は、信号LとRをL´とR´と同様に入力として受信し、差ερを示す信号を出力として生成する回路707により置き換えられている。回路707の出力ερは、ερが最小になるように推定された剰余
Figure 2005522721
をスケールするために回路704を制御する。一実施形態において、回路707の入力は、周波数が低いほどερへの貢献が減るように例えば250Hzのハイパスフィルターでフィルターされている。図7bの実施形態において、符号化・復号の前の結果として生じるステレオイメージと元のステレオイメージ間の相関が非常に高いことは、この実施形態の利点である。
図8は、本発明の第3の実施形態によるステレオ信号を符号化する装置の概略図である。本装置は、図5と関連して説明した実施形態のバリエーションである。本装置は、図5と関連して説明したように、ステレオ信号LとRの回転を実行する回路201と、回転角度を決定する回路200と、アダプティブフィルタ501と、減算回路502と、エンコーダ202と、エンコーダ503と、コンバイナ回路204とを有する。この実施形態によると、主成分信号yはフィルター501には直接入力されない。その代わりとして、本装置は、図6と関連して説明したデコーダ402をさらに有する。デコーダ402は、エンコーダ202により生成された符号化された主成分信号yeを受信し、フィルター501に入力される復号された主信号y´を生成する。信号yの符号化と復号により入り込んだ符号化エラーの効果を減らせることが、この実施形態の利点である。これらの符号化エラーは、デコーダ402が実際にはエンコーダ202の完全な逆演算になっていないので、すなわちEE-1≠1なので、復号された信号y´は元の信号yから少し異なったものになる。その結果として、デコーダにおいて信号yの符号化および復号を適用することにより、フィルター501への入力y´はレシーバにおいてフィルター601に入力された入力y´に対応し、それによりレシーバにおける剰余信号の
Figure 2005522721
の予測結果が向上する。よって、この実施形態によるエンコーダは、図6の実施形態によるデコーダと関連して用いられてもよい。
図9は、本発明の第4の実施形態によるステレオ信号を符号化する装置の概略図である。本装置は、図5と関連して説明した実施形態のバリエーションである。図5に関連して説明したように、本装置は、ステレオ信号LとRの回転をする回転回路201、回転角度を決定する回路200、アダプティブフィルタ501、減算回路502、エンコーダ202、エンコーダ503、コンバイナー回路204を有する。この実施形態によると、主成分信号yはフィルター501に直接入力されない。その代わりとして、装置は、回路201から受信した剰余信号rに定数γをかける乗算回路901と、スケールされた剰余信号を主成分信号yに加える加算回路902と有し、結果としてフィルター501に入力する信号y+γrを生じる。ここで、γは小さな正の値で、例えばそのオーダーは10-2である。一実施形態において、定数γはアダプティブにトラックされる。信号yのスペクトルにはほとんど無いが、rのスペクトルにはある周波数が、符号化された信号の品質を向上させるために、フィルター501により剰余信号
Figure 2005522721
のモデル化に用いられることができることは、この実施形態の利点である。この実施形態によると、信号y+γrは、レシーバに送信される復号された主信号yを生成するエンコーダ202に入力される。さらにまた、この実施形態において、定数γはコンバイナ204に入力され、レシーバに送信される。
図10は本発明の第4の実施形態によるステレオ信号を復号する装置の概略図であり、図9によるエンコーダから受信した信号を復号するのに好適である。本装置は、図6と関連して説明したように、結合信号Tから受信した情報を抽出する回路404と、デコーダ402と、デコーダ602と、フィルター601と、回転回路401とを有する。この実施形態によると、回路404は、結合信号Tから定数γをさらに抽出する。本装置は、フィルター601により生成された予測された剰余信号
Figure 2005522721
に受信した定数γをかける乗算回路1001をさらに有する。本装置は、復号された主信号y´から結果として得られるスケールされた予測剰余信号
Figure 2005522721
を引く回路1002をさらに有する。
図11は、本発明の第5の実施形態によるマルチチャンネル信号を符号化する装置の概略図である。本装置は、nチャンネルを有するマルチチャンネル信号x=(x1,...,xn)を受信する。本装置は、信号xの主成分分析を実行する主成分アナライザ1100を有し、結果として入力信号xを主成分信号yとn-1個の剰余信号r1、r2、...、rn-1に変換する重み付けベクトルw=(w1,...,wn)を生じる。本装置は、入力信号xと決定された重み付けベクトルwを受信し、上記の変換により信号yおよびr1、...、rn-1を生成する変換回路1101をさらに有する。図2と関連して説明したように、変換された信号は好適なエンコーダ202と1102により符号化され、コンバイナ204により重み付けベクトルwと結合される。この実施形態によると、エンコーダ1102は剰余信号r1、...、rn-1を符号化するように適合している。例えば、エンコーダ1102はn-1個の並列なエンコーダであって、エンコーダ202と関連して説明したように、各々が1つの剰余信号を符号化するものを有していてもよい。
図12は、本発明の第6の実施形態によるマルチチャンネル信号を符号化する装置を示す概略図である。図11と関連して説明したマルチチャンネル信号の変換に加えて、この実施形態によると、主成分信号は、一組のアダプティブフィルタ501であって、図5と関連して説明したように、各々が剰余信号r1、...、rn-1の1つを予測するものに入力される。結果として対応するフィルターパラメータFp1、...、Fp(n-1)が得られ、対応するエンコーダ503に入力され、その後コンバイナ204に入力される。対応するデコーダ(図示せず)において、図6と関連して説明したように、対応するフィルターがフィルターパラメータに基づき剰余信号の推定
Figure 2005522721
を生成するために用いられる。
一実施形態によると、剰余信号のサブセットのみ、例えばr1、...、rk、k<n-1がレシーバに送信され、対応するフィルターに入力されてもよいことが分かる。それにより、ほとんどの信号品質を維持しながら必要なビットレートを削減できる。
図13は、本発明の一実施形態に用いられる減算回路を示す概略図である。図5、8、9、12に示した上記の実施形態において、フィルターパラメータは、ターゲット信号を推定された信号と比較することにより、すなわち減算回路502により生成されたrと
Figure 2005522721
の間の差を示すエラー信号eにより決定される。本減算回路は、rと
Figure 2005522721
の間の差の異なった測度を生成してもよい、例えば差は時間ドメインで決定されても周波数ドメインで決定されてもよいということが分かる。図13を参照して、回路502は、例えば高速フーリエ変換(FFT)を実行することにより、信号rと
Figure 2005522721
をそれぞれ周波数ドメイン変換する回路1301を有する。結果として得られる周波数成分は、それぞれの回路1304によりさらに処理されてもよい。例えば、好ましくは人間の聴覚システムの特性により、異なった周波数には異なる重み付けがされ、それにより可聴周波数範囲をより強く重み付けしてもよい。回路1304によりさらに処理をする他の例として、所定周波数成分の平均化、複雑な周波数成分の強度の計算、フィルター成分のクラスター化などがある。例えば、好ましい実施形態において、クラスター化が周波数ドメインにおける減算の前に実行される。このクラスター化は、例えば線形または対数サブバンド幅を有するフィルターバンクを用いて実行される。代替的に、クラスター化は、いわゆる等価方形バンド幅(ERB)を用いて実行してもよい(例えば、「聴覚の心理学入門」、Brian Moore、アカデミックプレス、ロンドン、1997年を参照)。等価方形バンド幅法は、人間の聴覚フィルターに対応する周波数バンド、例えばいわゆるクリティカルバンドをクラスター化する。この実施形態によると、センター周波数の関数としてERBの対応する値f(単位kHz)は、ERB=24.7(4.37f+1)により計算することができる。さらに図13を参照して、回路502は、処理された周波数成分を減算する減算回路1303をさらに有する。代替的に、回路1301により生成された変換された信号は、さらに処理されることなく減算回路1304に直接入力される。減算回路1304により生成された差信号は、例えば逆高速フーリエ変換(IFFT)を実行することにより、エラー信号を時間ドメインに戻すために変換する変換回路1302に入力される。代替的に、周波数ドメインの差信号は直接用いることができる。
当業者は、例えば要素を付け加えたり削除したり、または上記の実施形態の特徴を組み合わせたりすることにより、上記の実施形態を適合させることができることが分かる。例えば、図8と9に出てきた要素を図12の実施形態にも組み入れることができることが分かる。他の例として、図5の実施形態において推定された剰余信号の品質を説明するエラー信号eは、最大受け入れ可能エラーを示す閾値エラーと比較してもよい。線形予測符号化(LPC)の技術分野で用いられる方法と同様に、エラーが受け入れ可能でないときは、エラー信号は、適当な符号化の後信号Tとともに送信されてもよい。
本発明はステレオ音声信号に限定されておらず、2以上の入力チャンネルを有するその他のマルチチャンネル入力信号に適用してもよいということに、さらに注意すべきである。上記のマルチチャンネル信号の例としては、デジタルバーサタイルディスク(DVD)やスーパーオーディオコンパクトディスク等から受信した信号がある。このより一般の場合において、主成分信号yと1以上の剰余信号rは、やはり本発明により生成することができる。送信される剰余信号の数は、チャンネル数と所望のビットレートによって決まる。高いオーダーの剰余は信号品質を大きく悪化させることなく省略することができるからである。
一般的に、ビットレートの割当てがアダプティブに変化してもよいことは本発明の利点であり、それによりフェイルソフトとできる。例えば、ネットワークトラッフィックが増大したりノイズ等により通信チャンネルが一瞬低いビットレートしか送信できなくなったとき、信号の知覚可能な品質を大きく損なうことなく送信信号のビットレートを下げることができる。例えば、上で説明した静止した音源の場合、信号品質を大きく損なうことなく、2チャンネルでなく単一のチャンネルを送信するのに対応して、ビットレートを約2のファクターで低下させることができる。
上記の装置は、汎用たまは特定用途プログラマブルマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途用集積回路(ASIC)、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途電子回路、またはこれらの組み合わせにより実施可能であるということに注意すべきである。
上述の実施形態は、本発明を例示するものであり限定するものではなく、当該技術分野の当業者は、添付した請求項の範囲から逸脱することなく多くの代替的実施形態をデザインすることができるであろうということに注意すべきである。請求項において、括弧内の参照記号はその請求項を限定するものと解してはならない。「有する」という言葉は、請求項に列挙された構成要素やステップ以外の構成要素やステップの存在を排除するものではない。本発明は、いくつかの別個の構成要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実施することができる。いくつかの手段を列挙した装置の請求項において、これらの手段は1つの同一のハードウェアによって実施することができる。ある手段が相互に異なる従属項に記載されていることをもって、それらの手段を組み合わせて使用することができないということを示すものではない。
本発明の一実施形態によるステレオ信号を通信するためのシステムを示す概略図である。 本発明の第1の実施形態によるステレオ信号を符号化する装置を示す概略図である。 本発明の一実施形態による信号変換の決定を示す図である。 本発明の第1の実施形態によるステレオ信号を復号するための装置を示す概略図である。 本発明の第2の実施形態によるステレオ信号を符号化するための装置を示す概略図である。 本発明の第2の実施形態によるステレオ信号を復号するための装置を示す概略図である。 図7a〜cは、本発明の一実施形態で用いるフィルター回路の例を示す概略図である。 本発明の第3の実施形態によるステレオ信号を符号化するための装置を示す概略図である。 本発明の第4の実施形態によるステレオ信号を符号化するための装置を示す概略図である。 本発明の第4の実施形態によるステレオ信号を復号するための装置を示す概略図である。 本発明の第5の実施形態によるマルチチャンネル信号を符号化するための装置を示す概略図である。 本発明の第6の実施形態によるマルチチャンネル信号を符号化するための装置を示す概略図である。 本発明の一実施形態に用いる減算回路を示す概略図である。

Claims (17)

  1. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法であって、
    所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号と前記主信号より少ないエネルギーを含む剰余信号に変換するステップと、ここで前記所定の信号は少なくとも1つの変換パラメータでパラメータ表示されており、
    前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップとを有する方法。
  2. 請求項1に記載の方法であって、前記方法は、少なくとも前記第1と第2の信号成分に基づき前記変換パラメータを適合的に決定するステップをさらに有する方法。
  3. 請求項1または2に記載の方法であって、前記主信号は前記第1と第2の信号成分の主成分に対応する方法。
  4. 請求項1ないし3いずれか一項に記載の方法であって、前記所定の変換は回転であり、前記変換パラメータは回転角に対応する方法。
  5. 請求項1ないし4いずれか一項に記載の方法であって、前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表す前記ステップは、前記マルチチャンネル信号を前記主信号、前記変換パラメータ、および前記剰余信号により表すステップをさらに有する方法。
  6. 請求項5に記載の方法であって、前記マルチチャンネル信号を前記主信号、前記変換パラメータ、および前記剰余信号により表す前記ステップは、
    前記主信号を第1のビットレートで符号化するステップと、
    前記剰余信号を前記第1のビットレートより低い第2のビットレートで符号化するステップとをさらに有する方法。
  7. 請求項1ないし6いずれか一項に記載の方法であって、前記主信号は第1の信号エネルギーに対応し、前記剰余信号は前記第1の信号エネルギーより小さい第2の信号エネルギーに対応することを特徴とする方法。
  8. 請求項1ないし7いずれか一項に記載の方法であって、
    当該方法は、一組のフィルターパラメータに対応する予測フィルターを用いて前記剰余信号を前記主信号から推定するステップをさらに有し、
    前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップは、前記主信号、前記変換パラメータ、および前記一組のフィルターパラメータによって前記マルチチャンネル信号を表すステップを有する方法。
  9. 請求項1ないし8いずれか一項に記載の方法であって、前記マルチチャンネル信号は左と右の信号成分を含むステレオ信号を有する方法。
  10. マルチチャンネル信号情報を復号する方法であって、
    主信号と変換パラメータを受信するステップと、ここで、前記主信号はマルチチャンネルソース信号の少なくとも第1と第2の信号成分の所定の変換の結果に対応し、前記所定の変換は少なくとも前記変換パラメータによりパラメータ表示されており、
    前記受信した主信号と少なくとも1つの剰余信号を逆変換することにより第1と第2の復号された信号成分を生成するステップとを有する方法。
  11. 請求項10に記載の方法であって、前記主信号と前記変換パラメータを受信する前記ステップは、前記剰余信号を受信するステップをさらに有する方法。
  12. 請求項10または11に記載の方法であって、
    前記主信号と前記変換パラメータを受信する前記ステップは、一組のフィルターパラメータを受信するステップを更に有し
    当該方法は、前記受信した一組のフィルターパラメータに対応する予測フィルターを用いて、前記主信号から前記剰余信号を予測するステップをさらに有する方法。
  13. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する装置であって、
    所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号と前記主信号より少ないエネルギーを含む剰余信号に変換する第1の処理手段と、ここで前記所定の信号は少なくとも1つの変換パラメータでパラメータ表示されており、
    前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表す第2の処理手段とを有する装置。
  14. マルチチャンネル信号情報を復号する装置であって、
    主信号と変換パラメータを受信する受信手段と、ここで、前記主信号はマルチチャンネルソース信号の少なくとも第1と第2の信号成分の所定の変換の結果に対応し、前記所定の変換は少なくとも前記変換パラメータによりパラメータ表示されており、
    前記受信した主信号と少なくとも1つの剰余信号を逆変換することにより第1と第2の復号された信号成分を生成する処理手段とを有する装置。
  15. マルチチャンネル信号情報を含むデータ信号であって、当該データ信号は少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法であって、
    所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号と前記主信号より少ないエネルギーを含む剰余信号に変換するステップと、ここで前記所定の信号は少なくとも1つの変換パラメータでパラメータ表示されており、
    前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップとを有する方法により符号化されているデータ信号。
  16. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を符号化する方法によって符号化されたマルチチャンネル信号情報を示すデータ記録を有するコンピュータ読み取り可能な媒体であって、前記方法は、
    所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号と前記主信号より少ないエネルギーを含む剰余信号に変換するステップと、ここで前記所定の信号は少なくとも1つの変換パラメータでパラメータ表示されており、
    前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表すステップとを有する媒体。
  17. 少なくとも第1の信号成分と第2の信号成分を含むマルチチャンネル信号を通信するデバイスであって、当該デバイスは前記マルチチャンネル信号を符号化する装置であって、
    所定の変換により前記第1と第2の信号成分を、ほとんどの信号エネルギーを含む主信号と前記主信号より少ないエネルギーを含む剰余信号に変換する第1の処理手段と、ここで前記所定の信号は少なくとも1つの変換パラメータでパラメータ表示されており、
    前記マルチチャンネル信号を、少なくとも前記主信号と前記変換パラメータで表す第2の処理手段とを有するデバイス。
JP2003582751A 2002-04-10 2003-03-20 ステレオ信号の符号化 Expired - Lifetime JP4805540B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02076410 2002-04-10
EP02076410.6 2002-04-10
PCT/IB2003/001152 WO2003085643A1 (en) 2002-04-10 2003-03-20 Coding of stereo signals

Publications (2)

Publication Number Publication Date
JP2005522721A true JP2005522721A (ja) 2005-07-28
JP4805540B2 JP4805540B2 (ja) 2011-11-02

Family

ID=28685943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003582751A Expired - Lifetime JP4805540B2 (ja) 2002-04-10 2003-03-20 ステレオ信号の符号化

Country Status (10)

Country Link
US (1) US7437299B2 (ja)
EP (1) EP1500085B1 (ja)
JP (1) JP4805540B2 (ja)
KR (1) KR101016251B1 (ja)
CN (1) CN100508026C (ja)
AU (1) AU2003209957A1 (ja)
BR (1) BR0304231A (ja)
ES (1) ES2403178T3 (ja)
RU (1) RU2316154C2 (ja)
WO (1) WO2003085643A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531915A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ステレオコーディング及びデコーディングの方法及び装置
JP2008536184A (ja) * 2005-04-15 2008-09-04 コーディング テクノロジーズ アクチボラゲット 適応残差オーディオ符号化
JP2009530652A (ja) * 2006-03-15 2009-08-27 フランス テレコム 主成分分析に基づくマルチチャネルオーディオ信号の段階的な符号化のための装置および方法
WO2009144953A1 (ja) * 2008-05-30 2009-12-03 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
WO2009153995A1 (ja) 2008-06-19 2009-12-23 パナソニック株式会社 量子化装置、符号化装置およびこれらの方法
JP2010540985A (ja) * 2007-09-19 2010-12-24 テレフオンアクチーボラゲット エル エム エリクソン(パブル) マルチチャネル・オーディオのジョイント強化
JP2012521012A (ja) * 2009-03-17 2012-09-10 ドルビー インターナショナル アーベー 適応的に選択可能な左/右又はミッド/サイド・ステレオ符号化及びパラメトリック・ステレオ符号化の組み合わせに基づいた高度ステレオ符号化
JP2013528824A (ja) * 2010-04-13 2013-07-11 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオまたはビデオエンコーダ、オーディオまたはビデオデコーダ、及び予測方向可変の予測を使用したマルチチャンネルオーディオまたはビデオ信号処理方法
JP2014149342A (ja) * 2013-01-31 2014-08-21 Axell Corp 音声信号圧縮装置及び音声信号圧縮方法
JP2015129953A (ja) * 2010-08-25 2015-07-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 複数のチャネルを有するオーディオ信号を符号化する装置と方法
US9330671B2 (en) 2008-10-10 2016-05-03 Telefonaktiebolaget L M Ericsson (Publ) Energy conservative multi-channel audio coding
JP2016095531A (ja) * 2016-01-12 2016-05-26 株式会社アクセル 音声信号圧縮装置及び音声信号圧縮方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2316154C2 (ru) 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
ES2355240T3 (es) 2003-03-17 2011-03-24 Koninklijke Philips Electronics N.V. Procesamiento de señales de múltiples canales.
US7809579B2 (en) * 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
US7725324B2 (en) * 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
US20070217624A1 (en) * 2004-05-17 2007-09-20 Koninklijke Philips Electronics, N.V. Audio System
KR100773539B1 (ko) * 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
KR100707177B1 (ko) * 2005-01-19 2007-04-13 삼성전자주식회사 디지털 신호 부호화/복호화 방법 및 장치
US9626973B2 (en) * 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
EP1905002B1 (en) 2005-05-26 2013-05-22 LG Electronics Inc. Method and apparatus for decoding audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
EP1974347B1 (en) 2006-01-19 2014-08-06 LG Electronics Inc. Method and apparatus for processing a media signal
WO2007091850A1 (en) 2006-02-07 2007-08-16 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
WO2007104882A1 (fr) 2006-03-15 2007-09-20 France Telecom Dispositif et procede de codage par analyse en composante principale d'un signal audio multi-canal
RU2551797C2 (ru) 2006-09-29 2015-05-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
KR101434198B1 (ko) * 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
FR2911031B1 (fr) * 2006-12-28 2009-04-10 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
AU2008215231B2 (en) 2007-02-14 2010-02-18 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
KR101261524B1 (ko) * 2007-03-14 2013-05-06 삼성전자주식회사 노이즈를 포함하는 오디오 신호를 저비트율로부호화/복호화하는 방법 및 이를 위한 장치
JP5355387B2 (ja) * 2007-03-30 2013-11-27 パナソニック株式会社 符号化装置および符号化方法
CN101071570B (zh) * 2007-06-21 2011-02-16 北京中星微电子有限公司 耦合声道的编、解码处理方法、音频编码装置及解码装置
EP2260487B1 (en) * 2008-03-04 2019-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mixing of input data streams and generation of an output data stream therefrom
EP2124486A1 (de) * 2008-05-13 2009-11-25 Clemens Par Winkelabhängig operierende Vorrichtung oder Methodik zur Gewinnung eines pseudostereophonen Audiosignals
CN102037507B (zh) * 2008-05-23 2013-02-06 皇家飞利浦电子股份有限公司 参数立体声上混合设备、参数立体声译码器、参数立体声下混合设备、参数立体声编码器
EP2377123B1 (en) 2008-12-19 2014-10-29 Dolby International AB Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
GB2466669B (en) * 2009-01-06 2013-03-06 Skype Speech coding
GB2466674B (en) * 2009-01-06 2013-11-13 Skype Speech coding
GB2466671B (en) * 2009-01-06 2013-03-27 Skype Speech encoding
GB2466675B (en) 2009-01-06 2013-03-06 Skype Speech coding
GB2466672B (en) * 2009-01-06 2013-03-13 Skype Speech coding
GB2466670B (en) * 2009-01-06 2012-11-14 Skype Speech encoding
US8452606B2 (en) * 2009-09-29 2013-05-28 Skype Speech encoding using multiple bit rates
EP2596496B1 (en) * 2010-07-20 2016-10-26 Nokia Technologies Oy A reverberation estimator
JP5680391B2 (ja) * 2010-12-07 2015-03-04 日本放送協会 音響符号化装置及びプログラム
US8654984B2 (en) * 2011-04-26 2014-02-18 Skype Processing stereophonic audio signals
TWI651005B (zh) * 2011-07-01 2019-02-11 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
CN104282309A (zh) * 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
CA2997334A1 (en) * 2015-09-25 2017-03-30 Voiceage Corporation Method and system for encoding left and right channels of a stereo sound signal selecting between two and four sub-frames models depending on the bit budget

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6276938A (ja) * 1985-09-30 1987-04-09 Toshiba Corp ステレオ信号伝送方法、符号化装置および復号化装置
JPS62239631A (ja) * 1986-04-10 1987-10-20 Toshiba Corp ステレオ音声伝送蓄積方式
JPH04360331A (ja) * 1991-02-01 1992-12-14 Philips Gloeilampenfab:Nv サブバンドコーディングシステム、及び該システムを具えている送信機
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第1成分と第2成分を含む信号を処理する装置と方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4589127A (en) * 1978-06-05 1986-05-13 Hazeltine Corporation Independent sideband AM multiphonic system
US4815132A (en) * 1985-08-30 1989-03-21 Kabushiki Kaisha Toshiba Stereophonic voice signal transmission system
US5291557A (en) * 1992-10-13 1994-03-01 Dolby Laboratories Licensing Corporation Adaptive rematrixing of matrixed audio signals
DE4320990B4 (de) 1993-06-05 2004-04-29 Robert Bosch Gmbh Verfahren zur Redundanzreduktion
EP0786921B1 (de) 1996-01-26 2002-07-17 Micronas GmbH Digitaler Demodulator
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
US6430295B1 (en) * 1997-07-11 2002-08-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for measuring signal level and delay at multiple sensors
US6121904A (en) 1998-03-12 2000-09-19 Liquid Audio, Inc. Lossless data compression with low complexity
RU2316154C2 (ru) 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
ES2341327T3 (es) * 2002-04-10 2010-06-18 Koninklijke Philips Electronics N.V. Codificacion y decodificacion de señales audio multicanal.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6276938A (ja) * 1985-09-30 1987-04-09 Toshiba Corp ステレオ信号伝送方法、符号化装置および復号化装置
JPS62239631A (ja) * 1986-04-10 1987-10-20 Toshiba Corp ステレオ音声伝送蓄積方式
JPH04360331A (ja) * 1991-02-01 1992-12-14 Philips Gloeilampenfab:Nv サブバンドコーディングシステム、及び該システムを具えている送信機
JP2001209399A (ja) * 1999-12-03 2001-08-03 Lucent Technol Inc 第1成分と第2成分を含む信号を処理する装置と方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531915A (ja) * 2004-04-05 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ステレオコーディング及びデコーディングの方法及び装置
JP2008536184A (ja) * 2005-04-15 2008-09-04 コーディング テクノロジーズ アクチボラゲット 適応残差オーディオ符号化
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
JP4685925B2 (ja) * 2005-04-15 2011-05-18 ドルビー インターナショナル アクチボラゲット 適応残差オーディオ符号化
JP2009530652A (ja) * 2006-03-15 2009-08-27 フランス テレコム 主成分分析に基づくマルチチャネルオーディオ信号の段階的な符号化のための装置および方法
JP2010540985A (ja) * 2007-09-19 2010-12-24 テレフオンアクチーボラゲット エル エム エリクソン(パブル) マルチチャネル・オーディオのジョイント強化
JP5383676B2 (ja) * 2008-05-30 2014-01-08 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
WO2009144953A1 (ja) * 2008-05-30 2009-12-03 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
US8452587B2 (en) 2008-05-30 2013-05-28 Panasonic Corporation Encoder, decoder, and the methods therefor
WO2009153995A1 (ja) 2008-06-19 2009-12-23 パナソニック株式会社 量子化装置、符号化装置およびこれらの方法
US8473288B2 (en) 2008-06-19 2013-06-25 Panasonic Corporation Quantizer, encoder, and the methods thereof
US9330671B2 (en) 2008-10-10 2016-05-03 Telefonaktiebolaget L M Ericsson (Publ) Energy conservative multi-channel audio coding
US11315576B2 (en) 2009-03-17 2022-04-26 Dolby International Ab Selectable linear predictive or transform coding modes with advanced stereo coding
US11017785B2 (en) 2009-03-17 2021-05-25 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
JP2012521012A (ja) * 2009-03-17 2012-09-10 ドルビー インターナショナル アーベー 適応的に選択可能な左/右又はミッド/サイド・ステレオ符号化及びパラメトリック・ステレオ符号化の組み合わせに基づいた高度ステレオ符号化
USRE49492E1 (en) 2010-04-13 2023-04-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
USRE49469E1 (en) 2010-04-13 2023-03-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multichannel audio or video signals using a variable prediction direction
USRE49717E1 (en) 2010-04-13 2023-10-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
US9398294B2 (en) 2010-04-13 2016-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
USRE49549E1 (en) 2010-04-13 2023-06-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
JP2013528824A (ja) * 2010-04-13 2013-07-11 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオまたはビデオエンコーダ、オーディオまたはビデオデコーダ、及び予測方向可変の予測を使用したマルチチャンネルオーディオまたはビデオ信号処理方法
USRE49511E1 (en) 2010-04-13 2023-04-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
USRE49453E1 (en) 2010-04-13 2023-03-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
USRE49464E1 (en) 2010-04-13 2023-03-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
US9431019B2 (en) 2010-08-25 2016-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for decoding a signal comprising transients using a combining unit and a mixer
JP2015129953A (ja) * 2010-08-25 2015-07-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 複数のチャネルを有するオーディオ信号を符号化する装置と方法
US9368122B2 (en) 2010-08-25 2016-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for generating a decorrelated signal using transmitted phase information
JP2014149342A (ja) * 2013-01-31 2014-08-21 Axell Corp 音声信号圧縮装置及び音声信号圧縮方法
JP2016095531A (ja) * 2016-01-12 2016-05-26 株式会社アクセル 音声信号圧縮装置及び音声信号圧縮方法

Also Published As

Publication number Publication date
KR101016251B1 (ko) 2011-02-25
KR20040101415A (ko) 2004-12-02
WO2003085643A1 (en) 2003-10-16
US7437299B2 (en) 2008-10-14
RU2004133032A (ru) 2005-04-20
RU2316154C2 (ru) 2008-01-27
ES2403178T3 (es) 2013-05-16
US20050141721A1 (en) 2005-06-30
CN100508026C (zh) 2009-07-01
EP1500085B1 (en) 2013-02-20
EP1500085A1 (en) 2005-01-26
JP4805540B2 (ja) 2011-11-02
CN1647154A (zh) 2005-07-27
AU2003209957A1 (en) 2003-10-20
BR0304231A (pt) 2004-07-27

Similar Documents

Publication Publication Date Title
JP4805540B2 (ja) ステレオ信号の符号化
JP4805541B2 (ja) ステレオ信号の符号化
JP6641018B2 (ja) チャネル間時間差を推定する装置及び方法
JP5551258B2 (ja) 狭帯域信号から「より上の帯域」の信号を決定すること
RU2762302C1 (ru) Устройство, способ или компьютерная программа для оценки разности во времени между каналами
JP2012078866A (ja) 合成されたスペクトル成分に適合するようにデコードされた信号の特性を使用するオーディオコーディングシステム
EP2596496B1 (en) A reverberation estimator
JPH1084284A (ja) 信号再生方法および装置
WO2019170955A1 (en) Audio coding
CN115171709A (zh) 语音编码、解码方法、装置、计算机设备和存储介质
WO2015157010A1 (en) Mutual information based intelligibility enhancement
JP7130878B2 (ja) 高分解能オーディオコーディング
Aarts et al. Coding of stereo signals
JP2000151414A (ja) ディジタルオーディオ符号化装置、同符号化方法、及び同符号化プログラムを記録した記録媒体
CN118283489A (zh) 用于估计通道间时间差的装置、方法或计算机程序
BRPI0304231B1 (pt) Method for codifying a multiple channel signal, method and arrangement for decoding multiple channel signal information, provision for coding a multiple channel sign, data sign including multiple channel signal information, and a communication device multi-channel signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090915

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110811

R150 Certificate of patent or registration of utility model

Ref document number: 4805540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term