JP2009205185A - 第1成分と第2成分を含む信号を処理する装置と方法 - Google Patents

第1成分と第2成分を含む信号を処理する装置と方法 Download PDF

Info

Publication number
JP2009205185A
JP2009205185A JP2009143798A JP2009143798A JP2009205185A JP 2009205185 A JP2009205185 A JP 2009205185A JP 2009143798 A JP2009143798 A JP 2009143798A JP 2009143798 A JP2009143798 A JP 2009143798A JP 2009205185 A JP2009205185 A JP 2009205185A
Authority
JP
Japan
Prior art keywords
signal
component
information
display
coefficients
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009143798A
Other languages
English (en)
Other versions
JP4865010B2 (ja
Inventor
Deepen Sinha
シンハ ディープン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Alcatel Lucent USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent USA Inc filed Critical Alcatel Lucent USA Inc
Publication of JP2009205185A publication Critical patent/JP2009205185A/ja
Application granted granted Critical
Publication of JP4865010B2 publication Critical patent/JP4865010B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】第1成分と第2成分を含む信号を処理する装置と方法を提供する。
【解決手段】本発明の装置は、第1成分と第2成分を含む信号を処理する装置第1成分と第2成分の間の位相関係を記述する係数を取り出すプロセッサと、前記信号の表示を生成するコントローラと、からなり、前記表示は、第1成分から取り出した第1情報と前記係数に関連する第2情報を含み、前記第2成分の値は第1情報と第2情報に基づいて予測されることを特徴とする。
【選択図】図2

Description

本発明は、情報を含む信号を通信するシステムと方法に関し、特に、限られた伝送帯域を有効に活用して、例えばステレオオーディオ情報を含む信号を符号化するシステムと方法に関する。
ステレオオーディオ情報の通信はマルチメディアおよびインタネット、例えばミュージックオンディマンドサービス、CDをオンライン購入する際の音楽のプレビュー等で重要な役割を担っている。一般的にオーディオ情報を通信する帯域を効率的に用いるために、知覚オーディオ符号化(perceptual audio coding (PAC))技術が開発されている。PAC技術の詳細は、米国特許第5,285,498号(発行日1994年2月8日発明者 Johnston) と米国特許第5,040,217号(発行日1991年8月13日発明者 Brandenburg et al.) の2件の特許に開示されている。
このPAC技術によれば、オーディオ情報を表すオーディオ信号の連続した時間領域ブロックのそれぞれは周波数領域で符号化されている。具体的に説明すると各ブロックの周波数領域表示は、複数のコーダーバンド(符号化帯)に分割され、各コーダーバンドは心理的音響基準(psycho-acoustic criteria)に基づいて個別に符号化される。この方法は、オーディオ情報を大幅に圧縮し、これによりオーディオ情報の表すビットの数をオーディオ情報がより単純なデジタルフォーマット、例えばPCMフォーマットで表される場合よりも少なくしている。
従来技術においては、左側チャネル信号(L)と右側チャネル信号(R)を含むステレオオーディオ信号は、さらに符号化されて伝送帯域を節約している。例えばステレオオーディオ信号は、公知のM=(L+R)/2とS=(L−R)/2で表されるようなフォーマットで適応形の平均−減算(mean-side(M−S))の形成系でもってさらに符号化されている。このような従来のスキームは、LとRの相関を利用しているが、各コーダーバンドに対するステレオオーディオ信号の時間領域ブロックでMとSの形成を選択的に入り切りし、そしてある二重音声マスキング制限(biaural masking constraints )に適合している。
適応形M−S形成系においては、Mはステレオ信号をモノ信号として与え、Sを追加することによりLとRとの間の差に基づいてステレオの分離があ出きる。かくして、LとRの差が大きくなるとSを表すためにより多くのビットが必要となる。しかし、狭い帯域の伝送、例えば28.8kb/秒のインターネット接続においては、M−S符号化ステレオオーディオ信号は、限られた伝送帯域によるアリアシング歪みに敏感となり好ましくない。別法として狭い帯域の伝送においては、M情報を優先しS情報を犠牲にするとモード歪みが受信情報に導入され、ステレオ品質を大幅に劣化させることになる。
伝送帯域を節約するために、ステレオオーディオ信号をさらに符号化する別の従来技術は、強度ステレオ符号化(intensity stereo coding )として知られている。これの詳細は、J. Herre et al. 著の "Combined Stereo Coding," 93rd Convention, Audio Engineering Society, October 1-4, 1992を参照のこと。この強度ステレオ符号化は、LとRの音源の正確な位置を聞き分ける人間の聴覚系の能力は、高周波になるにつれて低下してくるという認識に基づいて開発されたものである。通常、LとRの一方のみの高周波成分の強度、即ち振幅を符号化することが通常用いられている。それにもかかわらず、その結果得られた符号化情報は、LとRの両方の高周波成分の再生を容易にしている。
したがって本発明の目的は、複数の信号成分を含む信号を処理する方法を提供することである。
本発明によれば、第1信号と第2信号(例、LとR)を含む伝送用の合成信号(例、ステレオオーディオ信号)の表示は、少なくとも第1信号から抽出された第1情報と、第2信号のパラメーター符号化(parametric coding )から得られた1つあるいは複数の係数に関連する第2情報を含む。第1信号は第1情報に基づいて再生され、第2信号は第1信号と第2信号に基づいて再生される。
係数が本発明のパラメータ符号化の合成信号の表示で用いられるために、伝送帯域は、合成信号を通信するのに有効に利用できる。さらにまたパラメータ符号化の設計によれば、この係数は第1信号と第2信号の間の強度関係のみならず、位相関係も記述する。その結果、本発明のパラメータ符号化の方法により得られた信号品質は、従来の強度ステレオ符号化により得られた品質よりも遙かに優れている。
通信ネットワークを介してオーディオ情報を通信する本発明の構成を表す図。 図1の装置のサーバーのブロック図。 オーディオ情報を含む図2のサーバーにより生成されたパケットのシーケンスを表す図。 図1の装置のクライアント端末がサーバーからのパケットを処理するステップを表すフローチャート図。
図1は情報、例えばステレオオーディオ情報を通信する本発明の装置100を示す。この実施例においては、本発明の装置100内のサーバー105が、ミュージックオンディマンドサービスをインターネット120を介してクライアント端末130に提供する。クライアント端末130は通常パソコンである。インターネット120はTCP/IPによりパケット内の情報を送信するパケット交換ネットワークである。
ブラウザソフトウェア、例えば、NERSCAPE NAVIGATORあるいはMICROSOFT EXPLORERブラウザを含む従来のソフトウェアがクライアント端末130内に搭載され、インターネット120上で所定のユニフォームリソースロケータ(uniform resource locator(URL))により識別されるサーバー105と情報を通信している。例えば、サーバー105により提供されるミュージックオンデマンドサービスを要求するためには、クライアント端末130内のモデム(図示せず)を用いてインターネット120との通信接続125を形成する。この実施例では、通信接続125は、28.8kb/秒の通信レートを提供する。
通信接続125が形成された後、従来の方法によれば、クライアント端末130にIPアドレスが割り当てられる。クライアント端末130のユーザは、サーバー105を特定する所定のURLでのミュージックオンデマンドサービスにアクセスし、そのサービスから音楽をリクエストする。このようなリクエストには、クライアント端末130を特定するIPアドレスと選択(要求)された音楽に関連する情報と音楽を通信するための狭い帯域を提供するクライアント端末130の通信レート(この例では28.8kb/s)が含まれる。
従来技術では、例えば音楽を表すステレオオーディオ情報は、狭い帯域を介して伝送されると、受信した信号の品質は、限られた伝送帯域のために通常大幅に劣化する。本発明によれば、パラメータ符号化技法を修正してステレオオーディオ情報を圧縮し、限られた伝送帯域を有効活用して受信信号の劣化を押さえる。以下に述べるようなパラメータ符号化技術を完全に理解するためには、左側チャネル信号Lと右側チャネル信号Rを含むステレオオーディオ信号の特性についてまず説明する。
ステレオオーディオ信号は位置特定キュー(localization cues )でもって特徴づけることができる。この位置特定キューは、可聴空間内のステレオサウンドの位置、即ち方向を規定する。ある種のサウンドは、位置を特定することができず左から右へのスパンに拡散しているものとして知覚される。いずれの場合にも位置特定キューは、(a)低周波数の位相キューと、(b)強度キューと、(c)グループ遅延あるいはエンベロープキューを含む。低周波位相キューは、信号の低周波位相領域におけるLとRの相対位相から抽出される。
具体的に説明すると、1200Hz以下の周波数成分間の位相関係が特に重要であると見られている。強度キューは、信号の高周波領域(1200Hz以上)におけるLとRの相対パワーから抽出される。エンベロープキューは、Lの信号エンベロープとRの信号エンベロープの相対位相から抽出され、この2つの信号の間のグループ遅延に基づいて決定される。(b)と(c)のキューは、位相キューとして総称されている。
本発明のパラメータ符号化技術は、限られた伝送帯域にも関わらず、伝送されるステレオオーディオ信号の位置限定キューを効率よく捕獲するものである。本発明によれば、ステレオオーディオ信号の表示は、(i)LとRの一方にのみ関連する情報と、(ii)Lに対しRをパラメータ符号化することにより得られた他の信号、例えばRに関連するパラメータ情報を含む。このようなステレオオーディオ信号の表示は、以下の説明においては「ST表示」と称する。さらにまた、Rに関連するパラメータ情報は、「param−R」と称する。
param−Rは、ステレオオーディオ信号の位置特定キューを記述するパラメータの組を量子化することにより得られる。その結果、Rは、param−RとL情報、即ち(i)と(ii)に基づいて予測される。かくして、ST表示に基づいて再生されたステレオオーディオ情報は、LとRの予測値を含み、これにより許容可能なステレオオーディオ品質を提供する。ここで、LはST表示のL情報から抽出されたものであり、Rの予測はparam−RとL情報の両方から抽出される。
ST表示内のparam−Rは、以下の関係式を用いて得られる。
Figure 2009205185
ここでRはRの周波数スペクトラムを表し、LはLの周波数スペクトラムを表し、αはparam−Rが得られた予測係数を表す。式(1)内のL に基づいたRの予測を改善するために周波数範囲に亘って複数の予測係数が用いられる。
Figure 2009205185
ここでiは周波数範囲内の予測周波数帯域のi番目の係数を表す。例えばこの実施例のようにPAC技術がオーディオ信号に適用される場合には、各i番目の予測周波数帯域は、コーダーバンド(符号化帯域)の別々の帯域と一致して、PAC技術により人間の聴覚系の限界帯域を近似する。
式(2)を参照すると、Ri の予測の成功は予測係数αiがステレオオーディオ信号の上記の位置特定キューをいかに記述するかに係っている。強度キューと位相キュー、即ち低周波位相キューとエンベロープキューを記述する改善された予測スキームを次に説明する。このスキームは、LとRにある制約を課して、その強度キューと位相キューが予測を実行する単一の領域内で得られるようにすることに依存している。単一処理理論においては、実信号が「因果律制約(causality constraint)」を満足する場合には、信号スペクトラムの実部が信号の十分な表示を与え、虚部がこの実部に基づいて何ら余分の情報を追加することなく再生することができる。
かくして、改良された予測系は、数学的に次のように表すことができる。
Figure 2009205185
式(3)に基づいて前記のパラメータ符号化は、因果律制約を時間領域内でLとRにそれぞれ課した後、Li とRi の実部から予測係数αiを計算することにより得られる。そしてparam−Rは各i番目の予測周波数バンドに対するαi に関する情報を含む。
この接合点(juncture)においては、実際には時間領域内のL(またはR)に因果律制約を課すことは、L(またはR)を表すサンプルにゼロパッディング(zero padding)を行うことにより容易に実行できる。かくして公知の方法でLi real-causal(またはRi real-causal )は、ブロックを(2N−1)個のサンプルの長さまで長くするために、Lを表すN個のサンプルに「ゼロ」を追加して、その後ゼロをパッディングしたブロックを周波数変換し、そしてその結果得られた変換の実部を取り出すことにより行われる、ここでNは所定数である。
予測をさらに向上させるために、マルチタップの予測器が用いられ、ここでαi は、i番目の予測周波数バンドに対する予測器の係数の組を表す。例えば、2−タップの予測器を用いる場合には、αi=[αi 0 αi 1]で、これは次式で表される。
Figure 2009205185
ここでrはi番目の予測バンド内のRi real-causalの周波数成分の実部の組を表し、lはi番目の予測バンド内のLi real-causalの周波数成分の実部部分の組を表し、l’はi−1番目の予測バンド内のLi real-causalの周波数成分の実部を表す。
かくして、予測器の予測係数αi 0とαi 1は、次の式を解くことにより決定できる。
Figure 2009205185
ここで、添え字Tは、標準のマトリクス転位操作を表す。かくして、
Figure 2009205185
ここで、添え字−1はマトリクスの反転操作を表す。
ここに示した実施例においては、ST表示内のparam−Rは、ステレオオーディオ信号の位置特定キュー、即ち低周波位相キュー、強度キュー、エンベロープキューを記述する予測係数αi 0とαi 1に関する情報を含む。ST表示内のL情報と共に、param−Rを用いてRを予測する。この実施例において、通信接続125により得られる通信レート28.8kb/秒では、約22kb/秒がL情報の伝送に割り当てられ、2kb/秒がparam−Rの伝送に用いられる。
式(6)に戻って、Lが弱い場合には、detG(即ち、Gの行列式)は、同じ値を持ちαi 0とαi 1を解くための式(6)は、数学的に悪い状態に置かれる。その結果、得られたαi 0とαi 1を解くことができる。かくしてparam−Rを用いることは、Lに基づいてRを予測することができなくなる。
式(6)において、数学的に悪い状態を回避するために、本発明による第2のパラメータ符号化技術を次に説明する。この第2のパラメータ符号化技術によれば、ST表示は(i)L*に関する情報と、(ii)L*に関するRのパラメータ符号化と示されたparam−R[w.r.t.L*]から得られたRに関するパラメータ情報を含む。
Figure 2009205185
ここで、a+b=1とa>>b≧0である。
前述したパラメータ符号化技術は、a=1、b=0の第2の技術の特別な場合である。いずれにせよ、本明細書は、L*に関連する一般化された第2のパラメータ符号化技術に基づいている。
符号化されるべきステレオオーディオ信号が極端に強いステレオ傾斜(偏向)(即ち、LまたはRのいずれかでほとんど完全に支配される)を含んでいる場合に特に一般化されたパラメータ符号化技術を用いるのが好ましい。aとbの値を制御することにより、一般化された技術によりL*とRの対は、ステレオの分離が減少した状態を表し、これによりパラメータ符号化の自然さを増加させる。
図2は、LとRからなる音楽を表すステレオオーディオ信号を処理するのに用いられるオーディオ符号化器203を有するサーバー105を示す。具体的に説明すると、オーディオ符号化器203内のA/Dコンバータ205がLとRをデジタル化してそれぞれL(n)、R(n)で表されるLとRのPCMサンプルを与える。ここで、nはn番目のサンプルに対する指数を表す。
L(n)とR(n)に基づいて、オーディオ符号化器203は式(7)によりリード線209上にL*(n)を生成する、ここで、aとbの値は以下に示すようにアダプタ211により選択されたものである。さらにまた、R(n)とL(n)は、それぞれミキサー207をバイパスしてリード線209b−209cに表れる。リード線209a−209cが延び、そしてこれによりそれぞれL*(n),R(n),L(n)を以下に説明するステレオ符号化器215に与える。L*(n)は、PAC符号化器217にも与えられる。
従来の方法により、PAC符号化器217はPCMサンプルL*(n)を時間領域ブロックに分割して、各ブロックに対し修正離散コサイン変換(modified discrete cosine transform(MDCT))を実行してそれに対する周波数領域の表示を与える。その結果得られたMDCTの係数を等価用のコーダーバンドに従ってグループ分けする。前述したように、これらのコーダーバンドは、人間の知覚系の臨界バンドを近似する。
PAC符号化器217はオーディオ信号サンプルL*(n)を解析して、各コーダーバンドに対する適宜の量子化レベル(即ち、量子化のステップサイズ)を決定する。この量子化レベルは、あるコーダーバンド内のオーディオ信号がノイズをいかによくマスクするかを評価することに基づいて決定される。この量子化されたMDCTの係数は、その後従来のハフマン圧縮プロセスで処理して、その結果リード線222a上にL*を表すビットストリームを生成する。
受信したL*(n)とR(n)に基づいて、パラメータのステレオ符号化器215は、パラメータ信号P*Rを生成する。P*Rは、param−R[w.r.t.L*]に関する情報を含み、これは式(6)に従ってαi 0とαi 1の予測係数を含む。その中の1と1’は、一般化されたパラメータ符号化技術に従ってLではなくL*から得られたものである。
P*Rは、従来の非線形量子化器225により量子化され、これによりリード線222b上にP*Rを表すビットストリームを提供する。リード線222aとリード線222bは、ST表示フォーマッタ231まで延びてそこで各時間領域ブロックに対応するリード線222b上のP*Rを表すビットストリームが、同一の時間領域ブロックに対応するリード線222a上のL*を表すそれに付加され、その結果処理中の音楽のST表示が得られる。この後者を同様な方法で処理した他の音楽のST標準と共にメモリ270内に記憶する。
aとbの値を選択するためにアダプタ211により行われる適応アルゴリズム(adaptation algorithm)を次に説明する。この適応アルゴリズムは、a=acur+1 の次に来る値のスムーズな予測値を見いだすものであり、これは以下の繰り返しプロセスによりステレオ符号化器215からのL(n)とR(n)の現在の時間領域ブロックの関数である。
Figure 2009205185
ここで、curはゼロ以上の繰り返し指数であり、γは1に近い値を有する定数、例えばこの実施例ではγ=0.95であり、εcurは次式で定義される。
Figure 2009205185
ここで、l(f)とR(f)はそれぞれベクトル形式のL(n)とR(n)の現在の時間領域ブロックのスペクトラム表示を表す。「・」は、内積を表す。|l(f)|と|R(f)|は、それぞれl(f)とR(f)の絶対値を表す。
a+b=1なので、アダプタ211が選択したbの値は単に1−aである。aとbは所定数であるために、アダプタ211をなくすこともできる。
選択された音楽が送られるクライアント端末130からのリクエストに応じてプロセッサ280によりパケット化器285はメモリ270から選択されたメモリのST表示を取り出し、標準のTCP/IPに従ってパケットのシーケンスを生成する。これらのパケットは、選択された音楽のST表示を共に含む情報フィールドを有する。シーケンス内の各パケットは、ヘッダに含まれるあて先アドレスとして、ミュージックオンデマンドサービスを要求しているクライアント端末130のIPアドレスを含むクライアント端末130に向けられる。
図3はこのパケットシーケンスを表す。クライアント端末130によるパケットの組立を容易にするために、各パケットのヘッダは、同期化情報を含む。特に各パケット内の同期化情報は、パケットが対応するタイムセグメントi、1≦i≦Nを表すシーケンスインデックスを含む、ここでNは選択された音楽が含むタイムシーケンスの全数である。この実施例において、各タイムセグメントは、同一の所定長さを有する。
例えば、パケット310のヘッダ内のフィールド301はパケット310が第1のタイムセグメントに対応することを表すシーケンスインデックス「1」を含み、パケット320のヘッダのフィールド303は、パケット320が第2のタイムセグメントに対応することを表すシーケンスインデックス「2」を含み、パケット430のヘッダ内のフィールド305は、パケット330が第3のタイムセグメントに対応することを表すシーケンスインデックス「3」を含む。以下、同様である。
クライアント端末130はタイムセグメントベースでサーバー105からのパケットシーケンスを処理する。これはクライアント端末130内に搭載されたソフトウェアと/またはハードウェアを用いて実現されるルーチンに従って行われる。図4は、このようなルーチン400を示す。ルーチン400のステップ407においては、各タイムセグメントiに対し、クライアント端末130はこのタイムセグメントに対応するパケットを処理するために受信しなければならない所定のタイムリミットを設定する。ステップ411において、クライアント端末130は、各受信したパケットのヘッダ内の前述したシーケンスインデックスを検査する。
受信したパケットのシーケンスインテックスの値に基づいて、ステップ414でクライアント端末130はタイムセグメントiに対するパケットをタイムリミット内に受信したか否かを決定する。予定したパケットを受信した場合には、ルーティン400はステップ417に進み、そこでクライアント端末130はパケットからST表示コンテンツを抽出する。ステップ421において、クライアント端末130は抽出されたコンテンツに対し上記のオーディオ符号化器203に対し逆機能を実行して、タイムセグメントiに対応するLとRを再生する。
あるいは、前述したタイムリミットが期待したパケットを受信する前にタイムリミットが経過した場合には、クライアント端末130はタイムセグメントiに対し公知のエラー隠蔽(error concealment )を実行する。例えば、ステップ424で示したように、近隣のタイムセグメント内でのオーディオ再生の結果に基づいて間そうする。
前述の説明は、本発明の原理を単に説明したものであり、様々な変形例が考えられる。
例えば本発明の別の方法は、ステレオオーディオ信号の位置特定キューを捕獲し、信号を効率的に表すものである。この別の方法は、周波数領域の予測に基づいているが、信号の「実」MDCT表示と共に機能するが、これは前述した複合DFT表示と異なるものである。MDCTは、2つの連続する解析ブロックの間が50%オーバラップしたブロック変換と見ることができる。即ち、変換ブロック長さBに対しては2つの連続するブロックの間でB/2だけオーバラップしている。
さらにまた、この変換はB/2実変換(周波数)出力を生成する。この変換に関する詳細は、H. Malavar 著の、"Lapped Orthogonal Transforms," Prentice Hall, Englewood Cliffs, New Jersey. を参照のこと。この別の方法は、各周波数コンテンツの位相キュー情報は、実表示中には明らかではないが、MDCT係数の展開、即ちMDCT表示の周波数ビンのブロック間相関内に埋め込まれるという発明者の認識から出ている。かくして、例えば右のMDCT係数の予測は、現在および前の変換ブロックに対する同一周波数ビン内の左側のMDCT係数に基づいて行われる別の系が静止信号に対する強度キューと位相キューを捕獲する。
例えば、このような予測は次式で表すことができる。
Figure 2009205185
ここで、「k」は現在のMDCTブロックを表すインデックスであり、「k−1」は前のブロックを表すインデックスである。この別の方法は、コンピュータの計算上のオーバヘッドを小さくしながらPACコーデックに効果的に組み込むことができる、その理由は必要とされるMDCT表示はコーデック内で利用可能となり、そしてこの別の方法は、符号化されるべきステレオオーディオ信号が比較的静止している(左右があまり違わない)場合に特によく実行される。
さらにまた、上記のパラメータ符号化系は、Lに基づいたRの表示に基づいて予測を行う。逆に、パラメータ符号化系は、Rに基づいたLの予測に基づいて予測が行われる。この場合に上記の議論は、RとLを置き換えて行われる。
さらにまた、本発明の実施例においては、パラメータ符号化技術は、パケットスイッチ通信システムにも適応できる。しかし、本発明の技術は、ハイブリッドインバンドオンチャネル(IBOC)AMシステム、ハイブリッドIBOC FMシステム、通信衛星システム、インターネット無線システム、TV放送システム等を含む放送システムにも等しく適応可能である。
最後に、サーバー105は様々なサーバー機能が個別の機能ブロックにより実行される形式で本明細書では説明した。しかし、これらの機能の1つあるいは複数は、これらのブロックの機能あるいはこれらの全ての機能が適宜プログラムされたプロセッサにより実行されるような形態で実現することもできる。
100 本発明の装置
105 サーバー
120 インターネット
125 通信接続
130 クライアント端末
203 オーディオ符号化器
205 A/Dコンバータ
207 ミキサー
209 リード線
211 アダプタ
215 ステレオ符号化器
217 PAC符号化器
222 リード線
225 量子化器
231 ST表示フォーマッタ
270 メモリ
280 プロセッサ
285 パケット化器
301,303,305 フィールド
310,320,330,430 パケット
407 各タイムセグメントに対し、タイムリミットを設定する
411 各受信したパケットのヘッダ内のシーケンスインデックスを検査する
414 タイムセグメントiに対するパケットをタイムリミット内に受信したか?
417 パケットからST表示コンテンツを取り出す
421 タイムセグメントiに対応するLとRを再生する
424 タイムセグメントiに対するオーディオエラー隠蔽を実行する

Claims (10)

  1. 第1成分(L)及び第2成分(R)を含む信号を処理する装置であって、
    第1成分及び第2成分の間の少なくとも位相関係を記述する1又はそれより多くの係数(α ,α )を取り出すプロセッサ(215)と、
    前記信号の表示を生成するコントローラ(231)であって、その入力が前記プロセッサの出力に接続され、前記表示が少なくとも第1成分から取り出された第1情報(L*)と、少なくとも前記1又はそれより多くの係数に関する第2情報(P*)とを含み、第2成分の値は第1情報及び第2情報に基づいて予測できるものであるコントローラ(231)と、を備えることを特徴とする装置。
  2. 前記位相関係は、第2成分の少なくとも一部の位相に対する第1成分の少なくとも一部の位相に関連することを特徴とする請求項1記載の装置。
  3. 前記係数は、第2成分の少なくとも一部の強度に対する、第1成分の少なくとも一部の強度をも記述することを特徴とする請求項1記載の装置。
  4. 前記係数は、第1成分と第2成分とを因果律制約に従わせることにより取り出されることを特徴とする請求項1記載の装置。
  5. 前記第1情報は、第1成分と第2成分との組合せから取り出されることを特徴とする請求項1記載の装置。
  6. 前記第1成分と第2成分との組合せが、適応的に決定される
    ことを特徴とする請求項5記載の装置。
  7. 第1信号と第2信号とを含む合成信号を処理する装置であって、
    第1信号と第2信号とに基づいて混成信号を生成するミキサーと、
    前記混成信号の表示を生成するために混成信号を符号化する第1符号化器と、
    前記混成信号と第1信号とに応答して該第1信号を予測するための1又はそれより多くの係数に関連する情報を提供する第2符号化器と、
    合成信号の表示を生成するプロセッサであって、前記合成信号の表示が、前記係数とに関連する情報の表示を含むプロセッサと、
    を備えることを特徴とする合成信号の処理装置。
  8. 前記混成信号は、適応的に生成されることを特徴とする請求項7記載の装置。
  9. パケットのシーケンス内の合成信号の表示をパケット化するコントローラをさらに備え、
    各パケットは他のパケットに対するパケットのシーケンス順番を表すインディケータを含むことを特徴とする請求項7記載の装置。
  10. 第1成分と第2成分とを含む信号を再生する装置であって、
    信号の表示を受領するインタフェースと、
    前記表示は第1成分から得られた第1情報と、第1成分と第2成分との間の位相関係を記述する係数に関連する第2情報とを含み、
    前記表示に基づいて信号を再生するプロセッサであって、信号を再生する際の表示の中の第1情報と第2情報とに基づいて第2成分の値を予測するよう動作するプロセッサと、を備えることを特徴とする信号の再生装置。
JP2009143798A 1999-12-03 2009-06-17 第1成分と第2成分を含む信号を処理する装置と方法 Expired - Fee Related JP4865010B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/454026 1999-12-03
US09/454,026 US6539357B1 (en) 1999-04-29 1999-12-03 Technique for parametric coding of a signal containing information

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000368899A Division JP2001209399A (ja) 1999-12-03 2000-12-04 第1成分と第2成分を含む信号を処理する装置と方法

Publications (2)

Publication Number Publication Date
JP2009205185A true JP2009205185A (ja) 2009-09-10
JP4865010B2 JP4865010B2 (ja) 2012-02-01

Family

ID=23802983

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000368899A Pending JP2001209399A (ja) 1999-12-03 2000-12-04 第1成分と第2成分を含む信号を処理する装置と方法
JP2009143798A Expired - Fee Related JP4865010B2 (ja) 1999-12-03 2009-06-17 第1成分と第2成分を含む信号を処理する装置と方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000368899A Pending JP2001209399A (ja) 1999-12-03 2000-12-04 第1成分と第2成分を含む信号を処理する装置と方法

Country Status (5)

Country Link
US (1) US6539357B1 (ja)
EP (1) EP1107232B1 (ja)
JP (2) JP2001209399A (ja)
CA (1) CA2326495C (ja)
DE (1) DE60039278D1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961432B1 (en) * 1999-04-29 2005-11-01 Agere Systems Inc. Multidescriptive coding technique for multistream communication of signals
JP3507743B2 (ja) * 1999-12-22 2004-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮オーディオデータへの電子透かし方法およびそのシステム
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7644003B2 (en) 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7447321B2 (en) 2001-05-07 2008-11-04 Harman International Industries, Incorporated Sound processing system for configuration of audio signals in a vehicle
US6804565B2 (en) * 2001-05-07 2004-10-12 Harman International Industries, Incorporated Data-driven software architecture for digital sound processing and equalization
US7451006B2 (en) * 2001-05-07 2008-11-11 Harman International Industries, Incorporated Sound processing system using distortion limiting techniques
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
DE10154932B4 (de) * 2001-11-08 2008-01-03 Grundig Multimedia B.V. Verfahren zur Audiocodierung
WO2003046891A1 (en) 2001-11-29 2003-06-05 Coding Technologies Ab Methods for improving high frequency reconstruction
ES2341327T3 (es) * 2002-04-10 2010-06-18 Koninklijke Philips Electronics N.V. Codificacion y decodificacion de señales audio multicanal.
RU2316154C2 (ru) * 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
US8498422B2 (en) 2002-04-22 2013-07-30 Koninklijke Philips N.V. Parametric multi-channel audio representation
ES2323294T3 (es) * 2002-04-22 2009-07-10 Koninklijke Philips Electronics N.V. Dispositivo de decodificacion con una unidad de decorrelacion.
US7492908B2 (en) * 2002-05-03 2009-02-17 Harman International Industries, Incorporated Sound localization system based on analysis of the sound field
JP4322207B2 (ja) 2002-07-12 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化方法
WO2004008806A1 (en) 2002-07-16 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
ATE348386T1 (de) 2002-11-28 2007-01-15 Koninkl Philips Electronics Nv Audiosignalkodierung
KR101049751B1 (ko) * 2003-02-11 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
ES2355240T3 (es) 2003-03-17 2011-03-24 Koninklijke Philips Electronics N.V. Procesamiento de señales de múltiples canales.
KR20050116828A (ko) * 2003-03-24 2005-12-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 다채널 신호를 나타내는 주 및 부 신호의 코딩
US20040264713A1 (en) * 2003-06-27 2004-12-30 Robert Grzesek Adaptive audio communication code
US7792670B2 (en) * 2003-12-19 2010-09-07 Motorola, Inc. Method and apparatus for speech coding
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
CN1973320B (zh) * 2004-04-05 2010-12-15 皇家飞利浦电子股份有限公司 立体声编码和解码的方法及其设备
CN102122509B (zh) * 2004-04-05 2016-03-23 皇家飞利浦电子股份有限公司 多信道解码器和多信道解码方法
WO2005098824A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Multi-channel encoder
CA2566366C (en) * 2004-05-19 2013-08-06 Matsushita Electric Industrial Co. Ltd. Audio signal encoder and audio signal decoder
DE602005011439D1 (de) * 2004-06-21 2009-01-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zum kodieren und dekodieren von mehrkanaltonsignalen
ES2373728T3 (es) 2004-07-14 2012-02-08 Koninklijke Philips Electronics N.V. Método, dispositivo, aparato codificador, aparato decodificador y sistema de audio.
RU2391714C2 (ru) * 2004-07-14 2010-06-10 Конинклейке Филипс Электроникс Н.В. Преобразование аудиоканалов
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
JP4936894B2 (ja) * 2004-08-27 2012-05-23 パナソニック株式会社 オーディオデコーダ、方法及びプログラム
DE102004042819A1 (de) * 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
KR101158709B1 (ko) 2004-09-06 2012-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 강화
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
JP5017121B2 (ja) * 2004-11-30 2012-09-05 アギア システムズ インコーポレーテッド 外部的に供給されるダウンミックスとの空間オーディオのパラメトリック・コーディングの同期化
WO2006060279A1 (en) 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
CN101151660B (zh) * 2005-03-30 2011-10-19 皇家飞利浦电子股份有限公司 多通道音频编码器、解码器以及相应方法
US7991610B2 (en) 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
US7961890B2 (en) 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
JP4850827B2 (ja) * 2005-04-28 2012-01-11 パナソニック株式会社 音声符号化装置および音声符号化方法
JP4907522B2 (ja) * 2005-04-28 2012-03-28 パナソニック株式会社 音声符号化装置および音声符号化方法
US8626503B2 (en) * 2005-07-14 2014-01-07 Erik Gosuinus Petrus Schuijers Audio encoding and decoding
WO2007029412A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. マルチチャンネル音響信号処理装置
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
EP2112652B1 (en) * 2006-07-07 2012-11-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for combining multiple parametrically coded audio sources
WO2008069584A2 (en) 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
CA2670864C (en) 2006-12-07 2015-09-29 Lg Electronics Inc. A method and an apparatus for processing an audio signal
CN101071570B (zh) * 2007-06-21 2011-02-16 北京中星微电子有限公司 耦合声道的编、解码处理方法、音频编码装置及解码装置
KR100922897B1 (ko) * 2007-12-11 2009-10-20 한국전자통신연구원 Mdct 영역에서 음질 향상을 위한 후처리 필터장치 및필터방법
WO2010017833A1 (en) * 2008-08-11 2010-02-18 Nokia Corporation Multichannel audio coder and decoder
BR122019023924B1 (pt) 2009-03-17 2021-06-01 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
TWI433137B (zh) 2009-09-10 2014-04-01 Dolby Int Ab 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法
RU2683175C2 (ru) 2010-04-09 2019-03-26 Долби Интернешнл Аб Стереофоническое кодирование на основе mdct с комплексным предсказанием
PL3779979T3 (pl) * 2010-04-13 2024-01-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób dekodowania audio do przetwarzania sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji
UA107771C2 (en) * 2011-09-29 2015-02-10 Dolby Int Ab Prediction-based fm stereo radio noise reduction
CN108877815B (zh) 2017-05-16 2021-02-23 华为技术有限公司 一种立体声信号处理方法及装置
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04324727A (ja) * 1991-04-24 1992-11-13 Fujitsu Ltd ステレオ符号化伝送方式
JP2000505266A (ja) * 1996-07-12 2000-04-25 フラオホッフェル―ゲゼルシャフト ツル フェルデルング デル アンゲヴァンドテン フォルシュング エー.ヴェー. ステレオ音響スペクトル値の符号化・解読方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8601182A (nl) * 1986-05-12 1987-12-01 Philips Nv Werkwijze en inrichting voor het opnemen en/of weergeven van een beeldsignaal en een bijbehorend audiosignaal in respektievelijk van een registratiedrager, en een registratiedrager verkregen volgens de werkwijze.
NL9000338A (nl) * 1989-06-02 1991-01-02 Koninkl Philips Electronics Nv Digitaal transmissiesysteem, zender en ontvanger te gebruiken in het transmissiesysteem en registratiedrager verkregen met de zender in de vorm van een optekeninrichting.
US5632005A (en) * 1991-01-08 1997-05-20 Ray Milton Dolby Encoder/decoder for multidimensional sound fields
DE4202140A1 (de) * 1992-01-27 1993-07-29 Thomson Brandt Gmbh Verfahren zur uebertragung digitaler audio-signale
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
ES2165370T3 (es) * 1993-06-22 2002-03-16 Thomson Brandt Gmbh Metodo para obtener una matriz decodificadora multicanal.
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
US5703877A (en) 1995-11-22 1997-12-30 General Instrument Corporation Of Delaware Acquisition and error recovery of audio data carried in a packetized data stream
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04324727A (ja) * 1991-04-24 1992-11-13 Fujitsu Ltd ステレオ符号化伝送方式
JP2000505266A (ja) * 1996-07-12 2000-04-25 フラオホッフェル―ゲゼルシャフト ツル フェルデルング デル アンゲヴァンドテン フォルシュング エー.ヴェー. ステレオ音響スペクトル値の符号化・解読方法

Also Published As

Publication number Publication date
CA2326495C (en) 2004-02-03
CA2326495A1 (en) 2001-06-03
US6539357B1 (en) 2003-03-25
EP1107232A2 (en) 2001-06-13
EP1107232A3 (en) 2002-10-16
JP4865010B2 (ja) 2012-02-01
JP2001209399A (ja) 2001-08-03
EP1107232B1 (en) 2008-06-25
DE60039278D1 (de) 2008-08-07

Similar Documents

Publication Publication Date Title
JP4865010B2 (ja) 第1成分と第2成分を含む信号を処理する装置と方法
KR101309673B1 (ko) 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법
US5886276A (en) System and method for multiresolution scalable audio signal encoding
KR102672762B1 (ko) 고차 앰비소닉스 표현을 압축 및 압축해제하기 위한 방법 및 장치
JP2756515B2 (ja) 可聴信号の知覚符号化方法および音声信号伝送方法
JP5357904B2 (ja) 変換補間によるオーディオパケット損失補償
JP4056407B2 (ja) スケーラブル無損失オーディオ符号化/復号化装置及びその方法
JP5647571B2 (ja) フルバンド拡張可能なオーディオコーデック
JP4063508B2 (ja) ビットレート変換装置およびビットレート変換方法
JP3964860B2 (ja) ステレオオーディオの符号化方法、ステレオオーディオ符号化装置、ステレオオーディオの復号化方法、ステレオオーディオ復号化装置及びコンピュータで読み取り可能な記録媒体
US8200498B2 (en) Secure audio stream scramble system
JP2004120619A (ja) オーディオ情報復号装置
JP2019133200A (ja) 音場の高次アンビソニックス表現を符号化するために必要とされるサイド情報の符号化を改善する方法および装置
JP3193515B2 (ja) 音声符号化通信方式及びその装置
JP3336619B2 (ja) 信号処理装置
KR100238324B1 (ko) 오디오 신호의 에러 은닉 방법과 그 장치
JP3011038B2 (ja) 音声情報圧縮方法及び装置
Jin et al. A hierarchical lossless/lossy coding system for high quality audio up to 192 kHz sampling 24 bit format
JP3692959B2 (ja) 電子透かし情報埋め込み装置
JPH10260699A (ja) 音声符号化方法および装置
JPH1093441A (ja) ディジタル化されたオーディオ信号の符号化方法及び装置
JP2024518846A (ja) 3次元オーディオ信号符号化方法および装置、ならびにエンコーダ
Yang et al. Design of progressive syntax-rich multichannel audio codec
Yang et al. Progressive syntax-rich coding of multichannel audio sources
KR20240096662A (ko) 고차 앰비소닉스 표현을 압축 및 압축해제하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110516

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110812

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111017

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4865010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees