JP2010139671A - オーディオ復号装置、方法、及びプログラム - Google Patents

オーディオ復号装置、方法、及びプログラム Download PDF

Info

Publication number
JP2010139671A
JP2010139671A JP2008315150A JP2008315150A JP2010139671A JP 2010139671 A JP2010139671 A JP 2010139671A JP 2008315150 A JP2008315150 A JP 2008315150A JP 2008315150 A JP2008315150 A JP 2008315150A JP 2010139671 A JP2010139671 A JP 2010139671A
Authority
JP
Japan
Prior art keywords
information
signal
decoded
coefficient
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008315150A
Other languages
English (en)
Other versions
JP5309944B2 (ja
Inventor
Miyuki Shirakawa
美由紀 白川
Masanao Suzuki
政直 鈴木
Yoshiteru Tsuchinaga
義照 土永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008315150A priority Critical patent/JP5309944B2/ja
Priority to US12/634,527 priority patent/US8374882B2/en
Publication of JP2010139671A publication Critical patent/JP2010139671A/ja
Application granted granted Critical
Publication of JP5309944B2 publication Critical patent/JP5309944B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】パラメトリックステレオ方式のように復号側で復号音声信号と復号補助信号とに基づき元音声信号を再現する音声復号方式において音質の劣化を低減させる。
【解決手段】受信処理部は、音声データから受信音声信号と音声復号補助情報とを得る。係数計算部は、第１の音声復号補助情報から係数情報を計算する。復号音分析部は、音声復号補助情報を第１の音声復号補助情報として、その情報及び受信音声信号に基づいて復号音声信号を復号し、第１の音声復号補助情報に対応する第２の音声復号補助情報を算出する。歪み検出部は、第２の音声復号補助情報と第１の音声復号補助情報とを比較により、復号音声信号の復号過程で生じた歪み量を検出する。係数補正部は、係数情報を、歪み検出部にて検出された歪み量に基づいて補正し、その係数情報を出力信号生成部に与える。出力信号生成部は、係数情報と受信音声信号とに基づいて復号された出力音声信号を生成する。
【選択図】図１

Description

オーディオ信号を圧縮・伸張する符号化技術に関し、特に、モノラル信号から擬似ステレオ信号を生成するパラメトリックステレオ符号化技術等の、復号側で復号音声信号と復号補助信号とに基づいて元音声信号を再現する音声符号化・復号技術に関する。
パラメトリックステレオ符号化技術は、ＭＰＥＧ−４ Ａｕｄｉｏ規格の１つであるＨＥ−ＡＡＣ（High-Efficiency Advanced Audio Coding ） ｖｅｒｓｉｏｎ ２ 方式（以下、「ＨＥ−ＡＡＣ ｖ２」と表記する）に採用された技術であり、低ビットレートステレオ信号向けコーデックの効率を飛躍的に向上させ、モバイル機器や放送、インターネット向けに最適な音声圧縮技術である。
図１６にステレオ録音のモデルを示す。同図は、ある音源ｘ(t) から発せられた音を＃１と＃２の２本のマイク１６０１で録音する場合のモデルである。
ここで、ｃ１ ｘ(t)は＃１のマイク１６０１に到達する直接波、ｃ2 ｈ(t)*ｘ(t) は部屋の壁等で反射してから＃１のマイク１６０１に到達する反射波である。ここでｔは時間であり、ｈ(t) は部屋の伝達特性を表すインパルス応答である。また、記号「* 」は畳み込み演算を表し、ｃ１ 及びｃ2 はゲインである。同様にして、ｃ3 ｘ(t) は＃２のマイク１６０１に到達する直接波であり、ｃ4 ｈ(t)*ｘ(t) は＃２のマイク１６０１に到達する反射波である。従って、＃１及び＃２のマイク１６０１で録音される信号をそれぞれ、ｌ(t),ｒ(t) とすると、ｌ(t) とｒ(t) は次式のように直接波と反射波の線形和で表すことができる。
ＨＥ−ＡＡＣ ｖ２ デコーダでは、図１６の音源ｘ(t) に相当する信号を得られないので、次式のように、モノラル信号s(t) から近似的にステレオ信号が生成される。ここで、下記数３式及び数４式の各第１項は直接波、各第２項は反射波（残響成分）を近似している。
残響成分の作成方法には様々な手法があるが、ＨＥ−ＡＡＣ ｖ２ 規格のパラメトリックステレオ（以下、随時「ＰＳ」と略す）デコード部は、モノラル信号s(t) を非相関化（直交化）して残響信号d(t) を作成し、次式によりステレオ信号を生成する。
ここでは説明の都合上、時間領域の処理として説明したが、ＰＳデコード部では時間・周波数領域（ＱＭＦ（Quadrature Mirror Filterbank）係数領域）で疑似ステレオ化を行うため、数５式と数６式は次のように表わされる。ｂは周波数を表すインデックスであり、ｔは時間を表すインデックスである。
次に、モノラル信号s(b,t) から残響信号d(b,t) を作成する方法について説明する。残響成分の生成方法としては様々な手法が存在するが、ＨＥ−ＡＡＣ ｖ２ 規格のＰＳデコード部では、モノラル信号s(b,t) を、ＩＩＲ（Infinite Impulse Response）（無限インパルス応答）型のオールパスフィルタにより、図１７に示されるように非相関化（直交化）して、残響信号d(b,t) に変換する。
入力信号（Ｌ，Ｒ）と、モノラル信号ｓ、及び残響信号ｄの関係を、図１８に示す。同図に示されるように、入力信号Ｌ及びＲとモノラル信号Ｓのなす角度をαとし、ｃｏｓ(２α）を類似度として定義する。ＨＥ−ＡＡＣ ｖ２ 規格のエンコーダは、このαを類似度情報として符号化する。この類似度情報は、Ｌチャネル入力信号とＲチャネル入力信号の類似度を示している。
図１８では、簡単のためＬとＲの長さが等しい場合の例を示しているが、ＬとＲ長さ（ノルム）が異なる場合を考慮して、ＬとＲノルムの比を強度差として定義し、エンコーダがそれを強度差情報として符号化する。この強度差情報は、Ｌチャネル入力信号とＲチャネル入力信号の電力比を示している。
デコーダ側において、s(b,t) とd(b,t) からステレオ信号を生成する方法について説明する。図１９において、Ｓは復号された入力信号、Ｄはデコーダ側で得られる残響信号、Ｃl は強度差から算出したＬチャネル信号のスケールファクタであり、Ｃl でスケーリングされたモノラル信号が角度α方向に射影された結果と、Ｃl でスケーリングされた残響信号が（π／２）−α方向に射影された結果が合成されて得られるベクトルが復号されたＬチャネル信号とされる。数式で表すと、下記数９式となる。同様に、ＲチャネルもスケールファクタＣr 、s、d及び角度αを用いて下記数１０式により生成できる。Ｃl とＣr の間には、Ｃl ＋Ｃr ＝２なる関係がある。
従って、数９式と数１０式は、下記数１１式及び数１２式にまとめることができる。
上記原理に基づいて動作するパラメトリックステレオ復号装置について、以下に説明する。
図２０は、パラメトリックステレオ復号装置の基本構成図である。
まず、データ分離部２００１は、受信される入力データを、コア符号化データとＰＳデータに分離する。
コア復号部２００２は、上記コア符号化データを復号し、モノラル音声信号Ｓ(b,t) を出力する。ｂは周波数帯域のインデックスである。コア復号部としては、ＡＡＣ（Advanced Audio Coding ）方式やＳＢＲ（Spectral Band Replication ）方式などの従来のオーディオ符号化・復号方式に基づくものを用いることができる。
モノラル音声信号Ｓ(b,t) とＰＳデータは、パラメトリックステレオ（ＰＳ）復号部２００３に入力する。
ＰＳ復号部２００３は、ＰＳデータの情報に基づいて、モノラル音声信号Ｓ(b,t) を周波数域ステレオ復号信号Ｌ(b,t) とＲ(b,t) に変換する。
周波数時間変換部２００４（Ｌ）及び２００４（Ｒ）はそれぞれ、Ｌチャネル周波数域復号信号Ｌ(b,t) 及びＲチャネル周波数域復号信号Ｒ(b,t) を、Ｌチャネル時間域復号信号Ｌ(t) 及びＲチャネル時間域復号信号Ｒ(t)に変換する。
図２１は、図２０のＰＳ復号部２００３の従来技術における構成図である。
図１６〜図１９の説明において前述した原理に基づいて、モノラル信号Ｓ(b,t) に対して、遅延付加部２１０１にて遅延が付加され、非相関化部２１０２によって非相関化されることにより、残響信号Ｄ(b,t) が作成される。
また、ＰＳ解析部２１０３が、ＰＳデータを解析することにより、類似度と強度差を抽出する。図１８の説明において前述した通り、類似度は、Ｌチャネル信号とＲチャネル信号の類似度（エンコーダ側でＬチャネル入力信号とＲチャネル入力信号とから算出され、量子化された値）を示し、強度差は、Ｌチャネル信号とＲチャネル信号の電力比（エンコーダ側でＬチャネル入力信号とＲチャネル入力信号とから算出され、量子化された値）を示している。
係数計算部２１０４は、類似度と強度差とから、前述した数１２式に基づいて、係数行列Ｈを算出する。
ステレオ信号生成部２１０５は、モノラル信号Ｓ(b,t) と残響信号Ｄ(b,t) と上記係数行列Ｈとに基づいて、前述の数１１式と等価な下記数１３式により、ステレオ信号Ｌ(b,t) とＲ(b,t) を生成する。なお、図２１及び数１３式では、時間サフィックスｔは省略されている。
特開２００７−７９４８７号公報
上記パラメトリックステレオ方式の従来技術において、Ｌチャネル入力信号とＲチャネル入力信号とで相関がほとんどない音声信号、例えば２ヶ国語音声が符号化された場合について考察する。
パラメトリックステレオ方式では、復号側において、モノラル信号Ｓからステレオ信号が作成されるため、前述の数１３式からも理解されるように、モノラル信号Ｓの性質が出力信号Ｌ’とＲ’に影響する。
例えば、元のＬチャネル入力信号とＲチャネル入力信号が全く異なる場合（類似度が０である）場合、図２０のＰＳ復号部２００３からの出力音声は次式で算出される。
つまり、出力信号Ｌ’とＲ’にモノラル信号Ｓの成分が現れる。図２２は、それを模式的に示した図である。モノラル信号Ｓは、Ｌチャネル入力信号ＬとＲチャネル入力信号Ｒの和なので、数１４式は、一方の信号が他方のチャネルに漏れこんでしまうことを意味する。
このため、従来のパラメトリックステレオ復号装置において、出力信号Ｌ’とＲ’を同時に聞くと、左右から似たような音が発生するため、エコーのように聞こえて音質が劣化してしまうという問題点を有していた。
課題は、パラメトリックステレオ方式のように復号側で受信音声信号と音声復号補助情報とに基づいて元音声信号を再現する音声復号方式において、音質の劣化を低減させることにある。
受信処理部１０１は、符号化された音声データから受信音声信号と音声復号補助情報とを得る。より具体的には、受信処理部１０１は、パラメトリックステレオ方式により符号化された音声データからモノラル音声信号及び残響音声信号とパラメトリックステレオパラメータ情報とを得る。
係数計算部１０２は、第１の音声復号補助情報から係数情報を計算する。より具体的には、係数計算部１０２は、パラメトリックステレオパラメータ情報から係数情報を計算する。
復号音分析部１０４は、音声復号補助情報を第１の音声復号補助情報として、その情報及び受信音声信号に基づいて復号音声信号を復号し、その復号音声信号から第１の音声復号補助情報に対応する第２の音声復号補助情報を算出する。より具体的には、復号音分析部１０４は、パラメトリックステレオパラメータ情報を第１のパラメトリックステレオパラメータ情報として、その情報とモノラル音声復号信号及び残響音声信号とに基づいて復号音声信号を復号し、その復号音声信号から第１のパラメトリックステレオパラメータ情報に対応する第２のパラメトリックステレオパラメータ情報を算出する。
歪み検出部１０５は、第２の音声復号補助情報と第１の音声復号補助情報とを比較することにより、復号音声信号の復号過程で生じた歪み量を検出する。より具体的には、歪み検出部１０５は、第２のパラメトリックステレオパラメータ情報と第１のパラメトリックステレオパラメータ情報とを比較することにより、復号音声信号の復号過程で生じた歪み量を検出する。
係数補正部１０６は、係数情報を、歪み検出部にて検出された歪み量に基づいて補正し、その補正された係数情報を出力信号生成部に与える。
出力信号生成部１０３は、補正された係数情報と受信音声信号とに基づいて復号された出力音声信号を生成する。より具体的には、出力信号生成部１０３は、補正された係数情報とモノラル音声信号及び残響音声信号とに基づいて復号されたステレオ出力音声信号を生成する
上述の構成において、パラメトリックステレオパラメータ情報はステレオ音声チャネル間の類似度を示す類似度情報、及びステレオ音声チャネル間の信号の強度差を示す強度差情報である。
この場合、復号音分析部１０４は、第１のパラメトリックステレオパラメータ情報である第１の類似度情報及び第１の強度差情報にそれぞれ対応する第２の類似度情報及び第２の強度差情報を、復号音声信号からそれぞれ算出する。
更に、歪み検出部１０５は、第２の類似度情報及び第２の強度差情報と第１の類似度情報及び第１の強度差情報とを周波数帯域毎に比較することにより、復号音声信号の復号過程で生じた周波数帯域毎及びステレオ音声チャネル毎の歪み量、及び歪みが発生した音声チャネルを検出する。
そして、係数補正部１０６は、歪み検出部１０５にて検出された音声チャネルに対応する係数情報を、歪み検出部１０５にて検出された周波数帯域毎及びステレオ音声チャネル毎の歪み量に基づいて補正する。
上述の態様において、係数補正部１０６によって補正が行われた係数情報を、時間軸方向又は周波数軸方向に平滑化する係数情報平滑化部を更に含むように構成することができる。
また、復号音分析部１０４、歪み検出部１０５、及び係数補正部１０６は、時間周波数領域にて実行されるように構成することができる。
第１のパラメトリックステレオパラメータ情報等に基づいてモノラル音声復号信号等に擬似ステレオ化等の処理を施すことによってステレオ音声復号信号等を復号する音声復号方式において、ステレオ音声復号信号から第１のパラメトリックステレオパラメータ情報等に対応する第２のパラメトリックステレオパラメータ情報等を復号側にて生成し、第１及び第２のパラメトリックステレオパラメータ情報等を比較することによって、擬似ステレオ化処理等の復号処理における歪みを検出することが可能となる。
これにより、ステレオ音声復号信号に対してエコー感等を除去するための係数補正を施すことが可能となり、復号音における音質劣化を抑制することが可能となる。
以下、図面を参照しながら、最良の実施形態について詳細に説明する。
第１の実施形態
図１は、第１の実施形態の構成図である。
受信処理部１０１は、符号化された音声データから受信音声信号と音声復号補助情報とを得る。より具体的には、受信処理部１０１は、パラメトリックステレオ方式により符号化された音声データからモノラル音声信号及び残響音声信号とパラメトリックステレオパラメータ情報とを得る。
係数計算部１０２は、第１の音声復号補助情報から係数情報を計算する。より具体的には、係数計算部１０２は、パラメトリックステレオパラメータ情報から係数情報を計算する。
復号音分析部１０４は、音声復号補助情報を第１の音声復号補助情報として、その情報及び受信音声信号に基づいて復号音声信号を復号し、その復号音声信号から第１の音声復号補助情報に対応する第２の音声復号補助情報を算出する。より具体的には、復号音分析部１０４は、パラメトリックステレオパラメータ情報を第１のパラメトリックステレオパラメータ情報として、その情報とモノラル音声復号信号及び残響音声信号とに基づいて復号音声信号を復号し、その復号音声信号から第１のパラメトリックステレオパラメータ情報に対応する第２のパラメトリックステレオパラメータ情報を算出する。
歪み検出部１０５は、第２の音声復号補助情報と第１の音声復号補助情報とを比較することにより、復号音声信号の復号過程で生じた歪み量を検出する。より具体的には、歪み検出部１０５は、第２のパラメトリックステレオパラメータ情報と第１のパラメトリックステレオパラメータ情報とを比較することにより、復号音声信号の復号過程で生じた歪み量を検出する。
係数補正部１０６は、係数情報を、歪み検出部にて検出された歪み量に基づいて補正し、その補正された係数情報を出力信号生成部に与える。
出力信号生成部１０３は、補正された係数情報と受信音声信号とに基づいて復号された出力音声信号を生成する。より具体的には、出力信号生成部１０３は、補正された係数情報とモノラル音声信号及び残響音声信号とに基づいて復号されたステレオ出力音声信号を生成する
上述の構成において、パラメトリックステレオパラメータ情報はステレオ音声チャネル間の類似度を示す類似度情報、及びステレオ音声チャネル間の信号の強度差を示す強度差情報である。
この場合、復号音分析部１０４は、第１のパラメトリックステレオパラメータ情報である第１の類似度情報及び第１の強度差情報にそれぞれ対応する第２の類似度情報及び第２の強度差情報を、復号音声信号からそれぞれ算出する。
更に、歪み検出部１０５は、第２の類似度情報及び第２の強度差情報と第１の類似度情報及び第１の強度差情報とを周波数帯域毎に比較することにより、復号音声信号の復号過程で生じた周波数帯域毎及びステレオ音声チャネル毎の歪み量、及び歪みが発生した音声チャネルを検出する。
そして、係数補正部１０６は、歪み検出部１０５にて検出された音声チャネルに対応する係数情報を、歪み検出部１０５にて検出された周波数帯域毎及びステレオ音声チャネル毎の歪み量に基づいて補正する。
第２の実施形態
図２は、パラメトリックステレオ復号装置の第２の実施形態の構成図である。また、図３は、第２の実施形態の動作を示す動作フローチャートである。以下の説明では、随時、図２の２０１〜２１２の各部と、図３のステップＳ３０１〜Ｓ３１１を参照するものとする。
図２のデータ分離部２０１、ＳＢＲ復号部２０３、ＡＡＣ復号部２０２、遅延付加部２０５、非相関化部２０６、及びパラメトリックステレオ解析部（ＰＳ解析部）２０７は、図１の受信処理部１０１に対応している。図２の係数計算部２０８は、図１の係数計算部１０２に対応している。図２のステレオ信号生成部２１２は、図１の出力信号生成部１０３に対応している。図２の復号音分析部２０９は、図１の復号音分析部１０４に対応している。図２の歪み検出部２１０は、図１の歪み検出部１０５に対応している。そして、図２の係数補正部２１１は、図１の係数補正部１０６に対応している。
まず、図２のデータ分離部２０１は、受信される入力データを、コア符号化データとパラメトリックステレオ（ＰＳ）データに分離する（図３のステップＳ３０１）。
次に、図２のＡＡＣ復号部２０２は、データ分離部２０１から入力されるコア符号化データから、ＡＡＣ（Advanced Audio Coding ）方式によって符号化された音声信号を復号する。ＳＢＲ復号部２０３は、ＡＡＣ復号部２０２によって復号された音声信号から更に、ＳＢＲ（Spectral Band Replication ）方式によって符号化された音声信号を復号し、モノラル音声信号Ｓ(b,t) を出力する（図３のステップＳ３０２）。ｂは周波数帯域のインデックスである。
モノラル音声信号Ｓ(b,t) とＰＳデータは、パラメトリックステレオ（ＰＳ）復号部２０４に入力する。
ＰＳ復号部２０４では、図１６〜図１９の説明において前述した原理に基づいて、モノ
ラル信号Ｓ(b,t) に対して、図２に示される遅延付加部２０５にて遅延が付加され（図３のステップＳ３０３）、その出力が非相関化部２０６によって非相関化されることにより（図３のステップＳ３０４）、残響信号Ｄ(b,t) が作成される。
一方、図２に示されるパラメトリックステレオ解析部（ＰＳ解析部）２０７は、データ分離部２０１から入力されるＰＳデータから、第１類似度ｉｉｃ(b) と第１強度差ｉｉｄ(b) を抽出する（図３のステップＳ３０５）。図１８の説明において前述した通り、第１類似度ｉｉｃ(b) は、Ｌチャネル信号とＲチャネル信号の類似度（エンコーダ側でＬチャネル入力信号とＲチャネル入力信号とから算出され、量子化された値）を示し、第１強度差ｉｉｄ(b) は、Ｌチャネル信号とＲチャネル信号の電力比（エンコーダ側でＬチャネル入力信号とＲチャネル入力信号とから算出され、量子化された値）を示している。
図２に示される係数計算部２０８は、第１類似度ｉｉｃ(b) と第１強度差ｉｉｄ(b) とから、係数行列Ｈ(b) を算出する（図３のステップＳ３０６）。
次に、図２の復号音分析部２０９が、ＳＢＲ復号部２０３から出力されるモノラル信号Ｓ(b,t) と、非相関化部２０６から出力される残響信号Ｄ(b,t) と、係数計算部２０８から出力される係数行列Ｈ(b) とに基づいて、復号音を復号して分析し、第２類似度ｉｉｃ′(b) と第２強度差ｉｉｄ′(b) を算出する（図３のステップＳ３０７）。
続いて、図２の歪み検出部２１０は、復号側にて算出された第２類似度ｉｉｃ′(b) 及び第２強度差ｉｉｄ′(b)を、符号化側にて算出され伝送されてきた第１類似度ｉｉｃ(b)
及び第１強度差ｉｉｄ(b)と比較することにより、パラメトリックステレオ化によって付加された歪みを検出する（図３のステップＳ３０８）。
そして、図２の係数補正部２１１は、係数計算部２０８から出力されている係数行列Ｈ(b) を、歪み検出部２１０が検出した歪みデータに基づいて補正し、補正係数行列Ｈ′(b) を出力する（図３のステップＳ３０９）。
ステレオ信号生成部２１２は、モノラル信号Ｓ(b,t) と残響信号Ｄ(b,t) と上記補正係数行列Ｈ′(b) とに基づいて、ステレオ信号Ｌ(b,t) とＲ(b,t) を生成する（図３のステップＳ３１０）。
周波数時間変換部２１３（Ｌ）及び２１３（Ｒ）はそれぞれ、補正係数行列Ｈ′(b) によってスペクトル補正されたＬチャネル周波数域復号信号及びＲチャネル周波数域復号信号を、Ｌチャネル時間域復号信号Ｌ(t) 及びＲチャネル時間域復号信号Ｒ(t)に変換し、各々を出力する（図３のステップＳ３１１）。
上述の第２の実施形態の構成において、例えば、図４（ａ）に示されるように、入力ステレオ音声がジャズ音楽のようなエコー感のない音声の場合には、符号化前の類似度（符号化装置側で算出された類似度）４０１と符号化後の類似度（復号装置側でパラメトリックステレオ復号音から算出された類似度）４０２を周波数帯域毎に比較した場合、両者の差は小さい。これは、図４（ａ）に示されるジャズ音声のようなものでは、符号化前の元音声ではＬチャネルとＲチャネルの類似度が大きいため、パラメトリックステレオがうまく機能し、伝送されてきて復号されたモノラル音声Ｓ(b,t) から擬似的に復号されたＬチャネルとＲチャネルの類似度も大きく、この結果、両者の類似度の差は小さいものとなるためである。
一方、図４（ｂ）に示されるように、入力ステレオ音声が２ヶ国語音声（Ｌチャネル：ドイツ語、Ｒチャネル：日本語）のようなエコー感がある音声の場合には、符号化前の類似度４０１と符号化後の類似度４０２を周波数帯域毎に比較した場合、両者の差は或る周
波数帯域（図４（ｂ）の４０３や４０４の部分）で大きくなる。これは、図４（ｂ）に示される２ヶ国語音声のようなものでは、符号化前の元入力音声ではＬチャネルとＲチャネルの類似度が小さいのに対して、パラメトリックステレオ復号された音声ではＬチャネル及びＲチャネル共に伝送されてきて復号されたモノラル音声Ｓ(b,t) から擬似的に復号されているためにＬチャネルとＲチャネルの類似度が大きくなってしまい、この結果、両者の類似度の差が大きくなるためである。これは即ち、パラメトリックステレオがうまく機能していないことを示している。
そこで、図２の第２の実施形態では、歪み検出部２１０が、伝送されてきた入力データから抽出された第１類似度ｉｉｃ(b) と、復号音分析部２０９にて復号音から再計算された第２類似度ｉｉｃ′(b) とを比較して歪み量を検出する。更に、歪み検出部２１０は、伝送されてきた入力データから抽出された第１強度差ｉｉｄ(b)と、復号音分析部２０９にて復号音から再計算された第２強度差ｉｉｄ′(b)の差の判定によりＬチャネルとＲチャネルのどちらを補正するかを決定する。この処理に基づいて、係数補正部２１１が、該当する周波数インデックスｂについて、係数行列Ｈ(b) を補正し、補正係数行列Ｈ′(b) を算出する。
この結果、入力ステレオ音声が、例えば図５（ａ）に示されるように、２ヶ国語音声（Ｌチャネル：ドイツ語、Ｒチャネル：日本語）のような場合には、５０１に示される周波数帯域でＬチャネルとＲチャネルの音声成分の差が大きくなる。そして、従来技術による復号音声では、図５（ｂ）に示されるように、入力音声の５０１に対応する周波数帯域５０２においてＲチャネルにＬチャネルの音声成分が歪み成分として漏れ込んで、ＬチャネルとＲチャネルを同時に聞くとエコーのように聞こえる。一方、図２の構成に基づいて得られる復号音声では、図５（ｃ）に示されるように、入力音声の５０１に対応する周波数帯域５０２においてパラメトリックステレオによってＲチャネルに漏れ込んだ歪み成分が良く抑制される。この結果、ＬチャネルとＲチャネルを同時に聞くとエコー感が低減され、主観的にはほとんど劣化を感じないという結果を得ることができる。
以上の処理を実現するための図２の復号音分析部２０９、歪み検出部２１０、及び係数補正部２１１の詳細な動作について、以下に説明する。
まず、特には図示しない符号化装置側で符号化される前のステレオ入力信号を、Ｌチャネル信号Ｌ(b,t) 、Ｒチャネル信号Ｒ(b,t) とする。ｂは周波数帯域を示すインデックスであり、ｔは離散時間を示すインデックスである。
図６は、ＨＥ−ＡＡＣデコーダにおける時間・周波数信号の定義を示した図である。上記Ｌ(b,t) 及びＲ(b,t) の各信号は、離散時間ｔ毎に、周波数帯域ｂによって分割された複数の信号成分から構成されている。１つの時間・周波数信号（ＱＭＦ（Quadrature Mirror Filterbank）係数に相当）をbとtを使って、上記Ｌ(b,t) 又はＲ(b,t) などと表す。
今、パラメトリックステレオ符号化装置側から伝送されてきてパラメトリックステレオ復号装置側にて抽出される或る周波数帯域ｂにおける第１強度差ｉｉｄ(b) と第１類似度ｉｉｃ(b)は、下記数１５式により計算される。ここで、Ｎは時間方向のフレーム長（図６参照）である。
この数式から理解されるように、第１強度差ｉｉｄ(b) は、周波数帯域ｂにおける現フレーム（０≦ｔ≦Ｎ−１）におけるＬチャネル信号Ｌ(b,t) の平均電力ｅL (b) とＲチャネル信号Ｒ(b,t) の平均電力ｅR (b) の対数比、第１類似度ｉｉｃ(b) は、これら信号の相互相関である。
前述した図１８の関係より、Ｌチャネル信号Ｌ(b,t) 及びＲチャネル信号Ｒ(b,t)と、第１類似度ｉｉｃ(b) 及び第１強度差ｉｉｄ(b) との関係は、図７（ａ）に示されるごとくとなる。即ち、Ｌチャネル信号Ｌ(b,t) 及びＲチャネル信号Ｒ(b,t) は、パラメトリックステレオ復号装置側にて得られるモノラル信号Ｓ(b,t) とそれぞれ角度α（＝α(b) ）の角度をなし、ｃｏｓ(２α)が第１類似度ｉｉｃ(b) として定義される。即ち、次式が成り立つ。
また、Ｌチャネル信号Ｌ(b,t) とＲチャネル信号Ｒ(b,t) のノルム比が、第１強度差ｉｉｄ(b) として定義される。なお、図７では、時間サフィックスｔは省略されている。
これより、図２の係数計算部２０８は、前述した数１２式に基づいて、係数行列Ｈ(b) を算出することができる。数１２式において、角度αは、数１６式より、図２のＰＳ解析部２０７より出力される第１類似度ｉｉｃ(b) を用いて、次式にて計算できる。
また、数１２式におけるスケールファクタＣl 及びＣr は、図２のＰＳ解析部２０７より出力される第１強度差ｉｉｄ(b) を用いて、次式にて計算できる。
続いて、図２の復号音分析部２０９は、ＳＢＲ復号部２０３から出力されるモノラル信号Ｓ(b,t) 、非相関化部２０６から出力される残響信号Ｄ(b,t) 、及び係数計算部２０８から出力される係数行列Ｈ(b) に基づいて、前述した数１１式が計算される。この結果、復号Ｌチャネル信号Ｌ′(b,t) と復号Ｒチャネル信号Ｒ′(b,t) を復号することができる。
そして、復号音分析部２０９は、上記復号Ｌチャネル信号Ｌ′(b,t) 及び復号Ｒチャネル信号Ｒ′(b,t) から、周波数帯域ｂにおける第２強度差ｉｉｄ′(b) と第２類似度ｉｉｃ′(b) を、前述の数１５式と同様にして、次式により計算する。
数１５式の場合と同様に、ここでも、前述した図１８の関係より、復号Ｌチャネル信号Ｌ′(b,t) 及び復号Ｒチャネル信号Ｒ′(b,t)と、第２類似度ｉｉｃ′(b) 及び第２強度差ｉｉｄ′(b) との関係は、図７（ｂ）に示されるごとくとなる。復号Ｌチャネル信号Ｌ′(b,t) 及び復号Ｒチャネル信号Ｒ′(b,t) は、パラメトリックステレオ復号装置側にて得られるモノラル信号Ｓ(b,t) とそれぞれ角度α′の角度をなし、ｃｏｓ(２α′（ｂ）)が第２類似度ｉｉｃ′(b)として定義される。即ち、次式が成り立つ。
また、復号Ｌチャネル信号Ｌ′(b,t) と復号Ｒチャネル信号Ｒ′(b,t) のノルム比が、第２強度差ｉｉｄ′(b) として定義される。
ここで、パラメトリックステレオ化前のＬチャネル信号Ｌ(b,t) 及びＲチャネル信号Ｒ
(b,t) と、第１類似度ｉｉｃ(b) 及び第１強度差ｉｉｄ(b) との関係は、図７（ａ）に示した。一方、パラメトリックステレオ化後の復号Ｌチャネル信号Ｌ′(b,t) 及び復号Ｒチャネル信号Ｒ′(b,t)と、第２類似度ｉｉｃ′(b) 及び第２強度差ｉｉｄ′(b) との関係は、図７（ｂ）に示した。両図を合成したものが図７（ｃ）である。なお、時間サフィックスｔは省略されている。図７（ｃ）より、パラメトリックステレオ化の前後では、モノラル信号Ｓ(b,t) と残響信号Ｄ(b,t) とで定義される座標平面上で、以下のような関係がある。
・Ｌチャネル信号Ｌ(b,t) と復号Ｌチャネル信号Ｌ′(b,t) は、角度αとα′の差角に関連する角度θl だけずれている。Ｒチャネル信号Ｒ(b,t) と復号Ｒチャネル信号Ｒ′(b,t) も、角度αとα′の差角に関連する角度θr だけずれている。これを歪み量１とする。実用的には、歪み量１＝θ＝θl ＝θr として差し支えない。
・Ｌチャネル信号Ｌ(b,t) と復号Ｌチャネル信号Ｌ′(b,t) は、振幅Ｘl だけずれている。Ｒチャネル信号Ｒ(b,t) と復号Ｒチャネル信号Ｒ′(b,t) も、振幅Ｘr だけずれている。これを歪み量２とする。実用的には、歪み量２＝Ｘ＝Ｘl ＝Ｘr として差し支えない。
上述の知見より、まず、図２に示される歪み検出部２１０が、周波数帯域ｂ毎に、第１類似度ｉｉｃ(b) 及び第２類似度ｉｉｃ′(b) から歪み量１＝θを検出し、第１強度差ｉｉｄ(b) 及び第２強度差ｉｉｄ′(b) から歪み量２＝Ｘを検出する。次に、係数補正部２１１が、周波数帯域ｂ毎に、係数計算部２０８から出力される係数行列Ｈ(b) を、歪み検出部２１０が算出した歪み量１＝θ及び歪み量２＝Ｘに基づいて補正し、補正係数行列Ｈ′(b) を生成する。そして、ステレオ信号生成部２１２が、周波数帯域ｂ毎に、係数補正部２１１が生成した補正係数行列Ｈ′(b) を使って、モノラル信号Ｓ(b,t) 及び残響信号Ｄ(b,t) に基づいて、Ｌチャネル信号Ｌ(b,t) 及びＲチャネル信号Ｒ(b,t) を復号する。これらの信号においては、図７（ｃ）に示される歪み量１＝θ＝θl ＝θr と、歪み量２＝Ｘ＝Ｘl ＝Ｘr が補正されているため、パラメトリックステレオ符号化前の元のＬチャネル及びＲチャネルのステレオ信号が良く復元される。
歪み検出部２１０での歪み量１＝θの具体的な検出方式について、以下に説明する。
数２０式より、角度α′（図８（ａ）参照）は、復号音分析部２０９が算出した周波数帯域ｂにおける第２類似度ｉｉｃ′(b) を用いて、次式により計算できる。
また、角度α（図８（ａ）参照）は、ＰＳ解析部２０７が算出した周波数帯域ｂにおける第１類似度ｉｉｃ(b) を用いて、前述した数１７式により計算できる。
数２１式及び数１７式より、周波数帯域ｂにおける歪み量１＝θ（＝θ(b) ）（図８（ｂ）参照）は、次式により算出される。
即ち、歪み検出部２１０は、ＰＳ解析部２０７が算出した周波数帯域ｂにおける第１類似度ｉｉｃ(b) と、復号音分析部２０９が算出した周波数帯域ｂにおける第２類似度ｉｉ
ｃ′(b) を用いて、数２２式を計算する。この結果、周波数帯域ｂにおける歪み量１＝θ（＝θ(b) ）が算出される。
なお、歪み量１＝θは、次のようにして算出されてもよい。即ちまず、歪み検出部２１０は、周波数帯域ｂにおける第１類似度ｉｉｃ(b) と、周波数帯域ｂにおける第２類似度ｉｉｃ′(b) とから、周波数帯域ｂにおける類似度の差分を、次式により算出する。
歪み検出部２１０は、予め算出されている類似度差分と歪み量１との関係を示す変換テーブルを用いて、数２３式により算出した類似度差分Ａ(b) に対する歪み量１＝θ＝θ(b) を算出する。このために、歪み検出部２１０は、例えば図８（ｃ）に示されるような変換テーブルを、固定的に保持しておくことができる。
次に、歪み検出部２１０での歪み量２＝Ｘ（図７（ｃ）参照）の具体的な検出方式について、以下に説明する。
まず、歪み検出部２１０は、予め算出されている類似度差分と歪み量２の関係に基づいて、前述の数２３式により算出した類似度差分Ａ(b)に対する歪み量２＝γ(b) を算出する。このために、歪み検出部２１０は、例えば図９（ａ）に示されるような変換テーブルを、固定的に保持しておくことができる。この歪み量２＝γ(b) は、図９（ｂ）に示されるように、周波数帯域ｂにおける補正前の復号音声のスペクトルの電力を、γ(b) ［ｄＢ］だけ減衰（−γ(b) ）させるような物理量である。
次に、歪み検出部２１０は、上述のスペクトル電力補正を、係数行列Ｈ(b) に対する補正として実現するために、歪み量２＝γ(b) ［ｄＢ］を、次式によって変換し、この結果得られる物理量Ｘを、歪み量２として出力する。
続いて、係数補正部２１１での係数行列Ｈ(b) の補正処理の具体的な方式について、以下に説明する。
係数補正部２１１は、係数計算部２０８にて前述した数１２式、数１７式、及び数１８式に基づいて算出されている係数行列Ｈ(b) に対する補正係数行列Ｈ′(b) を、次式によって算出する。
ここで、角度αは、前述した数１７式に基づいて係数計算部２０８が算出したものが用いられ、スケールファクタＣl 及びＣr は、前述した数１８式に基づいて係数計算部２０８が算出したものが用いられる。また、角度補正量θ＝θl ＝θr と、電力補正量Ｘ＝Ｘl ＝Ｘr は、歪み検出部２１０が出力する歪み量１及び歪み量２である。
以上のようにして係数補正部２１１が算出した補正係数行列Ｈ′（＝Ｈ′(b) ）を使って、ステレオ信号生成部２１２は、ＳＢＲ復号部２０３から出力されるモノラル信号Ｓ(b,t) 及び非相関化部２０６から出力される残響信号Ｄ(b,t) に対して、次式に基づいて、Ｌチャネル信号Ｌ(b,t) とＲチャネル信号Ｒ(b,t) を復号する。
以上説明したパラメトリックステレオ復号装置における一連の動作を、周波数帯域ｂ毎に補正の有無を判断しながら実行する場合の歪み検出部２１０及び係数補正部２１１の更に具体的な動作について、以下に説明する。
図１０は、歪み検出部２１０及び係数補正部２１１が実行する制御動作を示す動作フローチャートである。以下の説明では、図１０のステップＳ１００１〜Ｓ１０１４を随時参照するものとする。
歪み検出部２１０及び係数補正部２１１は、ステップＳ１００１にて周波数帯域番号を０に初期設定した後、ステップＳ１０１５にて周波数帯域番号を＋１ずつ増加させながら、ステップＳ１０１４にて周波数帯域番号が最大値ＮＢ−１を超えたと判定するまで、周波数帯域ｂ毎に、ステップＳ１００２〜Ｓ１０１３の一連の処理を実行する。
まず、歪み検出部２１０は、前述の数２３式により、類似度差分Ａ(b)を算出する（ステップＳ１００２）。
次に、歪み検出部２１０は、類似度差分Ａ(b) と閾値Ｔｈ１とを比較する（ステップＳ１００３）。ここでは、図１１（ａ）に示されるように、類似度差分Ａ(b) が閾値Ｔｈ１以下であるときに歪みなし、類似度差分Ａ(b) が閾値Ｔｈ１よりも大きいときに歪みありと判定される。これは、図４にて説明した原理に基づく。
即ち、歪み検出部２１０は、類似度差分Ａ(b) が閾値Ｔｈ１以下であるときには、歪みなしと判定して、周波数帯域ｂにおける歪み発生チャネルを示す変数ｃｈ(b) にどのチャネルも補正しないことを指示する値０を設定して、ステップＳ１０１３に進む（ステップＳ１００３−＞Ｓ１０１０−＞Ｓ１０１３）。
一方、歪み検出部２１０は、類似度差分Ａ(b) が閾値Ｔｈ１よりも大きいときには、歪みありと判定して、以下のステップＳ１００４〜Ｓ１００９の処理を実行する。
まず、歪み検出部２１０は、次式により、図２の復号音分析部２０９から出力される第２強度差ｉｉｄ′(b) の値から図２のＰＳ解析部２０７から出力される第１強度差ｉｉｄ(b)の値を減算する。
この結果、周波数帯域ｂにおける強度差の差分Ｂ(b) が算出される（ステップＳ１００４
）。
次に、歪み検出部２１０は、強度差の差分Ｂ(b) と閾値Ｔｈ２及び閾値−Ｔｈ２とをそれぞれ比較する（ステップＳ１００５及びＳ１００６）。ここでは、図１１（ｂ）に示されるように、強度差の差分Ｂ(b) が閾値Ｔｈ２より大きいときにＬチャネルに歪みが発生しており、強度差の差分Ｂ(b) が閾値−Ｔｈ２以下であるときにＲチャネルに歪みが発生しており、強度差の差分Ｂ(b) が閾値−Ｔｈ２よりも大きく閾値Ｔｈ２以下であるときに両チャネルに歪みが発生していると推定される。
これは、前述の数１５式のｉｉｄ(b) の算出式より、強度差ｉｉｄ(b) の値が大きいということはＬチャネルの電力のほうが強いことを示している。そして、その傾向が復号側のほうが符号化側よりもより強く出れば、即ち強度差の差分Ｂ(b) が閾値Ｔｈ２を超えれば、それはＬチャネルにより強い歪み成分が重畳されていることを示す。逆に、強度差ｉｉｄ(b) の値が小さいということはＲチャネルの電力の割合が強くなることを示している。そして、その傾向が復号側のほうが符号化側よりもより強く出れば、即ち強度差の差分Ｂ(b) が閾値−Ｔｈ２を下回れば、それはＲチャネルにより強い歪み成分が重畳されていることを示す。
即ち、歪み検出部２１０は、強度差の差分Ｂ(b) が閾値Ｔｈ２より大きいときには、Ｌチャネルに歪みが発生していると判定して、歪み発生チャネル変数ｃｈ(b) に値Ｌを設定して、ステップＳ１０１１の処理に進む（ステップＳ１００５−＞Ｓ１００９−＞Ｓ１０１１）。
また、歪み検出部２１０は、強度差の差分Ｂ(b) が閾値−Ｔｈ２以下であるときには、Ｒチャネルに歪みが発生していると判定して、歪み発生チャネル変数ｃｈ(b) に値Ｒを設定して、ステップＳ１０１１の処理に進む（ステップＳ１００５−＞Ｓ１００６−＞Ｓ１００８−＞Ｓ１０１１）。
歪み検出部２１０は、強度差の差分Ｂ(b) が閾値−Ｔｈ２より大きく閾値Ｔｈ２以下であるときには、両チャネルに歪みが発生していると判定して、歪み発生チャネル変数ｃｈ(b) に値ＬＲを設定して、ステップＳ１０１１の処理に進む（ステップＳ１００５−＞Ｓ１００６−＞Ｓ１００７−＞Ｓ１０１１）。
上述のステップＳ１００７〜Ｓ１００９の何れかの処理の後、歪み検出部２１０は、歪み量１を算出する。ここでは、前述したように、歪み検出部２１０は、ＰＳ解析部２０７が算出した周波数帯域ｂにおける第１類似度ｉｉｃ(b) と、復号音分析部２０９が算出した周波数帯域ｂにおける第２類似度ｉｉｃ′(b) を用いて、数２２式を計算する。この結果、周波数帯域ｂにおける歪み量１＝θ（＝θ(b) ）が算出される。
続いて、歪み検出部２１０は、歪み量２を算出する。ここでは、前述したように、歪み検出部２１０は、予め算出されている類似度差分と歪み量２の関係に基づいて、ステップＳ１００２にて算出した類似度差分Ａ(b)に対する物理量γ(b) を算出する。更に、歪み検出部２１０は、前述した数２４式に基づいて、物理量γ(b) に対応する歪み量２＝Ｘを算出する。
以上のようにして、歪み検出部２１０が、周波数帯域ｂに対する歪み発生チャネルｃｈ(b) と、歪み量１及び歪み量２を検出した後、それらの情報が、係数補正部２１１に通知される（ステップＳ１０１１−＞Ｓ１０１２−＞Ｓ１０１３）。
係数補正部２１１は、歪み発生チャネルに値ＬＲがセットされている場合には、角度補
正量θl ＝θr ＝θ（歪み量１）、電力補正量Ｘl ＝Ｘr ＝Ｘ（歪み量２）として、前述の数２５式に基づいて、補正係数行列Ｈ′(b) を算出する。
また、係数補正部２１１は、歪み発生チャネルに値Ｒがセットされている場合には、角度補正量θr ＝θ（歪み量１）、θl ＝０、電力補正量Ｘr ＝Ｘ（歪み量２）、Ｘl ＝１として、前述の数２５式に基づいて、補正係数行列Ｈ′(b) を算出する。
同様に、係数補正部２１１は、歪み発生チャネルに値Ｌがセットされている場合には、角度補正量θl ＝θ（歪み量１）、θr ＝０、電力補正量Ｘl ＝Ｘ（歪み量２）、Ｘr ＝１として、前述の数２５式に基づいて、補正係数行列Ｈ′(b) を算出する。
更に、係数補正部２１１は、歪み発生チャネルに値０がセットされている場合には、角度補正量θl ＝θr ＝０、電力補正量Ｘl ＝Ｘr ＝１として、前述の数２５式に基づいて、補正係数行列Ｈ′(b) を算出する。即ち、この場合には、補正は行われない。
図１２は、図２のデータ分離部１０１に入力される入力データのデータフォーマット例を示す図である。
図１２は、ＨＥ−ＡＡＣ ｖ２デコーダにおける、ＭＰＥＧ−４オーディオで採用されたＡＤＴＳ（Audio Data Transport Stream ）形式のデータフォーマットである。
入力データは、大きく分けるとＡＤＴＳヘッダ１２０１、モノラル音声ＡＡＣ符号化データであるＡＡＣデータ１２０２、拡張データ領域（ＦＩＬＬエレメント）１２０３とから構成される。
ＦＩＬＬエレメント１２０３の一部に、モノラル音声ＳＢＲ符号化データであるＳＢＲデータ１２０４と、ＳＢＲ用拡張データ（ｓｂｒ＿ｅｘｔｅｎｓｉｏｎ）１２０５が格納される。
ｓｂｒ＿ｅｘｔｅｎｓｉｏｎ１２０５の中に、パラメトリックステレオ用のＰＳデータ１２０６が格納される。ＰＳデータの中に、第１類似度ｉｉｃ(b) や第１強度差ｉｉｄ(b) といったＰＳデコード処理に必要なパラメータが格納される。
第３の実施形態
次に、第３の実施形態について説明する。
第３の実施形態の構成は、係数補正部２１１の動作以外は図２に示される第２の実施形態の構成と同一なので、その構成図は省略する。
第２の実施形態では、係数補正部２１１において、類似度差分Ａ(b) からγ(b) を決定する際に用いられる対応関係は固定であったが、第３の実施形態では、復号音の電力に応じて最適な対応関係が選択される。
即ち、図１３に示されるように、復号音の電力が大きい場合は、歪み量に対する補正量が大きくなり、復号音の電力が小さい場合は、歪み量に対する補正量が小さくなるような、複数の対応関係が用いられる。
ここで、「復号音の電力」とは、復号音分析部２０９にて算出される復号Ｌチャネル信号Ｌ′(b,t)又は復号Ｒチャネル信号Ｒ′(b,t)のうち、補正対象となったチャネルの周波数帯域ｂにおける電力を指す。
第４の実施形態
次に、第４の実施形態について説明する。
図１４は、パラメトリックステレオ復号装置の第４の実施形態の構成図である。
図１４において、図２の第１の実施形態の構成と同じ番号が付された部分は図２の場合と同じ機能を有するものとする。
図１４の構成が図２の構成と異なる点は、係数補正部２１１から出力される補正係数行列Ｈ′(b)を時間軸方向に平滑化するための係数保持部１４０１と係数平滑化部１４０２を備える点である。
まず、係数保持部１４０１は、離散時間ｔ毎に、係数補正部２１１から出力される補正係数行列（以下これを「Ｈ′(b,t) 」とする）を順次保持しながら、１離散時間前のｔ−１における補正係数行列（以下これを「Ｈ′(b,t-1) 」とする）を係数平滑化部１４０２へ出力する。
係数平滑化部１４０２は、係数補正部２１１から出力される離散時間ｔにおける補正係数行列Ｈ′(b,t)を用いて、係数保持部１４０１から入力される１離散時間前のｔ−１における補正係数行列Ｈ′(b,t-1) を構成する各係数（数２５式参照）を平滑化して、平滑された補正係数行列Ｈ″(b,t-1)として、ステレオ信号生成部２１２へ出力する。
係数平滑化部１４０２における平滑化の方法は任意であるが、例えば、各係数毎に、係数保持部１４０１からの出力と係数補正部２１１からの出力との加重和を求める方法を用いることができる。
また、過去の複数フレームの係数補正部２１１の出力が係数保持部１４０１に格納され、これら複数フレーム分の出力と現フレームの係数補正部２１１の出力との加重和が取られて平滑化が行われてもよい。
更に、時間方向の平滑化に限らず、係数補正部２１１の出力に対して、周波数帯域ｂの方向に平滑化処理が行われてもよい。即ち、係数補正部２１１の出力のある周波数帯域ｂの補正係数行列Ｈ′(b) を構成する各係数に対し、その前後の周波数帯域ｂ−１やｂ＋１との加重和が取られて平滑化が行われてもよい。また、加重和が取られる際に、隣接する複数個の周波数帯域の係数補正部２１１の出力の補正係数行列が用いられてもよい。
第１〜第４の実施形態に対する補足
図１５は、上記第１〜第４の実施形態によって実現されるシステムを実現できるコンピュータのハードウェア構成の一例を示す図である。
図１５に示されるコンピュータは、ＣＰＵ１５０１、メモリ１５０２、入力装置１５０３、出力装置１５０４、外部記憶装置１５０５、可搬記録媒体１５０９が挿入される可搬記録媒体駆動装置１５０６、及びネットワーク接続装置１５０７を有し、これらがバス１５０８によって相互に接続された構成を有する。同図に示される構成は上記システムを実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
ＣＰＵ１５０１は、当該コンピュータ全体の制御を行う。メモリ１５０２は、プログラムの実行、データ更新等の際に、外部記憶装置１５０５（或いは可搬記録媒体１５０９）に記憶されているプログラム又はデータを一時的に格納するＲＡＭ等のメモリである。ＣＵＰ１５０１は、プログラムをメモリ１５０２に読み出して実行することにより、全体の制御を行う。
入力装置１５０３は、例えば、キーボード、マウス等及びそれらのインタフェース制御装置とからなる。入力装置１５０３は、ユーザによるキーボードやマウス等による入力操作を検出し、その検出結果をＣＰＵ１５０１に通知する。
出力装置１５０４は、表示装置、印刷装置等及びそれらのインタフェース制御装置とからなる。出力装置１５０４は、ＣＰＵ１５０１の制御によって送られてくるデータを表示装置や印刷装置に出力する。
外部記憶装置１５０５は、例えばハードディスク記憶装置である。主に各種データやプログラムの保存に用いられる。
可搬記録媒体駆動装置１５０６は、光ディスクやＳＤＲＡＭ、コンパクトフラッシュ（登録商標）等の可搬記録媒体１５０９を収容するもので、外部記憶装置１５０５の補助の役割を有する。
ネットワーク接続装置１５０７は、例えばＬＡＮ（ローカルエリアネットワーク）又はＷＡＮ（ワイドエリアネットワーク）の通信回線を接続するための装置である。
前述の第１〜第４の実施形態によるパラメトリックステレオ復号装置のシステムは、それに必要な機能を搭載したプログラムをＣＰＵ１５０１が実行することで実現される。そのプログラムは、例えば外部記憶装置１５０５や可搬記録媒体１５０９に記録して配布してもよく、或いはネットワーク接続装置１５０７によりネットワークから取得できるようにしてもよい。
以上の第１〜第４の実施形態は、パラメトリックステレオ方式の復号装置に本発明を適用したものであるが、本発明は、パラメトリックステレオ方式に限定されるものではなく、サラウンド方式やその他の、復号音声信号に音声復号補助情報を組み合わせて復号を行う様々な方式に適用することが可能である。
第１の実施形態の構成図である。 第２の実施形態の構成図である。 第２の実施形態の動作を示す動作フローチャートである。 パラメトリックステレオ復号装置の実施形態の動作説明図である。 パラメトリックステレオ復号装置の実施形態の効果説明図である。 ＨＥ−ＡＡＣデコーダにおける時間・周波数信号の定義を示した図である。 歪み量検出・係数補正動作の説明図（その１）である。 歪み量検出・係数補正動作の説明図（その２）である。 歪み量検出・係数補正動作の説明図（その３）である。 歪み検出部２１０及び係数補正部２１１の制御動作を示す動作フローチャートである。 歪み量と歪み発生チャネルの検出動作の説明図である。 入力データのデータフォーマット例を示す図である。 第３の実施形態の説明図である。 パラメトリックステレオ復号装置の第４の実施形態の構成図である。 第１〜第４の実施形態によって実現されるシステムを実現できるコンピュータのハードウェア構成の一例を示す図である。 ステレオ録音のモデルを示す図である。 非相関化の説明図である。 入力信号（Ｌ，Ｒ）と、モノラル信号ｓ、及び残響信号ｄの関係図である。 Ｓ(b,t) とＤ(b,t) からステレオ信号を生成する方法の説明図である。 パラメトリックステレオ復号装置の基本構成図である。 図２０のＰＳ復号部２００３の従来技術における構成図である。 従来技術の問題点の説明図である。
符号の説明
１０１ 受信処理部
１０２、２０８、２１０４ 係数計算部
１０３ 出力信号生成部
１０４、２０９ 復号音分析部
１０５、２１０ 歪み検出部
１０６、２１１ 係数補正部
２０１、２００１ データ分離部
２０２ ＡＡＣ復号部
２０３ ＳＢＲ復号部
２０４、２００３ パラメトリックステレオ（ＰＳ）復号部
２０５、２１０１ 遅延付加部
２０６、２１０２ 非相関化部
２０７、２１０３ パラメトリックステレオ解析部（ＰＳ解析部）
２１２、２１０５ ステレオ信号生成部
２１３、２１４、２００４ 周波数時間変換部
１２０１ ＡＤＴＳヘッダ
１２０２ ＡＡＣデータ
１２０３ ＦＩＬＬエレメント
１２０４ ＳＢＲデータ
１２０５ ｓｂｒ＿ｅｘｔｅｎｓｉｏｎ
１２０６ ＰＳデータ
１４０１ 係数保持部
１４０２ 係数平滑化部
１５０１ ＣＰＵ
１５０２ メモリ
１５０３ 入力装置
１５０４ 出力装置
１５０５ 外部記憶装置
１５０６ 可搬記録媒体駆動装置
１５０７ ネットワーク接続装置
１５０８ バス
１５０９ 可搬記録媒体
１６０１ マイク
２００２ コア復号部
ｉｉｃ(b) 第１類似度
ｉｉｄ(b) 第１強度差
ｉｉｃ′(b) 第２類似度
ｉｉｄ′(b) 第２強度差

Claims (8)

  1. 符号化された音声データから受信音声信号と音声復号補助情報とを得る受信処理部と、該第１の音声復号補助情報から係数情報を計算する係数計算部と、該係数情報と前記受信音声信号とに基づいて復号された出力音声信号を生成する出力信号生成部とを備える音声復号装置において、
    前記音声復号補助情報を第１の音声復号補助情報として、該情報及び前記受信音声信号に基づいて復号音声信号を復号し、該復号音声信号から前記第１の音声復号補助情報に対応する第２の音声復号補助情報を算出する復号音分析部と、
    該第２の音声復号補助情報と前記第１の音声復号補助情報とを比較することにより、前記復号音声信号の復号過程で生じた歪み量を検出する歪み検出部と、
    前記係数情報を、前記歪み検出部にて検出された歪み量に基づいて補正し、該補正された係数情報を前記出力信号生成部に与える係数補正部と、
    を含むことを特徴とするオーディオ復号装置。
  2. パラメトリックステレオ方式により符号化された音声データからモノラル音声信号及び残響音声信号とパラメトリックステレオパラメータ情報とを得る受信処理部と、該パラメトリックステレオパラメータ情報から係数情報を計算する係数計算部と、該係数情報と前記モノラル音声信号及び残響音声信号とに基づいて復号されたステレオ出力音声信号を生成する出力信号生成部とを備える音声復号装置において、
    前記パラメトリックステレオパラメータ情報を第１のパラメトリックステレオパラメータ情報として、該情報と前記モノラル音声復号信号及び残響音声信号とに基づいて復号音声信号を復号し、該復号音声信号から前記第１のパラメトリックステレオパラメータ情報に対応する第２のパラメトリックステレオパラメータ情報を算出する復号音分析部と、
    該第２のパラメトリックステレオパラメータ情報と前記第１のパラメトリックステレオパラメータ情報とを比較することにより、前記復号音声信号の復号過程で生じた歪み量を検出する歪み検出部と、
    前記係数情報を、前記歪み検出部にて検出された歪み量に基づいて補正し、該補正された係数情報を前記出力信号生成部に与える係数補正部と、
    を含むことを特徴とするオーディオ復号装置。
  3. 前記パラメトリックステレオパラメータ情報はステレオ音声チャネル間の類似度を示す類似度情報であり、
    前記復号音分析部は、前記第１のパラメトリックステレオパラメータ情報である第１の類似度情報に対応する第２の類似度情報を前記復号音声信号から算出し、
    前記歪み検出部は、前記第２の類似度情報と前記第１の類似度情報を周波数帯域毎に比較することにより、前記復号音声信号の復号過程で生じた前記周波数帯域毎及び前記ステレオ音声チャネル毎の歪み量を検出し、
    前記係数補正部は、前記係数情報を、前記歪み検出部にて検出された前記周波数帯域毎及び前記ステレオ音声チャネル毎の歪み量に基づいて補正する、
    ことを特徴とする請求項２に記載のオーディオ復号装置。
  4. 前記パラメトリックステレオパラメータ情報はステレオ音声チャネル間の信号の強度差を示す強度差情報を更に含み、
    前記復号音分析部は、前記第１のパラメトリックステレオパラメータ情報である第１の強度差情報に対応する第２の強度差情報を前記復号音声信号から算出し、
    前記歪み検出部は、前記第２の強度差情報と前記第１の強度差情報とを前記周波数帯域毎に比較することにより、前記周波数帯域毎に歪みが発生した音声チャネルを検出し、
    前記係数補正部は、前記周波数帯域毎に、前記歪み検出部にて検出された音声チャネルに対応する前記係数情報を補正する、
    ことを特徴とする請求項３に記載のオーディオ復号装置。
  5. 前記係数補正部によって補正が行われた前記係数情報を、時間軸方向又は周波数軸方向に平滑化する係数情報平滑化部を更に含む、
    ことを特徴とする請求項２乃至４の何れか１項に記載のオーディオ復号装置。
  6. 前記復号音分析部、前記歪み検出部、及び前記係数補正部は、時間周波数領域にて実行される、
    ことを特徴とする請求項２乃至５の何れか１項に記載のオーディオ復号装置。
  7. パラメトリックステレオ方式により符号化された音声データからモノラル音声信号及び残響音声信号とパラメトリックステレオパラメータ情報とを得る受信処理ステップと、該パラメトリックステレオパラメータ情報から係数情報を計算する係数計算ステップと、該係数情報と前記モノラル音声信号及び残響音声信号とに基づいて復号されたステレオ出力音声信号を生成する出力信号生成ステップとを実行する音声復号方法において、
    前記パラメトリックステレオパラメータ情報を第１のパラメトリックステレオパラメータ情報として、該情報と前記モノラル音声復号信号及び残響音声信号とに基づいて復号音声信号を復号し、該復号音声信号から前記第１のパラメトリックステレオパラメータ情報に対応する第２のパラメトリックステレオパラメータ情報を算出する復号音分析ステップと、
    該第２のパラメトリックステレオパラメータ情報と前記第１のパラメトリックステレオパラメータ情報とを比較することにより、前記復号音声信号の復号過程で生じた歪み量を検出する歪み検出ステップと、
    前記係数情報を、前記歪み検出ステップにて検出された歪み量に基づいて補正し、該補正された係数情報を前記出力信号生成ステップに与える係数補正ステップと、
    を含むことを特徴とするオーディオ復号方法。
  8. パラメトリックステレオ方式により符号化された音声データからモノラル音声信号及び残響音声信号とパラメトリックステレオパラメータ情報とを得る受信処理ステップと、該パラメトリックステレオパラメータ情報から係数情報を計算する係数計算ステップと、該係数情報と前記モノラル音声信号及び残響音声信号とに基づいて復号されたステレオ出力音声信号を生成する出力信号生成ステップとを実行するコンピュータに、
    前記パラメトリックステレオパラメータ情報を第１のパラメトリックステレオパラメータ情報として、該情報と前記モノラル音声復号信号及び残響音声信号とに基づいて復号音声信号を復号し、該復号音声信号から前記第１のパラメトリックステレオパラメータ情報に対応する第２のパラメトリックステレオパラメータ情報を算出する復号音分析ステップと、
    該第２のパラメトリックステレオパラメータ情報と前記第１のパラメトリックステレオパラメータ情報とを比較することにより、前記復号音声信号の復号過程で生じた歪み量を検出する歪み検出ステップと、
    前記係数情報を、前記歪み検出ステップにて検出された歪み量に基づいて補正し、該補正された係数情報を前記出力信号生成ステップに与える係数補正ステップと、
    を実行させるためのプログラム。
JP2008315150A 2008-12-11 2008-12-11 オーディオ復号装置、方法、及びプログラム Expired - Fee Related JP5309944B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008315150A JP5309944B2 (ja) 2008-12-11 2008-12-11 オーディオ復号装置、方法、及びプログラム
US12/634,527 US8374882B2 (en) 2008-12-11 2009-12-09 Parametric stereophonic audio decoding for coefficient correction by distortion detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008315150A JP5309944B2 (ja) 2008-12-11 2008-12-11 オーディオ復号装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2010139671A true JP2010139671A (ja) 2010-06-24
JP5309944B2 JP5309944B2 (ja) 2013-10-09

Family

ID=42241604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008315150A Expired - Fee Related JP5309944B2 (ja) 2008-12-11 2008-12-11 オーディオ復号装置、方法、及びプログラム

Country Status (2)

Country Link
US (1) US8374882B2 (ja)
JP (1) JP5309944B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013050540A (ja) * 2011-08-30 2013-03-14 Fujitsu Ltd オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5326465B2 (ja) * 2008-09-26 2013-10-30 富士通株式会社 オーディオ復号方法、装置、及びプログラム
US8515768B2 (en) * 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
RU2612581C2 (ru) * 2012-11-15 2017-03-09 Нтт Докомо, Инк. Устройство кодирования аудио, способ кодирования аудио, программа кодирования аудио, устройство декодирования аудио, способ декодирования аудио и программа декодирования аудио
CN112929047B (zh) * 2021-01-26 2022-07-12 明峰医疗系统股份有限公司 一种低噪声数字ct音频交互系统及控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06236198A (ja) * 1993-02-09 1994-08-23 Nec Corp 音質主観評価予測方式
JPH10294668A (ja) * 1997-04-22 1998-11-04 Matsushita Electric Ind Co Ltd オーディオ符号化データ復号化方法、オーディオ符号化データ復号化装置、及び記録媒体
JP2002223167A (ja) * 2001-01-25 2002-08-09 Sony Corp データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP2002525897A (ja) * 1998-09-16 2002-08-13 テレフオンアクチーボラゲツト エル エム エリクソン 線形予測合成解析符号化方法と符号化器
JP2006067367A (ja) * 2004-08-27 2006-03-09 Matsushita Electric Ind Co Ltd 符号化オーディオ信号の編集装置
JP2008519306A (ja) * 2004-11-04 2008-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号の組のエンコード及びデコード

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
EP1292036B1 (en) * 2001-08-23 2012-08-01 Nippon Telegraph And Telephone Corporation Digital signal decoding methods and apparatuses
DE60311794C5 (de) * 2002-04-22 2022-11-10 Koninklijke Philips N.V. Signalsynthese
EP1500083B1 (en) * 2002-04-22 2006-06-28 Koninklijke Philips Electronics N.V. Parametric multi-channel audio representation
JP4714416B2 (ja) * 2002-04-22 2011-06-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的オーディオのパラメータ表示
JP3579047B2 (ja) * 2002-07-19 2004-10-20 日本電気株式会社 オーディオ復号装置と復号方法およびプログラム
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
SE527670C2 (sv) 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
US7809579B2 (en) * 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
KR101079066B1 (ko) * 2004-03-01 2011-11-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 멀티채널 오디오 코딩
US7756713B2 (en) * 2004-07-02 2010-07-13 Panasonic Corporation Audio signal decoding device which decodes a downmix channel signal and audio signal encoding device which encodes audio channel signals together with spatial audio information
WO2006022190A1 (ja) * 2004-08-27 2006-03-02 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ
EP1851866B1 (en) * 2005-02-23 2011-08-17 Telefonaktiebolaget LM Ericsson (publ) Adaptive bit allocation for multi-channel audio encoding
JP5461835B2 (ja) * 2005-05-26 2014-04-02 エルジー エレクトロニクス インコーポレイティド オーディオ信号の符号化／復号化方法及び符号化／復号化装置
AU2006255662B2 (en) * 2005-06-03 2012-08-23 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
RU2419249C2 (ru) * 2005-09-13 2011-05-20 Кониклейке Филипс Электроникс Н.В. Аудиокодирование
JP2007079487A (ja) 2005-09-16 2007-03-29 Sharp Corp 光学部品および光学装置
US7734053B2 (en) * 2005-12-06 2010-06-08 Fujitsu Limited Encoding apparatus, encoding method, and computer product
ATE476732T1 (de) * 2006-01-09 2010-08-15 Nokia Corp Steuerung der dekodierung binauraler audiosignale
KR100921453B1 (ko) * 2006-02-07 2009-10-13 엘지전자 주식회사 부호화/복호화 장치 및 방법
JP4285531B2 (ja) * 2006-11-29 2009-06-24 ソニー株式会社 信号処理装置、信号処理方法、プログラム
WO2008069594A1 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for processing an audio signal
JP2008261999A (ja) * 2007-04-11 2008-10-30 Toshiba Corp オーディオ復号装置
JP5098530B2 (ja) * 2007-09-12 2012-12-12 富士通株式会社 復号化装置、復号化方法および復号化プログラム
JP5326465B2 (ja) * 2008-09-26 2013-10-30 富士通株式会社 オーディオ復号方法、装置、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06236198A (ja) * 1993-02-09 1994-08-23 Nec Corp 音質主観評価予測方式
JPH10294668A (ja) * 1997-04-22 1998-11-04 Matsushita Electric Ind Co Ltd オーディオ符号化データ復号化方法、オーディオ符号化データ復号化装置、及び記録媒体
JP2002525897A (ja) * 1998-09-16 2002-08-13 テレフオンアクチーボラゲツト エル エム エリクソン 線形予測合成解析符号化方法と符号化器
JP2002223167A (ja) * 2001-01-25 2002-08-09 Sony Corp データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP2006067367A (ja) * 2004-08-27 2006-03-09 Matsushita Electric Ind Co Ltd 符号化オーディオ信号の編集装置
JP2008519306A (ja) * 2004-11-04 2008-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号の組のエンコード及びデコード

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013050540A (ja) * 2011-08-30 2013-03-14 Fujitsu Ltd オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
US8831960B2 (en) 2011-08-30 2014-09-09 Fujitsu Limited Audio encoding device, audio encoding method, and computer-readable recording medium storing audio encoding computer program for encoding audio using a weighted residual signal

Also Published As

Publication number Publication date
JP5309944B2 (ja) 2013-10-09
US20100153120A1 (en) 2010-06-17
US8374882B2 (en) 2013-02-12

Similar Documents

Publication Publication Date Title
JP6698903B2 (ja) 高次アンビソニックス信号表現を圧縮又は圧縮解除するための方法又は装置
JP6641018B2 (ja) チャネル間時間差を推定する装置及び方法
JP5326465B2 (ja) オーディオ復号方法、装置、及びプログラム
TWI788833B (zh) 用於音場之高階保真立體音響表示的壓縮與解壓縮方法及裝置
CN112262433B (zh) 用于估计通道间时间差的装置、方法或计算机程序
JP2015520411A5 (ja)
EP3891735B1 (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation
KR100763919B1 (ko) 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치
JP5309944B2 (ja) オーディオ復号装置、方法、及びプログラム
JP4842147B2 (ja) スケーラブル符号化装置およびスケーラブル符号化方法
WO2010016270A1 (ja) 量子化装置、符号化装置、量子化方法及び符号化方法
EP2489036B1 (en) Method, apparatus and computer program for processing multi-channel audio signals
JP2007187749A (ja) マルチチャンネル符号化における頭部伝達関数をサポートするための新装置
KR20210071972A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
AU2020291776B2 (en) Packet loss concealment for dirac based spatial audio coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130617

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees