JP2011522291A - オーバーラッピング変換の2つのブロック変換への因数分解 - Google Patents

オーバーラッピング変換の2つのブロック変換への因数分解 Download PDF

Info

Publication number
JP2011522291A
JP2011522291A JP2011511737A JP2011511737A JP2011522291A JP 2011522291 A JP2011522291 A JP 2011522291A JP 2011511737 A JP2011511737 A JP 2011511737A JP 2011511737 A JP2011511737 A JP 2011511737A JP 2011522291 A JP2011522291 A JP 2011522291A
Authority
JP
Japan
Prior art keywords
transform
subframe
block
overlap
reversible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011511737A
Other languages
English (en)
Other versions
JP2011522291A5 (ja
JP5400143B2 (ja
Inventor
メーロトラ,サンジーヴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2011522291A publication Critical patent/JP2011522291A/ja
Publication of JP2011522291A5 publication Critical patent/JP2011522291A5/ja
Application granted granted Critical
Publication of JP5400143B2 publication Critical patent/JP5400143B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

音声符号化器/復号器は、可逆的な実施態様を有するオーバーラップウィンドウ化変換とブロック変換との組み合わせを使用して、重複変換の可逆整数−整数形態を提供する。可逆重複変換によって、可変サブフレームサイズを有する音声信号の有損失変換領域符号化及び無損失変換領域符号化の双方が可能になる。

Description

本発明は、オーバーラッピング変換の2つのブロック変換への因数分解に関する。
[001]ポータブルデジタルメディアプレイヤー、音楽記憶用のコンパクトディスク、及びインターネットによる音声配信の導入に伴って、今や、音楽及びそれ以外の音声コンテンツをデジタル音声フォーマットで記憶、購入、及び分配することがありふれたものとなっている。デジタル音声フォーマットによって、人々は、数百又は数千もの楽曲を自身のパーソナルコンピューター(PC)又はポータブルメディアプレイヤーで利用することができるという楽しみを得ることができる。
[002]知覚変換符号化
音声の符号化は、人間の聴覚のさまざまな知覚モデルを活用する符号化技法を利用する。例えば、強い音程の近くの多くの弱い音程は、符号化する必要がないようにマスクされる。従来の知覚音声符号化では、これは、異なる周波数データの適応量子化として活用されている。知覚的に重要な周波数データには、より多くのビットが割り当てられ、したがって、よりきめの細かな量子化が割り当てられ、逆に知覚的に重要でない周波数データには、より少ないビットが割り当てられ、したがって、より粗い量子化が割り当てられる。
[003]例えば、変換符号化は、従来、音声信号の圧縮の効率的な方式として知られていた。入力音声は、デジタルで時間サンプリングされる。変換符号化では、入力音声サンプルのブロックが(例えば、最も広く使用されている修正離散コサイン変換、すなわちMDCTを介して)変換され、処理され、そして量子化される。変換された係数の量子化は、知覚的重要度に基づいてスカラー量子化器等を介して(例えば、人間の聴覚の影響及び周波数感度をマスクして)実行される。
[004]スカラー量子化器が使用されるとき、重要度は、相対的な重み付けにマッピングされ、各係数の量子化器の分解能(ステップサイズ)は、その重み及び全体的な分解能から導出される。全体的な分解能は、対象の品質、ビットレート等から求めることができる。所与のステップサイズについて、各係数は、ゼロ又は非ゼロの整数値であるレベルに量子化される。
[005]より低いビットレートでは、通常、非ゼロレベルの係数よりもはるかに多くのゼロレベルの係数が存在する。これらの係数は、ランレングス符号化を使用して非常に効率的に符号化することができる。ランレングス符号化は、ハフマン符号化等のエントロピー符号化方式と組み合わせることができる。
[006]オーバーラッピング変換及び変数及び可変ウィンドウフレームサイズ
多くの音声圧縮システムは、変調重複変換(MLT、修正離散コサイン変換、すなわちMDCTとしても知られている)を利用して、音声変換符号化において時間周波数解析を実行する。MLTは、再構成された音声信号に量子化により導入されたブロッキングアーティファクトを低減する。より詳細には、オーバーラップしないブロックが独立に変換符号化されたとき、量子化誤差により、復号器における音声信号の再構成の際にブロック境界に信号の不連続性が生じる。音声の場合、周期的なクリック効果が聞こえる。
[007]MLTは、ブロックをオーバーラップさせることによってブロッキング効果を低減する。MLTでは、2つの連続したブロックからの2M個のサンプルの「ウィンドウ」が、変調コサイン変換を受ける。M個の変換係数が返される。このウィンドウは、次に、M個のサンプル分シフトされ、次のM個の変換係数のセットが計算される。したがって、各ウィンドウは、前のウィンドウの最後のM個のサンプルとオーバーラップする。このオーバーラップによって、量子化に起因した変換係数の改変にもかかわらず、再構成されたサンプルの連続性が高めされる。
[008]いくつかの音声圧縮システムは、時間と共にウィンドウのサイズを変化させて、音声の変化する性質に対応する。音声コーダーは、通常、入力音声信号を固定サイズの「フレーム」に区画する。これらのフレームのそれぞれが符号化の単位となる(例えば、符号化テーブル及び/又は符号化パラメーターは、各フレームのヘッダー部で送信することができる)。時変MLTを使用する音声圧縮システムでは、各フレームは、可変サイズの1つ又は複数の「ウィンドウ」を含むことができる。ここで、各ウィンドウがMLTの単位となる。一般に、大きなウィンドウほど、符号化効率に有利であるのに対して、サイズの小さなウィンドウほど、より良好な時間分解能を提供する。したがって、どのようなウィンドウサイズをどこで用いるのかを決定することは、圧縮性能及び符号化された信号の聴覚品質に極めて重要である。
[009]音声符号化における1つの問題は、一般に「プリエコー」と呼ばれる。プリエコーは、音声が突然の変化(「過渡現象」と呼ばれる)を受けたときに発生する。変換符号化では、特定の周波数係数は、一般に量子化される(すなわち解像度が低減される)。変換係数が後に逆変換されて、音声信号が再現されたとき、この量子化によって、時間領域のブロック全体にわたり拡散された量子化雑音が導入される。これによって、符号化フレーム内には、雑音のかなり一様なスミアが本質的に引き起こされる。この雑音は、一般にフレームの或る部分には許容可能であるが、マスクレベルが低いフレームの部分の期間中は聞こえる可能性があり、聴覚品質に大きな損害を与える可能性がある。実際に、この効果は、信号が低エネルギーの領域の直後に鋭いアタックを有するときに最も顕著に現れ、したがって「プリエコー」と呼ばれる。信号が高エネルギーから低エネルギーへ遷移するときに発生する「ポストエコー」は、人間の聴覚系の特性に起因した知覚可能な聴覚品質にとってそれほど問題ではない。
[010]オーバーラップト変換及び無損失符号化
オーバーラッピング変換は無損失符号化にも使用することができる。多くの無損失符号化技法は、時間領域の音声信号データに処理を行う。しかしながら、無損失符号化は、量子化することなく重複変換を適用した後、結果として得られた変換係数のエントロピー符号化又は他の無損失符号化を単に実行するだけで周波数領域でも実行することができる。このような周波数領域の無損失符号化によって、音声信号の有損失圧縮バージョン及び無損失圧縮バージョンを同時により容易に導出することが可能になる。しかし、周波数領域の無損失圧縮は、変換が可逆的であることを必要とする。さらに、変換を可逆的にするのに必要とされるような一貫性のある計算について、変換は整数の実施態様を有するべきである。
[011]可逆的整数−整数変換は、該変換が1の行列式を有する正方変換行列を使用する実施態様を必要とするという点で難点を提起しており、このことは、その実施態様が変換行列において矩形サブブロックを使用するオーバーラッピング変換の設計に対して両立することができない。また、これまでに知られている可逆的オーバーラッピング変換は、通常、音声信号のすべてのサブフレームについて同じサブフレーム構成を必要としており、このことは、前述したようなプリエコーを低減等するために、可変サブフレームサイズを用いる音声符号と両立することはできない。
[012]これまでの可逆的変換の実施態様では、MDCT及びMLT等の変換は2N×N変換として取り扱われている。ここで、この2N×N変換は可逆的であるとされる。この手順は、すべてのサブフレームが同じサイズであるときは良好であるが、サブフレームサイズが変化するとき、変換は特に良好に機能しない。加えて、オーバーラップト直交変換(overlapped orthogonal transform)は、理解及び修正が難しい実施態様を有する。
[013]以下の詳細な説明は、可変サブフレームサイズを有するオーバーラップト変換を使用する、変換領域における無損失音声圧縮のためのさまざまな音声符号化/復号技法及びツールに関係したものである。これらの技法は、可変フレームサイズの可逆的整数−整数オーバーラップト変換の実施態様を使用する。これらの変換は、変調重複変換等の変換を、2つのシフトされたブロック変換の組み合わせに分解することによって形成される。これら2つのブロック変換の一方はオーバーラッピング変換であり、他方はブロック変換(標準的な任意のタイプのDCT等)である。
[014]この概要は、詳細な説明でさらに後述する概念のうちの選択したものを簡略化した形態で紹介するために設けられている。この概要は、請求項に記載の主題の重要な特徴も本質的な特徴も特定することを意図するものではなく、また、請求項に記載の主題の範囲を決定することを助けるものとして使用されることを意図するものでもない。本発明の追加の特徴及び利点は、添付図面を参照して進行する実施形態の以下の詳細な説明から明らかになるであろう。
[015]説明されるさまざまな実施形態を共に実施することができる一般化された動作環境のブロック図である。 [016]説明されるさまざまな実施形態を共に実施することができる一般化された符号化器のブロック図である。 [016]説明されるさまざまな実施形態を共に実施することができる一般化された復号器のブロック図である。 [016]説明されるさまざまな実施形態を共に実施することができる一般化された符号化器のブロック図である。 説明されるさまざまな実施形態を共に実施することができる一般化された復号器のブロック図である。 [017]音声ビットストリームの一例のサブフレーム構成を示す図である。 [018]重複変換のオーバーラップ演算子部分が適用される図6の一例のサブフレーム構成のオーバーラップする領域を示す図である。 [019]図6の一例のサブフレーム構成において重複変換のブロック変換部分が適用されるブロックを示す図である。
[020]音声情報を表現、符号化、及び復号するためのさまざまな技法及びツールが説明される。これらの技法及びツールは、非常に低いビットレートであっても、高品質の音声コンテンツの作成、分配、及び再生を容易にする。
[021]本明細書で説明されるさまざまな技法及びツールは、独立に使用することができる。これらの技法及びツールのいくつかは、(例えば、符号化プロセス及び/又は復号プロセスを組み合わせたものの異なるフェーズにおいて)組み合わせて使用することができる。
[022]さまざまな技法は、以下で処理動作のフローチャートを参照して説明される。フローチャートに示されるさまざまな処理動作は、より少ない動作に統合することもできるし、或いはより多くの動作に分割することもできる。簡単にするために、特定のフローチャートに示される動作とそれ以外の箇所で説明される動作との関係は、多くの場合、図示されない。多くの場合、フローチャートの動作は並べ替えることができる。
[023]詳細な説明の多くは、音声情報の表現、符号化、及び復号を扱っている。音声情報を表現、符号化、及び復号するための本明細書で説明される技法及びツールの多くは、単一のチャネル又は複数のチャネルで送信されるビデオ情報、静止画情報、又は他のメディア情報にも適用することができる。
[024]I.コンピューティング環境
図1は、説明される実施形態を実施することができる適切なコンピューティング環境100の一般化された例を示す。説明される実施形態は、種々の汎用コンピューティング環境又は専用コンピューティング環境で実施することができるので、コンピューティング環境100は、使用又は機能性の範囲についていかなる限定を示唆することも意図していない。
[025]図1を参照して、コンピューティング環境100は、少なくとも1つの処理ユニット110及びメモリー120を含む。図1において、この最も基本的な構成130は破線内に含まれている。処理ユニット110は、コンピューター実行可能命令を実行し、実プロセッサー又は仮想プロセッサーとすることができる。マルチプロセッシングシステムでは、複数の処理ユニットが、コンピューター実行可能命令を実行して、処理能力を増加させる。処理ユニットには、中央処理装置及びコプロセッサー並びに/又は特定目的用処理ユニット若しくは専用処理ユニット(例えば、音声プロセッサー)も含めることができる。メモリー120は、揮発性メモリー(例えば、レジスター、キャッシュ、RAM)、不揮発性メモリー(例えば、ROM、EEPROM、フラッシュメモリー)、又はこれらの2つの或る組み合わせとすることができる。メモリー120は、説明される実施形態の1つ又は複数による1つ又は複数の音声処理技法及び/又は音声処理システムを実施するソフトウェア180を記憶する。
[026]コンピューティング環境は、追加の特徴を有することができる。例えば、コンピューティング環境100は、ストレージ140、1つ又は複数の入力デバイス150、1つ又は複数の出力デバイス160、及び1つ又は複数の通信接続170を含む。バス、コントローラー、又はネットワーク等の相互接続メカニズム(図示せず)が、コンピューティング環境100のコンポーネントを相互接続する。通常、オペレーティングシステムソフトウェア(図示せず)が、コンピューティング環境100で実行されるソフトウェアの動作環境を提供し、コンピューティング環境100のコンポーネントのアクティビティを調整する。
[027]ストレージ140は、着脱可能又は着脱不能とすることができ、ストレージ140には、磁気ディスク、磁気テープ若しくはカセット、CD、DVD、又は情報を記憶するのに使用することができかつコンピューティング環境100内でアクセスすることができる他の任意の媒体が含まれる。ストレージ140は、ソフトウェア180の命令を記憶する。
[028]入力デバイス(複数可)150は、キーボード、マウス、ペン、タッチスクリーン、若しくはトラックボール等のタッチ入力デバイス、音声入力デバイス、走査デバイス、又はコンピューティング環境100に入力を提供する別のデバイスとすることができる。音声又はビデオの場合、入力デバイス(複数可)150は、マイクロフォン、サウンドカード、ビデオカード、TVチューナーカード、若しくはアナログ形態若しくはデジタル形態で音声入力若しくはビデオ入力を受け取る類似のデバイス、又は音声サンプル若しくはビデオサンプルをコンピューティング環境内に読み込むCD若しくはDVDとすることができる。出力デバイス(複数可)160は、ディスプレイ、プリンター、スピーカ、CD/DVDライター、ネットワークアダプター、又はコンピューティング環境100からの出力を提供する別のデバイスとすることができる。
[029]通信接続(複数可)170は、1つ又は複数の他のコンピューティングエンティティへの通信媒体による通信を可能にする。通信媒体は、コンピューター実行可能命令、音声情報若しくはビデオ情報、又は他のデータ等の情報をデータ信号で運ぶ。変調されたデータ信号は、その特徴の1つ又は複数が該信号の情報を符号化するように設定又は変更された信号である。限定ではなく例として、通信媒体には、電気搬送波、光搬送波、RF搬送波、赤外線搬送波、音響搬送波、又は他の搬送波で実施される有線技法又は無線技法が含まれる。
[030]実施形態は、コンピューター可読媒体の一般的なコンテキストで説明することができる。コンピューター可読媒体は、コンピューティング環境内でアクセスすることができる任意の利用可能な媒体である。限定ではなく例として、コンピューティング環境100では、コンピューター可読媒体には、メモリー120、ストレージ140、及び前述のいずれかのものの組み合わせが含まれる。
[031]実施形態は、コンピューティング環境において対象の実プロセッサー又は仮想プロセッサーで実行されているプログラムモジュールに含まれる命令等、コンピューター実行可能命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールは、特定のタスクを実行するか又は特定のデータタイプを実施するルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造等が含まれる。プログラムモジュールの機能性は、組み合わせることもできるし、或いはさまざまな実施形態で所望に応じてプログラムモジュール間で分割することもできる。プログラムモジュールのコンピューター実行可能命令は、ローカルコンピューティング環境又は分散コンピューティング環境内で実行することができる。
[032]提示のために、詳細な説明では、「求める/決定する」、「受け取る」、及び「実行する」のような用語を使用して、コンピューティング環境におけるコンピューターオペレーションが説明される。これらの用語は、コンピューターによって実行されるオペレーションを高度に抽象化したものであり、人間によって実行される動作と混同されるべきではない。これらの用語に対応する実際のコンピューターオペレーションは、実施態様に応じて変化する。
[033]II.例示的な符号化器及び復号器
図2は、説明される1つ又は複数の実施形態を実施することができる第1の音声符号化器200を示す。符号化器200は、変換ベースの知覚音声符号化器200である。図3は、対応する音声復号器300を示す。
[034]図4は、説明される1つ又は複数の実施形態を実施することができる第2の音声符号化器400を示す。符号化器400は、同様に、変換ベースの知覚音声符号化器であるが、符号化器400は、マルチチャネル音声を処理するためのモジュール等、追加のモジュールを含む。図5は、対応する音声復号器500を示す。
[035]図2〜図5に示すシステムは一般化されているが、各システムは、実世界のシステムに見られる特徴を有する。いずれにしても、符号化器内のモジュール間に示す関係は符号化器における情報のフローを示し、復号器内のモジュール間に示す関係は復号器における情報のフローを示し、それ以外の関係は、簡単にするために示されていない。実施態様及び所望の圧縮のタイプに応じて、符号化器のモジュール又は復号器のモジュールを追加し、省略し、複数のモジュールに分割し、他のモジュールと結合し、かつ/又は同様のモジュールと取り替えることができる。代替的な実施形態では、異なるモジュール及び/又は他の構成を有する符号化器又は復号器は、説明される1つ又は複数の実施形態に従って音声データ又は他の或るタイプのデータを処理する。
[036]A.第1の音声符号化器
符号化器200は、時系列の入力音声サンプル205を或るサンプリング深度及びサンプリングレートで受け取る。入力音声サンプル205は、マルチチャネル音声(例えばステレオ)用又はモノラル音声用である。符号化器200は、音声サンプル205を圧縮し、符号化器200のさまざまなモジュールによって作成された情報を多重化して、WMAフォーマット等の圧縮フォーマット、アドバンストストリーミングフォーマット(「ASF」)等のコンテナフォーマット、又は他の圧縮フォーマット若しくはコンテナフォーマットでビットストリーム295を出力する。
[037]周波数変換器210は、音声サンプル205を受け取り、それらの音声サンプルを周波数(又はスペクトル)領域のデータに変換する。例えば、周波数変換器210は、フレームの音声サンプル205をサブフレームブロックに分割する。サブフレームブロックは、可変の時間分解能を可能にするために可変サイズを有することができる。ブロックは、後の量子化によって別の方法で導入される可能性のあるブロック間の知覚できる不連続性を削減するためにオーバーラップすることができる。周波数変換器210は、時変変調重複変換(「MLT」)、変調DCT(「MDCT」)、MLT若しくはDCTの他の或る変形、又は他の或るタイプの変調若しくは非変調のオーバーラップト若しくは非オーバーラップト周波数変換をブロックに適用し、或いはサブバンド又はウェーブレット符号化を使用する。周波数変換器210は、スペクトル係数データのブロックを多重化器(「MUX」)280に出力し、ブロックサイズ等のサイド情報を多重化器(「MUX」)280に出力する。
[038]マルチチャネル音声データの場合、マルチチャネル変換器220は、独立に符号化された複数のオリジナルのチャネルを、連係して符号化されたチャネルに変換することができる。或いは、マルチチャネル変換器220は、左チャネル及び右チャネルを、独立に符号化されたチャネルとして通過させることができる。マルチチャネル変換器220は、使用されているチャネルモードを示すサイド情報をMUX280に対して生成する。符号化器200は、マルチチャネル変換の後、音声データのブロックにマルチチャネル再行列化を適用することができる。
[039]知覚モデラー230は、人間の聴覚系の特性をモデル化して、所与のビットレートの再構成された音声信号の知覚される品質を改善する。知覚モデラー230は、さまざまな聴覚モデルのいずれかを使用し、励起パターン情報又は他の情報を重み付け器(weighter)240に渡す。例えば、聴覚モデルでは、通常、人間の聴覚帯域及び臨界帯域(例えば、バーク帯域)の範囲が考慮される。範囲及び臨界帯域のほかに、音声信号間の相互作用が、知覚に劇的に影響を与える可能性がある。加えて、聴覚モデルでは、人間の音の知覚の物理的態様又は神経的態様に関するさまざまな他の要因を考慮することができる。
[040]知覚モデラー230は、音声データの雑音を整形して雑音の可聴性を低減するために重み付け器240が使用する情報を出力する。例えば、さまざまな技法のいずれかを使用して、重み付け器240は、受け取った情報に基づき量子化行列(マスクと呼ばれることがある)の重み付け係数を生成する。量子化行列の重み付け係数は、その行列における複数の量子化帯域のそれぞれについての重みを含む。ここで、量子化帯域は、周波数係数の周波数範囲である。したがって、重み付け係数は、雑音/量子化誤差が量子化帯域にわたって拡散される割合を示し、その結果、より多くの雑音を聴き取られる可能性の低い帯域に置き、より少ない雑音を聴き取られる可能性の高い帯域に置くことにより雑音の可聴性を最小にすることを目標にして、雑音/量子化誤差のスペクトル/時間分布を制御する。
[041]重み付け器240は、次に、マルチチャネル変換器220から受け取ったデータに重み付け係数を適用する。
[042]量子化器250は、重み付け器240の出力を量子化し、エントロピー符号化器260への量子化された係数データと、MUX280への量子化ステップサイズを含むサイド情報とを作成する。図2において、量子化器250は、適応一様スカラー量子化器である。量子化器250は、各スペクトル係数に同じ量子化ステップサイズを適用するが、量子化ステップサイズ自体は、量子化ループの或る反復から次の反復までに変化して、エントロピー符号化器260の出力のビットレートに影響を与える可能性がある。他の種類の量子化は、非一様ベクトル量子化及び/又は非適応量子化である。
[043]エントロピー符号化器260は、例えば、ランレベル符号化(run-level coding)及びベクトル可変長符号化を実行して、量子化器250から受け取った量子化された係数データを無損失で圧縮する。エントロピー符号化器260は、音声情報の符号化に費やされるビット数を計算することができ、この情報をレート/品質コントローラー270に渡すことができる。
[044]コントローラー270は、量子化器250と共に動作して、符号化器200の出力のビットレート及び/又は品質を調節する。コントローラー270は、ビットレート制約及び品質制約を充足することを目標にして、量子化ステップサイズを量子化器250に出力する。
[045]加えて、符号化器200は、音声データのブロックに雑音置換及び/又は帯域トランケーションを適用することができる。
[046]MUX280は、音声符号化器200の他のモジュールから受け取ったサイド情報を、エントロピー符号化器260から受け取ったエントロピー符号化されたデータと共に多重化する。MUX280は、符号化器200によって出力されるビットストリーム295を記憶する仮想バッファーを含むことができる。
[047]B.第1の音声復号器
復号器300は、エントロピー符号化されたデータと共にサイド情報も含む圧縮された音声情報のビットストリーム305を受け取り、このビットストリームから、復号器300は、音声サンプル395を再構成する。
[048]多重分離器(「DEMUX」)310は、ビットストリーム305の情報をパースし、情報を復号器300のモジュールへ送る。DEMUX310は、音声の複雑度の変動、ネットワークジッター、及び/又は他の要因に起因するビットレートの短期変動を補償するために1つ又は複数のバッファーを含む。
[049]エントロピー復号器320は、DEMUX310から受け取ったエントロピー符号を無損失に伸張し、量子化されたスペクトル係数データを作成する。エントロピー復号器320は、通常、符号化器で使用されるエントロピー符号化技法を逆にしたものを適用する。
[050]逆量子化器330は、DEMUX310から量子化ステップサイズを受け取り、エントロピー復号器320から量子化されたスペクトル係数データを受け取る。逆量子化器330は、量子化された周波数係数データに量子化ステップサイズを適用して、周波数係数データを部分的に再構成するか、又は別の方法で逆量子化を実行する。
[051]雑音ジェネレーター340は、DEMUX310から、データのブロックのどの帯域が雑音置換されたのかを示す情報と共に、雑音の形態の任意のパラメーターも受け取る。雑音ジェネレーター340は、示された帯域のパターンを生成し、その情報を逆重み付け器350に渡す。
[052]逆重み付け器350は、DEMUX310から重み付け係数を受け取り、雑音ジェネレーター340から雑音置換されたあらゆる帯域のパターンを受け取り、逆量子化器330から部分的に再構成された周波数係数データを受け取る。必要に応じて、逆重み付け器350は、重み付け係数を伸張する。逆重み付け器350は、雑音置換されなかった帯域の部分的に再構成された周波数係数データに重み付け係数を適用する。逆重み付け器350は、その後、雑音置換された帯域について、雑音ジェネレーター340から受け取った雑音パターンを加える。
[053]逆マルチチャネル変換器360は、逆重み付け器350から再構成されたスペクトル係数データを受け取り、DEMUX310からチャネルモード情報を受け取る。マルチチャネル音声が、独立に符号化されたチャネルにある場合、逆マルチチャネル変換器360は、それらのチャネルを通過させる。マルチチャネルデータが、連係して符号化されたチャネルにある場合、逆マルチチャネル変換器360は、そのデータを独立に符号化されたチャネルに変換する。
[054]逆周波数変換器370は、マルチチャネル変換器360によって出力されたスペクトル係数データと共に、DEMUX310からのブロックサイズ等のサイド情報も受け取る。逆周波数変換器370は、符号化器で使用された周波数変換を逆にしたものを適用し、再構成された音声サンプル395のブロックを出力する。
[055]C.第2の音声符号化器
図4を参照して、符号化器400は、時系列の入力音声サンプル405を或るサンプリング深度及びサンプリングレートで受け取る。入力音声サンプル405は、マルチチャネル音声(例えばステレオ、サラウンド)用又はモノラル音声用である。符号化器400は、音声サンプル405を圧縮し、符号化器400のさまざまなモジュールによって作成された情報を多重化して、WMA Proフォーマット等の圧縮フォーマット、ASF等のコンテナフォーマット、又は他の圧縮フォーマット若しくはコンテナフォーマットでビットストリーム495を出力する。
[056]符号化器400は、音声サンプル405の複数の符号化モード間で選択を行う。図4において、符号化器400は、混合/純粋型(mixed/pure)無損失符号化モードと有損失符号化モードとの間の切り替えを行う。無損失符号化モードは、混合/純粋型無損失符号化器472を含み、通常、高品質(及び高ビットレート)の圧縮に使用される。有損失符号化モードは、重み付け器442及び量子化器460等のコンポーネントを含み、通常、調整可能な品質(及び制御されたビットレート)の圧縮に使用される。選択決定は、ユーザ入力又は他の判定基準に依存する。
[057]マルチチャネル音声データの有損失符号化の場合、マルチチャネルプリプロセッサー410は、オプションとして、時間領域の音声サンプル405を再行列化する。例えば、マルチチャネルプリプロセッサー410は、音声サンプル405を選択的に再行列化して、1つ又は複数の符号化されたチャネルを廃棄するか、又は符号化器400内のチャネル間相関を増加させるが、それでも復号器500における(或る形態での)再構成を可能にする。マルチチャネルプリプロセッサー410は、マルチチャネル後処理の命令等のサイド情報をMUX490へ送ることができる。
[058]ウィンドウ化(windowing)モジュール420は、音声入力サンプル405のフレームをサブフレームブロック(ウィンドウ)に区画する。これらのウィンドウは、時変のサイズ及びウィンドウ成形関数を有することができる。符号化器400が有損失符号化を使用するとき、可変サイズウィンドウによって、可変時間分解能が可能になる。ウィンドウ化モジュール420は、区画されたデータのブロックをMUX490に出力し、ブロックサイズ等のサイド情報をMUX490に出力する。
[059]図4において、タイル構成器(tile configurer)422は、マルチチャネル音声のフレームをチャネル単位で区画する。タイル構成器422は、品質/ビットレートが許す限り、フレームの各チャネルを独立に区画する。これによって、例えば、タイル構成器422は、特定のチャネルに現れる過渡現象をより小さなウィンドウで分離することが可能になり、他のチャネルで周波数分解能又は圧縮効率を得るためにはより大きいウィンドウを使用することが可能になる。これによって、チャネル単位で過渡現象を分離することにより圧縮効率を改善することができるが、多くの場合には、個々のチャネルにおける区画を指定する追加の情報が必要になる。時間的に同じ位置に配置される同じサイズのウィンドウは、マルチチャネル変換を通じてさらに冗長性を低減する適格を有することができる。したがって、タイル構成器422は、時間的に同じ位置にある同じサイズのウィンドウをタイルとしてグルーピングする。
[060]周波数変換器430は、音声サンプルを受け取り、図2の周波数変換器210について上述したような変換を適用して、それらの音声サンプルを周波数領域のデータに変換する。周周波数変換器430は、スペクトル係数データのブロックを重み付け器442に出力し、ブロックサイズ等のサイド情報をMUX490に出力する。周波数変換器430は、周波数係数及びサイド情報の双方を知覚モデラー440に出力する。
[061]知覚モデラー440は、図2の知覚モデラー230を参照して概ね上述したように、人間の聴覚系の特性をモデル化し、聴覚モデルに従って音声データを処理する。
[062]重み付け器442は、図2の重み付け器240を参照して概ね上述したように、知覚モデラー440から受け取った情報に基づいて量子化行列の重み付け係数を生成する。重み付け器442は、重み付け係数を、周波数変換器430から受け取ったデータに適用する。重み付け器442は、量子化行列及びチャネル重み係数等のサイド情報をMUX490に出力する。量子化行列は圧縮することができる。
[063]マルチチャネル音声データの場合、マルチチャネル変換器450は、マルチチャネル変換を適用して、チャネル間相関を利用することができる。例えば、マルチチャネル変換器450は、タイルのチャネル及び/又は量子化帯域のすべてではなく一部にマルチチャネル変換を選択的かつ柔軟に適用する。マルチチャネル変換器450は、事前に定義された行列又はカスタム行列を選択的に使用し、効率的な圧縮をカスタム行列に適用する。マルチチャネル変換器450は、例えば使用されたマルチチャネル変換及びタイルのマルチチャネル変換された部分を示す、MUX490へのサイド情報を作成する。
[064]量子化器460は、マルチチャネル変換器450の出力を量子化し、エントロピー符号化器470への量子化された係数データ、及びMUX490への量子化ステップサイズを含むサイド情報を作成する。図4において、量子化器460は、タイルごとに量子化係数を計算する適応一様スカラー量子化器であるが、量子化器460は、他の或る種類の量子化を代わりに実行することもできる。
[065]エントロピー符号化器470は、図2のエントロピー符号化器260を参照して概ね上述したように、量子化器460から受け取った量子化された係数データを無損失に圧縮する。
[066]コントローラー480は、量子化器460と共に動作して、符号化器400の出力のビットレート及び/又は品質を調節する。コントローラー480は、品質制約及び/又はビットレート制約を充足することを目標にして、量子化係数を量子化器460に出力する。
[067]混合/純粋型無損失符号化器472及び関連したエントロピー符号化器474は、混合/純粋型無損失符号化モードの音声データを圧縮する。符号化器400は、シーケンス全体に混合/純粋型無損失符号化モードを使用するか、又はフレームごと、ブロックごと、タイルごと、若しくは他の単位で符号化モード間の切り替えを行う。
[068]MUX490は、音声符号化器400の他のモジュールから受け取ったサイド情報を、エントロピー符号化器470、474から受け取ったエントロピー符号化されたデータと共に多重化する。MUX490は、レート制御用又は他の目的用の1つ又は複数のバッファーを含む。
[069]D.第2の音声復号器
図5を参照して、第2の音声復号器500は、圧縮された音声情報のビットストリーム505を受け取る。このビットストリーム505は、エントロピー符号化されたデータと共にサイド情報も含む。これらのデータ及びサイド情報から、復号器500は音声サンプル595を再構成する。
[070]DEMUX510は、ビットストリーム505の情報をパースし、情報を復号器500のモジュールへ送る。DEMUX510は、音声の複雑度の変動、ネットワークジッター、及び/又は他の要因に起因するビットレートの短期変動を補償するために1つ又は複数のバッファーを含む。
[071]エントロピー復号器520は、通常、符号化器400で使用されたエントロピー符号化技法を逆にしたものを適用して、DEMUX510から受け取ったエントロピー符号を無損失に伸張する。エントロピー復号器520は、有損失符号化モードで圧縮されたデータを復号するとき、量子化されたスペクトル係数データを作成する。
[072]混合/純粋型無損失復号器522及び関連したエントロピー復号器(複数可)520は、混合/純粋型無損失符号化モードの無損失に符号化された音声データを伸張する。
[073]タイル構成復号器530は、フレームのタイルのパターンを示す情報をDEMUX510から受け取り、必要な場合に復号する。タイルパターン情報は、エントロピー符号化される場合もあるし、或いは他の方法でパラメーター化される場合もある。タイル構成復号器530は、その後、復号器500の他のさまざまなモジュールにタイルパターン情報を渡す。
[074]逆マルチチャネル変換器540は、エントロピー復号器520からの量子化されたスペクトル係数データと共に、タイル構成復号器530からのタイルパターン情報並びに例えば使用されたマルチチャネル変換及びタイルの変換された部分を示すDEMUX510からのサイド情報も受け取る。この情報を使用して、逆マルチチャネル変換器540は、必要に応じて変換行列を伸張し、1つ又は複数の逆マルチチャネル変換を音声データに選択的かつ柔軟に適用する。
[075]逆量子化器/重み付け器550は、タイル及びチャネル量子化係数と共に、量子化行列等の情報もDEMUX510から受け取り、量子化されたスペクトル係数データを逆マルチチャネル変換器540から受け取る。逆量子化器/重み付け器550は、受け取った重み付け係数情報を必要に応じて伸張する。量子化器/重み付け器550は、その後、逆量子化及び重み付けを実行する。
[076]逆周波数変換器560は、逆量子化器/重み付け器550によって出力されるスペクトル係数データと共に、DEMUX510からのサイド情報及びタイル構成復号器530からのタイルパターン情報も受け取る。逆周波数変換器570は、符号化器で使用された周波数変換を逆にしたものを適用し、ブロックをオーバーラッパー/加算器570に出力する。
[077]オーバーラッパー/加算器570は、タイル構成復号器530からタイルパターン情報を受け取ることに加えて、逆周波数変換器560及び/又は混合/純粋型無損失復号器522から復号された情報も受け取る。オーバーラッパー/加算器570は、必要に応じて音声データをオーバーラップさせ、加算し、異なるモードで符号化された音声データのフレーム又は他のシーケンスをインターリーブする。
[078]マルチチャネルポストプロセッサー580は、オプションとして、オーバーラッパー/加算器570によって出力された時間領域の音声サンプルを再行列化する。ビットストリーム制御された後処理の場合、後処理変換行列は、時間と共に変化し、シグナリングされるか又はビットストリーム505に含まれる。
[079]III.可変サブフレームサイズに対する可逆的変調重複変換
上述したように、代表的符号化器(例えば、タイル構成器422)は、プリエコー効果を回避するために音声の過渡現象により小さなサブフレームサイズを使用することと、符号化効率のためにより大きなサブフレームサイズを使用することとの間をバランスさせる等のために、変化するサブフレームサイズを使用して音声信号を符号化する。符号化器は、Chen他による米国特許出願公開第US−2003−0115052号の“ADAPTIVE WINDOW-SIZE SELECTION IN TRANSFORM CODING”に説明された技法等、さまざまな技法を用いてサブフレームサイズを適応的に選ぶことができる。
[080]図6は、代表的符号化器によって作成された一例のサブフレーム構成を示す。この符号化器では、音声サンプルの或るセクションが、256サンプル、512サンプル、512サンプル、1024サンプル、及び512サンプルのサイズを有するサブフレーム611〜615に区画される。図6に示すサブフレームサイズは、一例示の符号化器の実施態様において利用可能なサブフレームサイズの選択の範囲を単に表しているに過ぎず、例示の目的で選ばれたものにすぎない。さまざまな代替的な符号化器の実施態様では、符号化器は、他のサブフレームサイズを使用することができ、かつ/又はサブフレームサイズのより多くの選択の範囲又はより少ない選択の範囲を使用することができる。
[081]これも上述したように、代表的符号化器は、(例えば、周波数変換器430によって)周波数変換を音声サンプルに適用する。代表的符号化器で使用される周波数変換は、修正離散コサイン変換(MDCT)等の変調重複変換(MLT)のタイプである。各サブフレームのこのMLTは、前サブフレームのサンプル及び後続サブフレームのサンプルとオーバーラップする。換言すれば、この変換は、現サブフレームのサンプルに加えて、前サブフレームのサンプル及び後続サブフレームのサンプルのオーバーラップ部分から自身の入力を取り込む。この例では、小さい方のサブフレームのサイズ(すなわち、隣接するサブフレームサイズ及び現サブフレームサイズのうちの小さい方)の半分に等しいオーバーラップが使用される。例えば、サブフレーム612(512サンプルのサイズを有する)のオーバーラップは、先行サブフレーム611(256サンプルのより小さなサイズを有する)の128サンプルである。他方、サブフレーム615(512サンプルを有する)は、その先行サブフレーム614(1024サンプルを有する)よりも小さく、したがって、先行サブフレーム614の256サンプルのオーバーラップを使用する。代替的な実施態様では、符号化器は、前サブフレーム及び後続サブフレームから異なるオーバーラップ量(例えば、小さい方のサブフレームサイズの4分の1等)を有するMLTを使用することができる。この例から分かるように、3つのサブフレームサイズの選択の結果、前サブフレームサイズ、現サブフレームサイズ、及び後続サブフレームサイズの組み合わせの個数はより多くなり、これによって、サブフレームの重複変換サイズの並べ替えがより多く作成される。
[082]符号化器による無損失圧縮の場合、MLTは、望ましくは、可逆的整数−整数変換の実施態様を有する。次の説明では、このような可逆的整数−整数変換の実施態様がサブフレームサイズのさまざまな組み合わせについてどのように導出されるのかを扱う。各サブフレームサイズの組み合わせの変調重複変換は、サブフレームにまたがるオーバーラップウィンドウ化変換711〜714(図7に図示)とそれらのサブフレームに適用されたブロック変換811〜814(図8に図示)との組み合わせに因数分解することによって作成される。
[083]IV.変調重複変換の因数分解
次のセクションでは、MLT等の一定の重複直交変換を理解及び実施するための単純な方法を提示する。MLT(MCLTの実部)は、次の直交変換として記述することができるが(負の符号は任意であるが、音声符号で共通に使用される(スケールファクタを除く)変換の定義と整合するように追加される)。
Figure 2011522291
[084]上記式において、入力音声サンプルは、
Figure 2011522291
項によって表される。sin項はウィンドウ関数であるのに対して、cos項は変換の基底関数である。変数kはスペクトルインデックスであり、Mはサブフレームサイズであり、lはサブフレームのインデックスである。
[085]
cos(−θ+π)=−cosθであるので、その結果として、
Figure 2011522291
となる。
[086]同様に、cos(−θ+2π)=cosθであるので、
Figure 2011522291
であることも分かる。
[087]MLT式のこれらの上記2つの関係を適用すると、
Figure 2011522291
が得られる。
[088]項z[n]は、n=0,…,M/2−1については、
Figure 2011522291
と定義され、n=M/2,…,M−1については、
Figure 2011522291
と定義されるものと仮定する。
[089]この場合、MLT式は、
Figure 2011522291
と記述することができる。これは、フリップされたz[n+Ml]のタイプIV DCTである。
[090]この書き直された式によって実証されるように、MLTは、2つのブロックベースの変換であると考えることができる。第1のブロック変換は、xからzまでのオーバーラッピング1段バタフライであり、第2のブロック変換は、単純に、フリップされたz項のブロックベースのDCT−IVである。
[091]MLTの2つの隣接したブロック間のオーバーラップする領域は、ブロックlの前半とブロック(l−1)の後半とから成る。sin(−θ+π/2)=cosθであるので、このオーバーラップする領域の項z[n+Ml]は、n=0,…,M/2−1については、
Figure 2011522291
と記述することができ、n=M/2,…,M−1については、
Figure 2011522291
と記述することができる。
[092]代入n’=M−1−nを行った後、sin(θ+π/2)=cosθであり、sin(−θ+π)=sinθであるので、n=0,…,M/2−1について、
Figure 2011522291
が得られる。
[093]これは、
Figure 2011522291
を有する単純な2×2変換ブロックと同じである。ここで、
Figure 2011522291
である。次に、さらなる代入n’=M/2−1−nを行うことによって、
Figure 2011522291
が与えられる。ここで、n=0,…,M/2−1であり、
Figure 2011522291
であり、sin(−θ+π/2)=cosθ及びcos(−θ+π/2)=sinθが使用されている。この2×2変換は、音声コーデックのオーバーラップトウィンドウ化ブロック変換711〜714(図7)として使用することができる。この変換は、各オーバーラップする領域を単一段バタフライとして取り扱うことによって、変化するサブフレームサイズに適用することができる。この変換における2×2回転は可逆的なものにすることができるので、このオーバーラップウィンドウ化変換は、可逆的変換として容易に実施される。
[094]サブフレームサイズが(図6に示す例の場合のように)変化するとき、MLTのウィンドウ形状のみが変化する。しかしながら、ウィンドウは、それでも、オリジナルのウィンドウのすべての対称性には従う。したがって、変化するサイズのサブフレームに適合するときの唯一の変化は、オーバーラップするウィンドウサイズMである。
[095]さらに、この方法論は、単純に任意の直交変換をデータ内の所与のブロックに適用し、次いでブロッキンググリッドをシフトさせて図6〜図8に示すような別の直交変換を適用することによって、より一般的には、オーバーラップト直交変換を作成することに適用可能である。
[096]III.一般のオーバーラッピング変換の因数分解
一定の条件下では、隣接したブロック間で50%以下のオーバーラップを有するいずれの変換も、2つのブロック変換に因数分解することができる。正確な必要条件は、以下の導出で説明される。50%以下のオーバーラップを有するブロックに処理を行う重複変換を考えることにする。このような線形変換は、行列として記述することができる。この行列における各ブロックは、N/2×N/2行列である。ここで、Nは(可変ブロックサイズが可能である場合には)変換の最小ブロックサイズである。例えば、重複変換は、512、1024、及び2048のサイズのブロックの使用が可能にされていると仮定する。この場合、ブロックサイズが512、1024、512、及び512である場合、重複変換の変換行列は、次のように記述することができる。
Figure 2011522291
ここで、各部分行列は、256×256行列である。
[097]この演算を、オーバーラッピング演算子(C)を適用する第1のステップ及び実際のブロックサイズに対してブロック変換を適用するもう1つの演算子(B)の2つのステップに分割することを考える。この場合、これらの2つの行列は、
Figure 2011522291
及び
Figure 2011522291
と記述することができる。
[098]目標は、A=BCとなるようなB及びCを見つけることである。Aの第n行は、Bの第n行にのみ依存するので、変換の単一のブロックを個々に考察することで十分である。例えば、変換の3番目のブロックは、
Figure 2011522291
と記述することができる。
[140]変換の3番目のブロックの前半について解くことは、次の方程式を解くことに簡単化される。
[099]
Figure 2011522291
[0100]これは、行列が
Figure 2011522291
という特性を有する場合、又は所与のjについてのすべてのiについてAij=0である場合にのみ解くことができる。これには多くの解法がある。B66を或る任意のフルランクのN/2×N/2行列であるとする。この場合、
Figure 2011522291
が得られる。行列Aのこの変換ブロック及び他の変換ブロックの後半も、同様に解くことができる。
[0101]これは、一定の条件(すなわち、特性
Figure 2011522291
下では、重複変換を、1つはオーバーラッピングに対処し、もう1つは単純なブロック変換である2つのブロック変換の積として記述することができることを示している。
[0102]したがって、変化するサイズのサブフレームを有する音声信号のサブフレームについての重複変換の可逆的整数−整数実施態様は、重複変換の表現を、サイズNのサブフレームの矩形線形変換行列
Figure 2011522291
として形成することによって導出される。この矩形線形変換行列はN/2×N/2行列ブロック要素から構成され、i、jは行列ブロックのインデックスである。さらに、この行列は、
Figure 2011522291
又は所与のnについてのすべてのmについてAmn=0という特性を有する。矩形線形変換行列Aは、
Figure 2011522291
の形態のオーバーラップウィンドウ化変換行列Cと、
Figure 2011522291
の形態のブロック変換行列Bとに因数分解される。これらの行列の成分には、関係
Figure 2011522291
を解くことによって到達する。
[0103]本発明者らの発明の原理を適用することができる多くの可能な実施形態に鑑み、本発明者らは、添付の特許請求の範囲及びこれと均等なものの範囲及び精神内に入り得るようなすべての実施形態を本発明者の発明として特許請求する。

Claims (11)

  1. 音声信号を符号化する方法であって、
    時間領域の音声サンプルのシーケンスを含む音声信号(405)の入力を受け取るステップと、
    前記音声信号を、少なくとも2つの異なるサブフレームサイズを有するサブフレーム(611〜615)に区画するステップと、
    前記異なるサイズのサブフレームの可逆的整数入力対整数出力を有する重複変換(430)を実行するステップであって、該重複変換は、前記それぞれのサブフレームサイズである前記サブフレームに適用される可逆的ブロック変換とそれぞれの隣接したサブフレームをオーバーラップさせる可逆的ブロック回転変換との組み合わせとして実現され、各可逆的ブロック回転変換は、前記オーバーラップされた隣接したサブフレームの小さい方の最大半分までをオーバーラップさせ、サブフレームの前記可逆的ブロック変換及び隣接したサブフレームとオーバーラップさせる前記可逆的ブロック回転変換は、前記重複変換の因数分解である、重複変換(430)を実行するステップと、
    その結果として得られた変換係数を圧縮されたビットストリーム(495)として符号化するステップと
    を含む方法。
  2. 前記重複変換は変調重複変換である、請求項1に記載の方法。
  3. 前記重複変換は修正離散コサイン変換である、請求項2に記載の方法。
  4. 前記ブロック変換は、ブロックベースのDCT−IVタイプの変換であり、前記可逆的ブロック回転変換は単一段バッファーフライターイプの変換である、請求項3に記載の方法。
  5. サブフレームの前記重複変換は、オーバーラップする先行の隣接したサブフレーム及び後続の隣接したサブフレームが異なるサイズである場合には、該先行の隣接したサブフレーム及び該後続の隣接したサブフレームについての異なるサイズの可逆的ブロック回転変換に因数分解される、請求項1に記載の方法。
  6. 音声信号を復号する方法であって、
    異なるサイズのサブフレーム(611〜615)に区画された音声信号(505)の変換係数を復号するステップと、
    前記異なるサイズのサブフレームの可逆的整数入力対整数出力を有する重複変換(560)を実行するステップであって、該重複変換は、前記それぞれのサブフレームサイズである前記サブフレームに適用される可逆的ブロック変換とそれぞれの隣接したサブフレームをオーバーラップさせる可逆的ブロック回転変換との組み合わせとして実現され、各可逆的ブロック回転変換は、前記オーバーラップされた隣接したサブフレームの小さい方の最大半分までをオーバーラップさせ、サブフレームの前記可逆的ブロック変換及び隣接したサブフレームとオーバーラップさせる前記可逆的ブロック回転変換は、前記重複変換の因数分解である、重複変換(560)を実行するステップと、
    前記逆変換された変換係数から時間領域の音声信号の音声サンプルを作成するステップと、
    前記音声信号(595)を出力するステップと、
    を含む方法。
  7. 前記重複変換は変調重複変換である、請求項6に記載の方法。
  8. 前記重複変換は修正離散コサイン変換である、請求項7に記載の方法。
  9. 前記ブロック変換は、ブロックベースのDCT−IVタイプの変換であり、前記可逆的ブロック回転変換は単一段バッファーフライターイプの変換である、請求項8に記載の方法。
  10. サブフレームの前記重複変換は、オーバーラップする先行の隣接したサブフレーム及び後続の隣接したサブフレームが異なるサイズである場合には、該先行の隣接したサブフレーム及び該後続の隣接したサブフレームについての異なるサイズの可逆的ブロック回転変換に因数分解される、請求項9に記載の方法。
  11. 複数の異なるサイズのサブフレームに区画された入力音声信号を処理するための重複変換の可逆的整数入力/整数出力の実施態様を導出する方法であって、
    隣接したサブフレーム(611〜615)をオーバーラップさせるオーバーラップ領域(711〜714)のオーバーラップウィンドウ化変換と前記サブフレームのブロック変換(811〜815)との組み合わせに前記重複変換(430)を因数分解するステップであって、該因数分解するステップは、
    所与のサブフレームの前記重複変換の表現を、
    Figure 2011522291
    の形態を有する矩形線形変換行列Aとして形成するステップであって、ここで、該行列の各サブブロックは前記サブフレームのサイズNについてN/2×N/2行列であり、i、jは該行列のサブブロックのインデックスであり、さらに、該行列は、
    Figure 2011522291
    であるという特性を有する、形成するステップと、
    前記矩形線形変換行列Aを、
    Figure 2011522291
    の形態のオーバーラップウィンドウ化変換行列Cと、
    Figure 2011522291
    の形態のブロック変換行列Bとに因数分解するステップであって、該因数分解するステップは、関係
    Figure 2011522291
    を解くステップを含む、因数分解するステップと、
    を含む、前記重複変換(430)を因数分解するステップと、
    前記サブフレームを有する音声信号(405)の入力を受け取るステップと、
    前記オーバーラップウィンドウ化変換行列Cを、前記サブフレーム及びその先行の隣接したサブフレームに適用するステップと、
    前記ブロック変換行列Bを前記サブフレームに適用するステップと
    を含む方法。
JP2011511737A 2008-05-30 2009-05-22 オーバーラッピング変換の2つのブロック変換への因数分解 Active JP5400143B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/130,862 2008-05-30
US12/130,862 US8447591B2 (en) 2008-05-30 2008-05-30 Factorization of overlapping tranforms into two block transforms
PCT/US2009/044983 WO2009148858A2 (en) 2008-05-30 2009-05-22 Factorization of overlapping transforms into two block transforms

Publications (3)

Publication Number Publication Date
JP2011522291A true JP2011522291A (ja) 2011-07-28
JP2011522291A5 JP2011522291A5 (ja) 2012-06-07
JP5400143B2 JP5400143B2 (ja) 2014-01-29

Family

ID=41380875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011511737A Active JP5400143B2 (ja) 2008-05-30 2009-05-22 オーバーラッピング変換の2つのブロック変換への因数分解

Country Status (6)

Country Link
US (1) US8447591B2 (ja)
EP (1) EP2279562B1 (ja)
JP (1) JP5400143B2 (ja)
KR (1) KR101679083B1 (ja)
CN (1) CN102047564B (ja)
WO (1) WO2009148858A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032803A (ja) * 2010-07-01 2012-02-16 Polycom Inc フルバンド拡張可能なオーディオコーデック

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036274B2 (en) * 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding
US8369638B2 (en) 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
FI3573056T3 (fi) * 2008-07-11 2022-11-30 Audiokooderi ja audiodekooderi
US8275209B2 (en) * 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
EP2374211B1 (en) * 2008-12-24 2012-04-04 Dolby Laboratories Licensing Corporation Audio signal loudness determination and modification in the frequency domain
CN102611883B (zh) * 2011-01-19 2014-07-30 华为技术有限公司 编码方法、解码方法及装置
US20140046670A1 (en) * 2012-06-04 2014-02-13 Samsung Electronics Co., Ltd. Audio encoding method and apparatus, audio decoding method and apparatus, and multimedia device employing the same
KR101764726B1 (ko) 2013-02-20 2017-08-14 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중 중첩 부분을 이용하여 인코딩된 신호를 생성하거나 인코딩된 오디오 신호를 디코딩하는 장치 및 방법
WO2015058020A1 (en) 2013-10-17 2015-04-23 Dow Agrosciences Llc Processes for the preparation of pesticidal compounds
CN107895580B (zh) * 2016-09-30 2021-06-01 华为技术有限公司 一种音频信号的重建方法和装置
CN110892478A (zh) 2017-04-28 2020-03-17 Dts公司 音频编解码器窗口和变换实现
CN110233626B (zh) * 2019-07-05 2022-10-25 重庆邮电大学 基于二维自适应量化的机械振动信号边缘数据无损压缩方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264810A (ja) * 2002-09-04 2004-09-24 Microsoft Corp マルチチャネルオーディオのエンコーディングおよびデコーディング
JP2010537245A (ja) * 2007-08-17 2010-12-02 オープン・インターフェイス・ノース・アメリカ,インコーポレイテッド デジタルコンテンツの符号化および/または復号

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754492A (en) * 1985-06-03 1988-06-28 Picturetel Corporation Method and system for adapting a digitized signal processing system for block processing with minimal blocking artifacts
US4698672A (en) * 1986-10-27 1987-10-06 Compression Labs, Inc. Coding system for reducing redundancy
US5297236A (en) * 1989-01-27 1994-03-22 Dolby Laboratories Licensing Corporation Low computational-complexity digital filter bank for encoder, decoder, and encoder/decoder
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
KR0148130B1 (ko) * 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
JP3401823B2 (ja) 1993-03-31 2003-04-28 ソニー株式会社 画像コーデック用プロセッサ
US5982459A (en) * 1995-05-31 1999-11-09 8×8, Inc. Integrated multimedia communications processor and codec
FR2737931B1 (fr) * 1995-08-17 1998-10-02 Siemens Ag Procede destine au traitement de blocs d'images decodes d'un procede de codage d'images a base de blocs
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
US6064776A (en) * 1995-10-27 2000-05-16 Kabushiki Kaisha Toshiba Image processing apparatus
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
KR100196838B1 (ko) * 1995-12-23 1999-06-15 전주범 블럭벌 상관 관계에 의한 부호화 장치
US5805739A (en) * 1996-04-02 1998-09-08 Picturetel Corporation Lapped orthogonal vector quantization
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JP2907146B2 (ja) * 1996-09-11 1999-06-21 日本電気株式会社 メモリlsiの特定箇所探索方法および探索装置
US6233017B1 (en) * 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
US5999656A (en) * 1997-01-17 1999-12-07 Ricoh Co., Ltd. Overlapped reversible transforms for unified lossless/lossy compression
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
US5973755A (en) * 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
AU8055798A (en) * 1997-06-05 1998-12-21 Wisconsin Alumni Research Foundation Image compression system using block transforms and tree-type coefficient truncation
JP3375539B2 (ja) 1997-07-14 2003-02-10 ペンタックス株式会社 画像圧縮装置および画像伸張装置
US5859788A (en) * 1997-08-15 1999-01-12 The Aerospace Corporation Modulated lapped transform method
TW364269B (en) 1998-01-02 1999-07-11 Winbond Electronic Corp Discreet cosine transform/inverse discreet cosine transform circuit
US6393156B1 (en) * 1998-01-07 2002-05-21 Truong Q. Nguyen Enhanced transform compatibility for standardized data compression
US6393061B1 (en) * 1998-05-15 2002-05-21 Hughes Electronics Corporation Method for reducing blocking artifacts in digital images
US6029126A (en) * 1998-06-30 2000-02-22 Microsoft Corporation Scalable audio coder and decoder
US6115689A (en) * 1998-05-27 2000-09-05 Microsoft Corporation Scalable audio coder and decoder
US6154762A (en) * 1998-06-03 2000-11-28 Microsoft Corporation Fast system and method for computing modulated lapped transforms
US6073153A (en) * 1998-06-03 2000-06-06 Microsoft Corporation Fast system and method for computing modulated lapped transforms
US6253165B1 (en) * 1998-06-30 2001-06-26 Microsoft Corporation System and method for modeling probability distribution functions of transform coefficients of encoded signal
US6011625A (en) * 1998-07-08 2000-01-04 Lockheed Martin Corporation Method for phase unwrapping in imaging systems
US6421464B1 (en) * 1998-12-16 2002-07-16 Fastvdo Llc Fast lapped image transforms using lifting steps
US6496795B1 (en) * 1999-05-05 2002-12-17 Microsoft Corporation Modulated complex lapped transform for integrated signal enhancement and coding
US6487574B1 (en) * 1999-02-26 2002-11-26 Microsoft Corp. System and method for producing modulated complex lapped transforms
US6370502B1 (en) * 1999-05-27 2002-04-09 America Online, Inc. Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec
US6771829B1 (en) * 1999-10-23 2004-08-03 Fastvdo Llc Method for local zerotree image coding
US6377916B1 (en) * 1999-11-29 2002-04-23 Digital Voice Systems, Inc. Multiband harmonic transform coder
US6865229B1 (en) * 1999-12-14 2005-03-08 Koninklijke Philips Electronics N.V. Method and apparatus for reducing the “blocky picture” effect in MPEG decoded images
US6771828B1 (en) * 2000-03-03 2004-08-03 Microsoft Corporation System and method for progessively transform coding digital data
US7177358B2 (en) * 2000-06-27 2007-02-13 Mitsubishi Denki Kabushiki Kaisha Picture coding apparatus, and picture coding method
US6832232B1 (en) * 2000-07-10 2004-12-14 Advanced Micro Devices, Inc. Dual-block inverse discrete cosine transform method
AU2001273510A1 (en) 2000-07-17 2002-01-30 Trustees Of Boston University Generalized lapped biorthogonal transform embedded inverse discrete cosine transform and low bit rate video sequence coding artifact removal
EP1320831A2 (en) * 2000-09-12 2003-06-25 Koninklijke Philips Electronics N.V. Video coding method
EP1202219A1 (en) 2000-10-30 2002-05-02 Fast Video, LLC Fast lapped image transforms
JP2002182693A (ja) 2000-12-13 2002-06-26 Nec Corp オーディオ符号化、復号装置及びその方法並びにその制御プログラム記録媒体
TW589870B (en) * 2000-12-19 2004-06-01 Pts Corp Adaptive transforms
JP2002304624A (ja) 2001-04-05 2002-10-18 Canon Inc フィルタ処理装置及び撮像装置
US7027654B1 (en) * 2001-08-16 2006-04-11 On2 Technologies Video compression system
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7460993B2 (en) * 2001-12-14 2008-12-02 Microsoft Corporation Adaptive window-size selection in transform coding
ES2610430T3 (es) 2001-12-17 2017-04-27 Microsoft Technology Licensing, Llc Codificación por omisión de macrobloques
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US6763068B2 (en) * 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
JP2003283840A (ja) 2002-03-25 2003-10-03 Canon Inc フィルタ処理装置およびフィルタ処理方法
US7006699B2 (en) 2002-03-27 2006-02-28 Microsoft Corporation System and method for progressively transforming and coding digital data
US7155065B1 (en) * 2002-03-27 2006-12-26 Microsoft Corporation System and method for progressively transforming and coding digital data
US7110941B2 (en) * 2002-03-28 2006-09-19 Microsoft Corporation System and method for embedded audio coding with implicit auditory masking
JP3855827B2 (ja) 2002-04-05 2006-12-13 ソニー株式会社 2次元サブバンド符号化装置
US7275036B2 (en) * 2002-04-18 2007-09-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a time-discrete audio signal to obtain coded audio data and for decoding coded audio data
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US7242713B2 (en) * 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
GB2388502A (en) * 2002-05-10 2003-11-12 Chris Dunn Compression of frequency domain audio signals
US7376280B2 (en) * 2002-07-14 2008-05-20 Apple Inc Video encoding and decoding
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7031392B2 (en) * 2002-09-20 2006-04-18 Seiko Epson Corporation Method and apparatus for video deblocking
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
JP2004201047A (ja) 2002-12-19 2004-07-15 Ricoh Co Ltd 画像処理装置、プログラム及び記憶媒体
US7542036B2 (en) * 2003-02-19 2009-06-02 California Institute Of Technology Level set surface editing operators
US7239990B2 (en) * 2003-02-20 2007-07-03 Robert Struijs Method for the numerical simulation of a physical phenomenon with a preferential direction
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7471726B2 (en) * 2003-07-15 2008-12-30 Microsoft Corporation Spatial-domain lapped transform in digital media compression
US20080075377A1 (en) * 2003-07-29 2008-03-27 Topiwala Pankaj N Fast lapped image transforms using lifting steps
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
DE10345996A1 (de) 2003-10-02 2005-04-28 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten
US7315822B2 (en) * 2003-10-20 2008-01-01 Microsoft Corp. System and method for a media codec employing a reversible transform obtained via matrix lifting
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
KR101044940B1 (ko) * 2004-06-23 2011-06-28 삼성전자주식회사 에지 플로우 방향성 필터와 커블릿 변환을 이용한 블록현상 제거 방법 및 장치
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
WO2006024977A1 (en) * 2004-08-31 2006-03-09 Koninklijke Philips Electronics N.V. Method and device for transcoding
US7428342B2 (en) * 2004-12-17 2008-09-23 Microsoft Corporation Reversible overlap operator for efficient lossless data compression
US7471850B2 (en) * 2004-12-17 2008-12-30 Microsoft Corporation Reversible transform for lossy and lossless 2-D data compression
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
AU2005239628B2 (en) 2005-01-14 2010-08-05 Microsoft Technology Licensing, Llc Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
US7640283B2 (en) * 2005-06-27 2009-12-29 The Aerospace Corporation Shared Haar wavelet transform
US7634525B2 (en) * 2005-06-27 2009-12-15 The Aerospace Corporation Haar wavelet transform embedded lossless type IV discrete cosine transform
US7805476B2 (en) * 2005-06-27 2010-09-28 The Aerospace Corporation Extended Haar transform
US7613761B2 (en) * 2005-06-27 2009-11-03 The Aerospace Corporation Haar wavelet transform embedded lossless type II discrete cosine transform
US8036274B2 (en) 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
US20080137982A1 (en) * 2006-12-06 2008-06-12 Ayahiro Nakajima Blurring determination device, blurring determination method and printing apparatus
US8054886B2 (en) * 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264810A (ja) * 2002-09-04 2004-09-24 Microsoft Corp マルチチャネルオーディオのエンコーディングおよびデコーディング
JP2010537245A (ja) * 2007-08-17 2010-12-02 オープン・インターフェイス・ノース・アメリカ,インコーポレイテッド デジタルコンテンツの符号化および/または復号

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032803A (ja) * 2010-07-01 2012-02-16 Polycom Inc フルバンド拡張可能なオーディオコーデック

Also Published As

Publication number Publication date
US8447591B2 (en) 2013-05-21
WO2009148858A2 (en) 2009-12-10
US20090299754A1 (en) 2009-12-03
EP2279562A4 (en) 2012-07-11
CN102047564A (zh) 2011-05-04
EP2279562B1 (en) 2015-12-16
WO2009148858A3 (en) 2010-02-25
KR101679083B1 (ko) 2016-11-23
CN102047564B (zh) 2013-08-21
KR20110021803A (ko) 2011-03-04
EP2279562A2 (en) 2011-02-02
JP5400143B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
JP5400143B2 (ja) オーバーラッピング変換の2つのブロック変換への因数分解
US8386269B2 (en) Multi-channel audio encoding and decoding
US7299190B2 (en) Quantization and inverse quantization for audio
US8255234B2 (en) Quantization and inverse quantization for audio
US8386271B2 (en) Lossless and near lossless scalable audio codec
RU2555221C2 (ru) Канальное кодирование на основе комплексного преобразования с частотным кодированием с расширенной полосой

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131024

R150 Certificate of patent or registration of utility model

Ref document number: 5400143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250