JP2005531014A

JP2005531014A - ハーモニック成分を利用したオーディオコーディング方法及び装置

Info

Publication number: JP2005531014A
Application number: JP2003562916A
Authority: JP
Inventors: ホ−ジン・ハ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-06-27
Filing date: 2002-12-12
Publication date: 2005-10-13
Also published as: CN1262990C; CA2490064A1; GB2408184A; CN1639769A; DE10297751B4; RU2289858C2; RU2004138088A; GB2408184B; US20040002854A1; WO2003063135A1; KR100462611B1; GB0427660D0; DE10297751T5; KR20040001184A

Abstract

本発明は、オーディオ信号の圧縮方法に係り、具体的には、オーディオ信号を低速のビット率のＭＰＥＧ１レイヤ３オーディオ信号に効率的に圧縮する方法及び装置に関する。本発明のオーディオ信号の圧縮方法は、入力されたＰＣＭオーディオデータに心理音響モデル２を適用して得られるＦＦＴ結果情報を利用してハーモニック成分を抽出し、該抽出されたハーモニック成分を元来入力されたＰＣＭオーディオデータから除去した後、ＭＤＣＴ及び量子化を行うことによって少ないビット割当てでも効率的な圧縮を可能にした方法である。本発明で提示する方法を使用すれば、低速のＭＰＥＧ１レイヤ３オーディオから発生する量子化ビット数の限界を克服でき、入力されたオーディオ信号からハーモニック成分を除去し、過渡部分のみをＭＤＣＴを使用して圧縮することによって、低速のビット率で圧縮する場合に、オーディオ信号を効果的に処理して圧縮率を高めうる。

Description

本発明はオーディオ信号の圧縮方法に係り、具体的にはオーディオ信号を低速のビット率のＭＰＥＧ１レイヤ３オーディオ信号に効率的に圧縮する方法及び装置に関する。

ＭＰＥＧ１（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ１）は、デジタルビデオ及びデジタルオーディオの圧縮に関する標準を制定する動画専門家グループを称し、この機構は、世界標準化機構でありＩＳＯ（ＩｎｔｅｒｎａｔｉｏｎａｌＳｔａｎｄａｒｄｉｚａｔｉｏｎＯｒｇａｎｉｚａｔｉｏｎ）の後援を受けている。ＭＰＥＧ１オーディオは、基本的に６０分や７２分ほどのＣＤに保存された４４.１Ｋｈｚサンプリングレートの１６ビットオーディオを圧縮する時に使われるが、圧縮方法とコーデックの複雑度とによって３個のレイヤ（レイヤ１、２、３）に分れる。

そのうち、レイヤ３は、最も複雑な方法が使われる。レイヤ２に比べてはるかに多くのフィルタを使用し、ハフマンコーディングを使用する。１１２Ｋｂｐｓでエンコーディングすれば、優秀な音質を聞け、１２８Ｋｂｐｓの場合には、原本とほぼ同じであり、１６０Ｋｂｐｓや１９２Ｋｂｐｓの場合には、耳では原音との差を区別できないほどに性能が優秀である。一般的に、ＭＰＥＫ１レイヤ３オーディオをＭＰ３オーディオと呼ぶ。

ＭＰ３オーディオは、フィルタバンクよりなるＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）と心理音響モデル２とを利用したビット割当て及び量子化によって作られる。圧縮されたオーディオデータの表現に使われるビット数を最小にしつつ、聴覚心理音響モデル２を利用してフィルタバンクの結果より生成されたデータをＭＤＣＴ（ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を使用して圧縮する。

オーディオ圧縮技術において、最も基本となるものは人間の耳である。人間の耳は、声の震源地で発生する音響の強度があるレベル以下になれば聞けない。事務室で誰かが大声で話せば、誰が話しているか容易に把握できる。しかし、その瞬間、飛行機が通れば、全く聞こえなくなる。また、飛行機が通った後にも、その余音が残ってよく聞こえない。このように、人間の耳で聞ける周波数を一定間隔で分けて静かな時の最小可聴限界以上の範囲及び最大振幅から感知可能な限界であるマスキング臨界値以下のデータをサンプリングする方式で量子化することを聴覚心理音響モデル２という。

しかし、６４Ｋｂｐｓ以下の低速のビット率で音響信号を圧縮する場合には、前記のような方法は、効果的に音響信号を圧縮するのに適していない。その理由は、プリエコーのような信号を量子化するのに使われるビット数に限界があるためである。したがって、本発明は、低速のＭＰ３オーディオから発生するこのような短所を克服するために、心理音響モデル２で使用する高速フーリエ変換（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ：ＦＦＴ）を使用して、元来信号からハーモニック成分を除去し、過渡成分のみをＭＤＣＴを利用して圧縮することによって、低速でオーディオ信号を効果的に処理する方法を提供する。

従来の心理音響モデルで使われるＦＦＴは、単に信号を分析する機能のみを行い、信号の圧縮にはＦＦＴの結果が使われない。これは、資源の浪費といえる。

そして、特許文献１では、心理音響モデルを利用したビット割当て方法が開示されている。しかし、本発明と同様に、心理音響モデルでのＦＦＴ結果を利用してハーモニック成分を除去して圧縮効率を高めることとは差がある。言い換えれば、心理音響モデルを使用したという点で類似しているのみで、オーディオの補助データ領域を仮想で設置して最適のビット割当てを行うことであり、本発明のようにレジデュハーモニックの結果を利用することではないという点で差がある。

また、特許文献２では、オーディオ信号を圧縮する過程で計算上の過負荷を減らしつつ計算量を顕著に減少させうるように心理音響での信号処理方法と装置とが開示されている。すなわち、高速ＦＦＴ結果を通じて個別マスキング境界値を求める段階、グローバルマスキング境界値を選択する段階及び次の周波数位置に移す段階を備えるが、これはＦＦＴ結果値を利用するという点で類似しているのみで、その結果を利用した量子化方法では本発明と差がある。

そして、特許文献３でも、低周波信号のレジデュハーモニックを利用して音響信号の質を向上させる方法が開示されている。しかし、作り出したレジデュハーモニックの結果を利用する方法では差がある。
韓国特許公開１９９５−０２２３２２号公報韓国特許公開１９９８−０７２４５７号公報米国特許第５,９３０,３７３号明細書

前記問題を解決するために本発明では、心理音響モデル２で使用するＦＦＴ結果情報を利用して、元来オーディオ信号からハーモニック成分を除去し、除去した過渡成分のみをＭＤＣＴを利用して圧縮することによって、低速でオーディオ信号を効果的に処理する方法を提供することを目的とする。

前記目的を解決するために本発明では、ＰＣＭ（ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ）オーディオデータを入力されて心理音響モデル２を適用してハーモニック成分を抽出する段階と、前記入力されたＰＣＭオーディオデータから前記抽出されたハーモニック成分を除去してＭＤＣＴを行う段階と、前記行われたＭＤＣＴ結果値を量子化し、前記抽出されたハーモニック成分と共にオーディオパケットに作る段階と、を含むハーモニック成分を利用したオーディオコーディング方法を提供する。

前記目的を解決するために本発明では、ＰＣＭオーディオデータを入力されて保存し、保存された前記データに人間の可聴限界特性を利用した心理音響モデル２を適用してＦＦＴ結果情報、入力されたデータに対する知覚エネルギー情報及び量子化に使われるビット割当て情報を出力する段階と、前記ＦＦＴ結果情報を利用して前記入力されたＰＣＭオーディオデータからハーモニック成分を抽出する段階と、前記抽出したハーモニック成分をエンコーディングして出力し、エンコーディングされたハーモニック成分をデコーディングする段階と、前記段階で保存されたＰＣＭオーディオデータから前記段階でデコーディングされたハーモニック成分を除去して前記知覚エネルギー情報によってＭＤＣＴを行う段階と、前記行われたＭＤＣＴ結果値を前記ビット割当て情報によってビットを割当てて量子化する段階と、前記エンコーディングされて出力されたハーモニック成分と前記量子化されたＭＤＣＴ結果値とをオーディオパケットに作る段階と、を含むハーモニック成分を利用したオーディオコーディング方法を提供する。

前記目的を解決するために本発明では、ＰＣＭオーディオデータを入力されて保存するＰＣＭオーディオデータ保存部と、前記保存されたＰＣＭオーディオを入力されて心理音響モデル２を行ってＦＦＴ結果情報、入力されたデータに対する知覚エネルギー情報及び量子化に使われるビット割当て情報を出力する心理音響モデル２実行部と、前記ＦＦＴ結果情報を利用して前記入力されたＰＣＭオーディオデータからハーモニック成分を抽出するハーモニック成分抽出部と、前記抽出されたハーモニック成分をエンコーディングして出力するハーモニック成分エンコーディング部と、前記保存されたＰＣＭオーディオデータから前記ハーモニック成分抽出部で抽出されたハーモニック成分を除去して前記知覚エネルギー情報によってＭＤＣＴを行うＭＤＣＴ実行部と、前記ＭＤＣＴ実行された結果値を前記ビット割当て情報によって量子化する量子化部と、前記ハーモニック成分エンコーディング部から出力されたハーモニック成分データと前記量子化部から出力された量子化結果とをＭＰＥＧオーディオレイヤ３フォーマットに変換してパケット化するＭＰＥＧレイヤ３ビットストリーム生成部と、を含むハーモニック成分を利用したオーディオコーディング装置を提供する。

前記目的を解決するために本発明では、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体を提供する。

以下、添付された図面を参照して本発明による望ましい一実施例を詳細に説明する。
図１は、ＭＰＥＧ１レイヤ３オーディオストリームのフォーマットである。
ＭＰＥＧ１レイヤ３オーディオストリームは、オーディオ復号単位（ＡＡＵ：ＡｕｄｉｏＡｃｃｅｓｓＵｎｉｔ）１００で構成されているので、ＡＡＵ１００は、それぞれ単独に復号化されうる最小単位であって、常に一定のサンプル数のデータを圧縮して保存している。ＡＡＵ１００は、ヘッダ１１０と誤りチェック（ＣＲＣ：ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）１２０、オーディオデータ１３０及び補助データ１４０より構成される。

ヘッダ１１０には、同期ワード、ＩＤ情報、階層情報、保護ビットの有無情報、ビット率インデックス情報、サンプリング周波数情報、パッディングビットの有無情報、個別用途ビット、モード情報、モード拡張情報、著作権情報、原本か複写本かの情報及びエンファシス特性情報が入っている。

ＣＲＣ１２０は選択事項であって、その有無は、ヘッダ１１０で定義され、長さは１６ビットである。
オーディオデータ１３０は、圧縮された音声データが入る部分である。
補助データ１４０は、オーディオデータ１３０の端部が一つのＡＡＵの端部に達していない場合、残りの部分に保存されるデータを称すものであって、ＭＰＥＧオーディオ以外の任意のデータが挿入されうる。

図２は、ＭＰＥＧ１レイヤ３オーディオストリームの生成装置のブロック図である。
ＰＣＭオーディオ信号入力部２１０は、ＰＣＭオーディオデータをバッファに入力される。この時、５７６サンプル単位で構成されたグラニュールを入力される。

心理音響モデル２実行部２２０は、前記ＰＣＭオーディオ信号入力部２１０のバッファに保存されているＰＣＭオーディオデータを入力されて心理音響モデル２を実行する。ＤＣＴ実行部２３０は、心理音響モデル２の実行と共に５７６サンプルのグラニュール単位でＰＣＭオーディオデータを入力されてＤＣＴ演算を行う。

ＤＣＴ実行部２３０がＤＣＴを行った後、ＭＤＣＴ実行部２４０は、心理音響モデル２を適用した結果（例えば、知覚エネルギー情報）と前記ＤＣＴ実行部２３０で実行されたＤＣＴ結果とをもってＭＤＣＴ演算を行う。この時、知覚エネルギーが所定の臨界値より大きければ、短いウィンドウを使用してＭＤＣＴ演算を行い、知覚エネルギーが所定の臨界値より小さければ、長いウィンドウを使用してＭＤＣＴ演算を行う。

オーディオ信号の圧縮方法の一つである知覚符号化では、原信号と再生信号とが変わるが、人間の耳の特性を利用して人間が認知できない範囲の細部情報を省略できる。知覚エネルギーは、人間が認知できるエネルギーを表す。

量子化部２５０は、前記心理音響モデル２を適用した結果で発生するビット割当て情報とＭＤＣＴ演算結果とをもって量子化を行う。そして、ＭＰＥＧ１レイヤ３ビットストリーム生成部２６０は、ハフマンコーディングを使用して前記量子化されたデータをＭＰＥＧ１ビットストリームのオーディオデータ領域に入るデータに作る。

図３は、心理音響モデルでの演算過程を表す図面である。
ＰＣＭデータ５７６サンプルで構成されたグラニュールを入力され（３１０）、入力されたＰＣＭオーディオデータに対して１０２４サンプル単位の長いウィンドウまたは２５６サンプル単位の短いウィンドウを構成する（３２０）。すなわち、多くのサンプルを集めて一つのパケットを構成する。

前記段階（３２０）で構成したウィンドウ単位でＦＦＴを行う（３３０）。
そして、心理音響モデル２を適用する（３４０）。
心理音響モデル２を適用すれば、知覚エネルギー値が出るが、この結果をＭＤＣＴ実行部に提供して適用されるウィンドウを選択するようにし、各臨界帯域に対するＳＭＲ（ＳｉｇｎａｌｔｏＭａｓｋｉｎｇＲａｔｉｏ）結果も出力して量子化部に提供して割当てられるビット数を決定するようにする（３５０）。
そして、前記知覚エネルギー情報値とＳＭＲ情報とをもってＭＤＣＴ及び量子化を行う（３６０）。

図４は、本発明の低速ＭＰＥＧ１レイヤ３オーディオストリームの生成装置のブロック図である。
ＰＣＭオーディオ信号入力部４１０は、ＰＣＭオーディオデータをバッファに入力される。心理音響モデル２実行部４２０は、心理音響モデル２を行うが、この時、１０２４サンプル単位または２５６サンプル単位でＦＦＴを行って知覚エネルギー及びビット割当て情報などを出力する。

心理音響モデル２を適用すれば、図３で説明したように、知覚エネルギー値とＳＭＲ結果とによるビット割当て情報が出る。そして、ＦＦＴも行うので、本発明では、このＦＦＴ結果を利用してハーモニック成分を抽出する。ハーモニック成分抽出部４３０は、前述したようにハーモニック成分を抽出する。詳細な過程は、図６で後述する。

ハーモニック成分エンコーディング部４４０は、前記抽出されたハーモニック成分をエンコーディングしてＭＰＥＧ１レイヤ３ビットストリーム生成部に伝達する。これにより、量子化されたオーディオデータと共にＭＰＥＧ１オーディオに作られる。ハーモニック成分をエンコーディングする詳細な過程は後述する。

ハーモニック成分デコーディング部４５０は、前記エンコーディングされたハーモニック成分をデコーディングする。それにより、時間ドメインでのＰＣＭデータとなる。そして、ＭＤＣＴ実行部４６０は、前記デコーディングされたハーモニック成分を元来入力されたＰＣＭ信号から取り出し、その取り出した結果を入力さえてＭＤＣＴを行う。そして、心理音響モデル２から出力された前記知覚エネルギー情報値が所定の臨界値より大きければ、１８サンプル単位でＭＤＣＴを行い、所定の臨界値より小さければ、３６サンプル単位でＭＤＣＴを行う。

ハーモニック成分抽出は、周波数ドメインで羅列されたデータを入力されて心理音響モデル２の順音及び非順音の決定条件と聴覚限界特性とを利用して実行される。詳細な過程は後述する。

量子化部４７０は、前記心理音響モデル２実行部４２０でのビット割当て情報を使用して量子化を行う。ＭＰＥＧ１レイヤ３ビットストリーム生成部４８０は、前記ハーモニック成分エンコーディング部４４０で作られたハーモニック成分データと量子化されたオーディオデータとを共にハフマンコーディングを使用してパケット化して圧縮されたオーディオデータに作る。

図５は、心理音響モデル２でのハーモニック成分の抽出過程（５１０）とエンコーディング（５２０）及びデコーディング（５３０）過程を表す図面である。
心理音響モデル２で行う段階は、図３の心理音響モデル２と同じである。この過程でＦＦＴを行うが、ＦＦＴ結果をハーモニック成分の抽出に使用する。そして、ハーモニック成分をエンコーディングしてＭＰＥＧ１ビットストリームに作る（５２０）。ハーモニック成分抽出過程（５１０）を、図６Ａないし図６Ｄで例として説明する。

図６Ａ、図６Ｂ、図６Ｃ及び図６Ｄは、心理音響モデル２でＦＦＴ結果を利用してハーモニック成分を抽出する時、各段階別サンプルが抽出される例を表す図面である。
図６Ａのようなデータが入力されたと仮定した時、ＦＦＴを先に行って音圧を決定する。そして、前記音圧が求められた複数の入力されたＰＣＭオーディオデータのうち何れか一つを選択して、そのデータの左右に存在するＰＣＭオーディオデータ値が前記選択したＰＣＭオーディオデータ値より小さな場合、前記選択したＰＣＭオーディオデータのみを抽出する。そして、この過程を入力された全てのＰＣＭオーディオデータに対して行う。

音圧は、周波数ドメインでのサンプルのエネルギー値であって、本発明では、ある程度以上の音圧を有するサンプルのみをハーモニック成分と判断する。それにより、図６Ｂのようなサンプルが抽出される。次いで、ＦＦＴの実行結果による音圧が所定のレベルより大きいもののみを抽出する。例えば、この所定のレベルを７.０ｄＢと設定した場合に、この値より小さな値のサンプルは捨てられ、図６Ｃのようなサンプルのみが残る。残りのサンプルが何れもハーモニック成分と考慮されるものではなく、図７でのテーブルによって再び幾つかのサンプルのみが残る。したがって、最終的に図６Ｄのようなサンプルが残る。

図７は、Ｋ値による制限された周波数範囲を表す図表である。
Ｋを、周波数ドメインでサンプルの位置を表す値という時、Ｋ値が３より小さいか、または５００より大きい場合、図７で提案された周波数範囲のレンジ値の範囲にあるサンプルの値は０となってしまう。同様に、Ｋ値が３より大きいか、または同じであり、６３より小さな場合、Ｋ値が６３より大きいか、または同じであり、１２７より小さな場合、Ｋ値が１２７より大きいか、または同じであり、２５５より小さな場合、Ｋ値が２５５より大きいか、または同じであり、５００より小さな場合によって、図７と同じレンジ値が与えられる。

５００を限界としたのは、人間の可聴周波数の限界を考慮したことであって、それ以上の周波数に該当するサンプル値は考慮せずとも結果に差がないということを仮定したものである。
結果的に、図６Ｄのサンプル値のみが残り、このサンプルをハーモニック成分と判断する。

ハーモニック成分のエンコーディング（５２０）は、振幅のエンコーディングと周波数のエンコーディング、そして位相のエンコーディングより構成される。
振幅のエンコーディングと周波数のエンコーディング、そして位相のエンコーディングに使われる数式は、次の通りである。

ここで、ＡｍｐＭａｘは、最大振幅を表し、Ｅｎｃ＿ｐｅａｋ＿ＡｍｐＭａｘは、この値をエンコーディングした結果値である。そして、Ａｍｐは、最大振幅ではないそれ以外の振幅を表す。

振幅成分のエンコーディングは、まず、最大振幅を８ビットのログスケールでエンコーディングしてＡｍｐＭａｘ値を最大振幅値に設定すれば、Ｅｎｃ＿ｐｅａｋ＿ＡｍｐＭａｘは、前記数式１のように与えられ、それ以外の振幅は、５ビットのログスケールでエンコーディングされて前記数式２のように与えられる。

周波数位置のエンコーディングは、聴覚特性を考慮して、Ｋ値が最小５８（２４９８Ｈｚ）から最大３７２（１６ＫＨｚ）までのみエンコーディングする。そして、３７２から５８を減算すれば、３１４となるので、９ビットを使用してエンコーディングする。
位相のエンコーディングは、３ビットを使用してエンコーディングする。
前述したように、ハーモニック成分を抽出してエンコーディングした後、これをデコーディングしてＭＤＣＴを行う。

図８は、本発明のハーモニック成分を除去してオーディオストリームを作る過程を表す図面である。
まず、ＰＣＭオーディオデータを入力されて保存し（８１０）、保存された前記データに人間の可聴限界特性を利用した心理音響モデル２を適用して、ＦＦＴ結果情報、入力されたデータに対する知覚エネルギー情報及び量子化に使われるビット割当て情報を出力する（８２０）。そして、前記ＦＦＴ結果情報を利用して、前記入力されたＰＣＭオーディオデータからハーモニック成分を抽出する（８３０）。

ハーモニック成分の抽出は、次の過程を経てなされる。前記ＦＦＴ結果情報を利用して入力された複数のＰＣＭオーディオデータそれぞれの音圧を求める。そして、前記音圧が求められた複数の入力されたＰＣＭオーディオデータのうち何れか一つを選択して、そのデータの左右に存在するＰＣＭオーディオデータ値が前記選択したＰＣＭオーディオデータ値より小さな場合、前記選択したＰＣＭオーディオデータのみを抽出する。そして、この過程を、入力された全てのＰＣＭオーディオデータに対して行う。

そして、前記抽出したＰＣＭオーディオデータのうち前記音圧が７.０ｄＢより大きい値を有するＰＣＭオーディオデータのみを抽出し、この抽出したオーディオデータで、図７の表を参照して、所定の範囲にあるＰＣＭオーディオデータは捨てることによってハーモニック成分を抽出する。

次の段階で、前記抽出したハーモニック成分をエンコーディングして出力し（８４０）、エンコーディングされたハーモニック成分をデコーディングする（８５０）。

前記入力されたＰＣＭオーディオデータから前記デコーディングされたハーモニック成分を取り出して前記知覚エネルギー情報によってＭＤＣＴを行う（８６０）。すなわち、知覚エネルギーが所定の臨界値より大きければ、短いウィンドウを使用してＭＤＣＴを行い、知覚エネルギーが所定の臨界値より小さければ、長いウィンドウを使用してＭＤＣＴを行う。例えば、前記知覚エネルギー情報値が所定の臨界値より大きければ、１８サンプル単位でＭＤＣＴを行い、所定の臨界値より小さければ、３６サンプル単位でＭＤＣＴを行う。

そして、前記実行されたＭＤＣＴ結果値を前記ビット割当て情報によってビットを割当てて量子化する（８７０）。

これにより、量子化されたオーディオデータと前記エンコーディングされて出力されたハーモニック成分を入力されてハフマンコーディングしてオーディオパケットに作る（８８０）。

一方、前述した本発明の実施例は、コンピュータで実行されうるプログラムとして作成可能であり、コンピュータ可読記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータで具現されうる。

前記コンピュータ可読記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ、フロッピー(登録商標)ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような保存媒体を含む。

以上、本発明についてその望ましい実施例を中心に説明した。当業者は、本発明が、本発明の本質的な特性から離脱しない範囲内で変形された形態で具現されうることが理解できる。したがって、開示された実施例は、限定的な観点ではなく、説明的な観点で考慮されなければならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されなければならない。

前述したように本発明は、低速のＭＰＥＧ１レイヤ３オーディオストリームの生成時に発生する量子化ビット数の限界を克服し、複雑な計算過程を多く付加せずに心理音響モデル２で使用するＦＦＴ結果を利用して、入力オーディオ信号からハーモニック成分を除去し、過渡部分のみをＭＤＣＴを使用して圧縮することによって、低速のビット率で効率的にオーディオ信号を圧縮しうる。

ＭＰＥＧ１レイヤ３オーディオストリームのフォーマットである。ＭＰＥＧ１レイヤ３オーディオストリームの生成装置のブロック図である。心理音響モデルでの演算過程を表す図面である。本発明の低速ＭＰＥＧ１レイヤ３オーディオストリームの生成装置のブロック図である。心理音響モデル２でのハーモニック成分の抽出過程とエンコーディング及びデコーディング過程を表す図面である。心理音響モデル２でＦＦＴ結果を利用してハーモニック成分を抽出する時、各段階別のサンプルが抽出される例を表す図面である。心理音響モデル２でＦＦＴ結果を利用してハーモニック成分を抽出する時、各段階別のサンプルが抽出される例を表す図面である。心理音響モデル２でＦＦＴ結果を利用してハーモニック成分を抽出する時、各段階別のサンプルが抽出される例を表す図面である。心理音響モデル２でＦＦＴ結果を利用してハーモニック成分を抽出する時、各段階別のサンプルが抽出される例を表す図面である。Ｋ値による制限された周波数範囲を表す図表である。本発明のハーモニック成分を除去してオーディオストリームを作る過程を表す図面である。

符号の説明

１００オーディオ復号単位
１１０ヘッダ
１２０誤りチェック
１３０オーディオデータ
１４０補助データ

Claims

（ａ）ＰＣＭオーディオデータを入力されて心理音響モデル２を適用してハーモニック成分を抽出する段階と、
（ｂ）前記入力されたＰＣＭオーディオデータから前記抽出されたハーモニック成分を除去してＭＤＣＴを行う段階と、
（ｃ）前記実行されたＭＤＣＴ結果値を量子化し、前記抽出されたハーモニック成分と共にオーディオパケットに作る段階と、を含むハーモニック成分を利用したオーディオコーディング方法。
（ａ）ＰＣＭオーディオデータを入力されて保存し、保存された前記データに人間の可聴限界特性を利用した心理音響モデル２を適用してＦＦＴ結果情報、入力されたデータに対する知覚エネルギー情報及び量子化に使われるビット割当て情報を出力する段階と、
（ｂ）前記ＦＦＴ結果情報を利用して前記入力されたＰＣＭオーディオデータからハーモニック成分を抽出する段階と、
（ｃ）前記抽出したハーモニック成分をエンコーディングして出力し、エンコーディングされたハーモニック成分をデコーディングする段階と、
（ｄ）前記（ａ）段階で保存されたＰＣＭオーディオデータから前記（ｃ）段階でデコーディングされたハーモニック成分を取り出して前記知覚エネルギー情報によってＭＤＣＴを行う段階と、
（ｅ）前記実行されたＭＤＣＴ結果値を前記ビット割当て情報によってビットを割当てて量子化する段階と、
（ｆ）前記エンコーディングされて出力されたハーモニック成分と前記量子化されたＭＤＣＴ結果値とをオーディオパケットに作る段階と、を含むハーモニック成分を利用したオーディオコーディング方法。
前記（ｂ）段階は、
（ｂ１）前記ＦＦＴ結果情報を利用して入力された複数のＰＣＭオーディオデータそれぞれの音圧を求める段階と、
（ｂ２）前記音圧が求められた複数のＰＣＭオーディオデータのうち何れか一つを選択して、そのデータの左右に存在するＰＣＭオーディオデータ値が前記選択したＰＣＭオーディオデータ値より小さな場合、前記選択したＰＣＭオーディオデータのみを１次抽出する段階と、
（ｂ３）前記（ｂ２）段階を入力された全てのＰＣＭオーディオデータに対して行う段階と、
（ｂ４）前記抽出したＰＣＭオーディオデータのうち前記音圧が所定の音圧より大きい値を有するＰＣＭオーディオデータのみを２次抽出する段階と、
（ｂ５）前記（ｂ４）段階で２次抽出したＰＣＭオーディオデータのうち、周波数位置によって所定の範囲にあるＰＣＭオーディオデータは捨てる段階と、を含んでハーモニック成分を抽出することを特徴とする請求項２に記載のハーモニック成分を利用したオーディオコーディング方法。
前記（ｂ４）段階において、
所定の音圧は、７.０ｄＢであることを特徴とする請求項３に記載のハーモニック成分を利用したオーディオコーディング方法。
前記（ｄ）段階において、
前記知覚エネルギー情報値が所定の臨界値より大きければ、１８サンプル単位でＭＤＣＴを行い、所定の臨界値より小さければ、３６サンプル単位でＭＤＣＴを行うことを特徴とする請求項２に記載のハーモニック成分を利用したオーディオコーディング方法。
ＰＣＭオーディオデータを入力されて保存するＰＣＭオーディオデータ保存部と、
前記保存されたＰＣＭオーディオを入力されて心理音響モデル２を行ってＦＦＴ結果情報、入力されたデータについての知覚エネルギー情報及び量子化に使われるビット割当て情報を出力する心理音響モデル２実行部と、
前記ＦＦＴ結果情報を利用して前記入力されたＰＣＭオーディオデータからハーモニック成分を抽出するハーモニック成分抽出部と、
前記抽出されたハーモニック成分をエンコーディングして出力するハーモニック成分エンコーディング部と、
前記保存されたＰＣＭオーディオデータから前記ハーモニック成分抽出部から抽出されたハーモニック成分を除去して前記知覚エネルギー情報によってＭＤＣＴを行うＭＤＣＴ実行部と、
前記ＭＤＣＴ実行された結果値を前記ビット割当て情報によって量子化する量子化部と、
前記ハーモニック成分エンコーディング部から出力されたハーモニック成分データと前記量子化部から出力された量子化結果とをＭＰＥＧオーディオレイヤ３フォーマットに変換してパケット化するＭＰＥＧレイヤ３ビットストリーム生成部と、を含むハーモニック成分を利用したオーディオコーディング装置。
前記ハーモニック成分抽出部は、
前記ＦＦＴ結果情報を利用して入力された複数のＰＣＭオーディオデータそれぞれの音圧を求め、前記音圧が求められた複数のＰＣＭオーディオデータのうち何れか一つを選択して左右に存在するＰＣＭオーディオデータ値が前記選択したＰＣＭオーディオデータ値より小さな場合、前記選択したＰＣＭオーディオデータのみを１次抽出し、
この抽出する過程を全てのＰＣＭオーディオデータに対して行った後、前記ＰＣＭオーディオデータの音圧が所定の音圧より大きい値を有するＰＣＭオーディオデータのみを２次抽出し、
前記抽出したオーディオデータのうち周波数位置によって所定の範囲にあるＰＣＭオーディオデータは捨てることによってハーモニック成分を抽出することを特徴とする請求項６に記載のハーモニック成分を利用したオーディオコーディング装置。
前記ＭＤＣＴ実行部は、
前記知覚エネルギー情報値が所定の臨界値より大きければ、１８サンプル単位でＭＤＣＴを行い、所定の臨界値より小さければ、３６サンプル単位でＭＤＣＴを行うことを特徴とする請求項６に記載のハーモニック成分を利用したオーディオコーディング装置。
（ａ）ＰＣＭオーディオデータを入力されて心理音響モデル２を適用してハーモニック成分を抽出する段階と、
（ｂ）前記入力されたＰＣＭオーディオデータから前記抽出されたハーモニック成分を除去してＭＤＣＴを行う段階と、
（ｃ）前記行われたＭＤＣＴ結果値を量子化し、前記抽出されたハーモニック成分と共にオーディオパケットに作る段階と、を含むハーモニック成分を利用したオーディーコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
（ａ）ＰＣＭオーディオデータを入力されて保存し、保存された前記データに人間の可聴限界特性を利用した心理音響モデル２を適用してＦＦＴ結果情報、入力されたデータに対する知覚エネルギー情報及び量子化に使われるビット割当て情報を出力する段階と、
（ｂ）前記ＦＦＴ結果情報を利用して前記入力されたＰＣＭオーディオデータからハーモニック成分を抽出する段階と、
（ｃ）前記抽出したハーモニック成分をエンコーディングして出力し、エンコーディングされたハーモニック成分をデコーディングする段階と、
（ｄ）前記（ａ）段階で保存されたＰＣＭオーディオデータから前記（ｃ）段階でデコーディングされたハーモニック成分を取り出して前記知覚エネルギー情報によってＭＤＣＴを行う段階と、
（ｅ）前記実行されたＭＤＣＴ結果値を前記ビット割当て情報によってビットを割当てて量子化する段階と、
（ｆ）前記エンコーディングされて出力されたハーモニック成分と前記量子化されたＭＤＣＴ結果値とをオーディオパケットに作る段階と、を含むハーモニック成分を利用したオーディオコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
前記（ｂ）段階は、
（ｂ１）前記ＦＦＴ結果情報を利用して入力された複数のＰＣＭオーディオデータそれぞれの音圧を求める段階と、
（ｂ２）前記音圧が求められた複数のＰＣＭオーディオデータのうち何れか一つを選択して、そのデータの左右に存在するＰＣＭオーディオデータ値が前記選択したＰＣＭオーディオデータ値より小さな場合、前記選択したＰＣＭオーディオデータのみを１次抽出する段階と、
（ｂ３）前記（ｂ２）段階を入力された全てのＰＣＭオーディオデータに対して行う段階と、
（ｂ４）前記抽出したＰＣＭオーディオデータのうち前記音圧が所定の音圧より大きい値を有するＰＣＭオーディオデータのみを２次抽出する段階と、
（ｂ５）前記（ｂ４）段階で２次抽出したＰＣＭオーディオデータのうち、周波数位置によって所定の範囲にあるＰＣＭオーディオデータは捨てる段階と、を含んでハーモニック成分を抽出することを特徴とする請求項１０に記載のハーモニック成分を利用したオーディオコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
前記（ｂ４）段階において、
所定の音圧は、７.０ｄＢであることを特徴とする請求項１１に記載のハーモニック成分を利用したオーディオコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
前記（ｄ）段階において、
前記知覚エネルギー情報値が所定の臨界値より大きければ、１８サンプル単位でＭＤＣＴを行い、所定の臨界値より小さければ、３６サンプル単位でＭＤＣＴを行うことを特徴とする請求項１１に記載のハーモニック成分を利用したオーディオコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。