JP2005253051A - 通信端末機における３次元ステレオサウンドを再生すると共に貯蔵する装置及び方法 - Google Patents

Abstract

【課題】 ３次元ステレオサウンド効果を支援する装置及び方法を提供すること。
【解決手段】 移動通信端末機は、３次元ステレオサウンド効果を有するサウンドデータ及び非３次元ステレオサウンド効果を有するサウンドデータを貯蔵するメモリと、着呼が発生するか、又はユーザーが再生を要求する場合、メモリからサウンドデータを読み出し、読み出されたサウンドデータが３次元ステレオサウンド効果を有するように再構成する３次元サウンド生成部と、再構成されたサウンドデータを可聴音の形態で出力するスピーカと、を含む。
【選択図】 図２

Description

本発明は、移動通信端末機に関し、特に、移動通信端末機で３次元ステレオサウンド効果を有するサウンドデータの貯蔵及び再生を可能にするための装置及び方法に関する。

代表的な通信端末機であるセルラー（Cellular）電話やＰＣＳ（Personal Communication Services）電話のような携帯電話（移動通信端末機）は、ビープ音（beep sound）又は警報音（alert sound）をスピーカを通して外部に送出し、これによって、ユーザーが移動電話を使用しながら呼の着信を認識することができる。ユーザーの要求を満足させるための通信及び音響処理技術の発達とともに、小型の通信端末機でさらに豊富な音響又は音楽を再生するようにするための研究が進められている。さらに、インターネットが普及し、インターネットを介して多様な独自のビープ音及び動映像を通信端末機にダウンロードすることができる。これによって、通信端末機でもとのベルサウンド（bell sound）の再生に対する要求が急速に増大した。

現在使われている４和音(poly-sound)以上の大部分の通信端末機では、ヤマハ（登録商標）サウンドチップを用いてベルサウンドデータを再生する。サウンドソースチップで支援する音源には、４ポリ、１６ポリ、４０ポリ、６４ポリがある。ここで、“ポリ（poly）”とは、再生することができる和音の数に従ってサウンドチップを区分するもので、一般的に、端末機で“ポリ”サウンドの数が増加すると、ポリ数だけの多様な楽器の音を同時に表現することができるので、通信端末機で再生された音がもとの音と似たものになる。

最近では、単純なベルサウンドの再生に留まらず、通信端末機に２個以上のスピーカを装着して３次元ステレオサウンド効果を提供する多様な試みがなされている。“ステレオ”とは、聴取者が音響を聞いたとき、方向及び距離感を認知することができるように空間情報が与えられた音響信号を意味する。最近では、移動通信分野でも、３次元ステレオサウンド効果を適用しているので、さらに臨場感(空間情報及び動き情報)が増大した音響信号の録音及び再生技術が要求されており、これによって、３次元ステレオサウンド効果に対する効率的な制御が必要である。

一般的なステレオサウンド再生は、映画、ＴＶ、オーディオ、ホームシアターのような分野で主に多チャンネル（５．１チャンネルのような）方式にて提供されている。最近では、このような３次元ステレオサウンド効果を携帯電話又は個人携帯端末（Personal Digital Assistant；以下、ＰＤＡと称する。）電話で得るための試みが進められている。例えば、３次元ステレオサウンド効果に関する情報を含むサウンドデータをメモリーに予め貯蔵して置いた後に再生する方法が提案され、この方法は、２個以上のスピーカが装着された端末機を使用するユーザーに３次元ステレオサウンド効果を提供する。

図１は、従来の移動通信端末機の音響信号再生装置を示すブロック図である。
図１を参照すると、制御部１０は、移動通信端末機の全般的な制御動作を遂行する。ＲＦ（Radio Frequency）信号処理部１２は、制御部１０の制御の下に、所定の周波数帯域の無線チャンネルによってアンテナを介してネットワークから受信された周波数信号を下方変換(down-convert)し、信号のタイプに従って制御部１０又は音声コーデック（coder/decoder；codec）部１４にこの受信された信号を出力する。

ＲＦ信号処理部１２から制御部１０へ伝送される信号は、トラヒックチャンネルを介して受信されるデータ信号、制御チャンネルを介して受信されるページング信号及び制御信号などを含む。そして、ＲＦ信号処理部１２から音声コーデック部１４へ伝送されるデータは、音声通話(voice call)が確立されたときに受信される音声データを含む。また、ＲＦ信号処理部１２は、制御部１０から受信される信号及び音声コーデック部１４から受信される符号化された音声データを所定の周波数帯域の無線信号に上方変換(up-convert)してこの無線信号をアンテナ（ＡＮＴ）を介して送出する。

音声コーデック部１４は、一般的に、ボコーダ（vocoder）を含み、制御部１０の制御に従って動作する。音声コーデック部１４は、マイク（Microphone；ＭＩＣ）１６から受信される電気的な音声信号を符号化してＲＦ信号処理部１２へ伝送する。また、音声コーデック部１４は、ＲＦ信号処理部１２から受信される符号化された音声データをデコーディングし、電気的な音声信号に変換した後、スピーカ（Speaker；ＳＰＫ）２０に出力する。スピーカ２０は、受信された電気的な音声信号を可聴音に変換して出力する。

表示部２４は、進行状態を文字及び／又はアイコンで表示する液晶表示装置（Liquid Crystal Display；ＬＣＤ）、及びアラームランプを含む。また、振動モーター(vibration motor)もある状態を表示するために使用されることもできる。表示部２４の液晶表示装置は、移動通信端末機の現在状態を示す。また、ユーザーがキーを選択すると、入力データを、文字、アイコン、又はキャラクターに変換し、これを表示する。

キー入力部２６は、一般的に、キーマトリクス構造を有し、ダイアリング(dialing)のための数字キー及び各種機能を遂行する機能キー、すなわち、選択のためのキー及び上下／左右方向への移動のためのキーから構成される。キー入力部２６は、ユーザーが入力するキーに対応するキーデータを発生してこれを制御部１０に出力する。

メモリ部２２は、ロム（Read only Memory；ＲＯＭ）とラム（Random Access Memory；ＲＡＭ）とから構成されることができ、制御部１０の制御動作のために必要なプログラムコードを貯蔵する領域と、ユーザーが入力するデータを貯蔵する領域と、制御するとき発生するデータを一時的に貯蔵する領域とに区分される。また、メモリ部２２は、ユーザーに呼の着信を通知するか、又は、アラーム音を発生させるのに使用することができるサウンドデータを貯蔵する領域を含む。このサウンドデータは、製造者によって事前に貯蔵されるか、無線、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、赤外線ポートを通して移動通信端末に接続された事業者サーバー（Carrier Server）２８からダウンロードされることができる。一般的に、このサウンドデータは、サウンドチップ１８が処理できるように、ＳＭＡＦ（Synthetic Music mobile Application Format）で貯蔵される。ファイルとして貯蔵されるときに拡張子が‘．ｍｍｆ’であるフォーマットで貯蔵される。

サウンドソースチップ１８は、制御部１０によってメモリ部２２から読み出されたこのサウンドデータを電気的な信号に変換してスピーカ２０を通して出力する。

上述したように、従来の移動通信端末機は、ベルサウンドのようなサウンドデータを再生するためにサウンドチップ１８を使用する。従って、メモリ部２２は、３次元サウンドデータをＳＭＡＦフォーマットで貯蔵しなければならない。また、事業者サーバー２８は、３次元再生アルゴリズムを通じて得た３次元サウンドデータをＳＭＡＦフォーマットに変換してメモリ部２２にダウンロードする。

しかしながら、ヤマハ（登録商標）サウンドチップは、チップ自体が保有する合成サウンドテーブルとトーンによって、もとのサウンドデータを近似的に予測する。従って、３次元ステレオサウンド効果を有するサウンドデータをＳＭＡＦフォーマットに変換する場合、３Ｄステレオ効果が多く除去され、データのサイズも大きくなって、実際に移動通信端末機にＳＭＡＦでのサウンドデータを適用するには多くの問題点がある。

現在、モノベルサウンド（１つのスピーカを使用して音響情報を出力する方式）又はステレオベルサウンド（２つのスピーカを使用して平面的な音響情報を出力する方式）は、データのサイズが３０Ｋバイト以内で適用されているとはいえ、３次元効果があるサウンドデータのサイズは、従来のベルサウンドデータに比べて１０倍以上大きい。このように大きい容量を有する３次元サウンドデータをサウンドソースチップで提供する合成サウンドテーブルを使用してＳＭＡＦフォーマットに近似化すると、サウンドデータのサイズは、多少減ることができるが、もとのサウンドデータの３次元ステレオサウンド効果は、ひどく劣化する。

すなわち、ヤマハ（登録商標）サウンドチップは、３次元ステレオサウンド効果を完全に支援することができず、近似化誤差によって、もとのサウンドデータを正確に再生することができない。これによって、ヤマハ（登録商標）サウンドチップの性能に限界がある。さらに、音声と音楽を同時に再生するときには、ヤマハ（登録商標）サウンドチップが特定の音に対する歪曲を引き起こし、ベルサウンドを構成するときには、音声のみを含む第１のサウンドデータ及びメロディのみを含む第２のサウンドデータを分離して貯蔵しなければならないので、さらに多い貯蔵容量を必要とする。

上記背景に鑑みて、本発明の目的は、移動通信端末機において、３次元ステレオサウンド効果を支援する装置及び方法を提供することにある。
本発明の他の目的は、移動通信端末機において、３次元サウンド効果サウンドデータを最小のサイズで貯蔵する装置及び方法を提供することにある。
本発明のさらなる他の目的は、移動通信端末機において、３次元サウンド効果サウンドデータをＭＰ３又はＡＡＣフォーマットで貯蔵して再生する装置及び方法を提供することにある。
本発明のまた他の目的は、移動通信端末機において、非３次元（non-three-dimensional）サウンドデータに３次元ステレオサウンド効果を適用した後に、３次元ステレオサウンドデータを貯蔵して再生する装置及び方法を提供することにある。

このような目的を達成するために、本発明の実施形態は、移動通信端末機において３次元ステレオサウンドを支援する装置であって、非３次元サウンドデータを貯蔵するメモリと、このメモリから読み出されたサウンドデータがＭＰ３(Motion Picture Experts Group-１ Audio layer 3)又はＡＡＣ(MPEG-2 Advanced Audio Coding)フォーマットを有する場合、このサウンドデータをＭＰ３デコーディング方式又はＡＡＣデコーディング方式にてデコーディングし、このデコーディングされたサウンドデータをこの３Ｄサウンド生成部へ伝送するデコーディング部と、着呼が発生するとき、又は、ユーザーによる再生の要求があるとき、このメモリからこのサウンドデータを読み出し、３次元ステレオサウンド効果を有するように３次元サウンドデータを再構成する３次元サウンド生成部と、この再構成されたサウンドデータを可聴音の形態で出力するサウンド出力部と、この再構成されたサウンドデータをこの３次元ステレオサウンド効果が歪曲されないようにエンコーディングし、このエンコーディングされたサウンドデータをこのメモリに伝送するエンコーディング部と、を含むことを特徴とする。

本発明の他の実施形態は、通信端末機において３次元ステレオサウンド効果を有するサウンドデータを再生して貯蔵する方法であって、非３次元サウンドデータを取得するステップと、このメモリから読み出されたサウンドデータがＭＰ３又はＡＡＣフォーマットを有する場合、このサウンドデータを再構成する前にＭＰ３デコーディング方式又はＡＡＣデコーディング方式にてデコーディングするステップと、この取得されたサウンドデータを３次元ステレオサウンド効果を有する３次元サウンドデータに再構成するステップと、この再構成されたサウンドデータを可聴音の形態で出力するステップと、この再構成されたサウンドデータをこのメモリに貯蔵するために、この３次元ステレオサウンド効果が歪曲されないようにエンコーディングするステップと、を含むことを特徴とする。

本発明は、ユーザーの選択に従って非３次元サウンドデータに３次元ステレオサウンド効果を適用することができるようにする。また、オフラインで処理した３次元ステレオデータだけではなく、非３次元サウンドデータに３次元ステレオサウンド効果を与えることができるようにし、ＡＡＣフォーマット又はＭＰ３フォーマットにサウンドデータを再構成することによって、もとのサウンドデータの音質を十分な水準に保持しながら再生することができる。結果的に、優秀な３次元ステレオサウンド効果及び優秀なサウンドデータの性能を得ることができる。

また、ＡＡＣフォーマット又はＭＰ３フォーマットを使用することによって、サウンドデータのサイズを半分に減少させ、データ貯蔵用メモリに必要な容積及び製造費を格段に節減させることができながらも、何の歪曲なく優れる知覚的な音質を保証することができる。さらに、サウンドデータをダウンロードするのにかかる時間を半分に減少させ、ユーザーのダウンロードの利用料も低減させることができる。

以下、本発明による好適な一実施形態について添付図面を参照しつつ詳細に説明する。下記の説明において、本発明の要旨のみを明瞭にする目的で、関連した公知の機能又は構成に関する具体的な説明は省略する。

本発明の実施形態は、移動通信端末機において、ＭＰ３（Motion Picture Experts Group-1 Audio layer 3；MPEG-１ layer 3）又はＭＰＥＧ−２ＡＡＣ（MPEG-2 Advanced Audio Coding；以下、ＡＡＣと称する。）方式を使用して３次元ステレオサウンド効果を有するサウンドデータを生成して再生する。３次元ステレオサウンド効果とは、ソースから出力されるサウンドがユーザーを中心とする３次元空間で存在するもののように感じるようにすることを意味する。

通常、３次元ステレオサウンド効果は、２つ以上の相互に離間したスピーカを使用して物理的に実現される。しかしながら、限定されたサイズを有する移動通信端末機などのように、サウンドデータを再構成して３次元空間上の複数の位置に存在する仮想のスピーカを通してサウンドデータが出力されるもののように感じるようにすることによって実現されることができる。そして、このように再構成されたサウンドデータは、３次元サウンドデータと呼ばれる。

本発明の実施形態によると、ＭＰ３デコーダ又はＡＡＣデコーダが内蔵されている携帯電話又はＰＤＡ電話のような通信端末機で３次元ステレオサウンドを再生する場合、通信端末機は、性能及びメモリの使用効率性を向上させることができるように、ＭＰ３フォーマット又はＡＡＣフォーマットでサウンドデータを生成し、この生成されたサウンドデータをこの通信端末機に貯蔵し、この貯蔵されたサウンドデータをこのＭＰ３デコーダ又はこのＡＡＣデコーダを用いて再生する。また、３次元ステレオサウンド効果を有しないサウンドデータの場合にも、本発明の実施形態による通信端末機は、３次元ステレオサウンド効果を有するように再構成して再生する。

図２は、本発明の実施形態による３次元サウンドデータを貯蔵して再生することができる移動通信端末機を示すブロック図である。

制御部３０は、移動通信端末機の全般的な制御動作を遂行するモデムチップから構成される。ＲＦ（Radio Frequency）信号処理部３２は、制御部３０の制御の下に、所定の周波数帯域の無線チャンネルによってアンテナを通してネットワークから受信された信号の周波数帯域を下方変換し、この受信された信号を受信信号のタイプに従って制御部３０又は音声コーデック部３４に出力する。

ＲＦ信号処理部３２から制御部３０へ伝送される信号は、トラヒックチャンネルを介して受信されるデータ信号、制御チャンネルを介して受信されるページング信号、及び制御信号を構成する。そして、ＲＦ信号処理部３２から音声コーデック部３４へ伝送される信号は、音声通話が確立された場合に受信される音声データを構成する。また、ＲＦ信号処理部３２は、制御部３０から受信されたデータ及び音声コーデック部３４から受信された符号化された音声データを所定の周波数帯域の無線信号に上方変換し、この無線信号をアンテナを通して送出する。

一般的に、音声コーデック部３４は、ボコーダ（vocoder）から構成され、制御部３０の制御に従って動作する。音声コーデック部３４は、マイク（microphone；ＭＩＣ）３６から受信された電気的な音声信号を符号化し、この符号化された音声信号を制御部３０を通してＲＦ信号処理部３２へ伝送する。また、音声コーデック部３４は、ＲＦ信号処理部３２から制御部３０を通して受信された符号化された音声データをデコーディングして電気的な音声信号に変換した後、スピーカ５０へ出力する。スピーカ５０は、受信された電気的な音声信号を可聴音に増幅して変換した後に出力する。

表示部７０は、液晶表示装置（Liquid Crystal Display；ＬＣＤ）のように移動通信端末機の進行状態を文字及び／又はアイコンで表示する装置、振動モーター、及びアラームランプから構成される。表示部７０の液晶表示装置は、移動通信端末機の現在状態を表示する。また、ユーザーがキーを選択すると、入力されるデータを文字、アイコン、又はキャラクタに変換して再生する。

一般的に、キー入力部７２は、ダイアリングのための数字キー、各種機能を遂行する機能キー、選択のためのキー、及び上下／左右方向への移動のための方向キーを構成するキーマトリクス構造を有する。キー入力部７２は、ユーザーが入力するキーに対応するキーデータを発生し、この発生したキーデータを制御部３０に出力する。

メモリ部６２は、ロム（Read Only Memory；ＲＯＭ）とラム（Random Access Memory；ＲＡＭ）とから構成することができ、制御部３０の制御動作のために必要なプログラムコードを貯蔵する領域と、ユーザーが入力するデータを貯蔵する領域と、制御動作のときに発生するデータを一時的に貯蔵する領域とに区分される。また、メモリ部６２は、ユーザーに着信呼の発生を通知するか、又は、警報音又はアラームを発生させるのに使用されることができるメロディを示すサウンドデータ６４、６６、及び６８を貯蔵する領域を含む。

サウンドデータ６４、６６、６８は、製造者によって事前に貯蔵されるか、又は、無線接続、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、赤外線ポートを通して移動通信端末機と接続された事業者サーバー（Carrier Server）２８からダウンロードされることができる。また、ユーザーは、無線接続、ＵＳＢポート、ＩＥＥＥ１３９４ポート、又は赤外線ポートを通してパーソナルコンピュータ（Personal Computer）を移動通信端末機に接続した後、この接続されたパーソナルコンピュータを使用して、サウンドデータ６４、６６、及び６８をメモリ部６２にダウンロードして貯蔵する。サウンドデータ６４、６６、及び６８は、後述される本発明の実施形態に従って３次元ステレオサウンド効果を有するように、３次元サウンド生成部５２によって再構成された後、さらに貯蔵されることができる。

デコーディング部３８は、制御部３０によってメモリ部６２から読み出されたサウンドデータ６４、６６、及び６８を電気的な信号に変換してスピーカ５０に出力する。スピーカ５０は、３次元ステレオサウンド効果を支援するように２つ以上のスピーカ素子から構成される。スピーカ５０は、ステレオディジタル／アナログ変換器４８によって変換されたアナログステレオ信号を増幅し、このアナログステレオ信号を可聴音として出力するステレオスピーカである。ここで、ステレオディジタル／アナログ変換器４８及びスピーカ５０は、サウンド出力部と呼ばれる。

デコーディング部３８は、ＭＰ３デコーダ４２及びＡＡＣデコーダ４４のうち少なくとも１つを含む。図示しないが、図２に示す移動通信端末機は、サウンドチップを使用してＡＡＣ／ＭＰ３フォーマットのサウンドデータを処理することもできる。図２は、ＭＰ３デコーダ４２とＡＡＣデコーダ４４を含み、２つのデコーダのうちの１つがスイッチ４０によって選択される移動通信端末機の構成を示す。

すなわち、メモリ部６２は、単純ベルサウンドデータ６４とＭＰ３／ＡＡＣフォーマットの３次元サウンドデータ６６とＭＰ３／ＡＡＣフォーマットの非３次元サウンドデータ６８とを貯蔵する。着呼(incoming call)の受信、警報の発生、又は他の類似した動作のように、サウンドデータの再生が、移動通信端末機それ自体によって要求されたか、又はユーザーによって要求された場合、制御部３０は、該当要求されたサウンドデータをメモリ部６２から読み出してデコーディング部３８に供給する。

単純ベルサウンドデータ６４は、ＰＣＭ（Pulse Code Modulation）ストリーム、ミディ(Musical Instrument Digital Interface；ＭＩＤＩ)、ＭＦｉ、ＳＭＡＦ、圧縮（Compact）ＭＩＤＩを含む非圧縮データを示す。３次元サウンドデータ６６は、３次元ステレオサウンド効果を有するように再構成されたＭＰ３／ＡＡＣ圧縮データを示す。また、非３次元サウンドデータ６８は、３次元ステレオサウンド効果を有しないＭＰ３／ＡＡＣ圧縮データを示す。

ＭＰ３フォーマットであるサウンドデータの場合、スイッチ４０は、制御部３０の制御の下にスイッチングされ、このＭＰ３サウンドデータをＭＰ３デコーダ４２へ伝送する。ＭＰ３デコーダ４２は、このＭＰ３サウンドデータをＭＰ３方式によってデコーディングする。また、ＡＡＣフォーマットであるサウンドデータの場合、スイッチ４０は、制御部３０の制御の下にスイッチングされ、このＡＡＣサウンドデータをＡＡＣデコーダ４４へ伝送する。ＡＡＣデコーダ４４は、このＡＡＣサウンドデータをＡＡＣ方式によってデコーディングする。ベルサウンドデータ６４は、ＭＰ３デコーダ４２又はＡＡＣデコーダ４４のうちのいずれか１つによってもデコーディングされることができる。ＰＣＭストリームタイプのこのデコーディングされた信号は、スイッチ４６によってステレオディジタル／アナログ変換器４８に伝送されてアナログ信号に変換された後に、スピーカ５０を通して出力される。また、メモリ部６２から読み出されたサウンドデータが３次元ステレオサウンド効果を有しないにもかかわらず、ユーザーが３次元ステレオサウンド効果を得ようとする場合、このデコーディングされたＰＣＭストリームは、スイッチ４６を通して３次元サウンド生成部５２に入力される。このとき、スイッチ４６の動作は、制御部３０によって制御される。

以下、本発明の実施形態に適用されるサウンドデータの圧縮方式について説明すると、下記の通りである。
一般的に、自然の中で発生する各種音源を電子機器を用いて再生しようとすると、音声及び音響信号をパルスに変換して波形の形態(wave shape)で貯蔵する方式を使用する。しかしながら、実際の音源と類似な水準の音質を有する音源を貯蔵するために、１分の間サウンド信号を貯蔵するのには、１０メガバイトに達する非常に大きいデータ容量を必要とする。このように大きい容量の問題を解決するために、サウンドデータを圧縮して貯蔵する方式を研究して作られたものが音源圧縮コーデックであるＭＰ３である。ＭＰ３は、ビデオデータの圧縮フォーマットであるＭＰＥＧ−１に基づいて開発されたサウンドデータのための規格である。

このＭＰ３は、ディジタルオーディオ音質を保持しながら、一般的なオーディオＣＤ（Compact Disk）に貯蔵されたディジタルオーディオデータよりも略１２倍小さいサイズでディジタルオーディオデータを圧縮することができる。一般的なディジタルオーディオデータに比べてサイズが１０倍小さいＭＰ３サウンドデータは、ＣＤ水準の音質（１６ビット及び４４．１ｋＨｚ）を保証することができる。

ＭＰ３とは異なり、ＡＡＣは、ＭＰＥＧ−１でないＭＰＥＧ−２から派生し、‘ＭＰ４’とも呼ばれ、ＭＰ３よりもさらに向上した技術を意味する。ＤｖＤ（Digital Versatile Disc）ビデオで使用されるＭＰＥＧ−２は、ＭＰＥＧ−１に比べて優秀な音質を有し、高い圧縮率を有する。従って、４倍の画質と多重言語支援などの優れる性能を有する。このようなＭＰＥＧ−２から派生したＡＡＣは、一般的なディジタルオーディオデータを１／２０で圧縮することができ、違法複写も防止することができるディジタルファイル圧縮方式である。

ＭＰ３のデータ構成が固定的である一方、ＡＡＣのデータ構成は可変的である。すなわち、ＭＰ３は、データ及びヘッダーを含むフレーム単位でデータを貯蔵する。このフレームのサイズが固定されているので、圧縮率が高い部分でも不必要な容量を有することがある。一方、ＡＡＣのフレームは、可変的な構成であるので、圧縮率に従ってこのフレームのサイズを変える。従って、全データの容量が極めて低減される。実際に、ＡＡＣデータは、ＭＰ３データに比べて最大３０％までデータ容量を減らすことができる。

ＡＡＣの二番目の長所は、よい音質にある。ＭＰ３に比べて、ＡＡＣは、‘ＴＮＳ(Temporal Noise Shaping)’とプレディクション(Prediction)という２つの方法によって音質を向上させる。ＴＮＳは、量子化補償技術であって、連続的なアナログ音楽信号を‘０’と‘１’のディジタルデータに変えるときに発生する誤差を知覚的に減らすことによって雑音を減少させ、原音に近くなるようにする。プレディクションは、ＴＮＳによって補償された数値を記憶するものである。すなわち、プレディクションは、前部分(previous portion)で補償された値に関する情報を記憶することであり、同一のデータが次の部分(following portion)で発生する場合に記憶された情報を使用することである。量子化ステップで同一の２つの音が異なる値に補償されると、同一の２つの音が異なる音として出力される。従って、プレディクションは、同一の音を同一の値で補償するように遂行される。

上述したように、ＭＰ３及びＡＡＣは、もとのサウンドデータを近似した値に変換する代わりに、オーディオ信号の特性を知覚的に認知することができないレベルで知覚的なコーディング方式（perceptual coding method）によってもとのサウンドデータを圧縮する。これによって、もとのサウンドデータに含まれた３次元ステレオサウンド効果を歪曲させない。さらに、３次元サウンドデータを提供する事業者サーバー及びこれをダウンロードする移動通信端末機の観点からは、ダウンロード時間を短縮させ、メモリ使用の効率性を従来のＳＭＡＦフォーマットに比べて約２倍程度で高めることができるという利点がある。

一方、メモリ部６２から読み出されたサウンドデータが３次元ステレオサウンド効果を有しないにもかかわらず、ユーザーが３次元ステレオサウンド効果を得ようとする場合、このデコーディングされたＰＣＭストリームは、スイッチ４６によって３次元サウンド生成部５２に入力される。

３Ｄサウンド生成部５２は、３次元サウンド生成アルゴリズムに従ってこのサウンドデータを処理することによって、３次元ステレオサウンド効果を有しないＰＣＭストリームタイプのサウンドデータに３次元ステレオサウンド効果を与える。ここで、‘３次元ステレオサウンド効果を与える’ということは、平面的なモノ又はステレオサウンド効果を有するサウンドデータを３次元平面上に存在するもののように出力されるように再構成することを意味する。すなわち、本発明の実施形態による図２に示した移動通信端末機は、３次元ステレオサウンド効果を有しないサウンドデータにも３次元ステレオサウンド効果を与えることができる。

３次元サウンド生成部５２は、ＰＣＭストリームを受信するので、メモリ部６２に貯蔵されたＭＰ３／ＡＡＣフォーマットの非３次元サウンドデータ６８は、デコーディング部３８によってデコーディングされた後、３次元サウンド生成部５２に入力される。メモリ部６８から読み出されたサウンドデータが、すでにＰＣＭストリームタイプで構成されると、該当サウンドデータは、デコーディングされることなく、３次元サウンド生成部５２に直接に入力される。また、３次元サウンド生成部５２は、事業者サーバーから遠く離れて又はパーソナルコンピュータから直接にダウンロードされたＰＣＭストリームタイプのサウンドデータをメモリ部６２に貯蔵する前に３次元ステレオサウンド効果を有するように再構成する。

３次元サウンド生成アルゴリズムに従って生成され、すなわち、再構成された３次元サウンドデータは、次の使用のためにメモリ部６２に貯蔵されるか、又は、実時間で再生されることができる。再生の場合、３次元サウンド生成部５２から出力されたＰＣＭストリームタイプの３次元サウンドデータは、ステレオディジタル／アナログ変換器４８によってアナログ信号に変換された後、スピーカ５０に出力される。

貯蔵の場合、このＰＣＭストリームタイプの３次元サウンドデータは、非常に大きいサイズを必要とするので、これをメモリ部６２にそのまま貯蔵することは、メモリの使用において、非常に非効率的である。従って、このＰＣＭストリームタイプの３次元サウンドデータは、エンコーディング部５４のＭＰ３エンコーダ５８又はＡＡＣエンコーダ６０によって、ＭＰ３又はＡＡＣフォーマットのサウンドデータに圧縮された後、メモリ部６２にＭＰ３又はＡＡＣフォーマットで３次元サウンドデータ６６として貯蔵される。

ところで、以上では、３次元サウンド再構成及びＭＰ３／ＡＡＣエンコーディングがすべて可能であって、ユーザーの選択に従って再構成された３次元サウンドデータを出力するか又は貯蔵する３次元サウンドデータの再構成、ＭＰ３、及びＡＡＣエンコーディングを遂行することができる移動通信端末機の構成及び動作について説明したが、本発明の他の実施形態では、３次元サウンド生成機能のみを有する通信端末機について説明する。本発明の他の実施形態によると、通信端末機は、ユーザーの要求に応じて、３次元ステレオサウンド効果を有しないサウンドデータを３次元サウンドデータに変更するように再構成する。この場合、この再構成されたデータは、必要に応じて、貯蔵されないか、又は、ＡＡＣ／ＭＰ３フォーマットにてエンコーディングされないままに貯蔵されてもよい。

本発明のまた他の実施形態によると、通信端末機は、事業者サーバーから遠隔にダウンロードされるか、個人コンピュータから直接にダウンロードされるか、又はメモリ部６２から読み出された非圧縮サウンドデータをＭＰ３又はＡＡＣフォーマットのサウンドデータに変換した後にメモリ部６２に貯蔵する。

図３は、本発明の一実施形態による移動通信端末機での音響再生手順を示すフローチャートである。本実施形態では、ユーザーの設定に従って、３次元ステレオサウンド効果を有するサウンドデータを生成して出力する手順を説明する。

ステップ１０２で、着呼が発生するか、又はユーザーが再生を要求する場合、ステップ１０４で、着呼として指定されたサウンドデータ、又は、ユーザーによって要求されたサウンドデータがメモリ部６２から読み出される。この読み出されたサウンドデータがＭＰ３又はＡＡＣフォーマットである場合、ステップ１０６で、この読み出されたサウンドデータは、デコーディング部３８の該当デコーダ４２又は４４によってデコーディングされる。

ステップ１０８で、制御部３０は、この読み出されたサウンドデータが３次元ステレオサウンド効果を有している３次元サウンドデータであるか否かを判断する。この読み出されたサウンドデータが３次元サウンドデータである場合、ステップ１１４に進行し、この読み出されたサウンドデータが３次元サウンドデータでない場合、ステップ１１０に進行する。ステップ１１０で、制御部３０は、３次元再生機能が設定されているか、又は、ユーザーによって３次元再生が要求されたかを判断する。結果的に、ユーザーが３次元再生を要求する場合、制御部３０は、ステップ１１２に進行し、３次元再生が要求されなかったら、制御部３０は、ステップ１１４に進行する。ステップ１１２で、３次元サウンド生成部５２によってこのサウンドデータに３次元ステレオサウンド効果を与えて３次元サウンドデータを再構成する。

ステップ１１４で、ステレオディジタル／アナログ変換器４８は、このデコーディングされたサウンドデータ、又は、この再構成された３次元サウンドデータをアナログ信号に変換し、ステップ１１６で、この変換されたアナログ信号は、少なくとも２個のスピーカ装置から構成されたスピーカ５０を通して出力される。

図４は、本発明の一実施形態による移動通信端末機における音響貯蔵及び再生手順を示すフローチャートである。ここでは、ユーザーの設定に従って３次元ステレオサウンド効果を有するサウンドデータを生成して出力して貯蔵する手順を説明する。

ステップ２０２で、ユーザーが機能キーを押すか、又は、メニューを操作して３次元効果生成／貯蔵ルーチンを呼び出すと、ステップ２０４で、３次元ステレオサウンド効果を与えようとするサウンドデータがメモリ部６２から読み出される。この読み出されたサウンドデータがＭＰ３又はＡＡＣフォーマットである場合、ステップ２０６で、このサウンドデータは、デコーディング部３８の該当デコーダ４２又は４４によってデコーディングされる。

ステップ２０８で、制御部３０は、この読み出されたサウンドデータが３次元ステレオサウンド効果を有している３次元サウンドデータであるか否かを判断する。結果的に、この読み出されたサウンドデータが３次元サウンドデータである場合、制御部３０は、ステップ２１２に進行し、そうでなければ、制御部３０は、ステップ２１０に進行する。ステップ２１０で、３次元サウンド生成部５２によってこのサウンドデータに３次元ステレオサウンド効果を与えることによって、３次元サウンドデータを再構成する。

ステップ２１２で、制御部３０は、このデコーディングされた、又は再構成された３次元サウンドデータを貯蔵するか、再生（出力）するかを判断する。ユーザーが貯蔵モードを選択する場合、ステップ２１４で、エンコーディング部５４は、この３次元サウンドデータをユーザーが要求した圧縮方式、すなわち、ＭＰ３又はＡＡＣ方式にて、該当エンコーダ５８又は６０を使用してエンコーディングする。ステップ２１６で、このエンコーディングされたＭＰ３又はＡＡＣサウンドデータは、メモリ部６２に貯蔵される。

ユーザーが再生モードを選択する場合、ステップ２１８で、ステレオディジタル／アナログ変換器４８は、この３次元サウンドデータをアナログ信号に変換する。ステップ２２０で、このアナログ信号は、少なくとも２つのスピーカ装置を含むスピーカ５０を通して出力される。

以上、本発明の詳細について具体的な実施の形態に基づき説明してきたが、本発明の範囲を逸脱することなく各種の変形が可能なのは明らかである。従って、本発明の範囲は、上記実施の形態に限定されるものではなく、特許請求の範囲の記載及び該記載と均等なものにより定められるべきである。

従来の移動通信端末機における音響信号再生装置を示すブロック図である。 本発明の実施形態による移動通信端末機における音響信号再生装置を示すブロック図である。 本発明の実施形態による移動通信端末機における音響再生動作を示すフローチャートである。 本発明の一実施形態による移動通信端末機における音響貯蔵及び再生動作を示すフローチャートである。

符号の説明

２８ 事業者サーバー
３０ 制御部
３２ 信号処理部
３４ 音声コーデック部
３６ マイク
３８ デコーディング部
４６ スイッチ
４８ ステレオディジタル／アナログ変換器
５０ スピーカ
５２ ３次元サウンド生成部
５４ エンコーディング部
６２ メモリ部
７０ 表示部
７２ キー入力部

Claims (12)

1. 移動通信端末機において３次元ステレオサウンドを支援する装置であって、
   非３次元サウンドデータを貯蔵するメモリと、
   着呼が発生するとき、又は、ユーザーによる再生の要求があるとき、前記メモリから前記サウンドデータを読み出し、３次元ステレオサウンド効果を有するように３次元サウンドデータを再構成する３次元サウンド生成部と、
   前記再構成されたサウンドデータを可聴音の形態で出力するサウンド出力部と、
   を含むことを特徴とする装置。
2. 前記メモリから読み出されたサウンドデータがＭＰ３(Motion Picture Experts Group-１ Audio layer 3)又はＡＡＣ(MPEG-2 Advanced Audio Coding)フォーマットを有する場合、前記サウンドデータをＭＰ３デコーディング方式又はＡＡＣデコーディング方式にてデコーディングし、前記デコーディングされたサウンドデータを前記３Ｄサウンド生成部へ伝送するデコーディング部をさらに含むことを特徴とする請求項１記載の装置。
3. 前記再構成されたサウンドデータを前記３次元ステレオサウンド効果が歪曲されないようにエンコーディングし、前記エンコーディングされたサウンドデータを前記メモリに伝送するエンコーディング部をさらに含むことを特徴とする請求項１記載の装置。
4. 前記エンコーディング部は、前記再構成された３次元サウンドデータをＭＰ３（MPEG-１ layer 3）又はＡＡＣ（MPEG-2 Advanced Audio Coding)フォーマットに変換することを特徴とする請求項３記載の装置。
5. 前記サウンド出力部は、
   ３次元サウンドが再生されることができるように、少なくとも２つのスピーカ装置から構成されるスピーカであることを特徴とする請求項１記載の装置。
6. 前記サウンドデータは、
   製造者によって前記メモリに事前に貯蔵されるか、又は、無線又は有線インターフェースを介して事業者サーバー、又は、ユーザーの個人コンピュータから前記メモリにダウンロードされることを特徴とする請求項１記載の装置。
7. 通信端末機において３次元ステレオサウンド効果を有するサウンドデータを再生して貯蔵する方法であって、
   非３次元サウンドデータを取得するステップと、
   前記取得されたサウンドデータを３次元ステレオサウンド効果を有する３次元サウンドデータに再構成するステップと、
   前記再構成されたサウンドデータを可聴音の形態で出力するステップと、
   を含むことを特徴とする方法。
8. 前記メモリから読み出されたサウンドデータがＭＰ３又はＡＡＣフォーマットを有する場合、前記サウンドデータを再構成する前にＭＰ３デコーディング方式又はＡＡＣデコーディング方式にてデコーディングするステップをさらに含むことを特徴とする請求項７記載の方法。
9. 前記再構成されたサウンドデータを前記メモリに貯蔵するために、前記３次元ステレオサウンド効果が歪曲されないようにエンコーディングするステップをさらに含むことを特徴とする請求項７記載の方法。
10. 前記エンコーディングするステップは、
    前記再構成された３次元サウンドデータをＭＰ３又はＡＡＣフォーマットに変換することを特徴とする請求項９記載の方法。
11. 前記出力するステップは、
    ３次元サウンドが再生されることができるように、少なくとも２つのスピーカ装置を使用して前記３次元サウンドデータを出力することを特徴とする請求項７記載の方法。
12. 前記非３次元サウンドデータは、
    製造者によって前記メモリに事前に貯蔵されるか、又は、事業者サーバーから遠く離れて又はユーザーのパーソナルコンピュータから直接にダウンロードされることを特徴とする請求項７記載の方法。
    

Images