JP2004272262A - オーディオ信号処理装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Abstract

【課題】 オーディオ信号処理装置と方法及びプログラムを記録したコンピュータ読取可能な記録媒体を提供する。
【解決手段】 ネットワークと連結された端末が再生するオーディオ信号を処理するこの装置は、オーディオ信号を入力する入力部１０及びネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用してオーディオ信号を処理する信号処理部１２を備え、ネットワーク情報は随時に変化する状態を有するネットワークに関する情報であり、端末情報は随時に変化する状態を有する端末に関する情報であり、信号情報はオーディオ信号に関する情報であることを特徴とする。したがって、随時に変化するネットワーク及び／または端末情報をリアルタイムで利用してオーディオ信号を効率的にストリーミング処理できるため、サーバから伝えられるオーディオ信号がショートなしに持続的に端末に受信されるようにしつつその端末に適した優秀な音質として再生できるようにする効果を有する。
【選択図】 図１

Description

本発明はオーディオ信号を処理する装置やソフトウェア、オーディオ信号を有線や無線に供給するサービスシステムに係り、特にストリーミングされるオーディオ信号を処理する装置、方法及びプログラムを記録したコンピュータ読取可能な記録媒体に関する。

インターネットを利用した注文型音楽（ＭＯＤ：Music On Demand）、注文型オーディオ（ＡＯＤ：Audio On Demand）または有線や無線携帯電話は、リアルタイムでマルチメディアのストリーミングを要求する。このようなストリーミングを要求する状況で、端末（図示せず）に連結されたネットワーク（図示せず）が許容する帯域幅よりサーバ（図示せず）から端末に送らなければならないオーディオ信号のデータの量が多い場合、従来のオーディオ信号処理方法では、ルータのバッファリングがボトルネックとなってパケットの遅延と損失とを発生させてしまう問題点を有していた。

また、ストリーミングを要求する段階で、従来のオーディオ信号処理方法では、オーディオ信号を再生する端末の能力や種類などの端末が置かれている環境を考慮せずにオーディオ信号を処理していた。例えば、端末が個人用コンピュータ（ＰＣ：Personal Computer）か、それとも個人用デジタル携帯装置（ＰＤＡ：Personal Digital Assitanct）であるかに関係なく同じビット率でオーディオ信号をストリーミングしていた。

結局、前述した従来のオーディオ信号処理方法は、オーディオ信号のビット率だけでなく、端末の種類に関係なくオーディオ信号を処理してストリーミングする。これにより、従来のオーディオ信号処理方法は、パケットの遅延と損失とをもたらすか、または端末機内部の処理速度の遅延によって端末でオーディオ信号を再生する音質を低下させる問題点を有する。したがって、サービスの質を向上させるための適切な方法の出現が望まれる。なお、関連する技術が記載された文献を以下に示す。
米国特許公開US2003/0083870号、“System and method of network adaptive real-time multimedia streaming” ２Ｏ０３年１０月に豪州のブリスベンで発表されたStudy of ISO/IEC 21000-7 FCD-Part 7:Digital Item Adaptation，ISO/IEC JTC1/SCに9/WG11/N5933 ２００３年１２月にハワイで発表されたISO/IEC 21000-7 FDIS-Part 7:Digital Item Adaptation，ISO/IEC JTC1/SCに9/WG11/N6168のAdaptation QoS Classfication Scheme

本発明が解決しようとする第１技術的課題は、オーディオ信号を再生する端末及び／またはその端末に連結されたネットワークが置かれた物理的環境に適するようにオーディオ信号を処理してストリーミングできるオーディオ信号処理装置を提供することである。
本発明が解決しようとする第２技術的課題は、オーディオ信号を再生する端末及び／またはその端末に連結されたネットワークが置かれた物理的環境に適するようにオーディオ信号を処理してストリーミングできるオーディオ信号処理方法を提供することである。
本発明が解決しようとする第３技術的課題は、オーディオ信号を再生する端末及び／またはその端末に連結されたネットワークが置かれた物理的環境に適するようにオーディオ信号を処理してストリーミングできるオーディオ信号処理装置を制御するためのプログラムを記録したコンピュータ読取可能な記録媒体を提供することである。

前記第１課題を達成するために、ネットワークと連結された端末が再生するオーディオ信号を処理する本発明によるオーディオ信号処理装置は、前記オーディオ信号を入力する入力部及びネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して前記入力部から入力したオーディオ信号を処理する信号処理部で構成され、前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であることが望ましい。

前記第２課題を達成するために、ネットワークと連結された端末が再生するオーディオ信号を処理する本発明によるオーディオ信号処理方法は、前記オーディオ信号を入力する段階及びネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して前記オーディオ信号を処理する段階で構成され、前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であることが望ましい。

前記第３課題を達成するために、ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置を制御する少なくとも一つのプログラムを記録するコンピュータ読取可能な本発明による記録媒体は、前記オーディオ信号を入力させる段階及びネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して前記オーディオ信号を処理させる段階を行うためのプログラムを記録し、前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であることが望ましい。

本発明によるオーディオ信号処理装置と方法及びプログラムを記録したコンピュータ読取可能な記録媒体は、随時に変化するネットワーク及び／または端末情報をリアルタイムで利用してオーディオ信号を効率的にストリーミング処理できるため、例えばサーバ側から伝えられるオーディオ信号がショートすることなく持続的に端末に受信されるようにしつつその端末に適した優秀な音質で再生できるようにする効果を有する。

以下、本発明によるオーディオ信号処理装置及びその実施例それぞれの構成及び動作を添付した図面を参照して説明する。
図１は、本発明によるオーディオ信号処理装置のブロック図であって、入力部１０、信号処理部１２及び出力部１４で構成される。

図１に示すオーディオ信号処理装置は、ネットワーク（図示せず）と連結された端末（図示せず）が再生するオーディオ信号を処理する役割をする。ここで、端末と連結されたネットワークの状態は随時に変わり端末の状態もネットワークの状態と同様に随時に変化する。

この時、本発明の一実施例によれば、図１に示すオーディオ信号処理装置は、オーディオ信号を端末にストリーミングするサーバ側（図示せず）に含まれる。ここで、サーバ側はサーバ（図示せず）を含む。
本発明の他の実施例によれば、図１に示すオーディオ信号処理装置は、端末に含まれることもある。

本発明のさらに他の実施例によれば、図１に示すオーディオ信号処理装置は、サーバ側だけでなく端末に各々含まれる。
図１に示す入力部１０は、オーディオ信号を入力して信号処理部１２に出力する。
信号処理部１２は、入力部１０から出力されるオーディオ信号を入力し、入力端子ＩＮ１を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力する。この時、信号処理部１２は、入力したネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用してオーディオ信号を処理し、処理された結果を出力する。ここで、ネットワーク情報及び端末情報は、端末から提供される。また、信号処理部１２は、信号情報を入力部１０から入力することもあり、入力部１０から入力したオーディオ信号から信号情報を生成することもある。

本発明によれば、前述したネットワーク情報とは、ネットワークに関する情報であって、ネットワークの状態を含む。例えば、ネットワーク情報は、ネットワークの可用帯域幅、ネットワークの静的能力及びネットワークの時変条件のうち少なくとも一つを含む。ここで、ネットワークの可用帯域幅は、ネットワークと連結された経路を通じて利用するユーザがどれくらい多いかによって随時に変化する。

もし、ネットワークをＣＤＭＡ２０００ １ｘとする時、自動車の移動速度が変化するにつれてネットワークモニタリングプログラムによって平均可用帯域幅ＢＷが測定される。

図２は、ネットワークの可用帯域幅を例示的に示すグラフであって、横軸は秒（sec）の単位を有する時間を表し、縦軸はネットワークの可用帯域幅ＢＷ及び自動車が動く速度を各々表す。ここで、可用帯域幅ＢＷは、秒当たりキロビット数（kbps）の単位を有し、■マークとして表現され、速度はキロメータ（km/h）の単位を有し、◆マークとして表現される。

前述した平均可用帯域幅ＢＷは、図２に示すように変化する。
前述したネットワークの静的能力とは、秒当たりビット数（bits/sec）で表現されるネットワークの最大帯域幅を意味し、ネットワークの時変条件とは、相次ぐパケットの単方向パケット遅延差または特定チャンネルに対するパケット損失率を意味する。例えば、パケット損失率は‘０’から‘１’まで変化する。ここで、パケット損失率が‘０’ということは損失がないということを意味し、パケット損失率が‘１’ということは全てのパケットが損失されたということを意味する。

一方、端末情報とは、端末に関する情報であって、前記端末の能力、端末の種類及び端末の状態のうち少なくとも一つを含む。例えば、端末情報は、端末の許容ビット率、端末のデータ処理能力、端末の電力に関する情報、端末の記録能力に関する情報及び端末の種類のうち少なくとも一つを含む。ここで、端末の許容ビット率とは、ｋｂｐｓの単位を有し、端末が受けることのできるデータの量を意味する。この時、端末のデータ処理能力は、端末、例えば端末に内蔵される中央処理装置（ＣＰＵ：Central Processing Uint）の処理能力を含む。また、端末の電力に関する情報は、時間当りアンペアの単位を有する端末の平均電力消費を含むことができ、端末の記録能力は、メガバイト（Mbytes）の単位を有する端末の記録容量を含む。端末の種類は、例えば端末に含まれた端末がＰＣであるか、またはＰＤＡであるかを表す情報を含む。

前述した端末情報とネットワーク情報とを測定する従来の方法のうち一つが特許文献１に開示されている。
一方、前述した信号情報とは、オーディオ信号に関する情報であって、オーディオ信号のビット率またはオーディオ信号の種類に関する情報を含む。ここで、オーディオ信号のビット率が高いということは、ストリーミングするデータの量が多いということを意味する。オーディオ信号の種類とは、オーディオ信号の属性であって、例えばオーディオ信号がニュースか、ポップか、クラシック音楽か、モノラルか、ステレオか、多重チャンネルかを表す。

この時、出力部１４は、信号処理部１２で処理されたオーディオ信号を出力端子ＯＵＴ１を通じてストリーミングする。出力部１４は、信号処理部１２で処理されたオーディオ信号を記録及び再生することもある。
ここで、本発明によれば、前述した本発明によるオーディオ信号処理装置及びその装置の実施例各々は、入力部１０及び信号処理部１２だけで具現されることもある。例えば、図１に示すオーディオ信号処理装置が端末に含まれる場合、図１に示すオーディオ信号処理装置は、入力部１０及び信号処理部１２だけで具現される。

本発明の一実施例によれば、図１に示す信号処理部１２は、主処理部２０で具現される。ここで、主処理部２０は‘チャンネル数調整動作’、‘データ選択動作’及び‘帯域除去動作’のうち少なくとも一つを入力端子ＩＮ１を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つに相応してオーディオ信号の処理として行い、行われた結果を出力部１４に出力する。

本発明によれば、データ選択動作とは、主処理部２０が入力部１０から入力したオーディオ信号に含まれたデータのうち一部だけを選択する動作を意味する。例えば、主処理部２０は、入力部１０から入力したオーディオ信号のビット率が許容ビット率や可用帯域幅より高ければ、そのオーディオ信号の上位データを除去する。ここで、下位データの代りに上位データを除去する理由は、上位データより下位データに比較的重要なデータが含まれているためである。このように、主処理部２０は、入力部１０から入力したオーディオ信号の上位データをオーディオ信号のビット率によって除去できる。この時、本発明によれば、データ選択動作を行う時、上位データをビット単位で除去することもあり、層単位で除去することもある。この時、本発明によれば、オーディオ信号の上位データのうち除去できる上位データの最大量は事前に決定され、このような最大量に関する情報は、入力部１０から出力されるオーディオ信号に含まれる。

本発明によれば、前述した帯域除去動作とは、主処理部２０が入力部１０から入力したオーディオ信号の高周波成分を除去する動作を意味する。例えば、主処理部２０は、入力部１０から入力したオーディオ信号のビット率が許容ビット率や可用帯域幅より高ければ、そのオーディオ信号の高周波成分から除去する。ここで、高周波成分が除去される理由は、人間の聴覚体系が非常に高い高周波成分の変化に相対的に少なく敏感であるためである。このように、主処理部２０は、入力部１０から入力したオーディオ信号の高周波成分をオーディオ信号のビット率によって除去できる。この時、本発明によれば、オーディオ信号の高周波成分から除去できる最大量は事前に決定され、このような最大量に関する情報は、入力部１０から出力されるオーディオ信号に含まれる。

本発明によれば、チャンネル数調整動作とは、主処理部２０が入力部１０から入力したオーディオ信号のチャンネルの数を調整する動作を意味する。ここで、オーディオ信号は、ステレオモード、モノモード、または、例えば５.１サラウンドモードのような多重チャンネルモードであって、入力部１０から信号処理部１２に伝えられる。例えば、主処理部２０は、入力部１０から入力したオーディオ信号のビット率が許容ビット率や可用帯域幅より高ければ、そのオーディオ信号のチャンネルの数を減らす。しかし、主処理部２０は、入力部１０から入力したオーディオ信号のビット率が許容ビット率や可用帯域幅より低ければ、そのオーディオ信号のチャンネルの数を付加する。このように、主処理部２０は、入力部１０から入力したオーディオ信号のチャンネルをビット率によって減らすか、または付加して調整できる。この時、本発明によれば、減少または付加できるチャンネルの最大数及び／または番号及びチャンネル形態のうち少なくとも一つは事前に決定され、このような数、番号及び／またはチャンネル形態に関する情報は、入力部１０から出力されるオーディオ信号に含まれる。ここで、チャンネル形態は、減少または付加されるチャンネルが右側チャンネルか、左側チャンネルか、またはサラウンドチャンネルかを表す。

ここで、チャンネル数調整動作は、データ選択動作や帯域除去動作よりもオーディオ信号のデータ量を非常に多く削減することができる。したがって、主処理部２０は、オーディオ信号のビット率が非常に大きい場合、チャンネル数調整動作を利用し、オーディオ信号のビット率が大きくない場合、データ選択動作及び／または帯域除去動作を利用する。

例えば、主処理部２０は、入力部１０から入力したオーディオ信号のビット率が許容ビット率及び可用帯域幅各々と同一であれば、前述したデータ選択動作、帯域除去動作及びチャンネル数調整動作の何れも行わず、そのオーディオ信号の全体を出力部１４に出力できる。したがって、出力部１４は、信号処理部１２の主処理部２０を経由して入力部１０から入力したオーディオ信号の全体を出力端子ＯＵＴ１を通じてストリーミングできる。もし、図１に示すオーディオ信号処理装置がサーバ側に設けられる場合、出力部１４は、オーディオ信号を端末にストリーミングする。

図１に示す入力部１０から信号処理部１２に入力されるオーディオ信号は、圧縮されたオーディオ信号であったり、圧縮されていないオーディオ信号であったりする。ここで、圧縮されたオーディオ信号は、フレーム単位で変換された後に圧縮されることもあり、例えば、階層性を有するビットストリーム、すなわち、オーディオ微細階層（ＦＧＳ：Fine Grain Scalability）を提供するＭＰＥＧ（Moving Picture Expert Group）−４ＢＳＡＣ（Bit Sliced Arithmetic Coding）ビットストリーム及び／またはＭＰＥＧ−４ＡＡＣ（Advanced Audio Coding）スケーラブルビットストリームを含む。ここで、ＢＳＡＣは、ＩＳＯ／ＩＥＣ １４４９５−３：２００１に詳細に説明されている。圧縮されていないオーディオ信号は、例えば、パルスコード変調（ＰＣＭ：Pulse Coding Modulation）されたデータまたはウェーブデータを含む。

図１に示す信号処理部１２は、圧縮されたオーディオ信号のビットストリームに対してだけデータ選択動作を行える。しかし、信号処理部１２は、圧縮されていたり、または圧縮されていなかったりするオーディオ信号の何れかに対してもチャンネル数調整動作や帯域除去動作を行える。

図３は、図１に示す主処理部２０の本発明による望ましい実施例２０Ａのブロック図であって、第１及び第２比較部４０及び４２及び従処理部４４で構成される。
第１比較部４０は、入力端子ＩＮ２を通じてネットワーク情報を入力し、入力端子ＩＮ３を通じて信号情報を入力し、入力したネットワーク情報と信号情報とを比較し、比較された結果を従処理部４４に出力する。
第２比較部４２は、入力端子ＩＮ３を通じて信号情報を入力し、入力端子ＩＮ４を通じて端末情報を入力し、入力した信号情報と端末情報とを比較し、比較された結果を従処理部４４に出力する。

従処理部４４は、入力部１０から入力端子ＩＮ３を通じて入力したオーディオ信号を第１及び第２比較部４０及び４２で比較された結果に応答して処理し、処理された結果を出力端子ＯＵＴ２を通じて出力部１４に出力する。例えば、従処理部４４は、第１及び第２比較部４０及び４２で比較された結果に応答して、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち少なくとも一つの動作でオーディオ信号を処理する。

図４は、図１に示す信号処理部１２の本発明による他の実施例１２Ａのブロック図であって、主処理部６０及び動作決定部６２で構成される。
本発明の他の実施例によれば、図４に示す主処理部６０は、入力端子ＩＮ５を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力し、入力端子ＩＮ６を通じてオーディオ信号及び／または信号情報を入力する。この時、主処理部６０は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち動作決定部６２で決定された動作でオーディオ信号を処理し、処理された結果を出力部１４に出力端子ＯＵＴ３を通じて出力する。

ここで、図１に示す主処理部２０は、ネットワーク情報及び端末情報のうち少なくとも一つに相応する動作を自主的に決定してオーディオ信号を処理する。一方、図４に示す主処理部６０は、動作決定部６２で決定された動作でオーディオ信号を処理する。これを除外すれば、主処理部６０は、図１に示す主処理部２０と同一である。したがって、主処理部６０は、図３に示すように具現される。もし、主処理部６０が図３に示すように具現される場合、従処理部４４は、第１及び第２比較部４０及び４２で比較された結果を通じてオーディオ信号をチャンネル数動作、データ選択動作及び帯域除去動作のうち少なくとも一つの動作で処理する必要性があると認知されれば、動作決定部６２で決定された動作でオーディオ信号を処理する。

図４に示す動作決定部６２は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち、入力端子ＩＮ５を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つに相応する動作を決定し、決定された結果を主処理部６０に出力する。
本発明の一実施例によれば、動作決定部６２は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち、端末でオーディオ信号を再生する時の音質を最大化させる動作を決定できる。

本発明の他の実施例によれば、動作決定部６２は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち、入力部１０から入力されたオーディオ信号に含まれた付加情報のうち少なくとも一つを満足させる動作を決定することもある。ここで、付加情報とは、ユーザの選好度及びメタデータのうち少なくとも一つを含む。ここで、メタデータとは、オーディオ信号の基本的なデータ自体ではなく、その基本的なデータの特性を表すデータである。

本発明のさらに他の実施例によれば、動作決定部６２は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち、音質を最大化させ、付加情報を満足させる動作を決定することもある。

このために、本発明によれば、動作決定部６２は、テーブルを利用して動作を決定できる。この場合、動作決定部６２は、外部で生成されたテーブルを入力端子ＩＮ７を通じて入力することもあり、入力端子ＩＮ５を通じて入力された端末情報及びネットワーク情報のうち少なくとも一つ及び入力端子ＩＮ６を通じて入力されたオーディオ信号を利用してテーブルを自体で生成することもある。

図５は、図４に示す動作決定部６２の本発明による一実施例６２Ａのブロック図であって、動作種類選択部８０及び処理量決定部８２で構成される。
図５に示す動作種類選択部８０は、入力端子ＩＮ８を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力し、入力端子ＩＮ９を通じて外部で生成されたテーブルを入力する。

本発明の一実施例によれば、テーブルは、ネットワーク情報及び端末情報のうち少なくとも一つをチャンネル数調整動作、データ選択動作及び帯域除去動作のうち少なくとも一つに当る動作にマッピングさせる。したがって、動作種類選択部８０は、入力端子ＩＮ８を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つに当る動作をテーブルを通じて探し、探した動作を出力端子ＯＵＴ４を通じて主処理部６０に出力する。このために、動作種類選択部８０は、ネットワーク情報及び端末情報のうち少なくとも一つをアドレスＡＤＤＲＥＳＳとして有し、当該動作をデータＤＡＴＡとして有するルックアップテーブル（図示せず）に具現される。

本発明の他の実施例によれば、テーブルは、ネットワーク情報及び端末情報のうち少なくとも一つと音質及び付加情報のうち少なくとも一つとをチャンネル数調整動作、データ選択動作及び帯域除去動作のうち少なくとも一つに当る動作にマッピングさせる。したがって、動作種類選択部８０は、入力端子ＩＮ８を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つに当るだけでなく、音質及び付加情報のうち少なくとも一つにも当る動作をテーブルを通じて探し、探された動作を出力端子ＯＵＴ４を通じて主処理部６０に出力する。このために、動作種類選択部８０は、ネットワーク情報及び端末情報のうち少なくとも一つと音質及び付加情報のうち少なくとも一つとよりなるアドレスＡＤＤＲＥＳＳ及び当該動作をデータＤＡＴＡとして有するルックアップテーブル（図示せず）に具現される。

したがって、主処理部６０は、動作種類選択部８０から出力端子ＯＵＴ４を通じて出力される選択された動作に関する情報を入力し、入力した情報を通じて認識した動作でオーディオ信号を処理する。

一方、本発明の一実施例によれば、テーブルに含まれる音質は、客観的な差等級（ＯＤＧ：Objective Difference Grade）と歪曲インデックス（ＤＩ：Distortion Index）のうち少なくとも一つとして表現される。ここで、ＯＤＧとＤＩとは、オーディオ音質（ＰＥＡＱ：Perceptual Evaluation of Audio Quality）の客観的な評価法によって求められることができ、歪曲が少ないほど大きい値を有する。ＰＥＡＱという客観的な評価法については、ITU-R Recommendation BS.1387に記載されている。例えば、ＯＤＧは‘−４’から‘０’まで変化することができ、このような範囲はITU-R BS.562によれば、５等級の障害目盛り（１〜５）に当る。この時、ＤＩは、ＯＤＧと同じ意味を有するが、制限された範囲を有しない。一般的に、高音質を表現する時にＯＤＧを利用し、高くない音質、すなわち、低音質、または中間音質を表現する時にＤＩを利用できる。すなわち、高音質を有するテーブルは、ＯＤＧを利用して求め、高くない音質を有するテーブルは、ＤＩを利用して求める。

本発明の他の実施例によれば、テーブルに含まれる音質は、音質鮮明度、音相幅情報及び音質明瞭度のうち少なくとも一つとして表現される。ここで、音質鮮明度は、オーディオ信号の周波数、例えば、周波数帯域幅と関連される。音相幅情報は、音源位置による音質と関連される。例えば、ステレオからモノへ行くほど音相幅は狭くなる。音質明瞭度は、歪曲雑音と関連される。
まず、本発明によれば、音質鮮明度、音相幅情報及び音質明瞭度は、主観的な評価法を利用して求められる。ここで、主観的な評価法とは、音楽の場合に、隠し参照及びアンカーを有するマルチ刺激テスト（ＭＵＳＨＲＡ：MULTI Stimulus test with Hidden Reference and Anchors）またはITU-R Recommendation BS.1116である。このような、主観的な評価法は、音質鮮明度、音相幅情報及び音質明瞭度を一つずつ細分化して求めず、音質を全体的に評価する。

次いで、本発明によれば、音質鮮明度と音質明瞭度とを区分するために客観的な評価法を利用できる。ここで、客観的な評価法は、ITU-R Recommendation BS.1387となり、特性抽出に基づいたＰＥＡＱによる中間モデル出力値（ＭＯＶ：Model Output Value）を利用できる。例えば、客観的な評価法の最後の過程で、抽出された特性であるＭＯＶ値をマッピングして基本的なオーディオ音質をＯＤＧ及びＤＩとして表現できる。

一方、図５に示す動作決定部６２Ａは、処理量決定部８２をさらに設けることもある。ここで、処理量決定部８２は、動作種類選択部８０で動作が選択される時、処理量を入力端子ＩＮ９を通じて外部から入力したテーブル及び入力端子ＩＮ８を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つを利用して決定し、決定された処理量を出力端子ＯＵＴ５を通じて主処理部６０に出力する。ここで、処理量とは、チャンネル数調整動作で調整されるチャンネルの数、データ選択動作で選択されるデータの量及び帯域除去動作で除去されるオーディオ信号の高周波成分の量のうち少なくとも一つを意味する。

このために、入力端子ＩＮ９を通じて入力されるテーブルは、動作別処理量をネットワーク情報及び端末情報のうち少なくとも一つにマッピングされる。例えば、処理量決定部８２は、動作種類選択部８０で選択された動作と入力端子ＩＮ８を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つよりなるアドレスＡＤＤＲＥＳＳに応答してデータＤＡＴＡとして記録した処理量を出力端子ＯＵＴ５を通じて主処理部６０に出力するルックアップテーブル（図示せず）に具現されることもある。この時、主処理部６０は、処理量決定部８２で決定された処理量でオーディオ信号を処理する。

本発明によれば、処理量決定部８２は、オーディオ信号の種類を検査し、検査された結果とテーブルとを利用して処理量を決定し、決定された処理量を出力端子ＯＵＴ５を通じて主処理部６０に出力することもある。このために、処理量決定部８２は、入力端子ＩＮ１０を通じてオーディオ信号の種類を表す信号情報を入力できる。
図６は、図４に示す動作決定部６２の本発明による他の実施例６２Ｂのブロック図であって、テーブル生成部１００、動作種類選択部１０２及び処理量決定部１０４で構成される。

図６に示す動作決定部６２Ｂは、図５に示す動作決定部６２Ａとは違ってテーブルを自主的に生成するためのテーブル生成部１００をさらに設ける。これを除外すれば、図６に示す動作決定部６２Ｂは、図５に示す動作決定部６２Ａと同じ動作を行う。したがって、図６に示す動作種類選択部１０２及び処理量決定部１０４は、図５に示す動作種類選択部８０及び処理量決定部８２と各々同じ機能を行うので、これらについての詳細な説明を省略する。

図６に示すテーブル生成部１００は、入力端子ＩＮ８を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つと入力部１０から入力端子ＩＮ１０を通じて入力したオーディオ信号とを利用して前述したような色々な形態のテーブルを生成し、生成されたテーブルを動作種類選択部１０２に出力する。このために、テーブル生成部１００は、例えばITU-R Recommendation BS.1387を利用してネットワーク情報及び端末情報のうち少なくとも一つとオーディオ信号とからテーブルを生成できる。

以下、本発明によるオーディオ信号処理方法を添付した図面を参照して次のように説明する。
図７は、本発明によるオーディオ信号処理方法を説明するためのフローチャートであって、入力されたオーディオ信号をネットワーク情報及び端末情報のうち少なくとも一つを利用して処理してストリーミングする段階（第５００〜第５０４段階）よりなる。

本発明によるオーディオ信号処理方法は、オーディオ信号を入力する（第５００段階）。第５００段階後に、ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用してオーディオ信号を処理する（第５０２段階）。この時、チャンネル数調整動作、データ選択動作及び帯域除去動作のうちネットワーク情報及び端末情報のうち少なくとも一つに相応する少なくとも一つの動作でオーディオ信号を処理できる。第５０２段階後に、処理されたオーディオ信号をストリーミングする（第５０４段階）。

図７に示す第５００、第５０２及び第５０４段階は、図１に示す入力部１０、信号処理部１２及び出力部１４で各々行われる。
図７に示すオーディオ信号処理方法は、サーバ側で行われるか、または端末で行われるか、あるいはサーバ側と端末ともで行われることもある。例えば、図７に示すオーディオ信号処理方法が端末で行われる場合、図７に示すオーディオ信号処理方法は、第５００及び第５０２段階だけで具現される。

以下、ネットワーク情報がネットワークの可用帯域幅であり、端末情報が端末の許容ビット率であり、信号情報がオーディオ信号のビット率と仮定しつつ、図７に示す第５０２段階に対する本発明による実施例を次のように添付された図面を参照して説明する。
図８は、図７に示す第５０２段階に対する本発明による実施例５０２Ａを説明するためのフローチャートであって、オーディオ信号のビット率と許容ビット率及び可用帯域幅を各々比較した結果を利用してオーディオ信号を処理する段階（第６００〜第６０４段階）よりなる。

第５００段階後に、オーディオ信号のビット率が端末の許容ビット率より小さいかを判断する（第６００段階）。もし、オーディオ信号のビット率が許容ビット率より小さいと判断されれば、オーディオ信号のビット率がネットワークの可用帯域幅より大きいかを判断する（第６０２段階）。

もし、オーディオ信号のビット率がネットワークの可用帯域幅より大きくないと判断されれば、第５０４段階に進む。この場合、第５００段階で入力されたオーディオ信号自体がストリーミングされる。
しかし、オーディオ信号のビット率が許容ビット率より小さくないと判断されるか、またはオーディオ信号のビット率が可用帯域幅より大きいと判断されれば、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち少なくとも一つを行ってオーディオ信号を処理する（第６０４段階）。

本発明によれば、図８に示す変形例として、第６０２段階が第６００段階より先に行われることもある。この場合、第６０２段階でオーディオ信号のビット率が可用帯域幅より大きくないと判断されれば、第６００段階に進み、オーディオ信号のビット率が可用帯域幅より大きいと判断されれば、第６０４段階に進む。この時、第６００段階で、オーディオ信号のビット率が許容ビット率より小さいと判断されれば、第５０４段階に進み、オーディオ信号のビット率が許容ビット率より小さくないと判断されれば、第６０４段階に進む。

図８に示す第６００〜第６０４段階は、図１または図４に示す主処理部２０または６０で行われることもあり、第６００及び第６０２段階は、第２及び第１比較部４２及び４０で各々行われることもある。この時、第６０４段階は、図３に示す従処理部４４で行われる。

図９は、図７に示す第５０２段階に対する本発明による実施例５０２Ｂを説明するためのフローチャートであって、オーディオ信号のビット率と許容ビット率及び可用帯域幅を各々比較した結果を利用してオーディオ信号を処理する段階（第７００〜第７０８段階）よりなる。

図９に示す第５０２Ｂ段階は、図８に示す第５０２Ａ段階とは違って、データ選択動作や帯域除去動作よりチャンネル数調整動作を先に行う。ここで、チャンネル数調整動作をデータ選択動作や帯域除去動作よりも先に行う理由は、前述したように、チャンネル数調整動作によってオーディオ信号を処理する時がデータ選択動作や帯域除去動作によってオーディオ信号を処理する時より、オーディオ信号に含まれたデータ量をさらに多く除去できるためである。

第５００段階後に、オーディオ信号のビット率が端末の許容ビット率より小さいかを判断する（第７００段階）。もし、オーディオ信号のビット率が許容ビット率より小さいと判断されれば、オーディオ信号のビット率がネットワークの可用帯域幅より大きいかを判断する（第７０２段階）。もし、オーディオ信号のビット率が可用帯域幅より大きいと判断されるか、またはオーディオ信号のビット率が許容ビット率より小さくないと判断されれば、チャンネル数調整動作を行う（第７０４段階）。第７０４段階後に、チャンネル数調整動作によって処理されたオーディオ信号のビット率が可用帯域幅より大きいかを判断する（第７０６段階）。もし、チャンネル数調整動作によって処理されたオーディオ信号のビット率が可用帯域幅より大きいと判断されれば、データ選択動作及び帯域除去動作のうち少なくとも一つを行ってオーディオ信号を処理する（第７０８段階）。

しかし、第７０２段階でオーディオ信号のビット率がネットワークの可用帯域幅より大きくないと判断されるか、または７０６段階でチャンネル数調整動作によって処理されたオーディオ信号のビット率が可用帯域幅より大きくないと判断されれば、第７０８段階後に第５０４段階に進む。この場合、第５００段階で入力されたオーディオ信号自体がそのままにストリーミングされる（第５０４段階）。

本発明によれば、図９に示す変形例として、第７０２段階が第７００段階より先に行われることもある。この場合、第７０２段階で、オーディオ信号のビット率が可用帯域幅より大きくないと判断されれば、第７００段階に進み、オーディオ信号のビット率が可用帯域幅より大きいと判断されれば、第７０４段階に進む。この時、第７００段階で、オーディオ信号のビット率が許容ビット率より小さいと判断されれば、第５０４段階に進み、オーディオ信号のビット率が許容ビット率より小さくないと判断されれば、第７０４段階に進む。

図９に示す第７００〜第７０８段階は、図１または図４に示す主処理部２０または６０で行われることもある。
または、第７００段階は第２比較部４２で行われ、第７０２及び第７０６段階は第１比較部４０で行われることもある。この場合、第７０４及び第７０６段階は、図３に示す従処理部４４で行われる。

図１０は、図７に示す第５０２段階に対する本発明によるさらに他の実施例５０２Ｃを説明するためのフローチャートであって、テーブルを利用して決定された動作でオーディオ信号を処理する段階（第８００〜第８０４段階）よりなる。
まず、ネットワーク情報及び端末情報のうち少なくとも一つとオーディオ信号とを利用して前述したようなテーブルを生成する（第８００段階）。第８００段階後に、テーブルを通じてチャンネル数動作、データ選択動作及び帯域除去動作のうち少なくとも一つに当る動作を決定する（第８０２段階）。第８０２段階後に、決定された動作でオーディオ信号を処理する（第８０４段階）。本発明によれば、図１０に示す第５０２Ｃ段階は、第８００段階を設けないこともある。この場合、事前に生成されたテーブルが与えられる。

本発明によれば、図１０に示す第５０２Ｃ段階は、図８に示す第６０４段階または図９に示す第７０８段階の一実施例となることもある。
この時、図１０に示す第８００段階は、図６に示すテーブル生成部１００で行われ、第８０２段階は、図４に示す動作決定部６２、図５または図６に示す動作種類選択部８０または１０２で行われる。第８０４段階は、図４に示す主処理部６０で行われる。

図１１は、図１０に示す第８０４段階に対する本発明による実施例８０４Ａを説明するためのフローチャートであって、オーディオ信号の種類によって処理量を決定する段階（第９００〜第９０４段階）よりなる。
第８０２段階後に、信号情報からオーディオ信号の種類をチェックする（第９００段階）。第９００段階後に、チェックされた結果とテーブルとを利用して前述したように処理量を決定する（第９０２段階）。第９０２段階後に、決定された処理量でオーディオ信号を処理し、第５０４段階に進む（第９０４段階）。ここで、図１１に示す第９００及び第９０２段階は、図５または図６に示す処理量決定部８２または１０４で行われ、第９０４段階は、図４に示す主処理部６０で行われる。

以下、本発明によるプログラムを記録したコンピュータ読取可能な記録媒体を次のように説明する。
ネットワークと連結された端末が再生するオーディオ信号を処理する前述したオーディオ信号処理装置を制御する少なくとも一つのプログラムを記録するコンピュータ読取可能な本発明による記録媒体は、オーディオ信号を入力させる段階及びネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用してオーディオ信号を処理させる段階を行うためのプログラムを記録する。この時、記録媒体に記録されるプログラムは、処理されたオーディオ信号をストリーミングさせる段階をさらに行える。

この時、オーディオ信号を処理させる段階は、チャンネル数調整動作、データ選択動作及び帯域除去動作のうち少なくとも一つの動作をネットワーク情報及び端末情報のうち少なくとも一つに相応して決定し、決定された動作でオーディオ信号が処理される。
本発明の一実施例によれば、オーディオ信号を処理させる段階は、オーディオ信号のビット率が端末情報に当る端末の許容ビット率より小さいかを判断する段階と、オーディオ信号のビット率が許容ビット率より小さいと判断されれば、オーディオ信号のビット率がネットワークの可用帯域幅より大きいかを判断する段階及びオーディオ信号のビット率が許容ビット率より小さくないか、または可用帯域幅より大きいと判断されれば、動作のうち少なくとも一つを行わせる段階を行う。

本発明の他の実施例によれば、オーディオ信号を処理させる段階は、オーディオ信号のビット率が端末の許容ビット率より小さいかを判断する段階と、オーディオ信号のビット率が許容ビット率より小さいと判断されれば、オーディオ信号のビット率がネットワークの可用帯域幅より大きいかを判断する段階と、オーディオ信号のビット率が可用帯域幅より大きいと判断されるか、またはオーディオ信号のビット率が許容ビット率より小さくないと判断されれば、チャンネル数調整動作を行わせる段階と、チャンネル数調整動作によって処理されたオーディオ信号のビット率が可用帯域幅より大きいかを判断する段階及びチャンネル数調整動作によって処理されたオーディオ信号のビット率が可用帯域幅より大きいと判断されれば、データ選択動作及び帯域除去動作のうち少なくとも一つを行わせる段階を行う。

一方、オーディオ信号を処理させる段階は、テーブルを通じて動作のうち少なくとも一つに当る動作を決定する段階及び決定された動作でオーディオ信号を処理させる段階を行える。ここで、オーディオ信号を処理させる段階は、ネットワーク情報及び端末情報のうち少なくとも一つとオーディオ信号とを利用してテーブルを生成させる段階をさらに行うこともある。

この時、オーディオ信号を処理させる段階は、テーブルを利用して処理量を求め、処理量でオーディオ信号を処理させる。この場合、オーディオ信号を処理させる段階は、オーディオ信号の種類をチェックさせる段階と、チェックされた結果とテーブルとを利用して処理量を決定させる段階と、決定された処理量でオーディオ信号を処理させる段階と、を行える。

結局、本発明によるオーディオ信号処理装置及びその装置の実施例の各部で行われる過程は、ソフトウェア的に具現され、このようなソフトウェアは、コンピュータ読取可能な記録媒体に記録されてコンピュータを制御するために実行される。
一方、前述した本発明によるオーディオ信号処理装置と方法及びそのための記録媒体は、ＭＰＥＧ−２１デジタルアイテム適応（ＤＩＡ：Digital Item Adaptation）のために適用される。

以下、本発明の理解を助けるために、ＭＰＥＧ−２１ ＤＩＡに適用される本発明によるオーディオ信号処理装置及び方法に対する一つの態様を添付された図面を参照して説明する。ここで、チャンネル数調整動作、データ選択動作及び帯域除去動作をChannel Dropping、audio FGS及びSpectral Band Reductionで各々表記する。

図１２〜図２１は、オーディオ適応のための文法及び意味の実施例に対する一つの態様をＭＰＥＧ−２１で使用する言語で示す図面である。
図１２〜図２１で、本発明によるオーディオ信号処理装置及び方法によって導出された部分は、ボックス９２０，９２２，９２４及び９２６で表示した。例えば、５．１サラウンドモードでオーディオ信号が伝えられる時、チャンネルの数は、図１７に示すように各チャンネルに割当てられる。しかし、本発明は、これに限定されず、５.１チャンネル以上の多重チャンネルモードに拡大適用される。この時、チャンネル数調整動作は、データ選択動作及び帯域除去動作の属性として具現されることもある。

図２２は、チャンネル数調整動作に対する本発明による実施例を示す図面である。
もし、チャンネル数調整動作がデータ選択動作の属性として具現されれば、チャンネル数調整動作は、例えば、図２２のように表現される。ここで、ネットワークの最初可用帯域幅は１２８ｋｂｐｓであり、可用帯域幅が、例えば９０ｋｂｐｓに狭くなる時に信号処理部１２でデータ選択動作が行われ、可用帯域幅が、例えば５４ｋｂｐｓに狭くなる時に信号処理部１２でチャンネル数調整動作が行われると仮定する。

以下、本発明の理解を助けるために、ＭＰＥＧ−２１ ＤＩＡに適用される本発明によるオーディオ信号処理装置及び方法に対する他の態様を添付された図面を参照して次のように説明する。ここで、チャンネル数調整動作、データ選択動作及び帯域除去動作をChannel Dropping、Scalable Audio及びSpectral Band Reductionで各々表記する。

図２３は、ＭＰＥＧ−２１ ＤＩＡツールの編成を示す図面である。
図２３に示すように、ＭＰＥＧ−２１ ＤＩＡのツールには３種類がある。ここで、本発明によるオーディオ信号処理装置及び方法は、図２３に示す編成で端末及びネットワークサービス質（ＱｏＳ：Quality of Service）１０００に適用される。

図２４は、非特許文献１及び非特許文献２に採択されたデータ選択動作の内容を示す図面である。ここで、termIDは、分類表に基づいた項目の番号を表す。
もし、ネットワーク情報がｋｂｐｓの単位を有する可用帯域幅であり、端末情報がミリ秒の単位を有する端末のデータ処理能力であり、音質は平均意見点数（ＭＯＳ：Mean Opinion Score）によって信号対雑音比で表現されるとする時、信号処理部１２で行われるデータ選択動作は、図２４に示すように表現されることもある。
図２５は、非特許文献１及び非特許文献２に採択されたチャンネル数調整動作の内容を示す図面である。

例えば、オーディオ信号が５.１サラウンドモードで伝えられ、端末の端末はステレオモードだけを支援できる時、チャンネル数調整動作によって信号処理部１２で減少されるチャンネルの数は‘４’に設定され、チャンネル形態は‘Ｌ’、‘Ｒ’または‘Ｓ’に設定される。ここで、‘Ｌ’、‘Ｒ’及び‘Ｓ’は、左側、右側及びサラウンドチャンネルを各々意味する。または、オーディオ信号がステレオモードで伝えられる時、減少されるチャンネルの数は‘１’に設定され、チャンネルの形態はモノを意味する‘Ｍ’に設定される。チャンネル数調整動作は、図２５に示すように表現される。

図２６は、非特許文献１及び非特許文献２に採択された帯域除去動作の内容を示す図面である。
例えば、帯域除去動作は、図２６に示すように表現される。

以下、前述した本発明によるオーディオ信号処理装置と方法及び記録媒体で利用されるテーブルの本発明による実施例について添付された図面を参照して次のように説明する。ここで、ネットワークは、ＣＤＭＡ２０００ １ｘと仮定する。

図２７は、一般的なストリーミングシステムの概略的な外観を示す図面であって、サーバ１１００、スイッチングハブ１１０２及び１１１２、ルータ１１０４及び１１０８、制御部１１０６及び１１１０、端末１１１４及びネットワーク１１１６で構成される。
図２７に示すサーバ１１００は、図１に示す装置を含むことができ、端末１１１４は、スイッチングハブ１１１２を通じてネットワーク１１１６と連結されている。この時、ネットワーク１１１６が図２に示すような可用帯域幅を有する場合、サーバ１１００がダミーパケットを発生して端末１１１４に送り、ダミーパケットのビット率は４ｋｂｐｓから８６ｋｂｐｓまで変わり、サーバ１１００でデータ選択動作によって処理されるオーディオ信号はＭＰＥＧ−４ ＢＳＡＣビットストリームであり、データ選択動作によって処理されていないオーディオ信号はＡＡＣビットストリームと仮定する。この時、オーディオ信号の種類は、ポップ、ニュース及びクラシック音楽と仮定する。ここで、ＢＳＡＣの最上位層は、ＣＤＭＡ２０００ １ｘの可用帯域幅の最大値、例えば８６ｋｂｐｓを提供するために生成され、ＢＳＡＣの下位層はチャンネル当り１ｋｂｐｓのステップサイズのＦＧＳ階層性を有し、ＡＡＣは８６ｋｂｐｓに符号化されると仮定する。

この場合、可用帯域幅が経時的に変わっても端末１１１４で再生する間にバッファリング時間なしにＢＳＡＣをストリーミングできる。一方、ＡＡＣの場合には、インターラプトが頻繁に発生する。信号処理部１２で行われるデータ選択動作によるショートのないデータの再生は、音質の損失のお陰で可能となる。

図２８は、ＯＤＧを利用して表現された音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面であって、横軸はデータ選択動作によって除去される層数＃を表し、縦軸はＯＤＧを各々表す。
図２９は、ＤＩを利用して表現された音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面であって、横軸はデータ選択動作によって除去される層数＃を表し、縦軸はＤＩを各々表す。

図２８及び図２９各々で、■マークはニュースに当り、◆マークはポップに当り、▲マークはクラシック音楽に当る。
図２８及び図２９に示すグラフは、一種のテーブルと見られる。例えば、図２８または図２９に示すグラフで表現されるテーブルは、ネットワーク情報及び端末情報のうち少なくとも一つ、ＯＤＧ及び／またはＤＩとして表現される音質及び＃を相互マッチングさせて記録する。図２８または図２９に示すグラフを通じて、図５または図６に示す処理量決定部８２または１０４は、オーディオ信号を処理する処理量を決定できる。例えば、動作決定部６２の動作種類選択部８０または１０２で動作の種類がデータ選択動作で決定された場合、処理量決定部８２または１０４は、ＩＮ８を通じてネットワーク情報及び端末情報のうち少なくとも一つを入力し、入力したネットワーク情報及び端末情報のうち少なくとも一つにマッチングする音質に当る図２８または図２９に各々示すＯＤＧまたはＤＩ値をテーブルで探す。この時、処理量決定部８２または１０４は、探されたＯＤＧまたはＤＩ値とマッチングされる＃を図２８または図２９で処理量として探す。

この時、主処理部６０は、処理量決定部８２または１０４で決定された処理量＃だけオーディオ信号の上位層を除去すればよい。この時、処理量決定部８２または１０４は、処理量を決定する時、オーディオ信号の種類がニュースか、ポップか、クラシック音楽かを考慮できる。

図３０は、ＯＤＧを利用して表現されたニュースに対する音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面であって、横軸はネットワークの可用帯域幅をｋｂｐｓで表し、縦軸はＯＤＧを各々表す。
図３１は、ＯＤＧを利用して表現されたポップ音楽に対する音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面であって、横軸はネットワークの可用帯域幅をｋｂｐｓで表し、縦軸はＯＤＧを各々表す。
図３０及び図３１各々で、信号処理部１２でデータ選択動作だけを利用してオーディオ信号を処理する場合に予想される音質は■マークとして表記し、データ選択動作とチャンネル数調整動作ともを使用してオーディオ信号を処理する場合に予想されるオーディオ信号の音質は◆マークとして表記する。

図３０及び図３１に示すグラフは、一種のテーブルと見られる。例えば、図３０または図３１に示すグラフで表現されるテーブルは、ネットワーク情報である可用帯域幅、信号情報である音楽の種類及びＯＤＧで表現される音質を相互マッチングさせつつ記録する。図３０または図３１に示すグラフを通じて、図４に示す動作決定部６２は、オーディオ信号を処理する動作の種類を決定できる。この時、動作決定部６２は、入力端子ＩＮ７を通じて図３０及び／または図３１に示すグラフに当るテーブルを入力することもあり、入力端子ＩＮ５を通じて入力したネットワーク情報及び端末情報のうち少なくとも一つと入力端子ＩＮ６を通じて入力したオーディオ信号とを利用して図３０及び／または図３１に示すグラフに当るテーブルを生成することもある。

まず、動作決定部６２は、入力端子ＩＮ６を通じて入力した信号情報を通じてオーディオ信号がニュースかポップ音楽かを検査する。もし、オーディオ信号がニュースであると認識されれば、動作決定部６２は、図３０に示すグラフを利用してオーディオ信号を処理する動作の種類を決定できる。しかし、オーディオ信号がポップ音楽であると認識されれば、動作決定部６２は、図３１に示すグラフを利用してオーディオ信号を処理する動作の種類を決定できる。このように、オーディオ信号の種類によって参照するグラフが決定される場合、動作決定部６２は、入力端子ＩＮ５を通じて入力したネットワーク情報である可用帯域幅が図３０または図３１に示す可用帯域幅の範囲（Ａ、Ｂ、Ｃ及びＤ）または（Ｅ、Ｆ、Ｇ及びＨ）でいかなる範囲に属するかを判断する。

もし、入力端子ＩＮ５を通じて入力された可用帯域幅が図３０または図３１に示す範囲ＡまたはＥに属すると認識されれば、範囲ＡまたはＥに◆マークだけが存在するので、動作決定部６２は、オーディオ信号を処理する動作の種類をデータ選択動作とチャンネル数調整動作とで決定する。しかし、入力端子ＩＮ５を通じて入力された可用帯域幅が図３０または図３１に示す範囲ＤまたはＨに属すると認識されれば、範囲ＤまたはＨに■マークだけが存在するので、動作決定部６２は、オーディオ信号を処理する動作の種類をデータ選択動作で決定する。

しかし、入力端子ＩＮ５を通じて入力された可用帯域幅が範囲Ｂ，Ｃ，ＦまたはＧに属すると認識されれば、範囲Ｂ，Ｃ，ＦまたはＧに■マークと◆マークとが全て存在するので、動作決定部６２は、■マークと◆マークのうち音質を表現するＯＤＧを最大化させるものを選択する。例えば、可用帯域幅が範囲Ｂに属する場合、同じ可用帯域幅で■マークが◆マークより高いＯＤＧ、すなわち、高い音質を提供するため、動作決定部６２は、オーディオ信号を処理する動作の種類をデータ選択動作だけで決定する。しかし、可用帯域幅が範囲Ｃ，ＦまたはＧに属する場合、同じ可用帯域幅で◆マークが■マークより高いＯＤＧ、すなわち、高い音質を提供するため、動作決定部６２は、オーディオ信号を処理する動作の種類をデータ選択動作とチャンネル数調整動作とも使用するものとして決定する。この時、主処理部６０は、動作決定部６２で決定された動作でオーディオ信号を処理する。

図３２は、ＸＭＬとして表現されたテーブルの本発明による実施例をＭＰＥＧ−２１で使用する言語で表す図面であって、ネットワーク情報である可用帯域幅BANDWIDTH領域１２００、データ選択動作SCALABLE＿AUDIO領域１２０２、チャンネル数調整動作領域１２０４及び１２０６及び音質領域１２０８で構成される。

図３２に示す可用帯域幅領域１２００はフロートベクトルで可用帯域幅値を表現し、データ選択動作領域１２０２は整数ベクトルで除去される上位層の数を表現し、チャンネル数調整領域１２０４は整数ベクトルで減少されるチャンネルの数を表現し、チャンネル数調整領域１２０６はチャンネル形態を表現し、音質領域１２０８はフロートベクトルでＯＤＧによって音質を表現した。この時、チャンネル形態で、Ｍ、Ｌ及びＲは、チャンネルのモノ、右側及び左側を各々表す。

図３２に示すテーブルで、可用帯域幅、データ選択動作の処理量、チャンネル数調整動作の処理量、音質の各値は、相互マッチングされている。例えば、可用帯域幅が‘１６’である場合、‘１６’の可用帯域幅はデータ選択動作の処理量‘２７’とマッチングされ１３００、処理量‘２７’は減少されるチャンネルの数‘１’とマッチングされ１３０２、減少されるチャンネルの数‘１’はモノチャンネル形式Ｍとマッチングされ１３０４、モノチャンネル形式Ｍは‘−３.８６’という音質とマッチングされる１３０６。

以下、端末の端末の種類はＰＣであり、端末情報は端末のデータ処理能力であり、チャンネル当り６４ｋｂｐｓのビット率を有するビットストリームであるＢＳＡＣの上位層が端末に提供される時、端末のデータ処理能力を一種のソフトウェアであるEntrekToolboxを利用して計算する場合、テーブルの他の例を添付された図面を参照して次のように説明する。

図３３は、テーブルの他の表現であるグラフの本発明による実施例を示す図面であって、横軸はデータ選択動作によって除去される層数＃を表し、縦軸は端末のデータ処理能力（ＣＰＵ）を百分率（％）で表す。ここで、◆マークはオーディオ信号がモノである場合を表し、■マークはオーディオ信号がステレオである場合を各々表す。

図３３に示すグラフは、一種のテーブルと見られる。例えば、図３３に示すグラフで表現されるテーブルは、端末情報である端末であるデータ処理能力（ＣＰＵ％）、信号情報であるオーディオ信号の種類及び＃を相互マッチングさせつつ記録する。例えば、オーディオ信号を処理する動作の種類が動作種類選択部８０または１０２でデータ選択動作で決定された場合、図３３に示すグラフを通じて、図５または図６に示す処理量決定部８２または１０４は、処理量＃を決定できる。例えば、処理量決定部８２または１０４は、ＩＮ８を通じて端末情報を入力し、入力した端末情報である端末のデータ処理能力にマッチングする＃をテーブルで探す。この時、処理量決定部８２または１０４は、探された処理量＃を主処理部６０に出力する。この時、主処理部６０は、処理量決定部８２または１０４で探された処理量＃だけオーディオ信号の上位層を除去すればよい。この場合、処理量決定部８２または１０４は、処理量を決定する時、オーディオ信号の種類がモノであるか、ステレオであるか、または多重チャンネルであるかを考慮できる。

以下、信号処理部１２で行われるデータ選択動作で上位データを層単位ではなくビット単位に除去する場合、前述した本発明によるオーディオ信号処理装置及び方法とその記録媒体について次のように説明する。

本発明によれば、包括的ビットストリーム技術（ｇＢＳＤ：generic Bitstream Descriptions）は、ＭＰＥＧ−４オーディオＢＳＡＣに適用される。この時、ビットスライス演算符号化（ＢＳＡＣ）されたオーディオ信号は、前述したようにデータ選択動作によって処理される。この場合、オーディオ信号の全ての上位層は、ビット単位に完全に除去されるが、基本的な層の長さは変わらない。ここで、変わらない長さは、デコーディング過程で必要な情報を提供するため、データ選択動作が行われる間に更新される必要がある。また、ＢＳＡＣで圧縮されたオーディオ信号は、データ選択動作が行われる時に変わらないヘッダで始まる。

図３４は、ＢＳＡＣにｇＢＳＤを適用した一実施例をＭＰＥＧ−２１で使用する言語で示す図面であり、図３５は、ＢＳＡＣにｇＢＳＤを適用した他の実施例をＭＰＥＧ−２１で使用する言語で示す図面である。

図３４または図３５を参照すれば、ビットストリームの描写がどのように相互類似しているかが分かり、フレームは絶対モードでアドレスされ、層は相対モードでアドレスされる。“ビット率”という表示子を有するサブユニットに上位層がリストされる。したがって、データ選択動作を行う時、表示子を利用して削除される上位層が確認される。

ビットストリーム、すなわち、圧縮されたオーディオ信号を処理する時、サンプリング周波数、チャンネルの数及びウィンドウ長さは、これ以上不要であり、データ選択動作で除去される上位データの数及び／または番号だけが必要である。上位層の相対的なサイズで表示すオフセットによってフレームが削除され、パラメータ（frame＿size及びtop＿layer）が適合になる。この場合、本発明によれば、データ選択動作で上位データをビット単位に除去する時、除去された部分の境界が層の境界と一致する場合に音質が改善される。

本発明はオーディオ信号を処理する装置やソフトウェア、オーディオ信号を有無線に供給するサービスシステムや装置に利用できる。

本発明によるオーディオ信号処理装置のブロック図である。 ネットワークの可用帯域幅を例示的に示すグラフである。 図１に示す主処理部の本発明による望ましい実施例のブロック図である。 図１に示す信号処理部の本発明による他の実施例のブロック図である。 図４に示す動作決定部の本発明による一実施例のブロック図である。 図４に示す動作決定部の本発明による他の実施例のブロック図である。 本発明によるオーディオ信号処理方法を説明するためのフローチャートである。 図７に示す第５０２段階に対する本発明による実施例を説明するためのフローチャートである。 図７に示す第５０２段階に対する本発明による他の実施例を説明するためのフローチャートである。 図７に示す第５０２段階に対する本発明によるさらに他の実施例を説明するためのフローチャートである。 図１０に示す第８０４段階に対する本発明による実施例を説明するためのフローチャートである。 オーディオ信号処理方法に対する文法の本発明による実施例を示す図面である。 オーディオ信号処理方法に対する意味の本発明による実施例を示す図面である オーディオ信号処理方法に対する文法の本発明による他の実施例を示す図面である。 オーディオ信号処理方法に対する意味の本発明による他の実施例を示す図面である。 チャンネル数調整動作の文法に対する本発明による実施例を示す図面である。 チャンネル数調整動作の意味に対する本発明による実施例を示す図面である。 帯域除去動作の文法に対する本発明による実施例を示す図面である。 帯域除去動作の意味に対する本発明による実施例を示す図面である。 データ選択動作の文法に対する本発明による実施例を示す図面である。 データ選択動作の意味に対する本発明による実施例を示す図面である。 チャンネル数調整動作に対する本発明による実施例を示す図面である。 ＭＰＥＧ−２１ ＤＩＡツールの編成を示す図面である。 データ選択動作の内容を例示的に示す図面である。 チャンネル数調整動作の内容を例示的に示す図面である。 帯域除去動作の内容を例示的に示す図面である。 一般的なストリーミングシステムの概略的な外観を示す図面である。 ＯＤＧを利用して表現された音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面である。 ＤＩを利用して表現された音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面である。 ＯＤＧを利用して表現されたニュースに対する音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面である。 ＯＤＧを利用して表現されたポップ音楽に対する音質を含むテーブルの他の表現であるグラフの本発明による実施例を示す図面である。 ＸＭＬとして表現されたテーブルの本発明による実施例を示す図面である。 テーブルの他の表現であるグラフの本発明による実施例を示す図面である。 ＢＳＡＣにｇＢＳＤを適用した一実施例を示す図面である。 ＢＳＡＣにｇＢＳＤを適用した他の実施例を示す図面である。

符号の説明

１０ 入力部
１２ 信号処理部
１４ 出力部
２０ 主処理部

Claims (59)

1. ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置において、
   前記オーディオ信号を入力する入力部と、
   ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して、前記入力部から入力したオーディオ信号を処理する信号処理部と、を備え、
   前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であることを特徴とするオーディオ信号処理装置。
2. 前記オーディオ信号処理装置は、
   前記処理されたオーディオ信号をストリーミングする出力部をさらに備えることを特徴とする請求項１に記載のオーディオ信号処理装置。
3. 前記信号処理部は、
   前記オーディオ信号のチャンネルの数を調整するチャンネル数調整動作、前記オーディオ信号に含まれたデータのうち一部だけを選択するデータ選択動作及び前記オーディオ信号の高周波成分を除去する帯域除去動作のうち少なくとも一つを前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して前記オーディオ信号の処理として行う主処理部を備えることを特徴とする請求項１に記載のオーディオ信号処理装置。
4. 前記ネットワーク情報は前記ネットワークの状態を含み、前記端末情報は前記端末の能力、種類及び状態のうち少なくとも一つを含み、前記信号情報は前記オーディオ信号のビット率を含むことを特徴とする請求項３に記載のオーディオ信号処理装置。
5. 前記ネットワークの状態は、前記ネットワークの可用帯域幅、前記ネットワークの静的能力及び前記ネットワークの時変条件のうち少なくとも一つを含み、
   前記端末情報は、前記端末の許容ビット率、前記端末のデータ処理能力、前記端末の電力に関する情報、前記端末の記録能力に関する情報及び前記端末の種類のうち少なくとも一つを含み、
   前記信号情報は、前記オーディオ信号の種類をさらに含むことを特徴とする請求項４に記載のオーディオ信号処理装置。
6. 前記主処理部は、
   前記入力部から圧縮されたオーディオ信号を入力して前記データ選択動作を行うことを特徴とする請求項３に記載のオーディオ信号処理装置。
7. 前記圧縮されたオーディオ信号は、階層性を有するビットストリームを含むことを特徴とする請求項６に記載のオーディオ信号処理装置。
8. 前記圧縮されたオーディオ信号は、ＢＳＡＣビットストリーム及びＡＡＣビットストリームのうち少なくとも一つを含むことを特徴とする請求項７に記載のオーディオ信号処理装置。
9. 前記主処理部は、
   前記入力部から圧縮されるか、または圧縮されていないオーディオ信号を入力して前記チャンネル数調整動作及び前記帯域除去動作各々を行うことを特徴とする請求項３に記載のオーディオ信号処理装置。
10. 前記主処理部は、
    前記データ選択動作を行う時、前記データのうち一部だけをビット単位に選択することを特徴とする請求項３に記載のオーディオ信号処理装置。
11. 前記主処理部は、
    前記データ選択動作を行う時、前記データのうち一部を層単位に選択することを特徴とする請求項３に記載のオーディオ信号処理装置。
12. 前記主処理部は、
    前記信号情報と前記ネットワーク情報とを比較する第１比較部と、
    前記信号情報と前記端末情報とを比較する第２比較部と、
    前記入力部から入力した前記オーディオ信号を前記第１及び前記第２比較部で比較された結果に応答して処理する従処理部と、を備えることを特徴とする請求項３に記載のオーディオ信号処理装置。
13. 前記信号処理部は、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して、前記データ選択動作を行う時、前記データの下位部分を前記一部分として選択することを特徴とする請求項３に記載のオーディオ信号処理装置。
14. 前記信号処理部は、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して、前記チャンネル数調整動作を行う時、前記オーディオ信号のチャンネルの数を減少させて調整することを特徴とする請求項３に記載のオーディオ信号処理装置。
15. 前記信号処理部は、
    前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応する動作を決定する動作決定部をさらに備え、
    前記主処理部は、前記動作決定部で決定された動作で前記オーディオ信号を処理することを特徴とする請求項３に記載のオーディオ信号処理装置。
16. 前記動作決定部は、
    前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、音質及び前記入力部から入力されたオーディオ信号に含まれた付加情報のうち少なくとも一つを満足させる動作を決定することを特徴とする請求項１５に記載のオーディオ信号処理装置。
17. 前記付加情報は、ユーザの選好度及びメタデータのうち少なくとも一つに当ることを特徴とする請求項１６に記載のオーディオ信号処理装置。
18. 前記動作決定部は、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせるテーブルを利用して前記動作を選択する動作種類選択部を備えることを特徴とする請求項１５に記載のオーディオ信号処理装置。
19. 前記動作決定部は、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つと前記音質及び前記付加情報のうち少なくとも一つとを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせるテーブルを利用して前記動作を選択する動作種類選択部を備えることを特徴とする請求項１６に記載のオーディオ信号処理装置。
20. 前記音質を含むテーブルは、客観的な差等級と歪曲インデックスのうち少なくとも一つを利用して決定されることを特徴とする請求項１９に記載のオーディオ信号処理装置。
21. 高い前記音質を含むテーブルは前記客観的な差等級を利用して決定され、高くない前記音質を含むテーブルは前記歪曲インデックスを利用して決定されることを特徴とする請求項２０に記載のオーディオ信号処理装置。
22. 前記音質を含むテーブルは、音質鮮明度、音相幅情報及び音質明瞭度のうち少なくとも一つを利用して決定され、
    前記音質鮮明度は前記オーディオ信号の周波数と関連し、前記音相幅情報は音源位置による音質と関連し、前記音質明瞭度は前記歪曲雑音と関連することを特徴とする請求項１９に記載のオーディオ信号処理装置。
23. 前記音質鮮明度、前記音相幅情報及び前記音質明瞭度は、主観的な評価法を利用して求められることを特徴とする請求項２２に記載のオーディオ信号処理装置。
24. 前記主観的な評価法は、隠し参照及びアンカーを有するマルチ刺激テストであることを特徴とする請求項２３に記載のオーディオ信号処理装置。
25. 前記主観的な評価法は、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＢＳ.１１１６であることを特徴とする請求項２３に記載のオーディオ信号処理装置。
26. 前記音質鮮明度と音質明瞭度とは、客観的な評価法を利用して区分されることを特徴とする請求項２２に記載のオーディオ信号処理装置。
27. 前記客観的な評価法は、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＢＳ.１３８７であることを特徴とする請求項２６に記載のオーディオ信号処理装置。。
28. 前記動作決定部は、
    前記チャンネル数調整動作で調整される前記チャンネルの数、前記データ選択動作で選択されるデータの量、前記帯域除去動作で除去される前記オーディオ信号の高周波成分の量のうち少なくとも一つである処理量を前記ネットワーク情報及び前記端末情報のうち少なくとも一つにマッピングさせる前記テーブルを利用して前記処理量を決定する処理量決定部をさらに備え、
    前記主処理部は、前記処理量決定部で決定された前記処理量で前記オーディオ信号を処理することを特徴とする請求項１８に記載のオーディオ信号処理装置。
29. 前記動作決定部は、
    前記チャンネル数調整動作で調整される前記チャンネルの数、前記データ選択動作で選択されるデータの量及び前記帯域除去動作で除去される前記オーディオ信号の高周波成分の量のうち少なくとも一つである処理量を前記ネットワーク情報及び前記端末情報のうち少なくとも一つにマッピングさせる前記テーブルを利用して前記処理量を決定する処理量決定部をさらに備え、
    前記主処理部は、前記処理量決定部で決定された前記処理量で前記オーディオ信号を処理することを特徴とする請求項１９に記載のオーディオ信号処理装置。
30. 前記処理量決定部は、
    前記オーディオ信号の種類を検査し、検査された結果と前記テーブルとを利用して前記処理量を決定することを特徴とする請求項２９に記載のオーディオ信号処理装置。
31. 前記動作決定部は、
    前記ネットワーク情報と前記端末情報のうち少なくとも一つと前記入力部から入力されたオーディオ信号とを利用して前記テーブルを生成し、生成された前記テーブルを前記動作種類選択部に出力するテーブル生成部をさらに備えることを特徴とする請求項１８、１９、２８または２９に記載のオーディオ信号処理装置。
32. 前記テーブル生成部は、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＢＳ.１３８７を利用して前記ネットワーク情報と前記端末情報のうち少なくとも一つと前記オーディオ信号とから前記テーブルを生成することを特徴とする請求項３１に記載のオーディオ信号処理装置。
33. 前記オーディオ信号処理装置は、ＭＰＥＧ−２１に適用されることを特徴とする請求項１に記載のオーディオ信号処理装置。
34. ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理方法において、
    前記オーディオ信号を入力する段階と、
    ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して前記オーディオ信号を処理する段階と、を備え、
    前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であることを特徴とするオーディオ信号処理方法。
35. 前記オーディオ信号処理方法は、
    前記処理されたオーディオ信号をストリーミングする段階をさらに備えることを特徴とする請求項３４に記載のオーディオ信号処理方法。
36. 前記オーディオ信号を処理する段階は、
    前記オーディオ信号のチャンネルの数を調整するチャンネル数調整動作、前記オーディオ信号に含まれたデータのうち一部だけを選択するデータ選択動作及び前記オーディオ信号の高周波成分を除去する帯域除去動作のうち少なくとも一つの動作を前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して行う段階を備えることを特徴とする請求項３４に記載のオーディオ信号処理方法。
37. 前記オーディオ信号を処理する段階は、
    前記信号情報に当る前記オーディオ信号のビット率が前記端末情報に当る前記端末の許容ビット率より低いかを判断する段階と、
    前記オーディオ信号のビット率が前記許容ビット率より低いと判断されれば、前記オーディオ信号のビット率が前記ネットワーク情報に当る前記ネットワークの可用帯域幅より高いかを判断する段階と、
    前記オーディオ信号のビット率が前記許容ビット率より低くないか、または前記可用帯域幅より高いと判断されれば、前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つを行う段階と、を備えることを特徴とする請求項３６に記載のオーディオ信号処理方法。
38. 前記オーディオ信号を処理する段階は、
    前記信号情報に当る前記オーディオ信号のビット率が前記端末情報に当る前記端末の許容ビット率より低いかを判断する段階と、
    前記オーディオ信号のビット率が前記許容ビット率より低いと判断されれば、前記オーディオ信号のビット率が前記ネットワーク情報に当る前記ネットワークの可用帯域幅より高いかを判断する段階と、
    前記オーディオ信号のビット率が前記可用帯域幅より高いと判断されるか、またはオーディオ信号のビット率が許容ビット率より低くないと判断されれば、前記チャンネル数調整動作を行う段階と、
    前記チャンネル数調整動作によって処理されたオーディオ信号のビット率が前記可用帯域幅より高いかを判断する段階と、
    前記チャンネル数調整動作によって処理されたオーディオ信号のビット率が前記可用帯域幅より高いと判断されれば、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つを行う段階と、を備えることを特徴とする請求項３６に記載のオーディオ信号処理方法。
39. 前記オーディオ信号を処理する段階は、
    テーブルを通じて前記動作のうち少なくとも一つに当る動作を決定する段階と、
    前記決定された動作で前記オーディオ信号を処理する段階と、を備え、
    前記テーブルは、前記ネットワーク情報及び前記端末情報のうち少なくとも一つを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせることを特徴とする請求項３６に記載のオーディオ信号処理方法。
40. 前記オーディオ信号を処理する段階は、
    前記ネットワーク情報と前記端末情報のうち少なくとも一つと前記オーディオ信号とを利用して前記テーブルを生成する段階をさらに備えることを特徴とする請求項３９に記載のオーディオ信号処理方法。
41. 前記テーブルは、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つと前記端末の音質及び前記付加情報のうち少なくとも一つとを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせることを特徴とする請求項３９に記載のオーディオ信号処理方法。
42. 前記テーブルは、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つと前記端末の音質及び前記付加情報のうち少なくとも一つとを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせることを特徴とする請求項４０に記載のオーディオ信号処理方法。
43. 前記テーブルは、前記チャンネル数調整動作で調整される前記チャンネルの数、前記データ選択動作で選択されるデータの量及び前記帯域除去動作で除去される前記オーディオ信号の高周波成分の量のうち少なくとも一つの処理量を前記ネットワーク情報及び前記端末情報のうち少なくとも一つにマッピングさせ、
    前記オーディオ信号を処理する段階は、前記処理量で前記オーディオ信号を処理することを特徴とする請求項３９、４０、４１または４２に記載のオーディオ信号処理方法。
44. 前記オーディオ信号を処理する段階は、
    前記オーディオ信号の種類をチェックする段階と、
    前記チェックされた結果と前記テーブルとを利用して前記処理量を決定する段階と、
    前記決定された処理量で前記オーディオ信号を処理する段階と、を備えることを特徴とする請求項４３に記載のオーディオ信号処理方法。
45. ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置を制御する少なくとも一つのプログラムを記録したコンピュータ読取可能な記録媒体において、
    前記オーディオ信号を入力させる段階と、
    ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して前記オーディオ信号を処理させる段階と、を行うためのプログラムを記録し、
    前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であることを特徴とするコンピュータ読取可能な記録媒体。
46. 前記記録媒体は、
    前記処理されたオーディオ信号をストリーミングする段階をさらに行うためのプログラムを記録することを特徴とする請求項４５に記載のコンピュータ読取可能な記録媒体。
47. 前記オーディオ信号を処理させる段階は、
    前記オーディオ信号のチャンネルの数を調整するチャンネル数調整動作、前記オーディオ信号に含まれたデータのうち一部だけを選択するデータ選択動作及び前記オーディオ信号の高周波成分を除去する帯域除去動作のうち少なくとも一つの動作を前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応して行わせる段階を行うことを特徴とする請求項４５に記載のコンピュータ読取可能な記録媒体。
48. 前記オーディオ信号を処理させる段階は、
    前記信号情報に当る前記オーディオ信号のビット率が前記端末情報に当る前記端末の許容ビット率より低いかを判断する段階と、
    前記オーディオ信号のビット率が前記許容ビット率より低いと判断されれば、前記オーディオ信号のビット率が前記ネットワーク情報に当る前記ネットワークの可用帯域幅より高いかを判断する段階と、
    前記オーディオ信号のビット率が前記許容ビット率より低くないか、または前記可用帯域幅より高いと判断されれば、前記動作のうち少なくとも一つを行わせる段階と、を行うことを特徴とする請求項４７に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
49. 前記オーディオ信号を処理させる段階は、
    前記信号情報に当る前記オーディオ信号のビット率が前記端末情報に当る前記端末の許容ビット率より低いかを判断する段階と、
    前記オーディオ信号のビット率が前記許容ビット率より低いと判断されれば、前記オーディオ信号のビット率が前記ネットワーク情報に当る前記ネットワークの可用帯域幅より高いかを判断する段階と、
    前記オーディオ信号のビット率が前記可用帯域幅より高いと判断されるか、または前記オーディオ信号のビット率が前記許容ビット率より低くないと判断されれば、前記チャンネル数調整動作を行わせる段階と、
    前記チャンネル数調整動作によって処理されたオーディオ信号のビット率が前記可用帯域幅より高いかを判断する段階と、
    前記チャンネル数調整動作によって処理されたオーディオ信号のビット率が前記可用帯域幅より高いと判断されれば、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つを行わせる段階と、を行うことを特徴とする請求項４７に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
50. 前記オーディオ信号を処理させる段階は、
    テーブルを通じて前記動作のうち少なくとも一つに当る動作を決定する段階と、
    前記決定された動作で前記オーディオ信号を処理させる段階を行い、
    前記テーブルは、前記ネットワーク情報及び前記端末情報のうち少なくとも一つを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせることを特徴とする請求項４７に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
51. 前記オーディオ信号を処理する段階は、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つと前記オーディオ信号とを利用して前記テーブルを生成させる段階をさらに行うことを特徴とする請求項５０に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
52. 前記テーブルは、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つと前記端末の音質及び前記付加情報のうち少なくとも一つとを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせることを特徴とする請求項５０に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
53. 前記テーブルは、
    前記ネットワーク情報及び前記端末情報のうち少なくとも一つと前記端末の音質及び前記付加情報のうち少なくとも一つとを前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち少なくとも一つに当る動作にマッピングさせることを特徴とする請求項５１に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
54. 前記テーブルは、前記チャンネル数調整動作で調整される前記チャンネルの数、前記データ選択動作で選択されるデータの量及び前記帯域除去動作で除去される前記オーディオ信号の高周波成分の量のうち少なくとも一つの処理量を前記ネットワーク情報及び前記端末情報のうち少なくとも一つにマッピングさせ、
    前記オーディオ信号を処理させる段階は、前記処理量で前記オーディオ信号を処理させることを特徴とする請求項５０、５１、５２、または５３に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
55. 前記オーディオ信号を処理させる段階は、
    前記オーディオ信号の種類をチェックさせる段階と、
    前記チェックされた結果と前記テーブルとを利用して前記処理量を決定させる段階と、
    前記決定された処理量で前記オーディオ信号を処理させる段階と、を行うことを特徴とする請求項５４に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
56. ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理装置において、
    前記オーディオ信号を入力する入力部と、
    ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して、前記入力部から入力したオーディオ信号を処理する信号処理部と、を備え、
    前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であり、
    前記信号処理部は、前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応する動作を決定する動作決定部を備えることを特徴とするオーディオ信号処理装置。
57. 前記動作決定部は、
    前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、音質及び前記入力部から入力されたオーディオ信号に含まれた付加情報のうち少なくとも一つを満足させる動作を決定することを特徴とするオーディオ信号処理装置。
58. ネットワークと連結された端末が再生するオーディオ信号を処理するオーディオ信号処理方法において、
    前記オーディオ信号を入力する段階と、
    ネットワーク情報及び端末情報のうち少なくとも一つと信号情報とを利用して前記オーディオ信号を処理する段階と、を備え、
    前記ネットワーク情報は随時に変化する状態を有する前記ネットワークに関する情報であり、前記端末情報は随時に変化する状態を有する前記端末に関する情報であり、前記信号情報は前記オーディオ信号に関する情報であり、
    前記オーディオ信号処理する段階は、前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、前記ネットワーク情報及び前記端末情報のうち少なくとも一つに相応する動作を決定する段階を備えることを特徴とするオーディオ信号処理方法。
59. 前記動作を決定する段階は、
    前記チャンネル数調整動作、前記データ選択動作及び前記帯域除去動作のうち、音質及び前記入力部から入力されたオーディオ信号に含まれた付加情報のうち少なくとも一つを満足させる動作を決定することを特徴とするオーディオ信号処理方法。

Images