JP2008028700A - 音声信号処理装置、音声信号処理方法および音声信号処理プログラム - Google Patents

Abstract

【課題】複数の音源が混合するようにされた音声信号について、各音源についての情報を視覚を通じて認識できるようにすると共に、各音源を考慮した調整を行えるようにする。
【解決手段】音声信号処理部２により、２チャンネル以上の音声信号について、予め決められる周波数帯域毎で、かつ、予め決められる定位角度毎に、音量値（音量の大きさ）が調査する。システムコントローラ９は、この調査結果に基づいて、周波数と定位角度とを２つの軸とする２次元平面上に、音量値を表現する表示データを形成し、これを出力し、四角を通じて各音源についての情報を認識すると共に、目的とする音源が存在する範囲を指定して、音量の調整を行うなどのことができるようにされる。
【選択図】図４

Description

この発明は、或る角度に定位している音源の音声信号について音声信号処理を施すための装置、方法、プログラムに関する。

ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などに収録されるコンテンツや、ＴＶ（テレビジョン）放送番組などのコンテンツにおける音声信号には様々な種類の音源が含まれている。例えば、音楽を収録したコンテンツであれば、歌声や楽器の音などといった音源が含まれる。また、ＴＶ放送番組としてのコンテンツであれば、出演者の声や効果音、笑い声、拍手などといった音源が含まれる。

これらの音源は、収録時には別々のマイクロフォンにより収録することもあるが、その場合においても音声信号自体は最終的には２チャンネル（２ｃｈ）や５．１チャンネル（５．１ｃｈ）などの予め定められたチャンネル数に絞られることになる。このとき、ミキシング等が行われることで、それぞれの音源がそれぞれ対応する角度に定位するように調整されることになる。なお、この明細書においては、「チャンネル」という文言を上記カッコ内に示したように「ｃｈ」と略称して用いる場合がある。

なお、複数の音源が混合するようにされた音声信号から複数の音源の音声信号を分離して利用できるようにする技術については、以下の特許文献を挙げることができる。
特開２００６−１２１１５２号公報 特開２００６−０８０７０８号公報 特開２００６−０１４２２０号公報

ところで、上述したように、複数の音源が混合するようにされた音声信号を含むコンテンツが、再生装置やＴＶ受像機側などで再生（受信・復調）されると、その再生音声は、これに含まれる複数の音源の音声信号のそれぞれが、収録時に調整するようにされた定位角度を再現したかたちで得られるようになる。

しかしながら、ユーザの嗜好などにより、制作側で意図した音源の定位感が受け入れられない場合もある。また、或る角度に定位している或る周波数範囲の音源の音量を抽出する、或る角度に定位している或る周波数範囲の音源の音量を変更するなど、コンテンツの楽しみ方の幅を広げるような工夫も要請される。

以上のことにかんがみ、この発明は、複数の音源が混合するようにされた音声信号について、各音源についての情報を視覚を通じて認識できるようにすると共に、各音源を考慮した調整を行えるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の音声信号処理装置は、
２チャンネル以上の音声信号について、予め決められる各周波数帯域における予め決められる定位角度毎の音量値を調査する調査手段と、
前記調査手段からの調査結果に基づいて、周波数と定位角度とを２つの軸とする２次元平面上に、周波数帯域毎であって定位角度毎の音量値を表現する表示データを形成する形成手段と
を備えることを特徴とする。

この請求項１に記載の発明の音声信号処理装置によれば、調査手段により、２チャンネル以上の音声信号について、予め決められる各周波数帯域における予め決められる定位角度毎の音量値（音量の大きさ）が調査される。これにより、周波数帯域毎、定位角度毎に、どのような音量値の音源が存在するのかが把握される。そして、形成手段により、周波数と定位角度とを２つの軸とする２次元平面上に、音量値を表現する表示データが形成される。

これにより、形成手段により形成された表示データが用いられて、表示画面上に周波数帯域毎、定位角度毎に、どのような音量値の音源が存在するのかを示す表示を行うことができるようにされ、その状態をユーザが視覚を通じて迅速に認識し、正確に把握することができるようにされる。

また、請求項２に記載の発明の音声信号処理装置は、請求項１に記載の音声信号処理装置であって、
前記形成手段からの前記表示データに応じて表示される表示画像を通じて、前記音声信号においての指定範囲を指示するための操作入力を受け付ける指定範囲受付手段と、
前記指定範囲受付手段を通じて受け付けた前記操作入力に応じて指定するようにされる前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方についての音量の調整指示を受け付ける音量指示受付手段と、
前記音量指示受付手段を通じて受け付けた前記調整指示に応じて、前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方の音声信号についての音量調整を行う調整手段と
を備えることを特徴とする。

この請求項２に記載の発明の音声信号処理装置によれば、指定範囲受付手段により、ユーザからの音声信号においての指定範囲を指示するための操作入力が受け付けられる。この操作入力は、形成手段により形成された表示データに応じた表示画像を通じて行うようにされる。

また、音量指示受付手段により、前記指定範囲受付手段を通じて受け付けた操作入力に応じて指示するようにされた指定範囲内と指定範囲外の一方または両方について、音量の調整指示が受け付けられる。この音量の調整指示に応じて、調整手段により、指定範囲内の音声信号と指定範囲外の音声信号との一方または両方について、音量が調整される。

これにより、目的とする音源が存在する範囲を指定範囲として指定して、その指定範囲内の音声信号の音量を大きくしたり、また、指定範囲外の音声信号の音量を大きくして、臨場感を増やすようにしたり、あるいは、指定範囲内の音声信号と指定範囲外の音声信号との両方の音量を調整して、再生対象の音声信号に含まれる目的とする音源に注目して音量値の調整を行えるようにすることによって、再生対象の音声信号の音量を部分的に調整し、ユーザの好みの状態にして再生することができるなど、音量バランスを調整することができるようにされる。

この発明によれば、複数の音源が混合するようにされた音声信号について、各音源についての情報を視覚を通じて認識できるようにすることができる。これに基づき、各音源を考慮した音量の調整処理を行うことができ、コンテンツの楽しみ方の幅を広げることができる。

以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。

［第１の実施の形態］
以下に説明する第１の実施の形態においては、この発明による装置、方法、プログラムを音声信号の再生装置（以下、単に再生装置という。）に適用した場合を例にして説明する。そして、この第１の実施の形態の再生装置は、以下に詳述するように、複数の音源が混合するようにされた２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を２つの軸とした２次元平面上に表現する機能を有するものである。

図１は、この第１の実施の形態の再生装置１００を説明するためのブロック図である。図１に示すように、この第１の実施の形態の再生装置１００は、メディア再生部１、音声信号処理部２、Ｄ／Ａコンバータ（Digital/Analog Converter）３、システムコントローラ４、操作部５、コマンド受信部６、画面表示部７を備えると共に、リモートコマンダ１０を通じて遠隔制御することができるものである。

メディア再生部１は、例えばＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）、或いはブルーレイディスク（Blu-Ray Disc）などの光ディスク記録媒体や、ＭＤ（Mini Disc（登録商標））などの光磁気ディスク、ハードディスクなどの磁気ディスク、半導体メモリを内蔵した記録媒体など、所要の記録媒体に記録されている音声信号を読み出して再生することができるものである。

この場合、メディア再生部１が対応する記録媒体には、Ｌｃｈ（左チャンネル）とＲｃｈ（右チャンネル）とによる２系統の音声信号によるコンテンツが記録されているものとする。メディア再生部１で再生されたこれらＬｃｈ、Ｒｃｈの音声信号は、音声信号処理部２に供給される。

音声信号処理部２は、メディア再生部１からのＬｃｈとＲｃｈとの音声信号について、予め決められる各周波数帯域における定位角度毎の音量値を調査し、その調査結果を後述するシステムコントローラ４へと供給する。また、音声信号処理部２は、ＬｃｈとＲｃｈの音声信号を、再生用の音声信号Ｌｅｘと音声信号Ｒｅｘとして、Ｄ／Ａコンバータ３に供給する。

なお、音声信号処理部２において用いることが可能な、２ｃｈの音声信号から各周波数帯域における定位角度毎の音量値を調査する方法としては種々のものが知られているが、例えば、先に提出した特願２００５−３２７２３７（整理番号０５９０５２９００３）の手法を用いることが可能である。

上記の特願２００５−３２７２３７では、音声信号を周波数帯域分割処理により所定の周波数帯域毎に分割し（例えば、１１Ｈｚ幅で、４０００周波数帯域に分割し）、各々周波数帯域分割された音声信号の定位角度を調査することにより、或る角度に定位している音源の音声信号のみを抽出する、或いは消す、或いは音量を調整するなど、定位角度ごとに音源の調整を行う手法を提案した。この手法を用いる事で各周波数帯域における定位角度毎の音量値を調査する事が可能となる。

音声信号処理部２からＤ／Ａコンバータ３に供給さされた音声信号Ｌｅｘ、Ｒｅｘは、Ｄ／Ａコンバータ３にてＤ／Ａ変換が施され、アナログ信号とされたＬｃｈの音声信号、Ｒｃｈの音声信号として出力される。

システムコントローラ４は、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などの不揮発性メモリがＣＰＵバスを通じて接続されて形成されたマイクロコンピュータであり、この第１の実施の形態の再生装置１００の各部を制御するものである。

システムコントローラ４に対しては、図１に示したように、操作部５とコマンド受信部６と画面表示部７とが接続されている。操作部５は、当該再生装置１００の筐体外部に表出するようにして設けられた各種の操作子を備え、それらに対するユーザからの操作入力を受け付けて、受け付けた操作入力に応じたコマンド信号を形成し、これをシステムコントローラ４に供給することができるものである。

また、コマンド受信部６は、リモートコマンダ１０から発せられた例えば赤外線信号等に依るコマンド信号を受信し、これを電気信号に変換して、システムコントローラ４に供給する。リモートコマンダ１０上にも各種の操作子が設けられており、上述したように、コマンド受信部６は、これらリモートコマンダ１０上の操作子の操作に応じた赤外線などのコマンド信号を電気信号に変換してシステムコントローラ４に供給する。

システムコントローラ４は、操作部５またはコマンド受信部６からのコマンド信号に応じて、この第１の実施の形態の再生装置１００の各部を制御する。これによって再生装置１００ではユーザの操作入力に応じた動作が実行するようにされる。例えば、操作部５やリモートコマンダ１０にはメディア再生部１に装填された記録媒体に記録されているコンテンツについての再生指示を行うための操作子が備えられており、当該操作子に対する操作に応じたコマンド信号が入力されることに応じて、システムコントローラ４はメディア再生部１を制御してコンテンツの再生処理を開始させることができる。

さらに、この第１の実施の形態のシステムコントローラ４は、上述したように、音声信号処理部２からの予め決められる各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を画面表示部７の表示画面に表示させるためのデータを生成し、これを画面表示部７に供給する。

画面表示部７は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル、ＰＤＰ（Plasma Display Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子とそのコントロール回路とを備え、システムコントローラ４からの表示データの供給を受けて、これに応じて画像を表示素子の表示画面に表示させることができるものである。

したがって、この第１の実施の形態の再生装置１００は、操作部５やリモートコマンダ１０とコマンド受信部６を通じてメディア再生部１に装填された記録媒体に記録されている音声信号の再生が指示された場合には、システムコントローラ４は、メディア再生部１を制御して、目的とする音声信号を記録媒体から読み出し、音声信号処理部２、Ｄ/Ａコンバータ３を通じて再生するようにする。

そして、同時に、システムコントローラ４は、音声信号処理部２からの予め決められる各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を表示させるためのデータを形成し、これを画面表示部７に供給することにより、再生対象の音声信号に含まれる各音源についての情報を画面表示部７の表示画面に表示させることができるようにしている。

図２は、画面表示部７の表示画面に表示される再生対象の音声信号に含まれる各音源についての情報の表示例を説明するための図であり、具体的には、予め決められた各周波数帯域における定位角度毎に存在する音源についての音量値を色の明るさで表した場合の例である。そして、図２において、外枠は、画面表示部７の表示画面７Ｇを示している。そして、表示画面７Ｇには、再生対象の音声信号に含まれる各音源についての情報の表示領域である音量表示部７１が設けられる。

この第１の実施の形態において、画面表示部７の表示画面７Ｇに表示される音量表示部７１は、図２に示すように、横軸が各音源の音像の定位角度を、縦軸は周波数をそれぞれ示している。この第１の実施の形態においては、横軸の定位角度は、中央を０°（０度）として、左右に６０°（６０度）づつの１２０°（１２０度）の範囲を持っている。また、縦軸の周波数は、０Ｈｚ〜８０００Ｈｚの範囲を持っている。

そして、図２に示した例の場合、音量表示部７１において黒色の領域は音量が小さい成分の部分であり、白色の領域は音量が大きい成分の部分である。また、音量表示部７１において、上述もしたように、横軸は定位角度を表しており、左側に定位している音源の音声信号の音量値を左側に、右側に定位している音源の音声信号の音量値を右側に、中央に定位している音源の音声信号の音量値を中央に表すようにしている。また、音量表示部７１において、上述もしたように、縦軸は周波数を表しており、高周波帯域の音量値を上側に、低周波帯域の音量値を下側に、中周波帯域の音量値を中央に表すようにしている。

したがって、音量表示部７１において、右下の領域は右側に定位している低周波帯域の音量値を表す。すなわち、音量表示部７１において、横軸および縦軸および色の明るさという３つの要素を用いて定位角度および周波数および音量値の３つの成分を表している。また図２において、表示７２、７３、７４は、対応する周波数の値を示し、表示７５、７６、７７は、対応する定位角度の値を表している。

そして、図２の例の場合には、「０°」を中心にして、左右に６０°（±６０°）の範囲であって、周波数が４０００Ｈｚ以下の部分に、より特徴的には、左右に３０°（±３０°）の範囲であって、周波数が２０００Ｈｚ以下の部分に、音量値の大きな音源が存在していることが分かる。

次に、この発明による第１の実施の形態のソフトウェアでの実装例について説明する。図３は、この発明による第１の実施の形態の再生装置１００で行われる処理を説明するためのフローチャートであり、この発明をソフトウェアで実現するようにした場合の例にも対応するものである。

図３に示す処理は、操作部５やリモートコマンダ１０及びコマンド受信部６を通じて音声信号の再生指示を受け付け、メディア再生部１に装填された記録媒体に記録されている音声信号を再生するようにした場合に、音声信号処理部２とシステムコントローラ４と画面表示部７とが協働して実行する処理である。

まず、再生装置１００のシステムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号が、自機において処理可能な信号形式であるか否かを判定する（ステップＳ１０１）。例えば、再生対象の音声信号がＭＰ３(MPEG-1 Audio Layer 3)等の圧縮方式によって圧縮された信号である場合や、想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようにしている。

すなわち、ステップＳ１０１の判断処理において、肯定結果が得られると次のステップＳ１０３へ移るのに対し、ステップＳ１０１の判断処理において、否定結果が得られると、このことは音声信号処理部２が再生対象の音声信号に対して処理を実行することができないことを示しているので、ステップＳ１０２の処理に移ることになる。

したがって、ステップＳ１０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものではないと判断したときには、システムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号を処理可能な信号形式の音声信号に変換する（ステップＳ１０２）。

ステップＳ１０２の処理の後には、または、ステップＳ１０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものであると判断した場合には、システムコントローラ４は、音声信号処理部２を制御して、再生対象の音声信号から各周波数帯域における定位角度毎の音量値を調査するようにすると共に、再生対象の音声信号をＤ／Ａコンバータ３に供給して再生するようにする（ステップＳ１０３）。

この後、システムコントローラ４は、音声信号処理部２から、再生対象の音声信号についての各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を表示させるためのデータを形成し、これを画面表示部７に供給し、画面表示部７の表示画面７Ｇに表示される再生対象の音声信号に含まれる各音源についての情報を更新する（ステップＳ１０４）。

そして、システムコントローラ４は、続いて音声信号処理部２に入力される次の音声信号信号が存在するか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判断処理において肯定結果が得られた場合、このことは次に処理を行うべき音声信号が存在することを表しており、システムコントローラ４は、再度、ステップＳ１０１からの処理を繰り返すようにする。また、ステップＳ１０５の判断処理において否定結果が得られた場合、処理を行うべき対象が存在しないため、システムコントローラ４は、この図３に示した処理を終了する。

このように、この第１の実施の形態の再生装置１００は、２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を２つの軸とした２次元平面上に表現する機能を実現することができる。このように、２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を２つの軸とした２次元平面上に表現することにより、再生している音声信号の特性が容易に分かるようになる。

［第２の実施の形態］
次に、第２の実施の形態について説明する。この第２の実施の形態においても、上述した第１の実施の形態の場合と同様に、この発明による装置、方法、プログラムを音声信号の再生装置に適用した場合を例にして説明する。そして、以下に説明する第２の実施の形態の再生装置２００は、第１の実施の形態の再生装置１００を応用し、ユーザ操作により特定の周波数範囲および定位角度範囲を選択し、選択した範囲内と選択された範囲外との一方あるいは両方の音量値を調整することにより、音量バランスを調整することができるようにしたものである。

図４は、この第２の実施の形態の再生装置２００を説明するためのブロック図である。なお、この図４において、図１を用いて説明した第１の実施の形態の再生装置１００と同様に構成される部分には、同じ参照符号を付し、その部分の説明については省略する。したがって、図４と図１とを比較すると分かるように、図４に示した第２の実施の形態の再生装置２００と図１に示した第１の実施の形態の再生装置１００とで異なる点は、音声信号処理部８とシステムコントローラ９との機能である。

そして、この第２の実施の形態の再生装置２００においても、図１を用いて説明した第１の実施の形態の再生装置１００の場合と同様に、メディア再生部１で再生するようにされたＬｃｈ（左チャンネル）の音声信号とＲｃｈ（右チャンネル）の音声信号とは、音声信号処理部８に供給される。

音声信号処理部８は、メディア再生部１からのＬｃｈの音声信号とＲｃｈの音声信号と、後述するシステムコントローラ９からの周波数範囲および定位角度範囲指示信号Ｓ１および音量バランス指示信号Ｓ２との供給を受けて、Ｌｃｈの音声信号とＲｃｈの音声信号とに含まれる、指示された周波数範囲および定位角度範囲内の音源の音声信号に対して、音量バランス指示信号より決定されたゲインを乗じ、また、指示された周波数範囲および定位角度範囲外の音源の音声信号について音量バランス指示信号より決定されたゲインを乗ずるように構成したものである。

このように、音声信号処理部８は、再生対象の音声信号の指示された範囲の範囲内と範囲外とに対して、それぞれについて指示するようにされたゲインを乗じ、周波数と、定位角度とによって規定される範囲でゲインを調整したＬｃｈの音声信号とＲｃｈの音声信号とを出力することができるようにしたものである。

そして、音声信号処理部８は、さらに、上述したようにゲインを乗じた音声信号に応じて、各周波数帯域における定位角度毎の音量値を調査し、後述するシステムコントローラ９へと供給する。この各周波数帯域における定位角度毎の音量値の調査は、上述した第１の実施の形態の再生装置１００の音声信号処理部２と同様にして行われる。

このようにゲイン調整などの音声信号処理が施されたＬｃｈの音声信号と、Ｒｃｈの音声信号とは、音声信号Ｌｅｘ、音声信号Ｒｅｘとして、音声信号処理部８からＤ／Ａコンバータ３に供給される。Ｄ／Ａコンバータ３は、これに供給された音声信号Ｌｅｘ、音声信号ＲｅｘをＤ／Ａ変換することによりアナログ信号とされたＬｃｈの音声信号とＲｃｈの音声とを形成し、これらを出力する。

また、システムコントローラ９は、上述したように、音声信号処理部８から供給される、ゲイン調整後の再生対象の音声信号についての各周波数帯域における定位角度毎の音量値の調査結果の供給を受けて、この調査結果に基づいて、ゲイン調整後の再生対象の音声信号に含まれる各音源についての情報を画面表示部７の表示画面に表示させるためのデータを生成し、これを画面表示部７に供給する。

このゲイン調整後の再生対象の音声信号に含まれる各音源についての情報を表示するためのデータの生成処理は、図１を用いて説明した第１の実施の形態のシステムコントローラ４の場合と同様に行われる処理である。これにより、この第２の実施の形態の再生装置２００の場合にも、ゲイン調整後の再生対象の音声信号に含まれる各音源についての情報を画面表示部７の表示画面に表示することができるようにされる。

そして、この第２の実施の形態の再生装置２００のシステムコントローラ９は、上述もしたように、使用者からの操作入力に応じて、周波数範囲および定位角度範囲指示信号Ｓ１と、音量バランス指示信号Ｓ２とを形成し、これらの指示信号Ｓ１、Ｓ２を音声信号処理部８に供給することができるものである。

システムコントローラ９は、使用者からの操作入力を、操作部５を通じて、あるいは、リモートコマンダ１０とコマンド受信部６とを通じて受け付けることが可能であるが、ここでは、使用者からの操作入力をリモートコマンダ１０とコマンド受信部６とを通じて受け付ける場合を例にして説明する。

図５は、この第２の実施の形態の再生装置２００のリモートコマンダ１０の外観の一例を説明するための図である。リモートコマンダ１０上には、例えば、図５に示したように、方向指示のための操作子および決定のための操作子が備えられている。つまり、図５に示したように、右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄがカーソルの移動方向を示すなど、方向指示のための操作子であり、実行キー１０ｅが処理の実行を指示する決定のための操作子である。これ以外にも種々のファンクションキーなどからなる操作キー群１０ｆが設けられている。

この第２の実施の形態の再生装置２００においては、使用者は、画面表示部７の表示画面７Ｇに表示される音源についての情報の表示を確認しながら、リモートコマンダ１０に設けられている方向指示のための操作子１０ａ、１０ｂ、１０ｃ、１０ｄや決定のための操作子１０ｅを用いて、周波数範囲および定位角度範囲を指示すると共に、音量バランスを指示する。

システムコントローラ９は、これらの指示を受け付けて、受け付けた指示に応じて周波数範囲および定位角度範囲指示信号Ｓ１と、音量バランス指示信号Ｓ２とを生成し、これらを音声信号処理部８に供給する。これにより、音声信号処理部８においては、指示された周波数範囲および定位角度範囲内の音源の音声信号に対して、音量バランス指示信号Ｓ２より決定されたゲインを乗じ、また、指示された周波数範囲および定位角度範囲外の音源の音声信号について音量バランス指示信号より決定されたゲインを乗じ、使用者の指示に応じてゲイン調整した音声信号を再生することができるようにしている。

以下、音量バランスを変化させる周波数範囲および定位角度範囲を設定する手順と、指定の範囲内および指定の範囲外の音量バランスを変更する手順とを、リモートコマンダ１０に対する操作と、これに応じて変化する画面表示部７の表示画面７Ｇの表示画像とを対応付けながら詳細に説明する。

図６は、この第２の実施の形態の再生装置２００において、メディア再生部１に装填された記録媒体に記録されている音声信号を再生するようにした場合において、音声信号処理部８の調査結果に基づいて、システムコントローラ９が画面表示部７の表示画面７Ｇに表示させるようにする表示画像の表示例を説明するための図である。

図６に示す表示例は、基本的に図２を用いて説明した第１の実施の形態の再生装置１００において、音声信号の再生中に画面表示部７の表示画面７Ｇに表示される表示画像と同様のものである。このため、図６において、図２に示した部分と同様に構成される部分については、同じ参照符号を付し、その部分の詳細な説明については省略する。

そして、この第２の実施の形態の再生装置２００においても、画面表示部７の表示画面７Ｇに表示される音量表示部７１は、図６に示すように、横軸が各音源の音像の定位角度を、縦軸は周波数を示している。この第２の実施の形態においても、横軸の定位角度は、中央を０°（０度）として、左右に６０°（６０度）づつの１２０°（１２０度）の範囲を持っている。また、縦軸の周波数は、０Ｈｚ〜８０００Ｈｚの範囲を持っている。

そして、図６においても、音量表示部７１は、図２に示した音量表示部７１の場合と同様に、音量の大きさを色の明るさで示す。すなわち、横軸および縦軸および色の明るさという３つの要素を用いて定位角度および周波数および音量値の３つの成分を表している。さらに、この第２の実施の形態の再生装置２００の場合、音量表示部７１においては、リモートコマンダ１０により指定された周波数範囲および定位角度範囲を表示することにより、ある範囲の音量バランスを変化させる際に手助けとなるようにしている。

すなわち、この第２の実施の形態の再生装置２００のユーザは、図５を用いて説明したように、再生装置２００のリモートコマンダ１０に設けられている右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄ、実行キー１０ｅなどの操作子を操作することにより、再生装置１に対し音量バランスを変化させる周波数範囲および定位角度範囲を設定し、それぞれの音量バランスを変更することができる。

図７、図８は、周波数範囲および定位角度範囲を指定する場合においての表示画像の表示例を説明するための図である。以下においては、図７、図８をも参照して具体的に説明する。

まず、第一段階として、所定の操作を行うことにより、図７に示すように、開始点、終了点を指示するためのポインタ（指示子）Ｐを表示させ、右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄを操作して、選択する周波数範囲および定位角度範囲の開始点Ｓとなるべき位置にポインタＰを位置付け、実行キー１０ｅを押下することにより、開始点Ｓを決定する。

すなわち、右方向キー１０ａを操作することにより定位角度範囲の開始点Ｓを右方向に移動し、左方向キー１０ｂを操作することにより定位角度範囲の開始点Ｓを左方向に移動し、上方向キー１０ｃを操作することにより周波数範囲の開始点Ｓを高周波帯域方向に移動し、下方向キー１０ｄを操作することにより周波数範囲の開始点Ｓを低周波帯域方向に移動し、実行キー１０ｅを操作することにより周波数範囲および定位角度範囲の開始点Ｓを設定する。

このように、現在位置を示すポインタＰを、音量表示部７１の表示領域上に重ねて表示することで開始点Ｓの指示をしやすくすることができるのである。

そして、開始点Ｓを決定した後、第二段階として、さらに右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄを操作することにより、図８に示すように、ポインタＰを移動させることにより、選択する定位角度範囲および周波数範囲の終了点Ｅを指示し、実行キー１０ｅを操作しその終了点Ｅを決定する。

すなわち、右方向キー１０ａを操作することにより定位角度範囲の終了点Ｅを右方向に移動し、左方向キー１０ｂを操作することにより定位角度範囲の終了点Ｅを左方向に移動し、上方向キー１０ｃを操作することにより周波数範囲の終了点Ｅを高周波帯域方向に移動し、下方向キー１０ｄを操作することにより周波数範囲の終了点Ｅを低周波帯域方向に移動し、実行キー１０ｅを操作することにより周波数範囲および定位角度範囲の終了点Ｅを設定する。

この際、システムコントローラ９が使用者からの指示入力に応じて表示データを形成し、これを画面表示部７に供給することにより、図８に示すように、選択した開始点Ｓおよび指示している終了点Ｅを対角線上の頂点とした長方形を音量表示部７１上に重ねて表示することにより、指示するようにしている定位角度範囲および周波数範囲を視覚を通じて認識できるようにしている。さらに、システムコントローラ９が、音声信号処理部８を制御して、指示された範囲内の音源の音声信号のみを出力するようにすることにより、指示するようにしている定位角度範囲および周波数範囲を聴覚を通じて認識できるようにしている。これらにより、ユーザが行う終了点Ｅの指示をしやすくすることができる。

上述のようにして、周波数範囲および定位角度範囲の開始点および終了点を設定した後、第三段階として、これら開始点Ｓ、終了点Ｅを対角線上の頂点とした長方形で囲まれた範囲内とその範囲外の音量バランスを、リモートコマンダ１０の上方向キー１０ｃ、下方向キー１０ｄを操作することにより変化させる。

具体的には、上方向キー１０ｃを操作することにより開始点Ｓ、終了点Ｅで指定された範囲内の音源の音量を大きくし、さらに指定された範囲外の音源の音量を小さくしたり、これとは逆に、下方向キー１０ｄを操作することにより開始点Ｓ、終了点Ｅで指定された範囲内の音源の音量を小さくし、さらに指定された範囲外の音源の音量を大きくしたりすることができる。

また、開始点Ｓ、終了点Ｅで指定された範囲内と範囲外の何れか一方を選択し、その選択した範囲の音声信号について音量を大きくしたり、あるいは、小さくしたりすることもできる。すなわち、開始点Ｓ、終了点Ｅで指定された範囲内と範囲外との両方について音量調整を行うのではなく、何れか一方の範囲だけについて音量調整を行うようにすることもできる。

また、開始点Ｓ、終了点Ｅで指定された範囲内と範囲外との音量バランスを指示することにより、開始点Ｓ、終了点Ｅで指定された範囲内と範囲外とのそれぞれの音声信号に対して乗算するゲイン値を設定し、これを用いて当該範囲内と範囲外との音量調整（音量バランスの調整を行うようにすることもできる。

以上説明したように、第一段階から第三段階までの一連の操作を行う事により、この第２の実施の形態の再生装置のユーザは、特定の周波数範囲および定位角度範囲を選択し、その選択範囲内と選択範囲外との音量バランスを調整する機能を操作することが可能となる。すなわち、特定の周波数範囲および定位角度範囲を選択し、その選択範囲内と選択範囲外と一方あるいは両方の音量調整を行うことにより、両範囲の音量バランスを調整することができる。

次に、この発明による第２の実施の形態のソフトウェアでの実装例について説明する。図９、図１０は、この発明による第２の実施の形態の再生装置１００で行われる処理を説明するためのフローチャートであり、この発明をソフトウェアで実現するようにした場合の例にも対応するものである。

図９、図１０に示す処理は、例えば、リモートコマンダ１０及びコマンド信号受信部６を通じて音声信号の再生指示を受け付け、メディア再生部１に装填された記録媒体に記録されている音声信号を再生するようにした場合に、音声信号処理部８とシステムコントローラ９と画面表示部７とが協働して実行する処理である。

まず、再生装置２００のシステムコントローラ９は、上述した第１の実施の形態の再生装置１００の場合と同様に、音声信号処理部８を制御して、再生対象の音声信号が、自機において処理可能な信号形式であるか否かを判定する（ステップＳ２０１）。例えば、再生対象の音声信号がＭＰ３(MPEG-1 Audio Layer 3)等の圧縮方式によって圧縮された信号である場合や、想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようにしている。

すなわち、ステップＳ２０１の判断処理において、肯定結果が得られると次のステップＳ２０３へ移るのに対し、ステップＳ２０１の判断処理において、否定結果が得られると、このことは音声信号処理部８が再生対象の音声信号に対して処理を実行することができないことを示しているので、ステップＳ２０２の処理に移ることになる。

したがって、ステップＳ２０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものではないと判断したときには、システムコントローラ９は、音声信号処理部８を制御して、再生対象の音声信号を処理可能な信号形式の音声信号に変換する（ステップＳ２０２）。

ステップＳ２０２の処理の後には、または、ステップＳ２０１の判断処理において、再生対象の音声信号が自機においてそのまま処理可能な信号形式のものであると判断した場合には、システムコントローラ９は、リモートコマンダ１０及びコマンド受信部６を通じて、ユーザによる音量バランスを調整する範囲の開始点Ｓの設定操作を受け付けている最中か否か、すなわち、開始点設定中か否かを判断する（ステップＳ２０３）。

ステップＳ２０３の判断処理において、開始点設定中であると判断したときには、システムコントローラ９は、コマンド受信部６を通じて受け付けるリモートコマンダ１０からのコマンド信号に応じて、内部に保持するようにしている開始点Ｓの位置（位置情報）を更新し、これに応じてポインタＰの表示位置を変更するようにするデータを形成し、これを画面表示部７に供給することによりポインタＰの表示位置を変更する（ステップＳ２０４）。この後、システムコントローラ９は、後述する図１０のステップＳ２０９の処理に進む。

なお、ステップＳ２０４の処理において、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてきたときには、そのときのポインタＰの位置が、開始点Ｓとして設定するようにされ、終了点Ｅの設定操作を受け付けることができるようにされる。また、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてくるまでは、開始点Ｓの設定操作が繰り返し行うようにされる。

また、ステップＳ２０３の判断処理において、開始点設定中ではないと判断したときには、システムコントローラ９は、リモートコマンダ１０及びコマンド受信部６を通じて、ユーザから音量バランスを調整する範囲の終了点Ｅの設定操作を受け付けている最中か否か、すなわち、終了点設定中か否かを判断する（ステップＳ２０５）。

ステップＳ２０５の判断処理において、終了点設定中であると判断したときには、システムコントローラ９は、コマンド受信部６を通じて受け付けるリモートコマンダ１０からのコマンド信号に応じて、終了点Ｅの位置を更新し、これに応じてポインタＰの表示位置を変更するようにするデータを形成し、これを画面表示部７に供給することによりポインタＰの表示位置を変更する（ステップＳ２０６）。この後、システムコントローラ９は、後述する図１０のステップＳ２０９の処理に進む。

なお、ステップＳ２０６の処理において、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてきたときには、そのときのポインタＰの位置が、終了点Ｅとして設定するようにされ、ゲイン値の変更操作を受け付けることができるようにされる。また、開始点Ｓの設定後においては、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてくるまでは、終了点Ｅの設定操作が繰り返し行うようにされる。

また、ステップＳ２０５の判断処理において、終了点設定中ではないと判断したときには、システムコントローラ９は、リモートコマンダ１０及びコマンド受信部６を通じて、ユーザからの音声バランスの調整操作を受け付けたか否か、すなわち、音声バランスが変化したか否かを判断する（ステップＳ２０７）。

ステップＳ２０７の判断処理において、音声バランスが変化したと判断したときには、システムコントローラ９は、コマンド受信部６を通じて受け付けるリモートコマンダ１０からのコマンド信号に応じて、指定された範囲内、範囲外の音声信号に対する内部に保持している音声バランス値を更新する（ステップＳ２０８）。この後、システムコントローラ９は、後述する図１０のステップＳ２０９の処理に進む。

なお、ステップＳ２０８の処理において、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてきたときには、変更するようにされた音声バランス値が決定値として設定するようにされる。また、終了点Ｓの設定後においては、リモートコマンダ１０から実行キー１０ｅが押下操作されたことを示すコマンド信号が送信されてくるまでは、音声バランス値の設定操作が繰り返し行うようにされる。

また、ステップＳ２０７の判断処理において、音声バランスが変化していないと判断した場合、また、上述もしたように、ステップＳ２０４、ステップＳ２０６、ステップＳ２０８の各処理の後においては、システムコントローラ９は、図１０に示すステップＳ２０９の処理に進む。

そして、システムコントローラ９は、音声信号処理部８を制御して、各々オーディオ信号から、ユーザ操作に拠り指定された周波数範囲および定位角度範囲内の音源の音声信号については、ユーザ操作に拠り設定された音量バランス設定値から決定したゲイン値を乗じ、ユーザ操作に拠り設定された周波数範囲および定位角度範囲外の音源の音声信号については、ユーザ操作に拠り設定された音量バランス設定値から決定したゲイン値を乗じて、各周波数帯域における定位角度毎の音量値を調査するようにし、ゲイン調整後の再生対象の音声信号をＤ／Ａコンバータ３に供給して再生するようにする（ステップＳ２０９）。

この後、システムコントローラ９は、音声信号処理部８から、再生対象の音声信号についての各周波数帯域における定位角度毎の音量値の調査結果に基づいて、再生対象の音声信号に含まれる各音源についての情報を表示させるためのデータを形成し、これを画面表示部７に供給し、画面表示部７の表示画面に表示される再生対象の音声信号に含まれる各音源についての情報を更新する（ステップＳ２１０）。

そして、システムコントローラ９は、続いて音声信号処理部８に入力される次の音声信号信号が存在するか否かを判定する（ステップＳ２１１）。ステップＳ２１１の判断処理において肯定結果が得られた場合、このことは次に処理を行うべき音声信号が存在することを表しており、システムコントローラ９は、再度、ステップＳ２０１からの処理を繰り返すようにする。また、ステップＳ２１１の判断処理において否定結果が得られた場合、処理を行うべき対象が存在しないため、システムコントローラ９は、この図９、図１０に示した処理を終了する。

このように、この第２の実施の形態の再生装置２００は、第１の実施の形態の再生装置１００の場合と同様に、２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を２つの軸とした２次元平面上に表現する機能を実現することができる。そして、２次元平面において、ユーザ操作により特定の範囲を選択し、選択範囲内および選択範囲外の音量バランスを調整する機能を実現している。

このように、ユーザ操作により特定の周波数範囲および特定の定位角度範囲を選択し、選択範囲内および選択範囲外の音量バランスを調整できる。したがって、再生対象の音声信号が音楽の音声信号である場合には、目的とする楽器の音を目立たせるようにしたり、歌声を目立たせ、演奏を控えめにしたりするというように、コンテンツの楽しみ方の幅を広げることができる。

［第２の実施の形態の変形例］
上述した第２の実施の形態の再生装置２００においては、リモートコマンダ１０を通じて周波数範囲および定位角度範囲の設定を行うものとした。しかしこれに限るものではない。例えば、画面表示部７の表示画面７Ｇにタッチパネル機能を持たせる事により、より容易に設定を行うようにすることができる。

図１１は、表示画面７Ｇにタッチパネルが貼付された画面表示部７の当該表示画面７Ｇに表示される画面例を説明するための図である。図１１に示すように、画面表示部７の表示画面７Ｇの前面には、タッチパネル７ＴＰが貼付され、表示画面７Ｇに表示される画像とタッチパネル７ＴＰとによって、ユーザからの操作入力を受け付ける受付手段としての機能を実現している。

すなわち、システムコントローラ９は、表示画面７Ｇのどの位置にどのような表示画像を表示するようにしているかを把握している。また、タッチパネル７ＴＰへのタッチペンや指などによる接触が行われると、タッチパネル７ＴＰは、接触位置を示す座標データを電気信号としてシステムコントローラ９に供給する。また、いわゆるドラッグ操作（引きずり操作）が行われた場合には、刻々と変化する接触位置を示す座標データをタッチパネル７ＴＰは電気信号としてシステムコントローラ９に供給する。

システムコントローラ９は、タッチパネル７ＴＰからの座標データと、その座標データによって示される表示画面７Ｇ上の位置に表示されている画像情報とに基づいて、実行するべき処理を決定し、その決定した処理を実行することができるようにしている。このようなタッチパネル７ＴＰに対する操作によって、周波数範囲および定位角度範囲を指定し、さらに音量バランスを変換させるようにする場合について具体的に説明する。

この第２の実施の形態の変形例の場合においても、画面表示部７の表示画面７Ｇには、再生対象の音声信号に含まれる各音源についての情報の表示領域である音量表示部７１が設けられる。図１１において、表示７２、７３、７４は、対応する周波数の値を示し、表示７５、７６、７７は、対応する定位角度の値を表している。

すなわち、この音量表示領域７１には、図２、図６に示した音量表示領域７１の場合と同様に、横軸が各音源の音像の定位角度を、縦軸は周波数を示し、各音源の音量の大きさを色の明るさで示すようにしている。したがって、横軸および縦軸および色の明るさという３つの要素を用いて、定位角度および周波数および音量値の３つの成分を表している。

また、音量表示部７１上に貼付されたタッチパネル７ＴＰに対して、タッチペンや指などを接触させて移動させる操作を行うことによって、周波数範囲および定位角度範囲を指定することができるようにしている。すなわち、ユーザが音量表示部７１上に貼付されたタッチパネル７ＴＰ上の一点にタッチペンや指などを接触させ、接触させたままの状態で接触位置を別の一点に移動し、接触を解放する。

このようないわゆるドラッグ・アンド・ドロップ（Drag and Drop）操作を行うことにより、システムコントローラ９は、タッチパネル７ＴＰからの座標データと、対応する表示情報とに基づいて、最初にタッチペンなどを接触させた点を開始点Ｓ、最後にタッチペンなどの接触を解放した点を終了点Ｅとし、その開始点Ｓおよび終了点Ｅを対角線上の頂点とした長方形の内部を指定の範囲とすることで音量バランスを変更する周波数範囲および定位角度範囲を設定することができる。

また、図１１において、スライダー７０１、ボタン７０２およびボタン７０３の各表示は音量表示部７１に表示する周波数の範囲を変更するためのものである。すなわち、ユーザがスライダー７０１の部位のうち、現在のスライダーの位置よりも上側の部位に触れるとスライダー７０１の位置が上側に変化し、その位置の変化に合わせて音量表示部７１に表示される周波数の範囲が上側にずれる。

例えば、図１１に示したように、スライダー７０１の位置が中心にあった場合に表示する周波数の範囲が０Ｈｚから８０００Ｈｚまでの範囲であった場合に、スライダー７０１の位置を全体の１／４（４分の１）ほど上側にずらせば、システムコントローラ９は、音量表示部７１の周波数範囲を、２０００Ｈｚから１００００Ｈｚまでの範囲にずらすといった具合である。

また、ユーザが、タッチペンや指などでボタン７０２の表示上のタッチパネル７ＴＰに触れた場合には、音量表示部７１に表示する周波数の範囲が狭くなる。例えば、図１１に示したように、表示する周波数の範囲が０Ｈｚから８０００Ｈｚまでの範囲であった場合に、ユーザが、タッチペンや指などでボタン７０２の表示上のタッチパネル７ＴＰに触れた場合には、システムコントローラ９は、音量表示部７１の周波数範囲を、０Ｈｚから４０００Ｈｚまでの範囲に狭くするといった具合である。

また、ユーザが、タッチペンや指などでボタン７０３の表示上のタッチパネル７ＴＰに触れた場合には、音量表示部７１に表示する周波数の範囲が拡がる。例えば、図１１に示したように、表示する周波数の範囲が０Ｈｚから８０００Ｈｚまでの範囲であった場合に、ユーザが、タッチペンや指などでボタン７０３の表示上のタッチパネル７ＴＰに触れた場合には、システムコントローラ９は、音量表示部７１の周波数範囲を、０Ｈｚから１６０００Ｈｚまでの範囲に拡げるといった具合である。

このようにしてスライダー７０１、ボタン７０２およびボタン７０３を用いて音量表示部７１に表示する周波数の範囲を変更できる。なお、ユーザ操作により周波数の範囲が変更された際、表示７２、７３、７４の周波数の値も変更するようにされる。

また、図１１において、スライダー７０４、ボタン７０５およびボタン７０６の各表示は音量表示部７１に表示する定位角度の範囲を変更するためのものである。すなわち、ユーザがスライダー７０４の部位のうち、現在のスライダーの位置よりも左側の部位に触れるとスライダーの位置が左側に変化し、その位置の変化に合わせて音量表示部７１に表示する定位角度の範囲が左側にずれる。

例えば、図１１に示したように、スライダー７０４の位置が中心にあった場合に表示する定位角度の範囲が−６０°から＋６０°までの範囲であった場合に、スライダー７０４の位置を全体の１／４（４分の１）ほど左側にずらせば、システムコントローラ９は、音量表示部７１の定位角度の範囲を、−９０°から＋３０°までの範囲にずらすといった具合である。

また、ユーザが、タッチペンや指などでボタン７０５の表示上のタッチパネル７ＴＰに触れた場合には、音量表示部７１に表示する定位角度の範囲が狭くなる。例えば、図１１に示したように、表示する定位角度の範囲が−６０°から＋６０°までの範囲であった場合に、ユーザが、タッチペンや指などでボタン７０５の表示上のタッチパネル７ＴＰに触れた場合には、システムコントローラ９は、音量表示部７１の定位角度の範囲を、−３０°から＋３０°までの範囲に狭くするといった具合である。

また、ユーザが、タッチペンや指などでボタン７０６の表示上のタッチパネル７ＴＰに触れた場合には、音量表示部７１に表示する定位角度の範囲が拡がる。例えば、図１１に示したように、表示する定位角度の範囲が−６０°から＋６０°までの範囲であった場合に、ユーザが、タッチペンや指などでボタン７０６の表示上のタッチパネル７ＴＰに触れた場合には、システムコントローラ９は、音量表示部７１の定位角度の範囲を、−１２０°から＋１２０°までの範囲に拡げるといった具合である。

このようにしてスライダー７０４、ボタン７０５およびボタン７０６を用いて音量表示部７１に表示する定位角度の範囲を変更できる。なお、ユーザ操作により定位角度が変更された際、表示７５、７６、７７の定位角度の値も変更するようにされる。

また、図１１において、スライダー７０８は、ユーザ操作により指定された周波数範囲および定位角度範囲内のゲイン値を設定するためのものである。すなわち、ユーザがスライダー７０８の部位のうち、現在のスライダーの位置よりも上側の部位に触れるとスライダー７０８の位置が上側に変化し、その位置の変化に合わせて指定範囲内のゲイン値が増加する。

例えば、図１１に示したように、スライダー７０８の位置が、変更可能な範囲の中心にあった場合、この場合のゲイン値が０ｄＢであとすると、スライダー７０８の位置を全体の１／４（４分の１）ほど上側に変化させると、システムコントローラ９は、指定された周波数範囲および定位角度範囲内のゲイン値を＋５ｄＢに増加させることになる。

また、図１１において、スライダー７０９は、ユーザ操作により指定された周波数範囲および定位角度範囲外のゲイン値を設定するためのものである。すなわち、ユーザがスライダー７０９の部位のうち、現在のスライダーの位置よりも上側の部位に触れるとスライダー７０９の位置が上側に変化し、その位置の変化に合わせて指定範囲外のゲイン値が増加する。

例えば、図１１に示したように、スライダー７０９の位置が、変更可能な範囲の中心にあった場合、この場合のゲイン値が０ｄＢであとすると、スライダー７０９の位置を全体の１／４（４分の１）ほど上側に変化させると、システムコントローラ９は、指定された周波数範囲および定位角度範囲外のゲイン値を＋５ｄＢに増加させることになる。

このように、この上述した第１の実施の形態の再生装置１００は、２チャンネル以上の音声信号の各周波数帯域における定位角度毎の音量値を、色の明るさにより各々周波数と定位角度を二つの軸としたニ次元平面上に表現することができるものである。そして、上述した第２の実施の形態の再生装置は、第１の実施の形態の再生装置をさらに発展させ、ユーザ操作により特定の範囲を選択し、選択範囲内および選択範囲外の音量バランスを調整する機能を有するようにしたものである。

［他の実施の形態］
なお、上述した第１、第２の実施の形態においては、再生対象の音声信号は、ＬｃｈとＲｃｈの２ｃｈの音声信号としたが、これに限るものではない。２ｃｈ以上の音声信号にも対応することもできる。具体的には、４ｃｈ、５ｃｈ、５．１ｃｈ、７．１ｃｈ、９．１ｃｈなどの種々のマルチチャンネルの音声信号を処理対象とする場合にこの発明を適用することができる。

また、上述した第１、第２の実施の形態においては、メディア再生部１としては、記録媒体から音声信号（および映像信号）を再生するものとして説明したが、これに限るものではない。メディア再生部１に変えて、ＡＭ（Amplitude Modulation）放送信号、ＦＭ（Frequency Modulation）放送信号、テレビジョン放送信号、衛星放送信号等の種々の放送信号などを受信・復調して音声信号（および映像信号）を出力するチューナ装置を用いた構成の再生装置にもこの発明を適用することができる。

或いは、メディア再生部１やチューナ装置を備えた再生装置ではなく、例えばアンプ装置などとして、外部で再生（受信）された音声信号の供給を受けて、この入力音声信号に対して音声信号処理を行うようにする音声信号処理装置に対して、この発明を適用することももちろん可能である。

また、上述した第１、第２の実施の形態においては、画面表示部７の表示画面７Ｇに表示する音量表示部７１には、音量の大きさが大きいほど白色になり、音量の大きさが小さいほど黒色になるよう表示させたが、逆の場合であってもよい。すなわち、音量が大きい場合に黒色になり音量が小さい場合に白色になるといった形態である。

また、画面表示部７の表示画面７Ｇに表示する音量表示部７１への表示は、カラー表示であってもよい。例えば、予め決められた周波数帯域毎や定位角度の範囲毎に表示色を変えるようにし、色が濃いほど音量レベルは大きく、色が薄いほど音量レベルは低いといったように表したり、逆に、色が薄いほど音量レベルは大きく、色が濃いほど音量レベルは低いといったように表したりすることもできる。

また、画面表示部７の表示画面７Ｇに表示する音量表示部７１への表示は、音量の大きさを色で表すだけではなく３次元形式により表示してもよい。また、平面画面に表示するのではなく立体画面に３次元により表現してもよい。また、縦軸と横軸の表現が逆であっても良い。すなわち、縦軸を定位角度、横軸を周波数としてもよい。

また、第２の実施の形態においては、リモートコマンダ１０の右方向キー１０ａ、左方向キー１０ｂ、上方向キー１０ｃ、下方向キー１０ｄ、実行キー１０ｅを操作することにより、ある周波数範囲および定位角度範囲を選択し、選択範囲内および選択範囲外の音量バランスを調整できるようにしたが、これ以外の手順、およびこれ以外の方式で範囲の指定をしても良い。また、マウス、タッチパネルなどリモートコマンダ以外の操作機器やポインティングデバイスを用いて範囲の指定を行っても良い。

例えば、マウスであればマウスボタンを押下することにより開始点を設定し、そのまま押下しながらドラッグ（マウスの操作を行いマウスカーソルの位置を移動する）して終了点まで移動し、マウスボタンを解放することにより終了点を設定するとしてもよい。また、ある周波数範囲および定位角度範囲を設定する際に開始点および終了点を対角線上の頂点とする長方形としたが、円や楕円などの形状とし、その内側の範囲を目的とする指定範囲とするようにすることもできる。

また、周波数範囲および定位角度範囲を設定する際に、開始点を中心とし終了点を半径とする円の形状の内側を指定範囲としても良い。また、ある周波数範囲および定位角度範囲を設定する際に、ユーザがマウスやタッチパネルなどで描いた閉曲線の内側を目的とする指定範囲としても良い。すなわち、範囲を指定する事が可能な手順、方式、機器であればどのような形態であってもよい。

また、第２の実施の形態においては、選択可能な周波数範囲および定位角度範囲を１つのみとしたが、この選択範囲を複数とし、それぞれの音量バランスを変更する形態であってもよい。

図１２、図１３は、周波数範囲および定位角度範囲を設定する他の例について説明するための図である。図１２Ａの場合には、例えば、ポインティングデバイスにより、１つの点ｘを指定すると、その点ｘを中心として、定位角度範囲、周波数範囲を予め決められた分だけ確保して、周波数範囲および定位角度範囲を設定するようにする。

図１２Ａの場合には、最初に指定された点ｘを中心にして、定位角度範囲を左右に１０°ずつ取り、周波数範囲を上下に２０００Ｈｚづつとって、図１２Ａに示したように、長方形の範囲Ｘを自動的に設定するようにする。この範囲Ｘは、例えば、図１２Ａにおいて、矢印ａ、ｂ、ｃ、ｄが示すように、４辺のそれぞれを移動させ、縮小したり、拡大したりすることができるようにされる。また、１辺を移動させることにより、これに連動して他の３辺も移動させ４辺を一度に調整して、４方に縮小したり、拡大したりするようにすることも可能である。

また、図１２Ｂの場合には、１つの点を指定することにより設定される最初の範囲（初期範囲）を楕円によって形成するようにした場合の例である。この図１２Ｂの例の場合にも、図１２Ａに示した例の場合と同様に、一点ｘを指定することにより、その点ｘを中心として例えば縦長の楕円の範囲を設定し、この範囲を図１２Ｂにおいて矢印ｅが示すように、拡大したり、逆に縮小したりすることができるようにされる。

ここでは、楕円により周波数範囲および定位角度範囲を設定するようにしたが、これに限るものではない。上述もしたように、円を用いたり、あるいは、半円を用いたり、その他の種々の形状の範囲を指定して、その範囲を変形することにより、ユーザが目的とする範囲を指定するようにすることが可能である。

また、図１２Ｂにおいて、範囲７１ａ、７１ｂ、７１ｃ、７１ｄが示すように、複数の分離角度範囲（周波数範囲および定位角度範囲）を設定するようにすることも可能である。この場合には、指定された範囲７１ａ、７１ｂ、７１ｃ、７１ｄのそれぞれと、それ以外の部分との音量レベルを指定するようにすることにより、各指定された範囲７１ａ、７１ｂ、７１ｃ、７１ｄのそれぞれと、それ以外の部分との音量レベルを調整することができる。

具体的には、範囲７１ａ、７１ｂ、７１ｃ、７１ｄに対応する楽器の音声信号の音量レベルを大きくし、それ以外の楽器やノイズ音を小さくするなどのことができるようにされる。もちろん、これとは逆に、指定された範囲７１ａ、７１ｂ、７１ｃ、７１ｄのそれぞれの音源の音量レベルを小さくし、それ以外の部分の音源の音量レベルを大きくするというように調整することも可能である。

すなわち、音声コンテンツに含まれる各音源に散らばりに対応して、目的とする音源が属する範囲を設定し、音量レベルを調整することができる。さらに換言すれば、どのような範囲（周波数範囲や音像の定位角度範囲、あるいは、その両方によって特定される範囲）に存在する音源の音声信号について、どのようにレベル調整するかを決めて、これに応じて調整することができる。

また、図１３に示すように、音量表示部７１自体の形状を扇型とするようにしてもよい。この場合、図１３Ａに示すように、扇型の開き角を定位角度範囲に一致させ、また、円弧の両端の半径部分における当該半径方向を周波数範囲とすることで、音声信号に含まれる目的とする音源の位置を、扇型の中心αを聴取者の位置に見立て、より直感的に分かりやすい態様で示すようにすることができる。

そして、例えば、聴取者の左側に音像が定位している音源が属する範囲を指定する場合には、例えば、図１３Ｂに示すように、中心から左側の目的とする部分に範囲７１ｅを設定し、この範囲を縮小したり、拡大したり、また、その位置を変更したりすることにより、目的とする音源の属する周波数範囲および定位角度範囲を設定するようにすることができる。もちろん、音量表示部７１の形状は、四角形や扇形に限るものではなく、円、楕円、ひし形、台形など種々の形状とすることが可能である。

また、第２の実施の形態においては、ある周波数範囲および定位角度範囲内と選択範囲外の音量バランスを変更できるとしたが、これ以外の信号処理であってもよく、例えば選択範囲内の音源のみについて、その定位位置を視聴者に近づくように信号処理を施す、指定範囲内の音源を別の場所に定位するよう移動するように信号処理を施す、などのような音声信号処理を施すようにすることも可能である。

また、各実施の形態において、各々の楽器の周波数特性や倍音成分などから楽器を判別し、楽器の画像や名称を画面表示部７の音量表示部７１などに表示してもよい。

また、この発明は、上述もしたように、音声信号の再生装置の他、放送信号の受信復調機能を備えた受信装置、音楽や映像などの再生機能を備えたパーソナルコンピュータ、音声信号の供給を受けて増幅処理等の音声信号処理を行うパワーアンプ装置などの音声信号処理装置等、音声信号や、同期を取って再生すべき音声信号と映像信号とからなるいわゆるＡＶ（Audio/Visual）信号等からなるコンテンツ信号を処理する種々の電子機器に適用することができる。

また、図３や図９及び図１０のフローチャートを用いて説明した処理を実行するプログラム（ソフトウェア）を形成し、これをコンテンツ信号を処理する種々の電子機器に搭載することにより、この発明により実現される機能を比較的に容易に搭載することができる。

また、上述したように指定される周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値または音量バランスを示す情報と、また、処理対象のコンテンツの識別ＩＤとを関連付けて、例えば、システムコントローラ９内のメモリに記憶保持させておくことにより、そのコンテンツが再生される場合には、必ず、指定された指定範囲内と指定範囲外との一方または両方について、指定されたように音声信号のゲイン調整（音量バランスの調整）を行って、ユーザの好みの態様で再生できるようにすることもできる。

また、上述したように指定される周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値または音量バランスを示す情報とを、例えば、システムコントローラ９内のメモリに記憶保持させておき、種々の音声信号を処理する場合においては、その記憶保持されている情報に基づいて、同じ信号処理を行って、いつでも、どのようなコンテンツでも、ユーザが記憶保持するようにした情報に基づいて、ゲイン調整（音量バランスの調整）を行って、ユーザの好みの態様で再生できるようにすることも可能である。

また、再生するコンテンツに合わせて、複数の周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値または音量バランスを示す情報とを、例えば、システムコントローラ９内のメモリに記憶保持しておくことにより、再生されるコンテンツに対応して、いつでもユーザが好みの音量値の態様でコンテンツを再生するなどすることができる。

また、音声信号などのコンテンツデータに対して、指定された周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値または音量バランスを示す情報とを付加して、例えば、他の機器などに提供した場合には、当該他の機器においても、その指定された周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値とに基づいて、コンテンツを再生することもができるようにされる。

また、音声信号などのコンテンツデータに対して、指定された周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値または音量バランスを示す情報とを、コンテンツデータの全体に適用したり、あるいは、コンテンツデータの所定の一部分のみに適用したりすることも可能である。

この場合には、例えば、全体に適用することを指示したり、先頭から何十秒経過した位置から何十秒間分の期間、あるいは、先頭から何フレーム目から何フレーム目までの期間というように、時間やフレーム数、その他のコンテンツ上の位置を指定することが可能な情報を用いて、適用期間を指定したりするようにすればよい。

また、音声信号などのコンテンツデータに対して、指定された周波数範囲および定位角度範囲と、その範囲内と範囲外の一方または両方についてのゲイン値または音量バランスを示す情報とを複数用意しておき、どの情報を用いるようにするかを選択し、選択した情報を用いてゲイン調整（音量バランス調整）を行うようにすることもできる。

この発明の一実施の形態が適用されて構成された音声信号の再生装置（第１の実施の形態の再生装置）を説明するためのブロック図である。 表示画面に表示される再生対象の音声信号に含まれる各音源についての情報の表示例を説明するための図である。 第１の実施の形態の再生装置で行われる音量表示の動作手順を示したフローチャートである。 この発明の一実施の形態が適用されて構成された音声信号の再生装置の他の例（第２の実施の形態の再生装置）を説明するためのブロック図である。 図４に示した再生装置が備えるリモートコマンダ１０の外観例である。 図４に示した再生装置の表示画面７Ｇに表示させるようにする表示画像の表示例を説明するための図である。 図４に示した再生装置の表示画面７Ｇに表示させるようにする表示画像の表示例を説明するための図である。 図４に示した再生装置の表示画面７Ｇに表示させるようにする表示画像の表示例を説明するための図である。 第１の実施の形態の再生装置で行われる音量表示と音量バランスの調整の動作手順を説明するためのフローチャートである。 図９に続くフローチャートである。 タッチパネルが貼付された表示画面７Ｇに表示される画面例を説明するための図である。 周波数範囲および定位角度範囲を設定する他の例について説明するための図である。 周波数範囲および定位角度範囲を設定する他の例について説明するための図である。

符号の説明

１…メディア再生部、２…音声信号処理部、３…Ｄ/Ａコンバータ、４…システムコントローラ、５…操作部、６…コマンド受信部、７…画面表示部、７Ｇ…表示画面、７１…音量表示部、８…音声信号処理部、９…システムコントローラ、１０…リモートコマンダ、１００…再生装置、２００…再生装置

Claims (6)

1. ２チャンネル以上の音声信号について、予め決められる各周波数帯域における予め決められる定位角度毎の音量値を調査する調査手段と、
   前記調査手段からの調査結果に基づいて、周波数と定位角度とを２つの軸とする２次元平面上に、周波数帯域毎であって定位角度毎の音量値を表現する表示データを形成する形成手段と
   を備えることを特徴とする音声信号処理装置。
2. 請求項１に記載の音声信号処理装置であって、
   前記形成手段からの前記表示データに応じて表示される表示画像を通じて、前記音声信号においての指定範囲を指示するための操作入力を受け付ける指定範囲受付手段と、
   前記指定範囲受付手段を通じて受け付けた前記操作入力に応じて指定するようにされる前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方についての音量の調整指示を受け付ける音量指示受付手段と、
   前記音量指示受付手段を通じて受け付けた前記調整指示に応じて、前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方の音声信号についての音量調整を行う調整手段と
   を備えることを特徴とする音声信号処理装置。
3. ２チャンネル以上の音声信号について、予め決められる各周波数帯域における予め決められる定位角度毎の音量値を調査する調査工程と、
   前記調査工程においての調査結果に基づいて、周波数と定位角度とを２つの軸とする２次元平面上に、周波数帯域毎であって定位角度毎の音量値を表現する表示データを形成する形成工程と
   を有することを特徴とする音声信号処理方法。
4. 請求項３に記載の音声信号処理方法であって、
   前記形成工程において形成された前記表示データに応じて表示される表示画像を通じて、前記音声信号においての指定範囲を指示するための操作入力を受け付ける指定範囲受付工程と、
   前記指定範囲受付工程を通じて受け付けた前記操作入力に応じて指定するようにされる前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方についての音量の調整指示を受け付ける音量指示受付工程と、
   前記音量指示受付工程を通じて受け付けた前記調整指示に応じて、前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方の音声信号についての音量調整を行う調整工程と
   を有することを特徴とする音声信号処理方法。
5. 音声信号を処理する音声信号処理装置に搭載されたコンピュータに、
   ２チャンネル以上の音声信号の供給を受けて、予め決められる各周波数帯域における予め決められる定位角度毎の音量値を調査する調査ステップと、
   前記調査ステップにおいての調査結果に基づいて、周波数と定位角度とを２つの軸とする２次元平面上に、周波数帯域毎であって定位角度毎の音量値を表現する表示データを形成する形成ステップと
   を実行することを特徴とする音声信号処理プログラム。
6. 請求項５に記載の音声信号処理プログラムであって、
   前記形成ステップにおいて形成した前記表示データに応じて表示される表示画像を通じて、前記音声信号においての指定範囲を指示するための操作入力を受け付ける指定範囲受付ステップと、
   前記指定範囲受付ステップにおいて受け付けた前記操作入力に応じて指定するようにされる前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方についての音量の調整指示を受け付ける音量指示受付ステップと、
   前記音量指示受付ステップにおいて受け付けた前記調整指示に応じて、前記音声信号においての前記指定範囲内と前記指定範囲外との一方あるいは両方の音声信号についての音量調整を行う調整ステップと
   を実行することを特徴とする音声信号処理プログラム。

Images