JP2016072890A - 音声処理装置、および、音声出力装置 - Google Patents

Abstract

【課題】複数チャンネルの音声がミックスされた音声の再生において、重要なチャンネルの音声が聴き取りづらくなることを抑制する技術を提供する。【解決手段】出力される音声の音量を適正に保持するように、チャンネルごとの音声信号のゲインを動的に調整するゲイン調整部（４）と、上記ゲイン調整部によりゲインが調整された、チャンネルごとの音声信号を、当該チャンネルの係数に応じて重み付け加算する加算部（５）と、を備え、上記ゲイン調整部が、上記チャンネルごとの音声信号のゲインを、当該チャンネルの重要度に応じて調整する音声処理装置。【選択図】図１

Description

本発明は、チャンネルごとの音声信号のゲインを調整する音声処理装置、および、音声出力装置に関する。

オーディオシステムにおいて、スピーカの出力音圧およびアンプの出力電力にはハードウェア上の限界があり、合計出力の制限範囲が設けられている。そして、各チャンネルの音声出力信号の合計出力が当該制限範囲を逸脱して、音声出力が歪まないように、音声出力信号のゲインを動的に変化させる手法が採られている。例えば、従来、音声出力信号のピークレベルが所定値以下に収まるように、コンプレッサやリミッタを用いて、音声出力信号の振幅を圧縮する処理が知られている。この場合、瞬間的に大きくなる音声出力信号が存在したときに、当該大きくなる音声出力信号およびその他の音声出力信号を一括して音声出力ごとに同じ比率で圧縮する。

なお、関連技術として、特許文献１には、音源の種別に応じて、コンプレッサにおける、音源の音響信号の圧縮特性を調整する音響再生装置が開示されており、特許文献２には、音響信号の優先度に応じて仮想音源を配置する復号化装置が開示されている。

特開２００１−５２４４４号公報（２００１年２月２３日公開） 特許第５３４０２９６号公報（２０１０年９月３０日国際公開）

上記のような従来の処理においては、上記大きくなる音声信号およびその他の音声信号を音声出力ごとに一括して同じ比率で圧縮するので、ユーザにとって重要な音声信号（例えば、主として人の声に係る音声など）であっても、上記大きくなる音声信号と比して音量が相対的に小さくなり過ぎてしまい、ユーザの利便性が損なわれるという問題がある。

ところで、複数のチャンネル音声を再生する際に、当該チャンネルの個数よりも少ないスピーカで行う場合がある。この場合に、例えば、５．１チャンネルの音声信号のうち、センタ信号およびサラウンド信号をフロントの２チャンネルに加算して再生する処理があり、ダウンミックスと呼ばれる。このダウンミックスにおいても、上記現象と同様の問題が発生する。

すなわち、ダウンミックスして出力する場合、主に人の声に係る音声が伝送されるチャンネルの音声信号と、主に背景音が伝送されるチャンネルの音声信号とを加算すると、人の声に係る音声が背景音に消される場合がある。これは、大きい背景音および小さい音声を加算した後に、一括して同じ比率で圧縮するため、大きい背景音を上限値に抑えると、小さい音声が小さくなり過ぎて聴こえなくなる現象である。

本発明は、上記課題に鑑みてなされたものであり、その目的は、複数チャンネルの音声がミックスされた音声の再生において、重要なチャンネルの音声が聴き取りづらくなることを抑制する技術を提供することにある。

上記課題を解決するために、本発明の態様１に係る音声処理装置は、出力される音声の音量を適正に保持するように、チャンネルごとの音声信号のゲインを動的に調整するゲイン調整部と、上記ゲイン調整部によりゲインが調整された、チャンネルごとの音声信号を、当該チャンネルの係数に応じて重み付け加算する加算部と、を備え、上記ゲイン調整部は、上記チャンネルごとの音声信号のゲインを、当該チャンネルの重要度に応じて調整することを特徴とする。

上記の構成によれば、チャンネルごとの音声信号のゲインを、当該チャンネルの重要度に応じて調整した後に、当該チャンネルの係数に応じて重み付け加算する。上記によれば、複数チャンネルの音声がミックスされた音声の再生において、重要なチャンネルの音声が聴き取りづらくなることを抑制することができる。

本発明の態様２に係る音声処理装置は、上記態様１において、上記加算部により重み付け加算された、チャンネルごとの音声信号の加算値を取得し、当該加算値およびチャンネルごとの重要度に応じて、上記ゲイン調整部に上記ゲインの調整を指示する制御部をさらに備え、上記ゲイン調整部が、上記制御部からの指示に従って、上記ゲインを調整することとしてもよい。

上記の構成によれば、重み付け加算された、チャンネルごとの音声信号の加算値およびチャンネルごとの重要度に応じて、チャンネルごとの音声信号のゲインを調整する。上記によれば、チャンネルごとの音声信号のゲインを調整する際に、チャンネルごとの音声信号の加算値をフィードバックするので、出力される音声の音量に応じたゲイン調整が可能になる。

本発明の態様３に係る音声処理装置は、上記態様２において、上記制御部が、上記加算値が出力音量の上限値より大きい場合、上記加算部による重み付け加算の対象となるチャンネルのうち、重要度の低いチャンネルの音声信号のゲインを下げるように、上記ゲイン調整部に指示することとしてもよい。

上記の構成によれば、当所の音声信号の加算値が出力音量の上限値より大きい場合、重要度の低いチャンネルの音声信号のゲインを下げる。これにより、相対的に、重要度の高いチャンネルの出力音量が上がるので、重要度の高い音声が聴きやすくなる。

本発明の態様４に係る音声処理装置は、上記態様３において、上記制御部が、上記加算値と、上記ゲインを下げた後の加算値との差分を、他のチャンネルの出力音量に割り振ることとしてもよい。

上記の構成によれば、当所の音声信号の加算値と、ゲインを下げた後の加算値との差分を、他のチャンネルに係る出力音量の上限値に割り振る。これにより、所定の出力音量を維持することができる。

本発明の態様５に係る音声処理装置は、上記態様２において、上記制御部が、上記加算値が音声信号の下限値より小さい場合、上記加算部による重み付け加算の対象となるチャンネルのうち、重要度の高いチャンネルの音声信号のゲインを上げるように、上記ゲイン調整部に指示することとしてもよい。

上記の構成によれば、当所の音声信号の加算値が出力音量の下限値より小さい場合、重要度の高いチャンネルの音声信号のゲインを上げる。これにより、相対的に、重要度の高いチャンネルの出力音量が上がるので、重要度の高い音声が聴きやすくなる。

本発明の態様６に係る音声処理装置は、上記態様１から４において、上記チャンネルの重要度が、上記チャンネルの標準位置と視聴者の正面位置との間の距離、頂点となる視聴者から見た上記チャンネルの標準位置と当該視聴者の正面位置とのなす角度、および、上記チャンネルの係数の少なくとも何れかに応じて設定されることとしてもよい。

本発明の態様７に係る音声出力装置は、上記態様１から６における音声処理装置と、上記加算部により重み付け加算された、チャンネルごとの音声信号を出力する出力部と、を備えている。

本発明の一態様によれば、複数チャンネルの音声がミックスされた音声の再生において、重要なチャンネルの音声が聴き取りづらくなることを抑制することができるという効果を奏する。

実施形態１に係る音声出力装置の構成を示すブロック図である。 実施形態４に係る２２．２ｃｈの各チャンネルの標準配置を示す図であり、（ａ）は三層構造のチャンネル配置を示し、（ｂ）はミドル層のチャンネル配置を示し、（ｃ）はトップ層のチャンネル配置を示し、（ｄ）はボトム層のチャンネル配置を示す。 実施形態１に係るチャンネルごとの重要度のテーブル構成例を示す図である。 実施形態２に係る音声出力装置の構成を示すブロック図である。 実施形態３に係る音声出力装置の構成を示すブロック図である。 実施形態５に係る制御部の処理を示すフローチャートである。 実施形態６に係る制御部の処理を示すフローチャートである。

以下、本発明の実施の形態について、詳細に説明する。ただし、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。なお、下記の説明において、「音声」とは、オーディオシステムで取り扱われる音声全般であり、人の声および背景音を含む。また、「チャンネルの重要度」とは、チャンネルの標準位置などに応じて適宜設定され得るものである。

〔実施形態１〕
まず、本発明の実施形態１に係る音声出力装置について、図１を参照して説明する。図１は、本実施形態に係る音声出力装置１の構成を示すブロック図である。図１に示すように、音声出力装置１は、５．１ｃｈのうちの前３ｃｈ（音声出力システム）の音声信号をダウンミックスして２個の出力部（例えば、スピーカ）から音声再生出力する装置であり、通信部２、処理部３、ゲイン調整部４、加算部５、出力部６および制御部７を備える。なお、処理部３、ゲイン調整部４、加算部５および制御部７をまとめて音声処理装置と呼ぶ。

通信部２は、外部から無線または有線により音声信号を受信し、処理部３に出力する。処理部３は、通信部２から音声信号を取得し、当該音声信号をチャンネル（入力チャンネル）ごとに分離し、各チャンネルの音声信号を個別にゲイン調整部４に出力する。図１に示すように、処理部３は、チャンネルＬの音声信号をゲイン調整部４Ｌに出力し、チャンネルＣの音声信号をゲイン調整部４Ｃ１および４Ｃ２に出力し、チャンネルＲの音声信号をゲイン調整部４Ｒに出力する。

ゲイン調整部４は、処理部３からチャンネルの音声信号を取得し、当該音声信号のゲインを調整して、加算部５に出力する。音声信号のゲイン調整は、制御部７の指示に従って行われる。これにより、出力される音声の音量を適正に保持するように、チャンネルごとの音声信号のゲインを動的に調整する。図１に示すように、ゲイン調整部４には、４Ｌ、４Ｃ１、４Ｃ２および４Ｒの各部がある。ゲイン調整部４Ｌは、チャンネルＬの音声信号を取得し、ゲイン調整後、加算部５ＬＣに出力する。ゲイン調整部４Ｃ１は、チャンネルＣの音声信号を取得し、ゲイン調整後、加算部５ＬＣに出力する。ゲイン調整部４Ｃ２は、チャンネルＣの音声信号を取得し、ゲイン調整後、加算部５ＲＣに出力する。ゲイン調整部４Ｒは、チャンネルＲの音声信号を取得し、ゲイン調整後、加算部５ＲＣに出力する。これによれば、多チャンネル音声の再生時において、ダウンミックスの前に各チャンネルの混合比を調整することができる。

加算部５は、２以上のゲイン調整部４からチャンネルの音声信号を取得し、各音声信号を重み付け加算し、加算した音声信号を出力部６に出力するものであり、ダウンミックスの機能を果たす。図１に示すように、加算部５には、５ＬＣおよび５ＲＣの各部がある。加算部５ＬＣは、ゲイン調整部４ＬからチャンネルＬの音声信号を取得し、ゲイン調整部４Ｃ１からチャンネルＣの音声信号を取得し、当該２つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＬの音声出力信号として出力部６Ｌに出力する。加算部５ＲＣは、ゲイン調整部４Ｃ２からチャンネルＣの音声信号を取得し、ゲイン調整部４ＲからチャンネルＲの音声信号を取得し、当該２つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＲの音声出力信号として出力部６Ｒに出力する。なお、加算部５が重み付け加算する際に、各チャンネルの音声信号に重み付けするための係数が用いられる。この係数に応じて、各音声信号のゲインの上げ下げが行われた上で、当該各音声信号が加算される。ダウンミックスの際に用いられる係数は、ダウンミックス係数と呼ばれる。

出力部６は、加算部５から音声出力信号を取得し、外部に再生出力するものであり、具体的にはスピーカなどである。図１に示すように、出力部６には、６Ｌおよび６Ｒの各部がある。出力部６Ｌは、加算部５ＬＣからスピーカＬの音声出力信号を取得し、外部に再生出力する。出力部６Ｒは、加算部５ＲＣからスピーカＲの音声出力信号を取得し、外部に再生出力する。

制御部７は、出力部６（６Ｌおよび６Ｒ）から各音声出力信号のレベル（出力音量）を取得し、当該レベルおよび各チャンネルの重要度に応じて、各チャンネルの音声信号に施すゲインを決定し、当該ゲインの調整を各チャンネルに対応するゲイン調整部４（４Ｌ、４Ｃ１、４Ｃ２および４Ｒ）に指示する。なお、制御部７は、出力部６Ｌおよび６Ｒからではなく、加算部５ＬＣおよび５ＲＣの出力から各音声出力信号のレベル（加算値）を取得してもよい。

上記によれば、音声出力装置１は、前３ｃｈ（５．１ｃｈ）をデコードし、２ｃｈにダウンミックスするとともに、当該ダウンミックスした後の音声出力信号のレベルを評価し、レベルが所定値よりも高い場合には、ダウンミックス前の音声信号のうち、重要度の低いチャンネルの音声信号（例えば、背景音など）のゲインを下げる。

なお、各チャンネルの重要度は、制御部７内部のメモリまたは外部の記憶部に記憶される。各チャンネルの重要度について、図３を参照して説明する。図３は、チャンネルごとの重要度のテーブル構成例を示す図である。図３に示すように、チャンネルＩＤと、当該チャンネルの重要度とが対応付けられており、この例では、チャンネルＬおよびＲの重要度が１であり、チャンネルＣの重要度が２である。重要度の設定値が大きいほど、重要度が高いので、この例では、チャンネルＣの重要度がチャンネルＬおよびＲの重要度よりも高いことになる。例えば、人のセリフがチャンネルＣに設定されるとすれば、他の音声（背景音など）よりも人のセリフが重要になる。

この場合、各音声出力信号のレベルから判断して、音声信号のゲインを下げる必要があるとき、制御部７は、重要度が低いチャンネルＬおよびＲのゲインを下げるようにゲイン調整部４Ｌおよび４Ｒに指示する。すなわち、重要度の高いチャンネルの音声信号をできる限り残すように処理する。これにより、例えば、セリフのレベルを維持したままで、背景音のレベルを下げることができる。一方、各音声出力信号のレベルから判断して、音声信号のゲインを上げる必要があるとき、制御部７は、重要度が高いチャンネルＣのゲインを上げるようにゲイン調整部４Ｃ１および４Ｃ２に指示する。上記の処理の具体例は、後述する。なお、再生出力するコンテンツによっては、人のセリフ（チャンネルＣ）ではなく、背景音（チャンネルＬおよびＲ）が重要になることもある。

〈チャンネルの重要度〉
各チャンネルの重要度を決める際の基準について、以下に説明する。なお、各基準のうち、何れか１つを用いてもよいし、何れか２つ以上を組み合わせて用いてもよい。

［基準１］
チャンネルの標準位置が視聴者の正面位置に近いほど、当該チャンネルの重要度が高いとみなす。「正面位置に近い」とは、視聴者の正面位置からの距離が短いこと、または、視聴者からの見開きの角度（すなわち、頂点となる視聴者から見た、チャンネルの標準位置と当該視聴者の正面位置とのなす角度）が小さいことなどを示す。例えば、５．１ｃｈの場合には、チャンネルの重要度が高い順に、Ｃ＞Ｌ／Ｒ＞Ｌｓ／Ｒｓとなる。７．１ｃｈ以下の音声出力システムでは、各チャンネルの高さが同じなので、視聴者の正面位置に近いほど、チャンネルの重要度が高いという基準を適用することができる。

［基準２］
チャンネルごとのダウンミックス係数のデフォルト値が大きいほど、当該チャンネルの重要度が高いとみなす。このとき、定義されたダウンミックス係数そのものを参照するのではなく、ダウンミックス係数の値が大きいほど、当該チャンネルの重要度を高く設定したテーブルを作成し、当該テーブルを参照する。ダウンミックス係数のデフォルト値は、予め設定されていてもよいし、ＭＰＥＧ−４ ＡＡＣ（Advanced Audio Coding）のＤＳＥ（Data Stream Element）で伝送されたものを用いてもよい。なお、ダウンミックス係数が同じ場合には、チャンネルの重要度が同じとしてもよいし、さらに基準１によりチャンネルの重要度を決定してもよい。また、チャンネルの重要度が同じ場合には、同じダウンミックス係数を適応してもよい。

［基準３］
放送事業者がチャンネルの重要度を定義して伝送する。具体的には、チャンネルごとの重要度を記載されたテーブルを作成し、所定の規格に新たに定義した上で、放送信号とともに送信する。例えば、チャンネルごとに、重要度が高い順に０、１、２、３、４・・・などと記載してもよいし、設定値の大きさが重要度を示すものとし、重要度が高い順に５、４、３、２、１・・・などと記載してもよい。チャンネルの重要度を定義するための規格は、例えば、ＭＰＥＧ−４ ＡＡＣのＰＣＥ（Program Configuration Element）でもよいし、ＭＰＥＧ−４ ＡＡＣの ＤＳＥでもよいし、ＭＭＴ（MPEG Media Transport）のＭＭＴ−ＳＩでもよい。伝送経路は、電波による放送であってもよいし、ネットワークを経由したものであってもよく、どのような経路でもかまわない。

〔実施形態２〕
本発明の実施形態２に係る音声出力装置１ａについて、図４を参照して説明する。図４は、本実施形態に係る音声出力装置１ａの構成を示すブロック図である。図４に示すように、音声出力装置１ａは、５．１ｃｈの音声信号をダウンミックスして２個の出力部から再生出力する装置であり、通信部２、処理部３ａ、ゲイン調整部４、加算部５、出力部６および制御部７ａを備える。なお、実施形態１の音声出力装置１と同様の部分については、説明を割愛する。

処理部３ａは、通信部２から音声信号を取得し、当該音声信号をチャンネル（入力チャンネル）ごとに分離し、各チャンネルの音声信号を個別にゲイン調整部４に出力する。図４に示すように、処理部３ａは、チャンネルＬｓの音声信号をゲイン調整部４Ｌｓに出力し、チャンネルＬの音声信号をゲイン調整部４Ｌに出力し、チャンネルＣの音声信号をゲイン調整部４Ｃ１および４Ｃ２に出力し、チャンネルＲの音声信号をゲイン調整部４Ｒに出力し、チャンネルＲｓの音声信号をゲイン調整部４Ｒｓに出力する。

ゲイン調整部４には、４Ｌｓ、４Ｌ、４Ｃ１、４Ｃ２、４Ｒおよび４Ｒｓの各部がある。ゲイン調整部４Ｌｓは、チャンネルＬｓの音声信号を取得し、ゲイン調整後、加算部５ＬｓＬＣに出力する。ゲイン調整部４Ｒｓは、チャンネルＲｓの音声信号を取得し、ゲイン調整後、加算部５ＲｓＲＣに出力する。

加算部５には、５ＬｓＬＣおよび５ＲｓＲＣの各部がある。加算部５ＬｓＬＣは、ゲイン調整部４ＬｓからチャンネルＬｓの音声信号を取得し、ゲイン調整部４ＬからチャンネルＬの音声信号を取得し、ゲイン調整部４Ｃ１からチャンネルＣの音声信号を取得し、当該３つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＬの音声出力信号として出力部６Ｌに出力する。加算部５ＲｓＲＣは、ゲイン調整部４Ｃ２からチャンネルＣの音声信号を取得し、ゲイン調整部４ＲからチャンネルＲの音声信号を取得し、ゲイン調整部４ＲｓからチャンネルＲｓの音声信号を取得し、当該３つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＲの音声出力信号として出力部６Ｒに出力する。

出力部６には、６Ｌおよび６Ｒの各部がある。出力部６Ｌは、加算部５ＬｓＬＣからスピーカＬの音声出力信号を取得し、外部に再生出力する。出力部６Ｒは、加算部５ＲｓＲＣからスピーカＲの音声出力信号を取得し、外部に再生出力する。

制御部７ａは、出力部６（６Ｌおよび６Ｒ）から各音声出力信号のレベルを取得し、当該レベルおよび各チャンネルの重要度に応じて、各チャンネルの音声信号に施すゲインを決定し、当該ゲインの調整を各チャンネルに対応するゲイン調整部４（４Ｌｓ、４Ｌ、４Ｃ１、４Ｃ２、４Ｒおよび４Ｒｓ）に指示する。なお、制御部７は、出力部６Ｌおよび６Ｒからではなく、加算部５ＬｓＬＣおよび５ＲｓＲＣの出力から各音声出力信号のレベルを取得してもよい。

〔実施形態３〕
本発明の実施形態３に係る音声出力装置１ｂについて、図５を参照して説明する。図５は、本実施形態に係る音声出力装置１ｂの構成を示すブロック図である。図５に示すように、音声出力装置１ｂは、５．１ｃｈの音声信号をダウンミックスして４個の出力部から再生出力する装置であり、通信部２、処理部３ｂ、ゲイン調整部４、加算部５、出力部６および制御部７ｂを備える。なお、実施形態１の音声出力装置１および実施形態２の音声出力装置１ａと同様の部分については、説明を割愛する。

処理部３ｂは、通信部２から音声信号を取得し、当該音声信号をチャンネル（入力チャンネル）ごとに分離し、各チャンネルの音声信号を個別にゲイン調整部４に出力する。図４に示すように、処理部３ｂは、チャンネルＬｓの音声信号をゲイン調整部４Ｌｓに出力し、チャンネルＬの音声信号をゲイン調整部４Ｌ１および４Ｌ２に出力し、チャンネルＣの音声信号をゲイン調整部４Ｃ１および４Ｃ２に出力し、チャンネルＲの音声信号をゲイン調整部４Ｒ１および４Ｒ２に出力し、チャンネルＲｓの音声信号をゲイン調整部４Ｒｓに出力する。

ゲイン調整部４には、４Ｌｓ、４Ｌ１、４Ｌ２、４Ｃ１、４Ｃ２、４Ｒ１、４Ｒ２および４Ｒｓの各部がある。ゲイン調整部４Ｌｓは、チャンネルＬｓの音声信号を取得し、ゲイン調整後、加算部５ＬｓＬに出力する。ゲイン調整部４Ｌ１は、チャンネルＬの音声信号を取得し、ゲイン調整後、加算部５ＬｓＬに出力する。ゲイン調整部４Ｌ２は、チャンネルＬの音声信号を取得し、ゲイン調整後、加算部５ＬＣ１に出力する。ゲイン調整部４Ｃ１は、チャンネルＣの音声信号を取得し、ゲイン調整後、加算部５ＬＣ１に出力する。ゲイン調整部４Ｃ２は、チャンネルＣの音声信号を取得し、ゲイン調整後、加算部５ＲＣ２に出力する。ゲイン調整部４Ｒ１は、チャンネルＲの音声信号を取得し、ゲイン調整後、加算部５ＲＣ２に出力する。ゲイン調整部４Ｒ２は、チャンネルＲの音声信号を取得し、ゲイン調整後、加算部５ＲｓＲに出力する。ゲイン調整部４Ｒｓは、チャンネルＲｓの音声信号を取得し、ゲイン調整後、加算部５ＲｓＲに出力する。

加算部５には、５ＬｓＬ、５ＬＣ１、５ＲＣ２および５ＲｓＲの各部がある。加算部５ＬｓＬは、ゲイン調整部４ＬｓからチャンネルＬｓの音声信号を取得し、ゲイン調整部４Ｌ１からチャンネルＬの音声信号を取得し、当該２つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＬｓの音声出力信号として出力部６Ｌｓに出力する。加算部５ＬＣ１は、ゲイン調整部４Ｌ２からチャンネルＬの音声信号を取得し、ゲイン調整部４Ｃ１からチャンネルＣの音声信号を取得し、当該２つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＬの音声出力信号として出力部６Ｌに出力する。加算部５ＲＣ２は、ゲイン調整部４Ｃ２からチャンネルＣの音声信号を取得し、ゲイン調整部４Ｒ１からチャンネルＲの音声信号を取得し、当該２つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＲの音声出力信号として出力部６Ｒに出力する。加算部５ＲｓＲは、ゲイン調整部４Ｒ２からチャンネルＲの音声信号を取得し、ゲイン調整部４ＲｓからチャンネルＲｓの音声信号を取得し、当該２つの音声信号を重み付け加算し、当該重み付け加算された音声信号をスピーカＲｓの音声出力信号として出力部６Ｒｓに出力する。

出力部６には、６Ｌｓ、６Ｌ、６Ｒおよび６Ｒｓの各部がある。出力部６Ｌｓは、加算部５ＬｓＬからスピーカＬｓの音声出力信号を取得し、外部に再生出力する。出力部６Ｌは、加算部５ＬＣ１からスピーカＬの音声出力信号を取得し、外部に再生出力する。出力部６Ｒは、加算部５ＲＣ２からスピーカＲの音声出力信号を取得し、外部に再生出力する。出力部６Ｒｓは、加算部５ＲｓＲからスピーカＲｓの音声出力信号を取得し、外部に再生出力する。

制御部７ｂは、出力部６（６Ｌｓ、６Ｌ、６Ｒおよび６Ｒｓ）から各音声出力信号のレベルを取得し、当該レベルおよび各チャンネルの重要度に応じて、各チャンネルの音声信号に施すゲインを決定し、当該ゲインの調整を各チャンネルに対応するゲイン調整部４（４Ｌｓ、４Ｌ１、４Ｌ２、４Ｃ１、４Ｃ２、４Ｒ１、４Ｒ２および４Ｒｓ）に指示する。なお、制御部７ｂは、出力部６Ｌｓ、６Ｌ、６Ｒおよび６Ｒｓからではなく、加算部５ＬｓＬ、５ＬＣ１、５ＲＣ２および５ＲｓＲの出力から各音声出力信号のレベルを取得してもよい。

上記によれば、音声出力装置１ｂは、５．１ｃｈをデコードし、４ｃｈにダウンミックスするとともに、ダウンミックス後の音声出力信号のレベルを評価し、レベルが所定値よりも高い場合には、ダウンミックス前の音声信号に係るチャンネルの重要度に応じて、音声信号のレベルを変更する。そして、このような処理を順次繰り返す。

〔実施形態４〕
本発明の実施形態４に係る音声出力装置について説明する。本実施形態に係る音声出力装置は、２２．２ｃｈをデコードし、ダウンミックスするとともに、ダウンミックス後の音声出力信号のレベルを評価し、レベルが所定値よりも高い場合には、ダウンミックス前の音声信号に係るチャンネルの重要度に応じて、音声信号のレベルを変更する。すなわち、ダウンミックス前の音声信号のうち、重要度の低いチャンネルに係る音声信号のゲインを下げることにより、ダウンミックス後の音声出力信号のレベルを下げる。そして、当該音声出力信号のレベルを再度評価する。このような処理を順次繰り返して、上記音声出力信号のレベルが所定値以下になったとき、当該処理を終了する。

２２．２ｃｈの音声信号を２個のスピーカＬ、Ｒで再生出力する場合の、ダウンミックス係数の例を、下記の式１および式２に示す。

上記の式１および式２における、ＦＬ、ＦＬｃなどは、各チャンネルの音声信号のレベル（音量）を示し、ダウンミックス係数は、１、２／√５などである。

続いて、各チャンネルの位置について、図２を参照して説明する。図２は、本実施形態に係る２２．２ｃｈの各チャンネルの標準配置を示す図である。図２（ａ）は、三層構造のチャンネル配置を示す。図２（ｂ）は、ミドル層のチャンネル配置を示す。図２（ｃ）は、トップ層のチャンネル配置を示す。図２（ｄ）は、ボトム層のチャンネル配置を示す。図２（ａ）に示すように、２２．２ｃｈの各チャンネルの標準配置は、聴取者の聴取高さに位置するミドル層、聴取者の上方（天井面）に位置するトップ層、および、下方（床面）に位置するボトム層の三層からなるチャンネル配置により構成される。図２（ｂ）に示すように、ミドル層は、ＦＬ、ＦＬｃ、ＦＣ、ＦＲｃ、ＦＲ、ＳｉＲ、ＢＲ、ＢＣ、ＢＬおよびＳｉＬの各チャンネルからなる。図２（ｃ）に示すように、トップ層は、ＴｐＣ、ＴｐＦＬ、ＴｐＦＣ、ＴｐＦＲ、ＴｐＳｉＲ、ＴｐＢＲ、ＴｐＢＣ、ＴｐＢＬおよびＴｐＳｉＬの各チャンネルからなる。図２（ｄ）に示すように、ボトム層は、ＢｔＦＬ、ＢｔＦＣおよびＢｔＦＲの各チャンネルからなる。

各チャンネルの重要度に関しては、２２．２ｃｈには高さの異なるチャンネルが存在するので、チャンネルの空間的配置を考慮することとし、高さの違いを含めて重要度を決定できる基準が適用される。例えば、視聴者の正面に近い位置にあるチャンネルの重要度を高くしてもよい。また、チャンネルの標準位置が視聴者の正面位置に近いほど、かつ、視聴者の耳の高さに近いほど、チャンネルの重要度が高いとみなしてもよい。

具体的な例としては、正面位置であって耳の高さにある点を原点とする３次元座標を設定した場合に、チャンネルの標準位置の座標（ｘ、ｙ、ｚ）に対して、下記の式３を正面位置からの距離Ｄとして定義する。

ａは補正係数であり、小さくすれば、耳との高さの違い（すなわち、ｚの絶対値）を評価しない設定になる。例えば、チャンネルの重要度が高い順に、ＦＣ＞ＦＬｃ／ＦＲｃ＞ＢｔＦＣ＞ＴｐＦＣ＞ＦＬ／ＦＲ・・・となる。

なお、チャンネルごとのダウンミックス係数のデフォルト値が大きいほど、当該チャンネルの重要度が高いとみなし、ダウンミックス係数が同じ場合には、チャンネルの重要度が同じとしてもよいし、さらに上記の基準（チャンネルの空間的配置）によりチャンネルの重要度を決定してもよい。

〔実施形態５〕
本発明の実施形態５に係る制御部７の処理について、図６を参照して説明する。図６は、本実施形態に係る制御部７の処理を示すフローチャートであり、音声出力信号のレベルに上限値がある場合の処理を示す。この処理は、加算部５または出力部６が出力する３個の音声出力信号のレベルを、ゲイン調整部４が３個のチャンネル（入力チャンネル）Ａ、Ｂ、Ｃの音声信号に施すゲインにフィードバックするものである。すなわち、ダウンミックスした後の、音声出力信号のレベルが上限値を超えた場合に、重要度に応じてレベルを下げて、音声出力信号のレベルが上限値以下になるようにする。なお、音声出力信号の個数および音声信号のチャンネル数は、３個に限ることなく、別の個数であってもよい。また、フィードバック制御以外の方法を用いてもよい。

まず、制御部７は、加算部５または出力部６の音声出力信号のレベルを取得し、各レベルを加算し、加算値Ｓに代入する（Ｓ６０１）。次に、加算値Ｓは音声出力信号の上限値である閾値Ｌ以下か否かを判定する（Ｓ６０２）。加算値Ｓが閾値Ｌ以下である場合（Ｓ６０２のＹｅｓ）、加算値Ｓ、すなわち、Ｓ６０１で取得したレベルの３個の音声出力信号を出力部６から出力させる（Ｓ６０３）。具体的には、制御部７は、３個のチャンネルの音声信号に対応するゲイン調整部４に対して、現状のゲインによる調整を指示する。

Ｓ６０２において、加算値Ｓが閾値Ｌ以下でない、すなわち、閾値Ｌより大きい場合（Ｓ６０２のＮｏ）、制御部７は、チャンネルＡがチャンネルＢよりも重要度が高いか否かを判定する（Ｓ６０４）。チャンネルＡがチャンネルＢよりも重要度が高い場合に（Ｓ６０４のＹｅｓ）、制御部７は、さらに、チャンネルＢがチャンネルＣよりも重要度が低いか否かを判定する（Ｓ６０５）。

チャンネルＢがチャンネルＣよりも重要度が低い場合に（Ｓ６０５のＹｅｓ）、チャンネルＢの重要度が最も低いことになるので、制御部７は、加算値Ｓ’にＡ＋αＢ＋Ｃ（αは、１以下の圧縮係数。以下同様）を代入する（Ｓ６０６）。一方、チャンネルＢがチャンネルＣよりも重要度が低くない場合、すなわち、重要度が同じかまたは高い場合に（Ｓ６０５のＮｏ）、チャンネルＣの重要度が最も低いことになるので、制御部７は、加算値Ｓ’にＡ＋Ｂ＋αＣを代入する（Ｓ６０６）。

Ｓ６０４において、チャンネルＡがチャンネルＢよりも重要度が高くない場合、すなわち、重要度が同じかまたは低い場合に（Ｓ６０４のＮｏ）、制御部７は、さらに、チャンネルＡがチャンネルＣよりも重要度が低いか否かを判定する（Ｓ６０８）。チャンネルＡがチャンネルＣよりも重要度が低い場合に（Ｓ６０８のＹｅｓ）、チャンネルＡの重要度が最も低いことになるので、制御部７は、加算値Ｓ’にαＡ＋Ｂ＋Ｃを代入する（Ｓ６０９）。一方、チャンネルＡがチャンネルＣよりも重要度が低くない場合、すなわち、重要度が同じかまたは高い場合に（Ｓ６０８のＮｏ）、チャンネルＣの重要度が最も低いことになるので、制御部７は、加算値Ｓ’にＡ＋Ｂ＋αＣを代入する（Ｓ６０７）。

Ｓ６０６、Ｓ６０７、または、Ｓ６０９において、加算値Ｓ’が確定した後に、制御部７は、加算値Ｓ’が音声出力信号の上限値である閾値Ｌ以下か否かを判定する（Ｓ６１０）。加算値Ｓ’が閾値Ｌ以下である場合には（Ｓ６１０のＹｅｓ）、加算値Ｓ’、すなわち、音声出力信号のＡ、Ｂ、Ｃのうち、いずれか１つは圧縮係数αをかけたレベル、他の２つはＳ６０１で取得したレベルの音声出力信号を出力部６から出力させ、差分Ｄを近接音声出力（他のチャンネルの音声出力）に割り振る（Ｓ６１１）。

具体的には、制御部７は、３個のチャンネルの音声信号に対応するゲイン調整部４のうち、いずれか１つに対して現状のゲインに圧縮係数αをかけて調整するように指示し、他の２つに対して現状のゲインによる調整を指示する。さらに、加算値Ｓと、加算値Ｓ’との差分Ｄを近接音声出力に割り振る。これによれば、チャンネルＡ、Ｂ、Ｃ以外の近接音声出力に差分Ｄを割り振ることにより、近接音声出力において当該チャンネルの音量が増加するので、音声出力装置全体として所定の音量を維持することが可能になる。例えば、チャンネルＡ、Ｂ、ＣをＬ側とすれば、近接音声出力に係るチャンネルはＲ側から選択される。

一方、加算値Ｓ’が閾値Ｌ以下でない場合、すなわち、閾値Ｌよりも大きい場合には（Ｓ６１０のＮｏ）、Ｌ＝βＳ’となるβ（１以下の圧縮係数。以下同様）を計算して、加算値βＳ’、すなわち、音声出力信号のＡ、Ｂ、Ｃのうち、いずれか１つは圧縮係数αおよびβをかけたレベル、他の２つは圧縮係数βをかけたレベルの音声出力信号を出力部６から出力させる（Ｓ６１２）。

具体的には、制御部７は、３個のチャンネルの音声信号に対応するゲイン調整部４のうち、いずれか１つに対して現状のゲインに圧縮係数αおよびβをかけて調整するように指示し、他の２つに対して現状のゲインに圧縮係数βをかけて調整するように指示する。さらに、加算値Ｓと、加算値βＳ’との差分Ｄを近接音声出力に割り振る。これによれば、チャンネルＡ、Ｂ、Ｃ以外の近接音声出力に差分Ｄを割り振ることにより、近接音声出力において当該チャンネルの音量が増加するので、音声出力装置全体として所定の音量を維持することが可能になる。

上記によれば、ダウンミックス時の再生音声出力の最大出力および上限値から判断して、クリップ（音声信号の所定値以上を切り捨てる操作）が発生するときには、重要度の低いチャンネルの音量を下げて、その下げた分の音量を他のチャンネルの音声出力に割り振る。これによれば、重要度の高いチャンネルの音声出力の音量を維持できるので、重要な音声が聴き取りやすくなる。なお、それでも音声出力信号が上限値以下にならない場合には、重要度の高いチャンネルの音声出力の音量も下げることになる。

〔実施形態６〕
本発明の実施形態６に係る制御部７の処理について、図７を参照して説明する。図７は、本実施形態に係る制御部７の処理を示すフローチャートであり、音声出力信号のレベルに上限値および下限値がある場合の処理を示す。この処理は、加算部５または出力部６が出力する３個の音声出力信号のレベルを、ゲイン調整部４が３個のチャンネル（入力チャンネル）Ａ、Ｂ、Ｃの音声信号に施すゲインにフィードバックするものである。なお、音声出力信号の個数および音声信号のチャンネル数は、３個に限ることなく、別の個数であってもよい。

まず、制御部７は、加算部５または出力部６の音声出力信号のレベルを取得し、各レベルを加算し、加算値Ｓに代入する（Ｓ７０１）。次に、加算値Ｓは音声出力信号の上限値である閾値Ｌ以下か否かを判定する（Ｓ７０２）。加算値Ｓが閾値Ｌ以下である場合（Ｓ７０２のＹｅｓ）、加算値Ｓが音声出力信号の下限値である閾値Ｈ以上か否かを判定する（Ｓ７０３）。加算値Ｓが閾値Ｈ以上である場合（Ｓ７０３のＹｅｓ）、加算値Ｓが閾値Ｈから閾値Ｌまでの間にあるため、音声出力信号をそのまま出力可能なので、加算値Ｓ、すなわち、Ｓ７０１で取得したレベルの３個の音声出力信号を出力部６から出力させる（Ｓ７０４）。具体的には、制御部７は、３個のチャンネルの音声信号に対応するゲイン調整部４に対して、現状のゲインによる調整を指示する。

Ｓ７０２において、加算値Ｓが閾値Ｌ以下でない、すなわち、閾値Ｌより大きい場合（Ｓ７０２のＮｏ）、制御部７は、チャンネルＡがチャンネルＢよりも重要度が高いか否かを判定する（Ｓ７０５）。Ｓ７０５〜Ｓ７１３の処理は、図６のＳ６０４〜Ｓ６１２の処理と同様であるので、説明を割愛する。

Ｓ７０３において、加算値Ｓが閾値Ｈ以上でない場合、すなわち、閾値Ｈより小さい場合（Ｓ７０３のＮｏ）、制御部７は、チャンネルＡがチャンネルＢよりも重要度が高いか否かを判定する（Ｓ７２１）。チャンネルＡがチャンネルＢよりも重要度が高い場合に（Ｓ７２１のＹｅｓ）、制御部７は、さらに、チャンネルＡがチャンネルＣよりも重要度が高いか否かを判定する（Ｓ７２２）。

チャンネルＡがチャンネルＣよりも重要度が高い場合（Ｓ７２２のＹｅｓ）、チャンネルＡの重要度が最も高いことになるので、制御部７は、加算値Ｓ’にγＡ＋Ｂ＋Ｃ（γは、１以上の伸長係数。以下同様）を代入する（Ｓ７２３）。一方、チャンネルＡがチャンネルＣよりも重要度が高くない場合、すなわち、重要度が同じかまたは低い場合（Ｓ７２２のＮｏ）、チャンネルＣの重要度が最も高いことになるので、制御部７は、加算値Ｓ’にＡ＋Ｂ＋γＣを代入する（Ｓ７２４）。

Ｓ７２１において、チャンネルＡがチャンネルＢよりも重要度が高くない場合、すなわち、重要度が同じかまたは低い場合（Ｓ７２１のＮｏ）、制御部７は、さらに、チャンネルＢがチャンネルＣよりも重要度が高いか否かを判定する（Ｓ７２５）。チャンネルＢがチャンネルＣよりも重要度が高い場合に（Ｓ７２５のＹｅｓ）、チャンネルＢの重要度が最も高いことになるので、制御部７は、加算値Ｓ’にＡ＋γＢ＋Ｃを代入する（Ｓ７２６）。一方、チャンネルＢがチャンネルＣよりも重要度が高くない場合、すなわち、重要度が同じかまたは低い場合に（Ｓ７２５のＮｏ）、チャンネルＣの重要度が最も高いことになるので、制御部７は、加算値Ｓ’にＡ＋Ｂ＋γＣを代入する（Ｓ７２４）。

Ｓ７２３、Ｓ７２４、または、Ｓ７２６において、加算値Ｓ’が確定した後に、加算値Ｓ’、すなわち、音声出力信号のＡ、Ｂ、Ｃのうち、いずれか１つは伸長係数γをかけたレベル、他の２つはＳ７０１で取得したレベルの音声出力信号を出力部６から出力させる（Ｓ７２７）。具体的には、制御部７は、３個のチャンネルの音声信号に対応するゲイン調整部４のうち、いずれか１つに対して現状のゲインに伸長係数γをかけて調整するように指示し、他の２つに対して現状のゲインによる調整を指示する。

上記によれば、例えば、背景音のレベルが小さく、人のセリフがさらに小さい場合に、人のセリフを引き上げることにより、聴き取りやすくすることができる。

〔実施形態７〕
以上の実施形態では、チャンネルの重要度に応じて、当該チャンネルの音声信号のゲインを調整するように説明したが、例えば、特定のチャンネルの音声信号を優先させるために、その他のチャンネルの音量を下げるようにしてもよい。例えば、人の声を優先させるために、背景音の音量を下げてもよいし、逆に、背景音を優先させるために、人の声の音量を下げてもよい。

〔ソフトウェアによる実現例〕
図１、４、５に示す音声出力装置１、１ａ、１ｂの各機能ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア、デジタル回路）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、音声出力装置１、１ａ、１ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、複数チャンネルの音声信号に対してダウンミックスを行う音声処理装置、および、マルチチャンネルの音声出力を行う音声出力装置に利用することができる。

１、１ａ、１ｂ 音声出力装置
３ 処理部
４ ゲイン調整部
５ 加算部
６ 出力部
７ 制御部

Claims (7)

1. 出力される音声の音量を適正に保持するように、チャンネルごとの音声信号のゲインを動的に調整するゲイン調整部と、
   上記ゲイン調整部によりゲインが調整された、チャンネルごとの音声信号を、当該チャンネルの係数に応じて重み付け加算する加算部と、
   を備え、
   上記ゲイン調整部は、上記チャンネルごとの音声信号のゲインを、当該チャンネルの重要度に応じて調整する
   ことを特徴とする音声処理装置。
2. 上記加算部により重み付け加算された、チャンネルごとの音声信号の加算値を取得し、当該加算値およびチャンネルごとの重要度に応じて、上記ゲイン調整部に上記ゲインの調整を指示する制御部
   をさらに備え、
   上記ゲイン調整部は、上記制御部からの指示に従って、上記ゲインを調整する
   ことを特徴とする請求項１に記載の音声処理装置。
3. 上記制御部は、
   上記加算値が出力音量の上限値より大きい場合、上記加算部による重み付け加算の対象となるチャンネルのうち、重要度の低いチャンネルの音声信号のゲインを下げるように、上記ゲイン調整部に指示する
   ことを特徴とする請求項２に記載の音声処理装置。
4. 上記制御部は、
   上記加算値と、上記ゲインを下げた後の加算値との差分を、他のチャンネルの出力音量に割り振る
   ことを特徴とする請求項３に記載の音声処理装置。
5. 上記制御部は、
   上記加算値が音声信号の下限値より小さい場合、上記加算部による重み付け加算の対象となるチャンネルのうち、重要度の高いチャンネルの音声信号のゲインを上げるように、上記ゲイン調整部に指示する
   ことを特徴とする請求項２に記載の音声処理装置。
6. 上記チャンネルの重要度は、
   上記チャンネルの標準位置と視聴者の正面位置との間の距離、
   頂点となる視聴者から見た上記チャンネルの標準位置と当該視聴者の正面位置とのなす角度、および、
   上記チャンネルの係数
   の少なくとも何れかに応じて設定される
   ことを特徴とする請求項１から４のいずれか一項に記載の音声処理装置。
7. 請求項１から６のいずれか一項に記載の音声処理装置と、
   上記加算部により重み付け加算された、チャンネルごとの音声信号を出力する出力部と、
   を備えたことを特徴とする音声出力装置。

Images