JP2008236384A - 音声ミキシング装置 - Google Patents

Abstract

【課題】少ない演算量で音声合成が可能な音声ミキシング装置を提供する。
【解決手段】２入力の音声データを合成する音声ミキシング装置であって、各々が、スケール調整処理で用いられるスケール調整係数マトリックスとダウンミックス処理で用いられるダウンミックス係数マトリックスとを、所定の周期で１つのミキシング係数マトリックスに合成する２個の係数生成部９０および９１と、２個のミキシング係数マトリックスのスムージング処理を行うスムージング部１００と、スムージング部１００でスムージング処理が施された２個のミキシング係数マトリックスと２入力の音声データとの間でそれぞれマトリックス演算を行うマトリックス演算部１１０と、マトリックス演算部１１０での２個の演算結果を１つの音声データに合成する音声合成部１２０とを備える。
【選択図】図１

Description

本発明は、広くはディジタル信号処理技術に関し、特に複数入力の音声データを合成して出力するオーディオミキシング処理を行う音声ミキシング装置に関するものである。

Ｂｌｕ−ｒａｙディスクやＨＤ−ＤＶＤ（High Definition DVD）ディスクと呼ばれる次世代光ディスクには、例えば映画の場合、映画の本編部分を収録した音声ストリームとは別に映画監督のコメンタリ部分を収録した音声ストリームが記録されている。次世代光ディスク再生装置ではそれらの音声ストリームをそれぞれ復号した後、１つの音声データに合成して出力することが可能である。

しかしながら、音声の合成を行うためには、復号された複数の音声データそれぞれのすべてのサンプルに対して、音声ストリーム中または外部指定の係数を用いたスケール調整処理を行う必要がある。また、該スケール調整処理で用いるスケール調整係数が前回のスケール調整処理で用いたスケール調整係数と異なっている場合には、スケールの変化を滑らかに行うために、前回のスケール調整係数から該スケール調整係数まで所定の割合で変化させていくスムージング処理を行う必要がある。さらに、音声ストリームに記録されているチャンネル数と出力されるチャンネル数が異なっている場合には、復号された複数の音声データに対して音声ストリーム中または外部指定のダウンミックス係数を用いたダウンミックス処理を行う必要がある。

以下、図面を参照しながら、従来技術について説明する。
図２は、従来の音声ミキシング装置の一構成例を示すブロック図である。

音声ミキシング装置は、オーディオ入力バッファ１０および１１と、オーディオ復号部２０および２１と、オーディオ出力バッファ３０および３１と、係数スムージング部４０および４１と、スケール調整部５０および５１と、ダウンミックス部６０および６１と、音声合成部７０と、スピーカ８０とから構成される。

オーディオ入力バッファ１０および１１は、音声ストリームＡおよび音声ストリームＢをそれぞれ記憶する記憶装置である。

オーディオ復号部２０および２１は、オーディオ入力バッファ１０および１１に保存されている音声ストリームＡおよび音声ストリームＢを復号し、音声データＣおよびＤとしてオーディオ出力バッファ３０および３１にそれぞれ保存する。

係数スムージング部４０および４１は、音声ストリーム中からまたは外部から指定されたスケール調整係数マトリックスＥおよびＦが前回のスケール調整係数マトリックスと異なっていた場合、所定の割合でスケール調整係数マトリックスをそれぞれ増加させていく。

スケール調整部５０および５１は、スムージングを行ったスケール調整係数マトリックスＧおよびＨとオーディオ出力バッファ３０および３１に保存されている音声データＣおよびＤとを用いて、音声データＣおよびＤのスケール調整処理をそれぞれ行う。

ダウンミックス部６０および６１は、音声ストリーム中からまたは外部から指定されたダウンミックス係数マトリックスＫおよびＬとスケール調整処理を施した後の音声データＩおよびＪを用いて、音声データＩおよびＪのダウンミックス処理を行い、音声データＭおよびＮをそれぞれ出力する。

音声合成部７０は、ダウンミックス処理を施した後の音声データＭおよびＮの合成処理を行い、スピーカ８０から音声合成後の音声データＯを出力する。

スケール調整部５０におけるスケール調整処理で用いられるスケール調整係数マトリックスＥは、音声データのチャンネル数がＺであれば、最大でＺ行Ｚ列のマトリックス係数となる。例えば、音声データのチャンネル数が６チャンネルであれば、下記のような６行６列のマトリックスとなる。なお、スケール調整係数マトリックスＦも同様である。

ここで、前回のスケール調整処理で用いたスケール調整係数マトリックスが、スケール調整係数マトリックスＥとは異なる下記のような６行６列のスケール調整係数マトリックスＥ２であった場合には、スケール調整係数マトリックスのスムージング処理を行う必要がある。

例えば、スケール調整処理を１００サンプルの音声データに対して行っている間に、スケール調整係数マトリックスをスケール調整係数マトリックスＥ２からスケール調整係数マトリックスＥまでスムージングする場合、１サンプル目のスケール調整処理で用いられるスケール調整係数マトリックスＧは下記のようになる。

ここで、スケール調整係数マトリックスＧの１行１列目の要素ｍ１の値は、下記のようになる。
ｍ１＝ａ１＋（ｇ１−ａ１）÷１００
同様に、２行１列目の要素ｎ１の値は、
ｎ１＝ｂ１＋（ｈ１−ｂ１）÷１００
となる。

また、次サンプルのスケール調整処理で用いられるスケール調整係数マトリックスの１行１列目の要素の値は、上記ｍ１と同様に、
ｍ１＋（ｇ１−ａ１）÷１００
の式で表される。

このように、係数スムージング処理では、前回と今回のスケール調整処理で用いられるスケール調整係数マトリックスの差分を所定のサンプル数で除算した値をサンプル毎に１つ前のサンプルに対するのスケール調整処理で用いたスケール調整係数マトリックスに対して加算する必要がある。このため、チャンネル数Ｚの音声データを２種類合成する場合には、２×Ｚ×Ｚ回の加算演算が発生する。

スケール調整部５０におけるスケール調整処理では、前記スムージング処理を施した後のスケール調整係数マトリックスと音声データとのマトリックス演算を行う必要がある。スケール調整部５１におけるスケール調整処理でも同様である。

該サンプルの音声データＣを下記のように表すと、

スムージング処理を施した後のスケール調整係数マトリックスＧとチャンネル数６の音声データＣとのマトリックス演算を表す行列式は下記のようになる。

ここで、マトリックス演算を施した後の音声データＩの要素ＬＦ２は下記の式で求められる。
ＬＦ２＝ｍ１×ＬＦ１＋ｍ２×ＲＦ１＋ｍ３×ＬＳ１＋ｍ４×ＲＳ１＋ｍ５×ＣＦ１＋ｍ６×ＬＦＥ１
同様に、要素ＲＦ２は下記の式で求められる。
ＲＦ２＝ｎ１×ＬＦ１＋ｎ２×ＲＦ１＋ｎ３×ＬＳ１＋ｎ４×ＲＳ１＋ｎ５×ＣＦ１＋ｎ６×ＬＦＥ１

このように、スケール調整処理では、スケール調整係数マトリックスと音声データとのマトリックス演算を毎サンプル行う必要があり、チャンネル数Ｚの音声データ２種類を合成する場合、２×Ｚ×Ｚ回の積和演算が発生する。

音声ストリームに記録されているチャンネル数と出力されるチャンネル数が異なっている場合には、復号された音声データに対してダウンミックス処理を行う必要がある。

ダウンミックス部６０におけるダウンミックス処理で用いられるダウンミックス係数は、音声データのチャンネル数が６チャンネルでれば下記のような６行６列のダウンミックス係数マトリックスＫとなる。ダウンミックス部６１におけるダウンミックス処理でも同様である。

ダウンミックス係数マトリックスＫとスケール調整処理を施した後のチャンネル数６の音声データＩとのマトリックス演算を表す行列式は下記のようになる。

ここで、マトリックス演算を施した後の音声データＭの要素ＬＦ３は下記の式で求められる。
ＬＦ３＝ｓ１×ＬＦ２＋ｓ２×ＲＦ２＋ｓ３×ＬＳ２＋ｓ４×ＲＳ２＋ｓ５×ＣＦ２＋ｓ６×ＬＦＥ２
同様に、音声データＭの要素ＲＦ２は下記の式で求められる。
ＲＦ３＝ｔ１×ＬＦ２＋ｔ２×ＲＦ２＋ｔ３×ＬＳ２＋ｔ４×ＲＳ２＋ｔ５×ＣＦ２＋ｔ６×ＬＦＥ２

このように、ダウンミックス処理では、ダウンミックス係数マトリックスと音声データとのマトリックス演算を毎サンプル行う必要があり、チャンネル数Ｚの音声データ２種類を合成する場合、２×Ｚ×Ｚ回の積和演算が発生する。

音声合成処理では、上記のスムージング処理、スケール調整処理、ダウンミックス処理が合成する複数の音声データに対して施された後、それらの音声データを合成する。

上記のように表される音声データＮと音声データＭを合成する場合、合成後の音声データＯの要素ＬＦ５は下記の式で求められる。
ＬＦ５＝ＬＦ３＋ＬＦ３
同様に、音声データＯの要素ＲＦ５は下記の式で求められる。
ＲＦ５＝ＲＦ３＋ＲＦ４

このように、音声合成処理では、複数の音声データの加算処理を毎サンプル行う必要があり、チャンネル数Ｚの音声データ２種類を合成する場合、２×Ｚ回の加算演算が発生する。

特許文献１は次世代光ディスク再生装置において、複数の音声データを合成した後の出力方法に関するもので、合成された音声データを再符号化して出力することを特徴としている。
特開２００６−１９７３９１号公報

複数の音声データを合成し出力する場合、スケール調整に用いる係数のスムージング処理、スケール調整処理、ダウンミックス処理をそれぞれの音声データに対して行い、それらの処理を施した後の音声データを合成する必要がある。例えば、チャンネル数Ｚの音声データ２本を合成する場合、以下の（１）から（４）の演算を１サンプル毎に行なう必要がある。

（１）スムージング処理はＺ×Ｚ×２＝２Ｚ²回の加算演算
（２）スケール調整処理はＺ×Ｚ×２＝２Ｚ²回の積和演算
（３）ダウンミックス処理はＺ×Ｚ×２＝２Ｚ²回の積和演算
（４）音声データ合成処理は、Ｚ回の加算演算

このため、音声データのサンプリング周波数が４８ｋＨｚであった場合は、１秒当たり４８０００×（６Ｚ²＋Ｚ）回の演算が必要となり、演算量が膨大であるという問題がある。

ここで、スケール調整処理およびダウンミックス処理で用いる係数は、音声データのチャンネル数や出力されるチャンネル数により異なるため、組み込むシステムに応じた係数を選択する処理部をソフトウェアで実現する必要がある。

しかしながら、スムージング処理、マトリックス演算、音声合成処理は音声データのチャンネル数や出力されるチャンネル数に関わらず、常に加算演算や積和演算のみを行えば良い。

そこで、スケール調整係数およびダウンミックス係数はソフトウェアを用いて所定の周期で合成し、スムージング処理、マトリックス演算、音声合成処理はソフトウェアではなく他の機構、例えばハードウェアで実現することにより、ソフトウェアの演算量を減らすことが可能となる。

本発明は、スムージング処理、マトリックス処理、音声合成処理を他の機構で行い、加算演算および積和演算の回数を減らすことで、少ない演算量で音声合成が可能な音声ミキシング装置を提供することを目的とする。

上記目的を達成するために、本発明に係る音声ミキシング装置は、Ｙ（Ｙは２以上の整数）入力の音声データを合成する音声ミキシング装置であって、各々が、スケール調整処理で用いられるスケール調整係数マトリックスとダウンミックス処理で用いられるダウンミックス係数マトリックスとを、所定の周期で１つのミキシング係数マトリックスに合成するＹ個のミキシング係数マトリックス生成手段と、Ｙ個の前記ミキシング係数マトリックスのスムージング処理を行うスムージング手段と、前記スムージング手段でスムージング処理が施された前記Ｙ個のミキシング係数マトリックスと前記Ｙ入力の音声データとの間でそれぞれマトリックス演算を行うマトリックス演算手段と、前記マトリックス演算手段でのＹ個の演算結果を１つの音声データに合成する音声合成手段とを備える。

この装置によると、ミキシング係数マトリックス生成手段の処理での、スケール調整係数マトリックスとダウンミックス係数マトリックスとの合成処理は、所定の周期で行なわれる。このため、従来のように、サンプリング周期でスムージング処理、スケール調整処理およびダウンミックス処理を行なう場合に比べ、少ない演算量で音声ミキシング処理を行なうことができる。

好ましくは、上述の音声ミキシング装置は、さらに、Ｙ入力の音声ストリームを復号し、前記Ｙ入力の音声データを生成するオーディオ復号手段を備え、前記スムージング手段、前記マトリックス演算手段および前記音声合成手段の少なくとも１つは、前記オーディオ復号手段で実行される処理のバックグラウンドで処理を実行する。

より具体的には、前記バックグラウンドで実行される処理は、ハードウェアにより実現される。

スムージング処理、前記マトリックス演算手段および前記音声合成手段は、常に加算演算や積和演算のみを行えば良い処理部であるため、これらの手段はハードウェアで実現可能である。よって、これらの手段のうちの少なくとも１つをハードウェアで実現することにより、音声ミキシング処理を高速にすることができる。

本発明の音声ミキシング装置によれば、少ない演算量で複数入力の音声データの合成処理を提供することができる。

以下、図面を参照しながら、本発明の実施の形態に係る音声ミキシング装置について説明する。

図１は、本発明の実施の形態に係る音声ミキシング装置の一構成例を示すブロック図である。図１の音声ミキシング装置はオーディオ入力バッファ１０および１１と、オーディオ復号部２０および２１と、オーディオ出力バッファ３０および３１と、係数生成部９０および９１と、スムージング部１００と、マトリックス演算部１１０と、音声合成部１２０と、スピーカ８０とから構成されている。

オーディオ復号部２０および２１は、オーディオ入力バッファ１０および１１に保存されている音声ストリームＡおよび音声ストリームＢを復号し、音声データＣおよびＤとしてオーディオ出力バッファ３０および３１に保存する。

係数生成部９０および９１は、音声ストリーム中または外部から指定されたスケール調整係数マトリックスＥとダウンミックス係数マトリックスＫ、スケール調整係数マトリックスＦとダウンミックス係数マトリックスＬを所定のサンプル単位でそれぞれ１つに合成し、ミキシング係数マトリックスＰおよびＱをそれぞれ出力する。

例えば、音声データのチャンネル数が６であった場合、スケール調整係数マトリックスＥとダウンミックス係数マトリックスＫを１つのミキシング係数マトリックスＰに合成するマトリックス演算を表す行列式は下記のようになる。

ここで、１つに合成されたミキシング係数マトリックスＰの１行１列目の要素を表す式は下記の式で求められる。
ａａ１＝ａ１×ｓ１＋ａ２×ｔ１＋ａ３×ｕ１＋ａ４×ｖ１＋ａ５×ｗ１＋ａ６×ｘ１
同様に、ミキシング係数マトリックスＰの２行１列目の要素を表す式は下記の式で求められる。
ａｂ１＝ｂ１×ｓ１＋ｂ２×ｔ１＋ｂ３×ｕ１＋ｂ４×ｖ１＋ｂ５×ｗ１＋ｂ６×ｘ１

このように、スケール調整係数マトリックスＥとダウンミックス係数マトリックスＫとを１つのミキシング係数マトリックスＰに合成するためにマトリックス演算を行なう。よって、チャンネル数Ｚの音声データ２種類について、２つのミキシング係数マトリックスＰおよびＱに合成する場合、２×Ｚ×Ｚ回の積和演算が発生する。

ただし、スムージング部１００が、前回合成したミキシング係数マトリックスＰと今回合成したミキシング係数マトリックスＰとの差分から、該サンプルで用いるべきミキシングマトリックス係数を算出する。このため、上記のマトリックス演算は所定の周期でのみ行えばよい。

例えば、スケール調整処理を１００サンプルの音声データに対して行っている間に、前回合成されたミキシング係数マトリックスＰから今回合成されたミキシング係数マトリックスＰまでスムージングする場合、上記マトリックス演算は１００サンプルに１度のみで良いことになる。

係数生成部９０および９１は、上記のように合成したミキシング係数マトリックスＰおよびＱをスムージング部１００にそれぞれ入力する。

スムージング部１００は、入力されたミキシング係数マトリックスＰおよびＱが前回入力されたミキシング係数マトリックスと異なっている場合に、スムージング処理を行い、ミキシング係数マトリックスＲおよびＳをそれぞれ出力する。

マトリックス演算部１１０は、スムージング処理が施されたミキシング係数マトリックスＲおよびＳとオーディオ出力バッファ３０および３１に保存されている音声データＣおよびＤとを用いて、ミキシング係数マトリックスＲと音声データＣ、ミキシング係数マトリックスＳと音声データＤのマトリックス演算をそれぞれ行い、音声データＴおよびＵを出力する。

音声合成部１２０は、マトリックス演算が施された音声データＴおよびＵの合成処理を行い、スピーカ８０から音声データＯを出力する。

以上述べた実施の形態により、２種類の音声データを合成する場合の１サンプル当たりの演算量は、係数生成部９０および９１では、
Ｚ×Ｚ×２÷（所定のサンプル数）＝２Ｚ²÷（所定のサンプル数）回の積和演算
スムージング部１００では、
Ｚ×Ｚ×２＝２Ｚ²回の加算演算、
マトリックス演算部１１０では、
Ｚ×Ｚ×２＝２Ｚ²回の積和演算、
音声合成部１２０では、
Ｚ回の加算演算
の演算量が必要となる。

例えば、係数生成部９０および９１が１００サンプル単位で動作するシステムであり、音声データのサンプリング周波数が４８ｋＨｚである場合は、１秒当たり
４８０００×（４Ｚ²＋２Ｚ²÷１００＋Ｚ）回
の演算回数で音声データの合成が可能であり、従来の４８０００×（６Ｚ²＋Ｚ）回と比べて少ない演算量で音声データの合成処理を実現することが可能となる。

なお、スムージング部１００、マトリックス演算部１１０および音声合成部１２０をハードウェアで実現すれば、同条件の音声データの合成処理で必要となる演算量は、
４８０００×Ｚ×Ｚ×２÷１００＝９６０×Ｚ²回
の積和演算およびハードウェアの動作時間のみとなり、従来の
４８０００×（６Ｚ²＋Ｚ）回
と比べて大幅に少ない演算量で複数入力の音声データを合成する音声ミキシング装置を提供することが可能となる。

これにより、従来の音声ミキシング装置より少ない演算量で音声データの合成処理を実現することが可能となる。

さらに、ハードウェアで構成されたスムージング部１００、マトリックス演算部１１０および音声合成部１２０が動作している間に、音声ストリームの復号処理や他の音響処理を実行し、ハードウェアのバックグラウンド処理を実現すれば、同条件の音声データの合成処理で必要となる演算量は、
４８０００×Ｚ×Ｚ×２÷１００＝９６０×Ｚ²回
の積和演算のみとなり、従来の音声ミキシング装置と比べてさらに少ない演算量で音声データの合成処理を実現することが可能となる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、低価格なディジタル信号処理用ＬＳＩ（Large Scale Integration）を搭載した音声ミキシング装置として有用である。

本発明の実施の形態に係る音声ミキシング装置の一構成例を示す回路ブロック図である。 従来の音声ミキシング装置の一構成例を示す回路ブロック図である。

符号の説明

１０、１１ オーディオ入力バッファ
２０、２１ オーディオ復号部
３０、３１ オーディオ出力バッファ
４０、４１ 係数スムージング部
５０、５１ スケール調整部
６０、６１ ダウンミックス部
７０、１２０ 音声合成部
８０ スピーカ
９０、９１ 係数生成部
１００ スムージング部
１１０ マトリックス演算部
Ａ、Ｂ 音声ストリーム
Ｃ、Ｄ 音声データ
Ｅ、Ｆ スケール調整係数マトリックス
Ｇ、Ｈ スムージング処理後のスケール調整係数マトリックス
Ｉ、Ｊ スケール調整処理後の音声データ
Ｋ、Ｌ ダウンミックス係数マトリックス
Ｍ、Ｎ ダウンミックス処理後の音声データ
Ｏ 音声合成後の音声データ
Ｐ、Ｑ ミキシング係数マトリックス
Ｒ、Ｓ スムージング処理後のミキシング係数マトリックス
Ｔ、Ｕ マトリックス演算後の音声データ

Claims (6)

1. Ｙ（Ｙは２以上の整数）入力の音声データを合成する音声ミキシング装置であって、
   各々が、スケール調整処理で用いられるスケール調整係数マトリックスとダウンミックス処理で用いられるダウンミックス係数マトリックスとを、所定の周期で１つのミキシング係数マトリックスに合成するＹ個のミキシング係数マトリックス生成手段と、
   Ｙ個の前記ミキシング係数マトリックスのスムージング処理を行うスムージング手段と、
   前記スムージング手段でスムージング処理が施された前記Ｙ個のミキシング係数マトリックスと前記Ｙ入力の音声データとの間でそれぞれマトリックス演算を行うマトリックス演算手段と、
   前記マトリックス演算手段でのＹ個の演算結果を１つの音声データに合成する音声合成手段と
   を備える音声ミキシング装置。
2. さらに、Ｙ入力の音声ストリームを復号し、前記Ｙ入力の音声データを生成するオーディオ復号手段を備え、
   前記スムージング手段、前記マトリックス演算手段および前記音声合成手段の少なくとも１つは、前記オーディオ復号手段で実行される処理のバックグラウンドで処理を実行する
   請求項１に記載の音声ミキシング装置。
3. 前記バックグラウンドで実行される処理は、ソフトウェアにより実現される
   請求項２に記載の音声ミキシング装置。
4. 前記バックグラウンドで実行される処理は、ハードウェアにより実現される
   請求項２に記載の音声ミキシング装置。
5. 前記Ｙ個のミキシング係数マトリックス生成手段は、各々が、前記所定の周期で、スケール調整処理で用いられるスケール調整係数マトリックスとダウンミックス処理で用いられるダウンミックス係数マトリックスとの行列積を求める
   請求項１〜４のいずれか１項に記載の音声ミキシング装置。
6. 前記マトリックス演算手段は、前記スムージング手段でスムージング処理が施された前記Ｙ個のミキシング係数マトリックスと前記Ｙ入力の音声データとの間でそれぞれ行列積演算を行なう
   請求項１〜５のいずれか１項に記載の音声ミキシング装置。

Images