JP2017192103A - 音像量子化装置、音像逆量子化装置、音像量子化装置の動作方法、音像逆量子化装置の動作方法およびコンピュータプログラム - Google Patents

Abstract

【課題】空間中に音像を形成する際のゲインの計算負荷を低減する。【解決手段】音像量子化装置１は、複数の方向ベクトルを格納する方向ベクトル格納部１２と、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部１２から取得する音源方向量子化部１３と、複数の距離を格納する距離格納部１４と、音源方向ベクトルのノルムに対応する距離を距離格納部１４から取得する音源距離量子化部１５とを備える。【選択図】図１

Description

本発明は、空間中に音像を形成する際のゲインの計算負荷を低減する技術に関する。

従来において、パブリックビューイングやコンサートでは、上映会場に設置した複数のスピーカから音声や音楽などを再生する。近年、仮想的な音源（音像）を上映空間に形成することにより、これまで以上に臨場感のある音響再生を実現する取り組みが行われている。

非特許文献１に開示の方法によれば、上映会場内の仮想空間中に音像の位置を定義し、音像の位置に応じてスピーカの音量を調整することで観客が感じる音像の位置を制御できる。

また、上映空間に仮想的な音源を作り出す音響再生技術に関し、特許文献１は、電話会議相手から送られてくる音声に対して擬似的に音像を与えることにより、臨場感の高い電話会議を実現する。

特許文献１では、あらかじめ通話相手の地点ごとに音像を定位させる位置を固定し、通話相手から伝送される音声符号に含まれるゲインを用いて低演算量で音像定位を実現できるが、音源の位置を柔軟に動かすことができないという問題がある。

一方、非特許文献２に開示の技術では、人間が知覚できる音像位置の分解能には限界があり、例えば観客に対して正面横方向であれば約３〜４度程度の精度でしか音像の位置を区別することができない。

特開２０１１−１８２１４１号公報

Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning," J. Audio Engineering Society, Vol.45, No.6, 1997, June. G. Kearney, Enda Bates, Frank Boland and Dermot Furlong, "A Comparative Study of the Performance of Spatialization Techniques for a Distributed Audience in a Concert Hall Environment," in Proc. of 31th International Conference of the Audio Engineering Society, June 2007.

非特許文献１の手法は、音像定位効果を持つ音響再生技術としては、比較的シンプルな装置構成で実現できるが、音像の数が増加したり音像が動いたりすると、その都度スピーカに与えるゲインを再計算する必要が生じるため、計算負荷が増大するという問題がある。

また、特許文献１に記載の手法も低演算量で音像定位を行うことができるが、２チャンネルステレオを前提とした技術であるため、マルチチャネル音声に対する音像定位への対応が問題となる。

本発明は、上記事情に鑑みなされたもので、空間中に音像を形成する際のゲインの計算負荷を低減する技術を提供することを目的とする。

上記課題を解決するために、第１の本発明の音像量子化装置は、複数の方向ベクトルを格納する方向ベクトル格納部と、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを前記方向ベクトル格納部から取得する音源方向量子化部と、複数の距離を格納する距離格納部と、前記音源方向ベクトルのノルムに対応する距離を前記距離格納部から取得する音源距離量子化部とを備えることを特徴とする。

第２の本発明の音像逆量子化装置は、複数の方向のそれぞれに対応づけてパニングゲインを格納するパニングゲイン格納部と、観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインを前記パニングゲイン格納部から取得するパニングゲイン決定部と、複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する距離減衰ゲイン格納部と、前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを前記距離減衰ゲイン格納部から取得する音源距離逆量子化部とを備えることを特徴とする。

第３の本発明の音像量子化装置の動作方法は、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部から取得するステップと、前記音源方向ベクトルのノルムに対応する距離を距離格納部から取得するステップとを行うことを特徴とする。

第４の本発明の音像逆量子化装置の動作方法は、観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインをパニングゲイン格納部から取得するステップと、前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部から取得するステップとを行うことを特徴とする。

第５の本発明のコンピュータプログラムは、音像量子化装置または音像逆量子化装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明によれば、空間中に音像を形成する際のゲインの計算負荷を低減できる。

実施形態１のシステム構成図である。 音源方向ベクトルと音像位置の関係を示す図である。 方向ベクトルの例を示す図である。 方向ベクトル格納部１２に格納された方向ベクトルの具体例を示す図である。 距離格納部１４に格納された距離の例を示す図である。 パニングゲイン格納部２１に格納されたパニングゲインの例を示す図である。 距離減衰ゲイン格納部２３に格納された距離減衰ゲインの例を示す図である。 各ゲイン（パニングゲイン、距離減衰ゲイン）とチャネルの関係を示す図である。 実施形態２のシステム構成図である。 実施形態２における処理の流れを示すフローチャートである。 実音源（音像）と虚音源の位置関係を示す図である。 ステップＳ７の詳細なフローチャートである。 実施形態２で生成される音響信号の波形図である。 本実施形態の技術についての性能の評価結果であり、音像の方向を固定した場合（実験１）の評価結果を示す図である。 本実施形態の技術についての性能の評価結果であり、音像の方向を変化させた場合（実験２）の評価結果を示す図である。

以下、本発明の実施形態について図面を参照して説明する。本実施の形態は、例えば、上映空間中に仮想的な音源を作り出す演出効果をもつ音響再生技術を開示するものである。

非特許文献２に記載の通り、人間が区別できる音像位置の精度には限界がある。そこで、実施形態では、音像を定位させる位置や方向を空間内で事前に量子化し、各位置に音像がある場合に各チャネルに与えるスピーカのゲインを予め設定し、音源ごとに量子化された音像位置や方向に対応するインデクスで音源位置を符号化する。

再生時には、上記インデクスを元に、対応する音源を再生する際のスピーカのゲインが一意に特定できるため、非常に低い演算負荷で多数の音源に対し音像定位効果を与えることができる。

以下、実施形態を実施形態１、２に分けて詳しく説明する。

［実施形態１］
実施形態１は、残響を利用した音像制御を行う最も基本的な構成例であり、図１にシステム構成を示す。

実施形態１のシステムは、音像量子化装置１と、音像逆量子化装置２と、音響再生装置３と、音響装置４を有する構成である。

音像量子化装置１は、例えば、事前にコンテン製作者らが定めた音像（仮想的な音源）の位置を取得し、空間、例えば映画の上映会場の着座位置などの観測点から、取得した音像の位置の方向を求めるとともに、観測点から音像の位置までの距離を求める。

音像逆量子化装置２は、音響信号を入力し、求めた方向と距離を基に、取得した音像の位置に実際に音像が形成されるように、音響信号にゲインを割り当てる。

音響再生装置３は、割り当て後の音響信号を音響装置４の各スピーカなどに与え、音響装置４の各スピーカなどは、音響信号に応じた音響を再生する。再生された音響により、取得した音像の位置に実際に音像が形成される。

音響装置４は、上映会場に配置されたｎ（ｎは複数）チャネル（ＣＨ１〜ＣＨｎ）のスピーカなどである。

音像量子化装置１は、音像位置算出部１１と、方向ベクトル格納部１２と、音源方向量子化部１３と、距離格納部１４と、音源距離量子化部１５と、を有する。

音像位置算出部１１は、事前にコンテン製作者らが定めた音像の位置を取得し、取得した音像の位置と予め定められた観測点の位置に基づいて、図２に示すように、観測点から音像までの音源方向ベクトルを算出する。音源方向ベクトルは、例えば水平方向の所定の方向（Ｘ軸）を基準とした方位角と、ＸＹ平面を基準とした仰角と、観測点から音像までのノルムとからなる。

図１に戻り、方向ベクトル格納部１２は、予め複数の方向ベクトルを格納している。方向ベクトルとしては、観測点からの方位角（−１８０度〜＋１８０度）と仰角（−９０度〜＋９０度）を一様に分割したベクトルなどを用いることができる。例えば、図３に示すように、仰角を＋４５度、方位角を−１３５度、−４５度、＋４５度、＋１３５度に分割した、４個の方向ベクトルＶ１〜Ｖ４を用いる。これら方向ベクトルは、方向ベクトル格納部１２に格納される。

図４は、方向ベクトル格納部１２に格納された方向ベクトルの具体例を示す図である。

方向ベクトル格納部１２は、上記例の場合、４個の方向ベクトルを格納し、各方向ベクトルには、方向ベクトルを一意に示す方向インデクスｖ１〜ｖ４が対応づけられている。方向ベクトルは、音源方向ベクトルと基準を同一とした方位角と仰角とからなる。

なお、実用上は、方位角、仰角の量子化ステップを５度程度以下の解像度で分割した方向ベクトルを方向ベクトル格納部１２に格納する。すなわち、知覚上、音像に不連続性が生じない程度に量子化できるような十分な数の方向ベクトルを方向ベクトル格納部１２に格納する。

図１に戻り、音源方向量子化部１３は、音源方向ベクトルを音像位置算出部１１から取得し、音源方向ベクトルの方向（方位角と仰角）を量子化する。つまり、方向（方位角と仰角）に対応する方向ベクトルを方向ベクトル格納部１２から取得する。具体的には、音源方向量子化部１３は、方向ベクトル格納部１２に格納された各方向ベクトルと音源方向ベクトルの内積を計算し、全ての方向ベクトルとの内積計算の結果、最大の内積を与える方向ベクトルに対応づけられた方向インデクスを音像逆量子化装置２に送信（出力）する。

距離格納部１４は、事前に例えば学習により定めた複数の距離を格納している。

図５は、距離格納部１４に格納された距離の例を示す図である。

距離格納部１４は、複数の距離を格納し、各距離には、距離を一意に示す音源距離インデクスｄ１、ｄ２、ｄ３、ｄ４、…が対応づけられている。

図１に戻り、音源距離量子化部１５は、音源方向ベクトルを音像位置算出部１１から取得し、距離格納部１４を用いて、音源方向ベクトルのノルムを量子化する。つまり、音源距離量子化部１５は、ノルムに対応する距離を距離格納部１４から取得する。例えば、音源距離量子化部１５は、ノルムと各距離の差を計算し、最も小さい差に対応する音源距離インデクスを音像逆量子化装置２に送信（出力）する。

音像逆量子化装置２は、パニングゲイン格納部２１と、パニングゲイン決定部２２と、距離減衰ゲイン格納部２３と、音源距離逆量子化部２４と、ゲイン調整部２５と、を有する。

音像逆量子化装置２は、方向インデクスと音源距離インデクスを音像量子化装置１から受信する。

音像逆量子化装置２のパニングゲイン決定部２２は、方向インデクスを取得し、方向インデクスに対応するパニングゲインをパニングゲイン格納部２１から取得し、音響信号の各チャネルに割り当てる。

図６は、パニングゲイン格納部２１に格納されたパニングゲインの例を示す図である。

パニングゲイン格納部２１は、複数の方向のそれぞれに対応づけてパニングゲインを格納する。例えば、パニングゲイン格納部２１は、４個の方向インデクスｖ１〜ｖ４のそれぞれに対応づけて、パニングゲインを格納する。各パニングゲインは、音響信号のチャネル（ＣＨ１、ＣＨ２、…、ＣＨｎ）ごとのチャネルゲインからなる。各方向インデクスｖ１〜ｖ４に対応づけられたパニングゲインは、一般的にはチャネルごとに異なるチャネルゲイン（値）をとるベクトルであるが、同じ値が同じベクトルに含まれていてもよい。

パニングゲイン決定部２２は、観測点から音像までの音源方向ベクトルの方向、つまり、方向インデクスを取得し、パニングゲイン格納部２１から、取得した方向、つまり、方向インデクスに対応するパニングゲインを取得し、パニングゲインの各チャネルゲインを対応するチャネルに割り当てる。

音源距離逆量子化部２４は、音源距離インデクスに対応する距離減衰ゲインを、パニングゲインの各チャネルゲインが割り当てられた各チャネルに割り当てる。

図７は、距離減衰ゲイン格納部２３に格納された距離減衰ゲインの例を示す図である。

距離減衰ゲイン格納部２３は、複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する。距離減衰ゲインはスカラ量である。例えば、各距離減衰ゲインは、個別の音源距離インデクスｄ１、ｄ２、ｄ３、ｄ４、…に対応づけられている。すなわち、各距離減衰ゲインは、実質的に距離に対応づけられている。

図１に戻り、音源距離逆量子化部２４は、音源距離インデクスを取得し、音源距離インデクスに対応した遅延（スカラ量に応じた遅延）を、パニングゲインの各チャネルゲインが割り当てられた各チャネルに割り当て、音響信号に遅延を持たせて加算を行う。

具体的には、音源距離逆量子化部２４は、距離減衰ゲイン格納部２３から、取得した音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得し、パニングゲインの各チャネルゲインが割り当てられた各チャネルに距離減衰ゲインを割り当て、音響信号に遅延を持たせて加算を行う。

ゲイン調整部２５は、各チャネルに割り当てられたゲイン（チャネルゲイン、距離減衰ゲイン）を音響信号に割り当て（音響信号を処理し）、割り当て後のチャネル数分の音響信号を音響再生装置３に送信する。なお、音響信号の処理は、例えば、音像逆量子化装置２が備えるバッファ内で行う。すなわち、音響信号をバッファに格納し、バッファ内でゲイン（チャネルゲイン、距離減衰ゲイン）を音響信号に割り当てる（処理する）。

音響再生装置３は、各音響信号を受信し、各音響信号を、音響装置４の、対応するチャネルのスピーカなどに送信する。音響装置４の各スピーカは、受信した音響信号に応じた音響を再生する。再生された音響により、所望の位置、つまり、入力された音像の位置に実際に音像が形成される。

図８は、各ゲイン（パニングゲイン、距離減衰ゲイン）とチャネルの関係を示す図である。

音像逆量子化装置２に入力された音響信号（以下、「元の音響信号」という）は、パニングゲイン決定部２２により取得されたチャネルＣＨ１のチャネルゲインに応じた増幅量又は減衰量で増幅又は減衰される。また、増幅又は減衰後の音響信号は、音源距離逆量子化部２４により取得された距離減衰ゲインに応じた遅延量で遅延が生じるように処理される。

また、元の音響信号は、同様に、チャネルＣＨ２のチャネルゲインに応じた増幅量又は減衰量で増幅又は減衰される。また、増幅又は減衰後の音響信号は、同じ距離減衰ゲインに応じた遅延量で遅延が生じるように処理される。

また、他のチャネルについても同様の処理がなされる。

これにより、チャネルＣＨ１のスピーカは、元の音響信号に対して遅延したタイミングから、元の音響信号を例えば増幅した音響信号により音響を再生する。

また、チャネルＣＨ１のスピーカは、チャネルＣＨ１と同じ遅延したタイミングから、元の音響信号を例えば増幅した音響信号により音響を再生する。

また、チャネルＣＨｎのスピーカは、チャネルＣＨ１、２と同じ遅延したタイミングから、元の音響信号を例えば減衰した音響信号により音響を再生する。

こうして再生された音響により、入力された音像の位置に実際に音像が形成される。

（実施形態１の変形例）
上記実施形態１では、音源距離量子化部１５は、音源距離インデクスを送信し、音源距離逆量子化部２４は、音源距離インデクスに対応づけられた距離減衰ゲインを読み出した（逆量子化した）が、音源距離逆量子化部２４は、音源方向ベクトルのノルムから距離減衰ゲインを算出する構成としてもよい。例えば、音像量子化装置１は、距離格納部１４と音源距離量子化部１５を備えず、音像位置算出部１１が音源方向ベクトルのノルムを音像逆量子化装置２に送信する。音源距離逆量子化部２４は、送信されたノルムを取得し、ノルムに応じた距離減衰ゲイン（例えばノルムの逆数に応じた距離減衰ゲイン）を算出する。その他の処理は実施形態１と同じである。

または、音像量子化装置１においてノルムをスカラ量子化などで量子化し、音源距離逆量子化部２４が逆量子化を行い、これにより、ノルムに相当する値を算出する構成としてもよい。

以上のように、実施形態１によれば、音像を定位させる位置や方向を空間内で事前に量子化し符号化しておくことで、再生時に音源を再現する際のスピーカーに与えるゲインの計算負荷が低減できる。つまり、実施形態１によれば、音像量子化装置１は、複数の方向ベクトルを格納する方向ベクトル格納部１２と、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部１２から取得する音源方向量子化部１３と、複数の距離を格納する距離格納部１４と、音源方向ベクトルのノルムに対応する距離を距離格納部１４から取得する音源距離量子化部１５とを備える。

また、距離減衰ゲイン格納部２３の各距離減衰ゲインは個別の音源距離インデクスに対応づけられ、音源距離逆量子化部２４は、音源方向ベクトルのノルムに対応する音源距離インデクスを取得し、距離減衰ゲイン格納部２３から、取得した音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得する。

また、変形例の音像逆量子化装置２は、複数の方向のそれぞれに対応づけてパニングゲインを格納するパニングゲイン格納部２１と、観測点から音像までの音源方向ベクトルの方向を取得し、た方向に対応するパニングゲインをパニングゲイン格納部２１から取得するパニングゲイン決定部２２と、複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する距離減衰ゲイン格納部２３と、音源方向ベクトルのノルムを取得し、ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部２３から取得する音源距離逆量子化部２４とを備える。

よって、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。
また、計算負荷が少ないので、入力した音像の位置に音像を迅速に形成でき、別の音像の位置を入力すれば、音像を迅速に移動できる。

また、音像量子化装置１では、観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部１２から取得するステップと、音源方向ベクトルのノルムに対応する距離を距離格納部から取得するステップとを行う。

また、音像逆量子化装置２では、観測点から音像までの音源方向ベクトルの方向を取得し、方向に対応するパニングゲインをパニングゲイン格納部２１から取得するステップと、音源方向ベクトルのノルムを取得し、ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部２３から取得するステップとを行う。

よって、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。
また、計算負荷が少ないので、入力した音像の位置に音像を迅速に形成でき、別の音像の位置を入力すれば、音像を迅速に移動できる。

［実施形態２］
実施形態２では、壁面からの反射音を生成する発明を開示する。

図９は、実施形態２において壁面からの反射音を利用した音像制御を行うシステム構成図である。

実施形態２では、実施形態１の音像量子化装置１に対して、さらに虚音源生成部１６を有する音像量子化装置１ａを用いる。

ここでは、音像逆量子化装置２は、音響信号を格納するバッファを各チャネルにつき有することとする。

バッファには、音響信号の生成にあたり、例えば、２０ｍＳなどの１フレームに相当する時間蓄積した音響信号を入力信号として格納する。あるいは、コーデックを用いてエンコード、デコードして得られた音響信号を音声波形として用い、パニングゲインと距離減衰ゲインを適用の上、距離減衰ゲインに対応する遅延時間に応じて、各チャネルのバッファに対して重畳加算処理を行う。そして、この逆量子化の動作を音源（詳しくは後述する）の数だけ繰り返し、各スピーカから再生する音響信号を出力する。

以下、詳しく説明する。

図１０は、実施形態２における処理の流れを示すフローチャートである。

まず、音像逆量子化装置２は、上記バッファを初期化する（Ｓ１）。

次に、虚音源生成部１６は、例えば、事前にコンテン製作者らが定めた音像の位置を取得し、音像の位置と観測点から、音像の位置に音源を配置した場合の虚音源の位置を算出し、取得した音像の位置、ならびに、算出した虚音源の位置を音像位置算出部１１に出力する（Ｓ３）。

ステップＳ３で虚音源生成部１６は、図１１に示すように、音像の位置に実音源（スピーカなど）を配置し、上映会場の壁面を鏡に見立てた場合に鏡面に現れる実音源の位置、すなわち虚音源の位置を算出する。また、虚音源生成部１６は、さらに虚音源の鏡像もまた、虚音源として位置を算出する。なお、虚音源は、無限に生成可能だが、虚音源生成部１６は、事前に定めた閾値を超えない範囲に含まれる虚音源を対象として、位置を算出すればよい。

次に、音像位置算出部１１は、実施形態１と同様に、音像の位置から音源方向ベクトルを算出するとともに、各虚音源に対しても、観測点から虚音源までの音源方向ベクトル（音像の位置から算出する音源方向ベクトルと区別して「虚音源方向ベクトル」という）を算出する（Ｓ５）。以下、音像の位置から算出した音源方向ベクトルを「虚音源方向ベクトル」と区別して「実音源方向ベクトル」という。

ステップＳ５では、また、音源方向量子化部１３が、実音源方向ベクトルの方向に対応する方向ベクトルと各虚音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部１２から取得し、音源距離量子化部１５が、実音源方向ベクトルのノルムに対応する距離と各虚音源方向ベクトルのノルムに対応する距離を距離格納部１４から取得する。実際には、方向ベクトルに対応する方向インデクスと距離に対応する音源距離インデクスを取得する。

つまり、実音源方向ベクトルに対してだけでなく、各虚音源方向ベクトルに対しても、実施形態１と同様に、方向インデクスと音源距離インデクスを取得する。

次に、音像逆量子化装置２が、音源毎のインデクスを逆量子化して、各チャネルに付与するパニングゲイン、距離減衰ゲイン（遅延時間）を出力する。つまり、音像逆量子化装置２は、音像量子化装置１から、方向インデクスと音源距離インデクスを受信し、バッファにおいて、方向インデクスと音源距離インデクスに基づいて、音響装置４の各チャネルのスピーカに与える音響信号を１フレーム分だけ生成し、音響再生装置３に送信する（Ｓ７）。

つまり、ゲイン調整部２５が、各チャネルに割り当てられたゲイン（チャネルゲイン、距離減衰ゲイン）を音響信号に割り当て（音響信号を処理し）、割り当て後のチャネル数分の音響信号を音響再生装置３に送信する（Ｓ７）。

次に、音響信号において次のフレームがあるか否かを判定し（Ｓ９）、次のフレームがある場合は（Ｓ９：ＹＥＳ）、ステップＳ７に戻り、次のフレームがない（音響信号の入力が終了）した場合は（Ｓ９：ＮＯ）、処理を終える。

図１２は、ステップＳ７の詳細なフローチャートである。

パニングゲイン決定部２２は、実音源方向ベクトルおよび各虚音源方向ベクトルから得られた方向インデクスを取得し、音源距離逆量子化部２４は、実音源方向ベクトルおよび各虚音源方向ベクトルから得られた音源距離インデクスを取得する（Ｓ７１）。

次に、パニングゲイン決定部２２が、実音源方向ベクトルから得られた方向インデクスを逆量子化、つまり、方向インデクスに対応づけられたパニングゲインをパニングゲイン格納部２１から取得する（Ｓ７３）。

次に、音源距離逆量子化部２４が、実音源方向ベクトルから得られた音源距離インデクスを逆量子化、つまり、音源距離インデクスに対応づけられた距離減衰ゲインを距離減衰ゲイン格納部２３から取得する（Ｓ７５）。

次に、パニングゲイン決定部２２が、取得したパニングゲインの各チャネルゲインを各チャネルに割り当て、音源距離逆量子化部２４が、パニングゲインの各チャネルゲインが割り当てられた各チャネルに、取得した距離減衰ゲインを割り当て、重畳加算する（Ｓ７７）。

次に、全音源の割り当てが完了したか、つまり、実音源方向ベクトルと各虚音源方向ベクトルの全てにつき、方向インデクスおよび音源距離インデクスから得たパニングゲインおよび距離減衰ゲインの割り当てが終了したか否かを判定する（Ｓ７９）。

ステップＳ７９でＮＯと判定された場合は、ステップＳ７３に戻り、以降は、虚音源方向ベクトルを１つづつ対象とし、対象の虚音源方向ベクトルから得られた方向インデクスおよび音源距離インデクスについて、実音源方向ベクトルから得られた方向インデクスおよび音源距離インデクスと同様に、パニングゲインの取得（Ｓ７３）、距離減衰ゲインの取得（Ｓ７５）およびゲインの割り当て（Ｓ７７）を行う。

ステップＳ７９でＹＥＳと判定された場合は、処理を終了する。

なお、図１０のステップＳ７では、ゲイン調整部２５は、各チャネルにつき、実音源方向ベクトルから得たインデクスによる割り当て、処理後の音響信号と各虚音源方向ベクトルから得たインデクスによる割り当て、処理後の音響信号を合成する。そして、ゲイン調整部２５は、各チャネルにつき、合成後の音響信号を音響再生装置３に送信する。

図１３は、実施形態２で生成される音響信号の波形図である。

チャネルＣＨ１〜ＣＨｎの音響信号の第１フレームにおいては、ピークは異なるが、実音源（音像）を生成するための波形が同じタイミングから出現する。ピークは、実音源方向ベクトルから得られたチャネルゲインの適用により、チャネルゲインに応じたものとなる。タイミングは、実音源方向ベクトルから得られた距離減衰ゲインの適用により、距離減衰ゲインに応じたものとなる。

このタイミングから遅延して、各チャネルでは、ピークは異なるが、観測点に一番近い虚音源を生成するための波形（図では虚音源１の波形として記載）が出現する。ピークは、この虚音源１に対応する虚音源方向ベクトルから得られたチャネルゲインの適用により、チャネルゲインに応じたものとなる。出現のタイミングは、この虚音源方向ベクトルから得られた距離減衰ゲインの適用により、距離減衰ゲインに応じたものとなる。

このタイミングから遅延して、各チャネルでは、ピークは異なるが、観測点に２番目に近い虚音源を生成するための波形（図では虚音源２の波形として記載）が出現する。ピークは、この虚音源２に対応する虚音源方向ベクトルから得られたチャネルゲインの適用により、チャネルゲインに応じたものとなる。出現のタイミングは、この虚音源方向ベクトルから得られた距離減衰ゲインの適用により、距離減衰ゲインに応じたものとなる。

こうして、実音源（音像）を生成するための波形と各虚音源を生成するための波形を合成した第１フレームが生成される。

第２フレーム以降も同様に、実音源（音像）を生成するための波形と各虚音源を生成するための波形が合成される。

実施形態２では、虚音源に対応する波形により、壁面からの反射音を生成することができ、すなわち、残響を生成でき、その際においても、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。

以上のように、実施形態２によれば、音像量子化装置１は、音像の位置に音源を配置した場合の虚音源の位置を算出する虚音源生成部１６を備え、音源方向量子化部１３は、観測点から虚音源までの虚音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部１２から取得し、音源距離量子化部１５は、虚音源方向ベクトルのノルムに対応する距離を距離格納部１４から取得する。

よって、壁面からの反射音、残響を生成でき、その際においても、パニングゲインと距離減衰ゲインを逐一計算する必要性がなく、計算負荷を低減できる。

次に、本実施形態の技術についての性能を評価するため、一般被験者を対象とした品質評価試験を実施したので、実験手法と評価結果を説明する。

（実験方法）
非特許文献１に記載の従来技術と、本実施形態の技術を用いて特定の方向から聞こえる音声サンプルを作成した。サンプル作成に当たっては、白色雑音を生成し、雑音に対して、従来技術と本実施形態の技術のそれぞれを用いて生成したゲインを適用してサンプルを作成した。サンプルの長さは、従来技術と本実施形態の技術のそれぞれにつき8秒間とした。

上記サンプルを社外の一般被験者２４名に対し、ランダムに選択した３２方向から呈示した音声について、従来技術と比較して「音源の方向は変化していないかどうか？」と質問し、「変化していない」との回答の回答数を集計した。

本実施形態の技術を使用した場合、量子化ステップを、２度、４度、８度、１２度、４５度と変化させてサンプルを作成し、各量子化ステップごとに回答数を集計した。

実験１では、音源の方向を固定したサンプルを被験者に呈示し、実験２では、音源の方向が変化する（音像が被験者の周囲を回転する）サンプルを呈示した。実験２における音源方向の変化の速度は５段階（８秒間で被験者の周囲を１／４周，１／２周，１周，２周，３周回る）とした。

（評価結果）
音像の方向を固定した場合（実験１）と、音像の方向を変化させた場合（実験２）の結果をそれぞれ、図１４、図１５に示す。

グラフは１試行あたりの回答数の平均値（棒グラフ）と、９５％信頼度区間を示す。

音源の方向を固定した場合（実験１）は、量子化ステップを１２度としても量子化ステップ２度の場合と有意な差は確認できなかった。一方、音源の方向が変化する場合（実験２）は、量子化ステップを４度より大きくすると音像の知覚が有意に劣化することが確認できた。上記結果より、量子化ステップを４度程度まで間引いても生成される音像の品質を劣化させることなく演算量も削減できることが確認できた。

なお、実施形態では、空間として、映画の上映会場を例にしたが、他の閉空間（例えば体育館）や開放空間（例えば屋外競技場）などを利用してもよい。実施形態２では、上記の体育館または室内の催し物会場などを利用できる。

また、実施形態１または実施形態２の音像量子化装置または音像逆量子化装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１、１ａ 音像量子化装置
２ 音像逆量子化装置
３ 音響再生装置
４ 音響装置
１１ 音像位置算出部
１２ 方向ベクトル格納部
１３ 音源方向量子化部
１４ 距離格納部
１５ 音源距離量子化部
１６ 虚音源生成部
２１ パニングゲイン格納部
２２ パニングゲイン決定部
２３ 距離減衰ゲイン格納部
２４ 音源距離逆量子化部
２５ ゲイン調整部
ＣＨ１、ＣＨ２、…、ＣＨｎ チャネル
ｖ１、ｖ２、ｖ３、ｖ４ 方向インデクス
ｄ１、ｄ２、ｄ３、ｄ４、… 音源距離インデクス

Claims (8)

1. 複数の方向ベクトルを格納する方向ベクトル格納部と、
   観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを前記方向ベクトル格納部から取得する音源方向量子化部と、
   複数の距離を格納する距離格納部と、
   前記音源方向ベクトルのノルムに対応する距離を前記距離格納部から取得する音源距離量子化部と
   を備えることを特徴とする音像量子化装置。
2. 前記音像の位置に音源を配置した場合の虚音源の位置を算出する虚音源生成部を備え、
   前記音源方向量子化部は、
   前記観測点から虚音源までの虚音源方向ベクトルの方向に対応する方向ベクトルを前記方向ベクトル格納部から取得し、
   前記音源距離量子化部は、
   前記虚音源方向ベクトルのノルムに対応する距離を前記距離格納部から取得する
   ことを特徴とする請求項１記載の音像量子化装置。
3. 複数の方向のそれぞれに対応づけてパニングゲインを格納するパニングゲイン格納部と、
   観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインを前記パニングゲイン格納部から取得するパニングゲイン決定部と、
   複数の距離のそれぞれに対応づけて距離減衰ゲインを格納する距離減衰ゲイン格納部と、
   前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを前記距離減衰ゲイン格納部から取得する音源距離逆量子化部と
   を備えることを特徴とする音像逆量子化装置。
4. 前記距離減衰ゲイン格納部の各距離減衰ゲインは個別の音源距離インデクスに対応づけられ、
   前記音源距離逆量子化部は、
   前記音源方向ベクトルのノルムに対応する音源距離インデクスを取得し、前記距離減衰ゲイン格納部から、取得した前記音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得する
   ことを特徴とする請求項３記載の音像逆量子化装置。
5. 観測点から音像までの音源方向ベクトルの方向に対応する方向ベクトルを方向ベクトル格納部から取得するステップと、
   前記音源方向ベクトルのノルムに対応する距離を距離格納部から取得するステップと
   を行うことを特徴とする音像量子化装置の動作方法。
6. 観測点から音像までの音源方向ベクトルの方向を取得し、前記方向に対応するパニングゲインをパニングゲイン格納部から取得するステップと、
   前記音源方向ベクトルのノルムを取得し、前記ノルムに応じた距離減衰ゲインを距離減衰ゲイン格納部から取得するステップと
   を行うことを特徴とする音像逆量子化装置の動作方法。
7. 前記距離減衰ゲイン格納部の各距離減衰ゲインは個別の音源距離インデクスに対応づけられ、
   前記ノルムに対応する音源距離インデクスを取得し、前記距離減衰ゲイン格納部から、取得した前記音源距離インデクスと同じ音源距離インデクスに対応づけられた距離減衰ゲインを取得する
   ことを特徴とする請求項６記載の音像逆量子化装置の動作方法。
8. 請求項１または２記載の音像量子化装置または請求項３または４記載の音像逆量子化装置としてコンピュータを機能させるためのコンピュータプログラム。
   

Images