JP2022125686A - Object-based acoustic rendering device and program - Google Patents
Object-based acoustic rendering device and program Download PDFInfo
- Publication number
- JP2022125686A JP2022125686A JP2021023419A JP2021023419A JP2022125686A JP 2022125686 A JP2022125686 A JP 2022125686A JP 2021023419 A JP2021023419 A JP 2021023419A JP 2021023419 A JP2021023419 A JP 2021023419A JP 2022125686 A JP2022125686 A JP 2022125686A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- speaker
- signal
- sound source
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 127
- 239000013598 vector Substances 0.000 claims abstract description 84
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000003321 amplification Effects 0.000 claims description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 12
- 238000013459 approach Methods 0.000 claims description 11
- 238000004091 panning Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000013016 damping Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 230000002238 attenuated effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
本発明は、オブジェクトベース音響の再生装置に関し、特に、WFS(Wave Field Synthesis:波面合成方式)の考え方に基づいてスピーカの駆動信号を算出するオブジェクトベース音響レンダリング装置及びプログラムに関する。 The present invention relates to an object-based sound reproduction device, and more particularly to an object-based sound rendering device and program for calculating speaker drive signals based on the concept of WFS (Wave Field Synthesis).
近年、映画音響を中心にオブジェクトベース音響技術が脚光を浴びつつある。従来は、複数の音声素材を規定のチャンネルフォーマットへミックスダウンして記録するチャンネルベース音響が主流であった。 In recent years, object-based sound technology has been attracting attention, mainly for movie sound. In the past, channel-based audio, in which multiple audio materials were mixed down into a specified channel format and recorded, was the mainstream.
オブジェクトベース音響では、個々の音声素材を音響オブジェクトとして別々に記録しておき、音響オブジェクトのレベル及び座標等が記述された音響メタデータに基づいてレンダリングを行う。 In object-based audio, each audio material is separately recorded as an audio object, and rendering is performed based on audio metadata describing the level and coordinates of the audio object.
以下、このようなオブジェクトベース音響方式の再生装置をオブジェクトベース音響レンダリング装置という。オブジェクトベース音響レンダリング装置は、音響オブジェクトに対し、音響メタデータと配置された複数のスピーカ位置に基づいて音響オブジェクトのレンダリングを行い、それぞれのスピーカの位置に応じた駆動信号を生成することで、試聴環境に応じた音響再生を行う。したがって、コンテンツの制作時とは異なるスピーカ配置で再生する場合であっても、それに適応した再生が可能となる。 Hereinafter, such an object-based audio system reproducing apparatus will be referred to as an object-based audio rendering apparatus. An object-based acoustic rendering device renders an acoustic object based on acoustic metadata and the positions of a plurality of arranged speakers, and generates drive signals corresponding to the positions of the respective speakers. Acoustic reproduction according to the environment is performed. Therefore, even when the content is reproduced with a speaker arrangement different from that at the time of production, reproduction adapted to it is possible.
〔VBAP〕
従来、オブジェクトベース音響のレンダリングには、VBAP(Vector Based Amplitude Panning)と呼ばれるアルゴリズムが多く利用される(例えば、非特許文献1を参照)。
[VBAP]
Conventionally, an algorithm called VBAP (Vector Based Amplitude Panning) is often used for object-based audio rendering (see Non-Patent
VBAPでは、再生空間を3個のスピーカからなる三角形領域で分割し、音源座標を含む三角形の各頂点に位置するスピーカに対して重みを算出する。そして、音源信号を前記算出した重みで分配することにより、振幅パンニングを行う。 In VBAP, the reproduction space is divided into triangular regions composed of three speakers, and weights are calculated for the speakers positioned at each vertex of the triangle containing the sound source coordinates. Then, amplitude panning is performed by distributing the sound source signal with the calculated weight.
しかしながら、VBAPでは、スピーカがある特定の半径の球面状に配置され、音源がその球面上に配置されているものとして処理が行われる。そのため、音源の距離による遠近の表現をすることができない。 However, in VBAP, processing is performed assuming that the loudspeakers are arranged on a spherical surface with a certain radius and the sound sources are arranged on the spherical surface. Therefore, it is not possible to express perspective based on the distance of the sound source.
VBAPを用いて遠近も含めた音場の表現を行う際には、距離減衰及び残響等を付加して表現することがあるが(例えば、非特許文献2を参照)、それらは心理音響に基づく手法であり、音場を物理的に再現することを目的とした方法ではない。 When expressing a sound field including perspective using VBAP, distance attenuation and reverberation are sometimes added (see, for example, Non-Patent Document 2), which are based on psychoacoustics. It is a method, not a method for the purpose of physically reproducing a sound field.
また、VBAPの重み算出アルゴリズムによれば、スイートスポットで聴取することを想定して重みが算出されるため、そこから離れた位置で試聴する場合において、再生品質は保証されるものではない。 Further, according to the VBAP weight calculation algorithm, weights are calculated assuming listening at the sweet spot, so reproduction quality is not guaranteed when auditioning at a position away from the sweet spot.
〔WFS〕
一方、波動音響に基づく音場の表現方法として、WFSと呼ばれる手法が知られている。WFSは、以下の式にて表されるキルヒホッフ-ヘルムホルツ積分方程式によって波動音響的に裏付けられた音場再現手法である(例えば、非特許文献3を参照)。
On the other hand, a technique called WFS is known as a method of representing a sound field based on wave acoustics. WFS is a sound field reproduction technique that is wave-acoustically backed by the Kirchhoff-Helmholtz integral equation expressed by the following equation (see, for example, Non-Patent Document 3).
ここで、p(r)は、境界∂Vで閉じられたある領域V内の任意の点rでの音圧を示し、G(r|ro)は、境界∂V上の点roから境界∂V内の任意の点rまでのグリーン関数を示す。n(ro)は、点roにおける境界∂Vの法線方向内向きの単位ベクトルを示す。p(ro)は、境界∂V上の点roにおける音圧を示し、∂p(ro)/∂nは、境界∂V上の点roにおける単位ベクトルn(ro)方向の音圧勾配ベクトルを示す。dSOは、境界∂V上の微小面積である。 where p(r) denotes the sound pressure at an arbitrary point r within some region V enclosed by the boundary ∂V, and G(r|r o ) is the sound pressure from the point r o on the boundary ∂V Denote the Green's function up to any point r within the boundary ∂V. n(r o ) denotes the normal inward unit vector of the boundary ∂V at point r o . p(r o ) indicates the sound pressure at point r o on boundary ∂V, and ∂p(r o )/∂n is the direction of unit vector n(r o ) at point r o on boundary ∂V. Shows the sound pressure gradient vector. dS O is the infinitesimal area on the boundary ∂V.
またここで、境界が任意の形状をしている場合に、境界∂Vにおける境界条件として、∂G(r|ro)/∂n=0なるノイマン条件を想定したグリーン関数を設定する。そして、点roにおける平均音響インテンシティI(ro)及び単位ベクトルn(ro)によって決定される以下の窓関数a(ro)を導入する。
これにより、以下の等式が成り立つ。
Go(r|ro)は、点roから点rまでの自由音場グリーン関数を示す。キルヒホッフ-ヘルムホルツ積分方程式は、ある領域の外部に音源が存在する場合、その領域内部の音場は、境界面の境界法線方向の音圧勾配分布によって決定されるという事実を示している。 G o (r|r o ) denotes the free-field Green's function from point r o to point r. The Kirchhoff-Helmholtz integral equation shows the fact that if a sound source exists outside a region, the sound field inside that region is determined by the sound pressure gradient distribution normal to the boundary surface.
WFSでは、音場を再現したい領域の境界面上に密にスピーカを配置し、音源(点音源を想定)の座標を与えることで、キルヒホッフ-ヘルムホルツ積分方程式に基づいて、スピーカの駆動信号を決定する。 In WFS, speakers are arranged densely on the boundary surface of the area where the sound field is to be reproduced, and the coordinates of the sound source (assuming a point sound source) are given, and the speaker drive signal is determined based on the Kirchhoff-Helmholtz integral equation. do.
このように、WFSを用いることにより、再生領域の内側で波面を再合成することができるため、VBAPとは異なり、スイートスポットから離れた点において再生品質が低下するという問題点は生じない。 Thus, by using WFS, the wavefront can be resynthesized inside the reproduction region, so unlike VBAP, there is no problem that reproduction quality deteriorates at points away from the sweet spot.
しかしながら、WFSを用いて厳密に波面を合成するためには、境界面に密にスピーカを配置する必要があり、また、所定の周波数特性を持つフィルタ及び遅延等の要素を加える必要がある。このため、WFSを用いた場合には、VBAPに比べてシステムの規模が大きくなるという課題があった。 However, in order to precisely synthesize wavefronts using WFS, it is necessary to place speakers densely on the boundary surface, and to add elements such as filters and delays with predetermined frequency characteristics. Therefore, when WFS is used, there is a problem that the scale of the system becomes larger than that of VBAP.
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、システムの規模を拡大することなく、WFSに基づき音源の距離の遠近を表現する駆動信号を生成可能なオブジェクトベース音響レンダリング装置及びプログラムを提供することにある。 SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above problems. An object of the present invention is to provide an acoustic rendering device and program.
前記課題を解決するために、請求項1のオブジェクトベース音響レンダリング装置は、 音響メタデータに記述された位置に配置された音源オブジェクトに対しレンダリングを行うことで、試聴環境に配置された複数のスピーカのそれぞれに対する駆動信号を生成するオブジェクトベース音響レンダリング装置において、前記複数のスピーカの個数をL、前記スピーカの番号をl(=1,・・・,L)、第l番目の前記スピーカを第l番目スピーカ、音源信号が出力される仮想音源の座標を仮想音源座標rS、前記第l番目スピーカの座標をスピーカ座標rl、前記第l番目スピーカの位置での境界面内向き法線ベクトルをn(rl)、前記第l番目スピーカの位置を中心とする面積要素をΔSl、前記第l番目スピーカに対する前記駆動信号をd(rl)として、前記複数のスピーカのそれぞれについて、前記仮想音源座標rSの位置から前記第l番目スピーカの前記スピーカ座標rlの位置までのベクトルと前記第l番目スピーカの前記境界面内向き法線ベクトルn(rl)との成す角θlを算出する角度算出部、並びに、前記複数のスピーカのそれぞれに対応する信号増幅部、HPF(ハイパスフィルタ)、減衰付加部、面積要素付加部及び第1角度重み付加部を備え、前記信号増幅部が、前記音源信号を定数にて増幅し、前記HPFが、前記仮想音源座標rS及び前記第l番目スピーカの前記スピーカ座標rlに基づいて、HPFh(rl,rS)を設定し、前記信号増幅部により増幅された信号に対し、前記HPFh(rl,rS)を用いてフィルタ処理を施し、前記減衰付加部が、前記仮想音源座標rSの位置から前記第l番目スピーカの前記スピーカ座標rlの位置までのベクトルの絶対値を求め、前記絶対値を2乗した結果の逆数を減衰係数1/||rl-rS||2として設定し、前記フィルタ処理が施された信号に対し前記減衰係数1/||rl-rS||2を乗算し、前記面積要素付加部が、前記減衰付加部により乗算された信号に対し前記面積要素ΔSlを乗算し、前記第1角度重み付加部が、前記角度算出部により算出された前記第l番目スピーカの前記成す角θlに基づき、0から1までの範囲において、前記成す角θlの絶対値が0°に近いほど1に近い値をとり、前記成す角θlの絶対値が90°に近いほど0に近い値をとり、前記成す角θlの絶対値が0°以下または90°以上のときに0の値をとる角度重みwC(θl)を設定し、前記面積要素付加部により乗算された信号に対し前記角度重みwC(θl)を乗算することで、前記第l番目スピーカに対する前記駆動信号d(rl)を生成する、ことを特徴とする。
In order to solve the above problem, the object-based acoustic rendering device according to claim 1 renders a sound source object placed at a position described in acoustic metadata, thereby rendering a plurality of speakers placed in a listening environment. In an object-based acoustic rendering device that generates drive signals for each of the plurality of speakers, L is the number of the plurality of speakers, l (= 1, ..., L) is the number of the speakers, and the l-th speaker is the l-th speaker The coordinates of the virtual sound source from which the sound source signal of the 1-th speaker is output are virtual sound source coordinates rs , the coordinates of the 1-th speaker are speaker coordinates rl, and the inward normal vector of the boundary surface at the position of the 1 -th speaker is With n(r l ), ΔS l being an area element centered on the position of the l-th speaker, and d(r l ) being the drive signal for the l-th speaker, the virtual The angle θ l between the vector from the position of the sound source coordinate r S to the position of the speaker coordinate r l of the l-th speaker and the inward normal vector n(r l ) of the boundary surface of the l-th speaker an angle calculation unit for calculating the , the sound source signal is amplified by a constant, the HPF sets HPFh(r l , r s ) based on the virtual sound source coordinate r s and the speaker coordinate r l of the first speaker, and The signal amplified by the signal amplifying unit is filtered using the HPFh (r l , r s ), and the attenuation addition unit performs the above-mentioned The absolute value of the vector up to the position of the speaker coordinate r l is obtained, and the reciprocal of the result obtained by squaring the absolute value is set as the
また、請求項2のオブジェクトベース音響レンダリング装置は、請求項1に記載のオブジェクトベース音響レンダリング装置において、さらに、前記仮想音源座標rSへの仮想音源方向の単位ベクトル及び全てのスピーカにおける前記スピーカ座標rlへのスピーカ方向の単位ベクトルに基づいて、前記仮想音源を内部に含む3つのスピーカをVBAP(Vector Based Amplitude Panning)対象の3つのスピーカとして特定し、前記VBAP対象の3つのスピーカの単位ベクトルrn1,rn2,rn3を取得し、前記仮想音源座標rSへの仮想音源方向の単位ベクトル及び前記VBAP対象の3つのスピーカの単位ベクトルrn1,rn2,rn3に基づいて、前記VBAP対象の3つのスピーカに対応する係数gl=gn1,gn2,gn3を求め、前記全てのスピーカのうち、前記VBAP対象の3つのスピーカ以外のスピーカに対応する係数gl=0を設定し、前記係数glを出力するVBAP係数算出部、並びに、前記複数のスピーカのそれぞれに対応するVBAP係数乗算部、第2角度重み付加部及び加算部を備え、前記VBAP係数乗算部が、前記面積要素付加部により乗算された信号に対し、前記VBAP係数算出部により出力された前記係数glを乗算し、前記第2角度重み付加部が、前記角度算出部により算出された前記第l番目スピーカの前記成す角θlに基づき、0から1までの範囲において、前記成す角θlの絶対値が0°に近いほど0に近い値をとり、前記成す角θlの絶対値が90°に近いほど1に近い値をとり、前記成す角θlの絶対値が0°以下または90°以上のときに0の値をとる角度重みwS(θl)を設定し、前記VBAP係数乗算部により乗算された信号に対し前記角度重みwS(θl)を乗算することで、第2駆動信号を生成し、前記第1角度重み付加部が、前記角度重みwC(θl)を設定し、前記面積要素付加部により乗算された信号に対し前記角度重みwC(θl)を乗算することで、第1駆動信号を生成し、前記加算部が、前記第1駆動信号及び前記第2駆動信号を加算することで、前記第l番目スピーカに対する前記駆動信号d(rl)を生成する、ことを特徴とする。
Further, the object-based acoustic rendering device of
また、請求項3のオブジェクトベース音響レンダリング装置は、請求項2に記載のオブジェクトベース音響レンダリング装置において、前記VBAP係数乗算部が、前記面積要素付加部により乗算された信号の代わりに、前記音源信号を入力し、前記音源信号に対し前記係数glを乗算する、ことを特徴とする。
Further, the object-based acoustic rendering apparatus of claim 3 is the object-based acoustic rendering apparatus of
また、請求項4のオブジェクトベース音響レンダリング装置は、請求項1から3までのいずれか一項に記載のオブジェクトベース音響レンダリング装置において、前記HPFが、予め設定されたパラメータをα、予め設定されたフィルタ次数をN、及びn=0,1,・・・,Nとして、以下の式:
にて、HPF係数hn(rl,rS)を設定し、
x[t]及びy[t]を時刻tにおける当該HPFの入力及び出力として、入出力特性が以下の式:
となるように、前記信号増幅部により増幅された信号に対し、前記HPF係数hn(rl,rS)を用いてフィルタ処理を施す、ことを特徴とする。
Further, the object-based acoustic rendering device of claim 4 is the object-based acoustic rendering device of any one of
to set the HPF coefficient h n (r l , r s ),
Letting x[t] and y[t] be the input and output of the HPF at time t, the input/output characteristics are:
The signal amplified by the signal amplifying section is filtered using the HPF coefficient h n (r l , r s ) so that:
また、請求項5のオブジェクトベース音響レンダリング装置は、請求項1から4までのいずれか一項に記載のオブジェクトベース音響レンダリング装置において、前記減衰付加部が、予め設定されたパラメータをβ1,β2として、以下の式:
にて減衰係数g(rl,rS)を求め、前記フィルタ処理が施された信号に対し前記減衰係数g(rl,rS)を乗算する、ことを特徴とする。
Further, the object-based acoustic rendering device of claim 5 is the object-based acoustic rendering device of any one of
and multiplying the filtered signal by the attenuation coefficient g(r l , r s ) .
さらに、請求項6のプログラムは、コンピュータを、請求項1から5までのいずれか一項に記載のオブジェクトベース音響レンダリング装置として機能させることを特徴とする。
Furthermore, a program according to claim 6 causes a computer to function as the object-based acoustic rendering device according to any one of
以上のように、本発明によれば、システムの規模を拡大することなく、WFSに基づき音源の距離の遠近を表現する駆動信号を生成することができる。 As described above, according to the present invention, it is possible to generate a driving signal that expresses the distance of a sound source based on WFS without increasing the scale of the system.
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明の実施例1のオブジェクトベース音響レンダリング装置は、WFSの構成を近似により単純化することで、システムの規模を拡大することなく、WFSに基づき音源の距離の遠近を表現する駆動信号を生成する。また、実施例2,3のオブジェクトベース音響レンダリング装置は、実施例1の構成に対してVBAPの構成を組み込むことで、スピーカが疎に配置された場合に駆動信号が小さくなる問題を解決する。 EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated in detail using drawing. The object-based acoustic rendering apparatus according to the first embodiment of the present invention simplifies the configuration of the WFS by approximation, thereby generating a driving signal that expresses the distance of the sound source based on the WFS without increasing the scale of the system. do. Further, the object-based acoustic rendering apparatuses of the second and third embodiments incorporate the VBAP configuration into the configuration of the first embodiment, thereby solving the problem that the drive signal becomes small when the speakers are sparsely arranged.
本発明の実施例1,2,3のオブジェクトベース音響レンダリング装置について説明する前に、VBAP及びWFSによる音場再現手法の概要について説明する。 Before describing the object-based acoustic rendering apparatuses of the first, second, and third embodiments of the present invention, an overview of sound field reproduction techniques using VBAP and WFS will be described.
〔VBAPの概要〕
まず、VBAPの概要について説明する。前述のとおり、VBAPは、再生空間を3個のスピーカからなる三角形領域で分割し、音源座標を含む三角形の各頂点に位置するスピーカに対して重みを算出し、音源信号を分配することにより、振幅パンニングを行う振幅パンニング手法である。
[Overview of VBAP]
First, an outline of VBAP will be described. As described above, VBAP divides the reproduction space into triangular regions consisting of three speakers, calculates weights for the speakers located at each vertex of the triangle containing the sound source coordinates, and distributes the sound source signals. This is an amplitude panning method that performs amplitude panning.
図10は、VBAPを説明するための概念図である。xyz空間において、受音点100を原点とし、仮想音源101方向の単位ベクトルをrnS=(xnS,ynS,znS)Tとする。また、分割された三角形領域のうち、仮想音源101を内部に含む3つのスピーカ102-1,102-2,102-3方向の単位ベクトルをそれぞれ、rn1=(xn1,yn1,zn1)T,rn2=(xn2,yn2,zn2)T,rn3=(xn3,yn3,zn3)Tとする。 FIG. 10 is a conceptual diagram for explaining VBAP. In the xyz space, the sound receiving point 100 is the origin, and the unit vector in the direction of the virtual sound source 101 is r nS =(x nS , y nS , z nS ) T . In addition, among the divided triangular areas, the unit vectors in the directions of the three speakers 102-1, 102-2, and 102-3 containing the virtual sound source 101 are r n1 =(x n1 , y n1 , z n1 ) T ,r n2 =(x n2 ,y n2 ,z n2 ) T ,r n3 =(x n3 ,y n3 ,z n3 ) T .
このとき、仮想音源101方向の単位ベクトルrnSは、スピーカ102-1,102-2,102-3方向の単位ベクトルrn1,rn2,rn3及び係数ベクトルg=(gn1,gn2,gn3)Tを用いて以下のように表される。
係数ベクトルgは、以下の式にて算出することができる。
前記式(5)にて算出された係数ベクトルg=(gn1,gn2,gn3)Tを用いて重み付けが行われる。そして、重み付けが行われた信号を3つのスピーカ102-1,102-2,102-3から再生することにより、聴取者は、単位ベクトルrnSの方向に音像を定位することができる。尚、仮想音源101を内部に含まない三角形を成すスピーカの重みは全て0とする。 Weighting is performed using the coefficient vector g=(g n1 , g n2 , g n3 ) T calculated by the above equation (5). By reproducing the weighted signals from the three speakers 102-1, 102-2 and 102-3, the listener can localize the sound image in the direction of the unit vector r nS . It should be noted that the weights of all triangular speakers that do not contain the virtual sound source 101 are set to zero.
〔WFSの概要〕
次に、WFSの概要について説明する。前述のとおり、WFSは、音場を再現したい領域の境界面上に密にスピーカを配置し、前記式(1)のキルヒホッフ-ヘルムホルツ積分方程式に基づいて、スピーカ位置において、再現したい音場である原音場での境界面の法線方向音圧勾配を再現することで、境界面内部の音場を再現する音場再現手法である。
[Overview of WFS]
Next, an outline of WFS will be described. As described above, in WFS, speakers are arranged densely on the boundary surface of the area where the sound field is to be reproduced, and based on the Kirchhoff-Helmholtz integral equation of formula (1) above, the sound field is the sound field to be reproduced at the speaker position. This is a sound field reproduction method that reproduces the sound field inside the boundary surface by reproducing the normal direction sound pressure gradient of the boundary surface in the original sound field.
図11は、WFSを説明するための概念図であり、(1)は原音場を示し、(2)は再現音場を示す。 FIG. 11 is a conceptual diagram for explaining WFS, where (1) shows an original sound field and (2) shows a reproduced sound field.
(1)の原音場は、xyz空間において、領域C1の外側の座標rS=(xS,yS,zS)Tの点に配置されている音源103から放射される音波によって形成される。このときの領域C1の境界面上の座標rl=(xl,yl,zl)Tにおける音圧pは、以下の式にて表される。l(エル)は、座標rlの点の番号を示し、後述するスピーカ106-lの番号(系統の番号)に相当する。
さらに、領域C1の境界面上の座標rl=(xl,yl,zl)Tの点における境界法線方向内向きの単位ベクトル(境界面内向き法線ベクトル)をn(rl)とする。また、座標rSの点から座標rlの点までを結んだベクトル(rl-rS)と境界面内向き法線ベクトルn(rl)との成す角をθlとする。座標rlの点における法線方向の音圧勾配ベクトルは、以下の式で表される。
したがって、キルヒホッフ-ヘルムホルツ積分方程式によれば、(2)の再現音場において離散的に配置されたスピーカアレイ105を、各スピーカ要素の座標rlに応じて以下の式の駆動信号d(rl)にて駆動させることにより、座標rSの点に仮想音源104の点音源が配置された音場を、領域C2内部に再現することができる。
ここで、ΔSlは、領域C2の境界面を、スピーカ位置を中心とする面積要素に分割したときのl番目の要素の面積(面積要素)であり、スピーカ要素が密に配置されているほど小さい値をとり、疎に配置されているほど大きい値をとる。 Here, ΔS l is the area (area element) of the l-th element when the boundary surface of the region C2 is divided into area elements centered on the speaker position. It takes a small value, and the more sparsely arranged, the larger the value.
尚、xyz空間において、rSは、仮想音源104の座標(仮想音源座標)であり、rlは、スピーカアレイ105を構成する第l番目のスピーカ要素の座標(スピーカ座標)である。 In the xyz space, r S is the coordinates (virtual sound source coordinates) of the virtual sound source 104 and r l is the coordinates (speaker coordinates) of the l-th speaker element forming the speaker array 105 .
また、wC(θl)は、以下の式にて定義される関数である。
〔オブジェクトベース音響レンダリング装置〕
次に、実施例1,2,3のオブジェクトベース音響レンダリング装置について説明する。
[Object-based sound rendering device]
Next, the object-based acoustic rendering apparatuses of Examples 1, 2, and 3 will be described.
実施例1では、WFSの音場再現手法により決定されるスピーカの駆動信号d(rl)を示す前記式(8)において、仮想音源座標rSの位置に配置された仮想音源104とスピーカ座標rlの位置に配置されたスピーカとの間の距離による時間遅延を表しているe-jk||rl-rs||の項を無視することで、厳密な波面の再現と引き換えにはなるが、システムを簡略化する。 In the first embodiment, the virtual sound source 104 arranged at the position of the virtual sound source coordinate r S and the speaker coordinate By ignoring the term e -jk||rl-rs|| , which represents the time delay due to the distance to the loudspeaker placed at the position r l , we trade off an exact wavefront reproduction, , to simplify the system.
また、実施例1では、前記式(8)のjk||rl-rS||+1の項は、仮想音源104とスピーカとの間の距離により変化するハイパス特性を持ち、この特性を、当該距離に依存する低次のハイパスフィルタh(rl,rS)(HPF)にて近似する。 Further, in Example 1, the term jk||r l −r S ||+1 in the above equation (8) has a high-pass characteristic that varies depending on the distance between the virtual sound source 104 and the speaker, and this characteristic is expressed as It is approximated by a low-order high-pass filter h(r l , r s ) (HPF) that depends on the distance.
これにより、実施例1では、WFSの構成を近似により単純化することで、システムの規模を拡大することなく、WFSに基づき音源の距離の遠近を表現する駆動信号を生成することができる。 As a result, in the first embodiment, by simplifying the structure of the WFS by approximation, it is possible to generate a driving signal that expresses the distance of the sound source based on the WFS without increasing the scale of the system.
また、実施例2,3では、実施例1の構成に対してVBAPの構成を組み込むことで、実施例1の効果に加え、スピーカが疎に配置された場合に駆動信号が小さくなる問題を解決する。 Moreover, in the second and third embodiments, by incorporating the VBAP configuration into the configuration of the first embodiment, in addition to the effect of the first embodiment, the problem that the drive signal becomes small when the speakers are arranged sparsely is solved. do.
〔実施例1〕
まず、実施例1のオブジェクトベース音響レンダリング装置について説明する。前述のとおり、実施例1は、スピーカの駆動信号d(rl)を生成する前記式(8)において、時間遅延を表すe-jk||rl-rs||の項を無視し、jk||rl-rS||+1の項をHPFとして扱い、仮想音源104とスピーカとの間の距離により変化するハイパス特性を、当該距離に依存する低次のハイパスフィルタh(rl,rS)(HPF)にて近似する。
[Example 1]
First, the object-based acoustic rendering device of Example 1 will be described. As described above, the first embodiment ignores the term e −jk||rl-rs || The term |r l −r S ||+1 is treated as an HPF, and the high-pass characteristics that change depending on the distance between the virtual sound source 104 and the loudspeaker are replaced by a low-order high-pass filter h(r l , r S ) (HPF).
図1は、実施例1のオブジェクトベース音響レンダリング装置の構成例を示すブロック図であり、図2は、実施例1のオブジェクトベース音響レンダリング装置の処理例を示す疑似コードである。 FIG. 1 is a block diagram showing a configuration example of the object-based acoustic rendering device of the first embodiment, and FIG. 2 is pseudocode showing a processing example of the object-based acoustic rendering device of the first embodiment.
このオブジェクトベース音響レンダリング装置1は、信号増幅部9-1~9-L、HPF(ハイパスフィルタ)10-1~10-L、減衰付加部11-1~11-L、面積要素付加部12-1~12-L、角度重み付加部13-1~13-L及び角度算出部20を備えている。Lはスピーカ106-1~106-Lの個数であり、系統の数でもある。
This object-based
以下、オブジェクトベース音響レンダリング装置1において、第l(エル)番目のスピーカ106-l(l番目の系統)に対応する構成部を、それぞれ信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lとする。つまり、オブジェクトベース音響レンダリング装置1は、L系統の信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lを備え、さらに角度算出部20を備えている。l=1,・・・,Lである。
Hereinafter, in the object-based
図2を参照してオブジェクトベース音響レンダリング装置1の全体処理について説明する。オブジェクトベース音響レンダリング装置1は、音源信号Sを入力すると共に、仮想音源座標rSを入力する(ステップS201)。
The overall processing of the object-based
オブジェクトベース音響レンダリング装置1は、スピーカ106-1~106-Lのそれぞれについて(スピーカ106-lの系統について)、スピーカ106-lのスピーカ座標rl、スピーカ106-lの面積要素ΔSl、及びスピーカ106-lの位置での境界面内向き法線ベクトルn(rl)を入力する(ステップS202)。
For each of the speakers 106-1 to 106-L (for the system of the speaker 106-l), the object-based
ここで、スピーカ座標rl、面積要素ΔSl及び境界面内向き法線ベクトルn(rl)における下付けの“l”(エル)は、スピーカ106-1~106-Lの番号(系統の番号)である。 Here, the subscript “l” in the speaker coordinates r l , the area element ΔS l and the boundary surface inward normal vector n(r l ) is the number of the speakers 106-1 to 106-L (system number).
また、音源信号Sは、例えば放送局から放送される信号であり、仮想音源座標rSは、例えば放送局から放送される音響メタデータに含まれるデータである。スピーカ座標rl、面積要素ΔSl及び境界面内向き法線ベクトルn(rl)は、例えば当該オブジェクトベース音響レンダリング装置1を操作するユーザにより予め設定されるスピーカレイアウト情報に含まれるデータである。
Also, the sound source signal S is, for example, a signal broadcast from a broadcasting station, and the virtual sound source coordinates r S are, for example, data included in acoustic metadata broadcast from the broadcasting station. The speaker coordinates r l , area element ΔS l and boundary surface inward normal vector n(r l ) are, for example, data included in speaker layout information set in advance by the user who operates the object-based
この場合、オブジェクトベース音響レンダリング装置1は、放送局から送信された音源信号S及び仮想音源座標rSを受信し、ユーザにより予め設定されたスピーカ座標rl、面積要素ΔSl及び境界面内向き法線ベクトルn(rl)を入力する。
In this case, the object-based
オブジェクトベース音響レンダリング装置1は、スピーカ106-lについて、ステップS201にて入力した仮想音源座標rS、及びステップS202にて入力したスピーカ座標rlに基づき、所定の次数の係数を有するHPF10-lのHPFh(rl,rS)を設定する(ステップS203)。
The object-based
オブジェクトベース音響レンダリング装置1は、スピーカ106-lについて、ステップS201にて入力した仮想音源座標rS、及びステップS202にて入力したスピーカ座標rlに基づき、仮想音源104とスピーカ106-lとの間の距離に応じた減衰付加部11-lの減衰係数1/||rl-rS||2を設定する(ステップS204)。
Based on the virtual sound source coordinates r S input in step S201 and the speaker coordinates r l input in step S202, the object-based
つまり、オブジェクトベース音響レンダリング装置1は、仮想音源104位置からスピーカ106-l位置までのベクトルの絶対値||rl-rS||を求め、当該絶対値を2乗した結果||rl-rS||2の逆数を減衰係数1/||rl-rS||2として設定する。
That is, the object-based
オブジェクトベース音響レンダリング装置1は、スピーカ106-lについて、ステップS201にて入力した仮想音源座標rS、並びにステップS202にて入力したスピーカ座標rl及び境界面内向き法線ベクトルn(rl)に基づき、仮想音源104位置からスピーカ106-l位置を結んだベクトル(rl-rS)とスピーカ106-l位置での境界面内向き法線ベクトルn(rl)との成す角θlを算出する(ステップS205)。この成す角θlは、角度算出部20により算出される。
For the speaker 106-l, the object-based
オブジェクトベース音響レンダリング装置1は、スピーカ106-lについて、ステップS205にて算出した成す角θlの絶対値|θl|が0°よりも大きく、かつ90°よりも小さいか否かを判定し、前記式(9)にて角度重みwC(θl)を設定する(ステップS206)。 The object-based acoustic rendering apparatus 1 determines whether or not the absolute value |θ l | , the angle weight w C (θ l ) is set according to the above equation (9) (step S206).
具体的には、オブジェクトベース音響レンダリング装置1は、成す角|θl|が0°よりも大きく、かつ90°よりも小さいと判定した場合(前記式(9)ではcosθl>0の場合)、角度重みwC(θl)=cosθlを設定する。一方、オブジェクトベース音響レンダリング装置1は、成す角|θl|が0°以下であるか、または90°以上であると判定した場合(前記式(9)ではcosθl>0以外の場合)、角度重みwC(θl)=0を設定する。この角度重みwC(θl)は、角度重み付加部13-lにて用いられる。 Specifically, when the object-based acoustic rendering device 1 determines that the formed angle |θ l | , set the angular weights w C (θ l )=cos θ l . On the other hand, when the object-based acoustic rendering device 1 determines that the angle |θ l | Set the angle weight w C (θ l )=0. This angle weight w C (θ l ) is used in the angle weight adding section 13-l.
角度重みwC(θl)は、0から1までの範囲の値をとり、成す角|θl|が0°<|θl|<90°の範囲において、成す角|θl|が0°に近いほど1に近い値をとり、90°に近いほど0に近い値をとり、成す角|θl|が|θl|≦0°または90°≦|θl|の範囲において、0の値をとる。 The angle weight w C (θ l ) takes a value in the range from 0 to 1. When the angle |θ l | is 0°<|θ l |<90°, the angle |θ l | The closer the angle is to 90 °, the closer the value is to 1 , and the closer to 90° is, the closer the value is to 0. takes the value of
オブジェクトベース音響レンダリング装置1は、スピーカ106-lについて、定数u(例えばu=1/2π、系統毎に異なる値となる場合もあり得る)、ステップS201にて入力した音源信号S及び仮想音源座標rS、ステップS202にて入力したスピーカ座標rl及び面積要素ΔSl、ステップS203にて設定したHPFh(rl,rS)、ステップS204にて設定した減衰係数1/||rl-rS||2及びステップS206にて設定した角度重みwC(θl)を用いて、以下の式にて駆動信号d(rl)を算出し出力する(ステップS207)。
次に、図1を参照してオブジェクトベース音響レンダリング装置1の構成部の処理について説明する。信号増幅部9-l(9-1~9-L)は、音源信号Sを入力し、音源信号Sに対し定数u(例えば1/2π)を乗算することで音源信号Sを増幅し、増幅した信号をHPF10-lに出力する。
Next, referring to FIG. 1, processing of the components of the object-based
HPF10-l(10-1~10-L)は、仮想音源座標rS及びスピーカ座標rlを入力する。そして、HPF10-lは、仮想音源座標rS及びスピーカ座標rlに基づいて、ステップS203のとおり、所定の次数の係数を有するHPFh(rl,rS)を設定する。そして、HPF10-lは、信号増幅部9-lから増幅された信号を入力し、当該信号に対し、HPFh(rl,rS)を用いてフィルタ処理を施し、フィルタ処理を施した信号を減衰付加部11-lに出力する。 The HPF 10-l (10-1 to 10-L) inputs virtual sound source coordinates r S and speaker coordinates r l . Then, the HPF 10-l sets HPFh(r 1 , r s ) having coefficients of a predetermined order, as in step S203, based on the virtual sound source coordinates r s and the speaker coordinates r 1 . Then, the HPF 10-l receives the amplified signal from the signal amplifier 9-l, performs filtering on the signal using HPFh(r l , r s ), and outputs the filtered signal. Output to the attenuation adding section 11-l.
減衰付加部11-l(11-1~11-L)は、仮想音源座標rS及びスピーカ座標rlを入力し、仮想音源座標rS及びスピーカ座標rlに基づいて、ステップS204のとおり、減衰係数1/||rl-rS||2を設定する。そして、減衰付加部11-lは、HPF10-lからフィルタ処理が施された信号を入力し、当該信号に対し減衰係数1/||rl-rS||2を乗算することで、仮想音源104とスピーカ106-lとの間の距離に応じて信号を減衰させる。減衰付加部11-lは、減衰させた信号(減衰を付加した信号)を面積要素付加部12-lに出力する。
The attenuation adding unit 11-l (11-1 to 11-L) inputs the virtual sound source coordinates r S and the speaker coordinates r l , and based on the virtual sound source coordinates r S and the speaker coordinates r l , as in step S204, Set the damping
面積要素付加部12-l(12-1~12-L)は、面積要素ΔSlを入力する。面積要素ΔSlは、スピーカ106-lが密に配置されている場合、小さい値となり、スピーカ106-lが疎に配置されている場合、大きい値となる。 The area element addition unit 12-l (12-1 to 12-L) inputs the area element ΔS l . The area element ΔS l takes a small value when the speakers 106-l are densely arranged, and takes a large value when the speakers 106-l are sparsely arranged.
そして、面積要素付加部12-lは、減衰付加部11-lから減衰が付加された信号を入力し、当該信号に対し面積要素ΔSlを乗算することで、スピーカ106-lの離散度合いに応じて面積要素を付加した信号を生成する。面積要素付加部12-lは、面積要素を付加した信号を角度重み付加部13-lに出力する。 Then, the area element addition unit 12-l receives the signal to which attenuation is added from the attenuation addition unit 11-l, and multiplies the signal by the area element ΔS l to obtain the degree of discreteness of the speaker 106-l. A signal to which an area element is added is generated accordingly. The area element adder 12-l outputs the signal with the area element added to the angle weight adder 13-l.
角度算出部20は、仮想音源座標rS、スピーカ座標r1~rL及び境界面内向き法線ベクトルn(r1)~n(rL)を入力する。そして、角度算出部20は、ステップS205のとおり、スピーカ106-1~106-Lのそれぞれ(スピーカ106-l)について、仮想音源104位置からスピーカ106-l位置を結んだベクトル(rl-rS)を求め、当該ベクトル(rl-rS)とスピーカ106-l位置での境界面内向き法線ベクトルn(rl)との成す角θlを算出する。角度算出部20は、成す角θl(θ1~θL)を、対応する角度重み付加部13-l(13-1~13-L)に出力する。
The
図3は、角度算出部20の構成例を示すブロック図である。この角度算出部20は、算出部30-1~30-Lを備えている。算出部30-1は、スピーカ106-1についての成す角θ1を算出する構成部であり、仮想音源座標rS、並びに第l=1番目のスピーカ座標r1及び境界面内向き法線ベクトルn(r1)を入力する。そして、算出部30-1は、仮想音源104位置からスピーカ106-l位置を結んだベクトル(r1-rS)を求め、当該ベクトル(r1-rS)とスピーカ106-1位置での境界面内向き法線ベクトルn(r1)との成す角θ1を算出する。算出部30-1は、成す角θ1を角度重み付加部13-1に出力する。
FIG. 3 is a block diagram showing a configuration example of the
同様に、算出部30-Lは、スピーカ106-Lについての成す角θLを算出する構成部であり、仮想音源座標rS、並びに第l=L番目のスピーカ座標rL及び境界面内向き法線ベクトルn(rL)を入力する。そして、算出部30-Lは、仮想音源104位置からスピーカ106-l位置を結んだベクトル(rL-rS)を求め、当該ベクトル(rL-rS)とスピーカ106-L位置での境界面内向き法線ベクトルn(rL)との成す角θLを算出する。算出部30-Lは、成す角θLを角度重み付加部13-Lに出力する。 Similarly, the calculation unit 30-L is a component that calculates the angle θ L formed with respect to the speaker 106-L, and includes the virtual sound source coordinate r S , the l=Lth speaker coordinate r L and the boundary plane inward Input the normal vector n(r L ). Then, the calculation unit 30-L obtains a vector (r L −r S ) connecting the position of the speaker 106-l from the position of the virtual sound source 104, and calculates the vector (r L −r S ) at the position of the speaker 106-L. Calculate the angle θ L formed with the inward normal vector n(r L ) of the boundary surface. The calculator 30-L outputs the formed angle θ L to the angle weighting unit 13-L.
算出部30-2~30-(L-1)についても、同様の処理が行われ、仮想音源104位置からスピーカ106-2~106-(L-1)位置を結んだベクトル(r2~rL-1-rS)とスピーカ106-2~106-(L-1)位置での境界面内向き法線ベクトルn(r2)~n(rL-1)との成す角θ2~θL-1がそれぞれ算出される。 Similar processing is performed for the calculation units 30-2 to 30-(L-1), and a vector (r 2 to r L-1 −r S ) and the inward normal vectors n(r 2 ) to n(r L-1 ) of the boundary planes at the positions of the speakers 106-2 to 106-(L-1) form angles θ 2 to θ L-1 are calculated respectively.
図1に戻って、角度重み付加部13-l(13-1~13-L)は、角度算出部20から成す角θl(θ1~θL)を入力し、成す角θlに基づいて、ステップS206のとおり、前記式(9)にて角度重みwC(θl)を設定する。そして、角度重み付加部13-lは、面積要素付加部12-lから面積要素が付加された信号を入力し、当該信号に対し角度重みwC(θl)を乗算することで、成す角θlを反映した信号を生成する。
Returning to FIG. 1, the angle weighting unit 13-l (13-1 to 13-L) inputs the angle θ l (θ 1 to θ L ) formed from the
成す角θlを反映した信号は、成す角θlが0°に近いほど、面積要素が付加された信号に近くなる。一方、成す角θlを反映した信号は、成す角θlが90°に近いほど、0の信号に近くなる。 The signal reflecting the formed angle θ l becomes closer to the signal to which the area element is added as the formed angle θ l is closer to 0°. On the other hand, the signal reflecting the formed angle θ l approaches 0 as the formed angle θ l approaches 90°.
角度重み付加部13-lは、成す角θlを反映した信号を駆動信号d(rl)としてスピーカ106-lへ出力する。 The angle weighting unit 13-l outputs a signal reflecting the formed angle θ l to the speaker 106-l as the driving signal d(r l ).
尚、図1及び図2では、1つの音響オブジェクトの音源信号Sに対するオブジェクトベース音響のレンダリングの構成及び処理を示しているが、実際は、複数の音響オブジェクトの音源信号Sに対して処理が行われる。この場合、音響オブジェクト毎に生成された駆動信号d(rl)がスピーカ106-l毎に加算され、加算結果の駆動信号がスピーカ106-lへ出力される。後述する図5,6(実施例2)及び図8,9(実施例3)についても同様である。 1 and 2 show the configuration and processing of object-based acoustic rendering for the sound source signal S of one acoustic object, but in reality, processing is performed on the sound source signals S of a plurality of acoustic objects. . In this case, the drive signal d(r l ) generated for each sound object is added for each speaker 106-l, and the drive signal resulting from the addition is output to the speaker 106-l. The same applies to FIGS. 5 and 6 (Example 2) and FIGS. 8 and 9 (Example 3) which will be described later.
以上のように、実施例1のオブジェクトベース音響レンダリング装置1によれば、スピーカ106-lの駆動信号d(rl)を生成する前記式(8)において、時間遅延を表すe-jk||rl-rs||の項を無視し、jk||rl-rS||+1の項を、仮想音源104とスピーカ106-lとの間の距離に依存する低次のハイパスフィルタh(rl,rS)(HPF)として近似するようにした。 As described above, according to the object-based acoustic rendering apparatus 1 of the first embodiment, e −jk || Ignore the term rl−rs|| and replace the term jk||r l −r S ||+1 with a low-order high-pass filter h(r l , r s ) (HPF).
具体的には、信号増幅部9-lは、音源信号Sに対し定数u(系統毎に異なる値となる場合もあり得る)を乗算することで、音源信号Sを増幅する。HPF10-lは、仮想音源座標rS及びスピーカ座標rlに基づいて、所定の次数の係数を有するHPFh(rl,rS)を設定する。そして、HPF10-lは、信号増幅部9-lにより増幅された信号に対し、HPFh(rl,rS)を用いてフィルタ処理を施す。 Specifically, the signal amplification unit 9-l amplifies the sound source signal S by multiplying the sound source signal S by a constant u (which may be a different value for each system). The HPF 10-l sets HPFh(r 1 , r s ) having coefficients of a predetermined order based on the virtual sound source coordinates r s and the speaker coordinates r 1 . Then, the HPF 10-l filters the signal amplified by the signal amplifier 9-l using HPFh(r l ,r s ).
減衰付加部11-lは、仮想音源座標rS及びスピーカ座標rlに基づいて減衰係数1/||rl-rS||2を設定する。そして、減衰付加部11-lは、フィルタ処理が施された信号に対し減衰係数1/||rl-rS||2を乗算することで、仮想音源104とスピーカ106-lとの間の距離に応じて減衰した信号を生成する。
The attenuation addition unit 11-l sets an
面積要素付加部12-lは、減衰した信号に対しスピーカ106-lの面積要素ΔSlを乗算することで、面積要素を付加した信号を生成する。 The area element addition unit 12-l multiplies the attenuated signal by the area element ΔS l of the speaker 106-l to generate a signal with an area element added.
角度算出部20は、仮想音源104位置からスピーカ106-l位置を結んだベクトル(rl-rS)とスピーカ106-l位置での境界面内向き法線ベクトルn(rl)との成す角θlを算出する。
The
角度重み付加部13-lは、成す角θlに基づいて、前記式(9)にて角度重みwC(θl)を設定する。そして、角度重み付加部13-lは、面積要素が付加された信号に対し角度重みwC(θl)を乗算することで、成す角θlを反映した信号を駆動信号d(rl)としてスピーカ106-lへ出力する。 The angle weight adding section 13-l sets the angle weight w C (θ l ) in the above equation (9) based on the formed angle θ l . Then, the angle weight adding unit 13-l multiplies the signal to which the area element is added by the angle weight w C (θ l ), thereby generating a signal reflecting the formed angle θ l as the drive signal d(r l ). is output to the speaker 106-l.
これにより、前記式(8)における時間遅延を表すe-jk||rl-rs||の項を無視するようにしたから、システムを簡略化することができる。また、jk||rl-rS||+1の項を近似したHPFh(rl,rS)のHPF10-lを用いることで、システムを簡略化することができる。 As a result, since the term e -jk||rl-rs|| representing the time delay in the above equation (8) is ignored, the system can be simplified. Also, the system can be simplified by using the HPF 10-l of HPFh(r l ,r s ) that approximates the term jk||r l −r s ||+1.
したがって、WFSの構成を近似により単純化することで、システムの規模を拡大することなく、WFSに基づき仮想音源104の距離の遠近を表現する駆動信号d(rl)を生成することができる。 Therefore, by simplifying the configuration of the WFS by approximation, it is possible to generate the drive signal d(r l ) that expresses the distance of the virtual sound source 104 based on the WFS without increasing the scale of the system.
(HPF10-lの他の例)
尚、図1に示したオブジェクトベース音響レンダリング装置1のHPF10-l(10-1~10-L)は、前記式(8)においてjk||rl-rS||+1の項を近似したHPFh(rl,rS)を用いて、信号増幅部9-l(9-1~9-L)により増幅された信号に対してフィルタ処理を施すようにした。
(Other examples of HPF10-l)
The HPF 10- l (10-1 to 10- L ) of the object-based
例えば、前記式(8)においてjk||rl-rS||+1の項は、以下の式で表すハイパスフィルタに置き換えて使用する。
x[t]及びy[t]は、時刻tにおける当該HPF10-lの入力と出力である。HPF係数hn(rl,rS)は、以下の式で表されるものとする。n=0,1,・・・,Nである。
つまり、HPF10-lは、仮想音源座標rS及びスピーカ座標rlを入力すると共に、ユーザにより予め設定されたパラメータα及びフィルタ次数Nを入力する。そして、HPF10-lは、仮想音源座標rS、スピーカ座標rl、パラメータα及びフィルタ次数Nに基づいて、前記式(12)を係数として有するHPF係数を設定する。 That is, the HPF 10-l inputs the virtual sound source coordinates r S and the speaker coordinates r l as well as the parameter α and the filter order N preset by the user. Then, the HPF 10-l sets HPF coefficients having equation (12) as coefficients based on the virtual sound source coordinates r s , the speaker coordinates r l , the parameter α and the filter order N.
そして、HPF10-lは、信号増幅部9-l(9-1~9-L)により増幅された信号を入力し、当該信号に対し、前記式(12)のHPF係数hn(rl,rS)を用いて、当該HPF10-lの入出力特性が前記式(11)となるようにフィルタ処理を施す。つまり、HPF10-lは、前記式(11)の入出力特性となるようなHPFにより構成される。 Then, the HPF 10-l receives the signal amplified by the signal amplifier 9-l (9-1 to 9-L), and calculates the HPF coefficient h n (r l , r l , r s ), filter processing is performed so that the input/output characteristics of the HPF 10-1 are as shown in the above equation (11). In other words, the HPF 10-l is composed of an HPF that has the input/output characteristics of the above equation (11).
これにより、オブジェクトベース音響レンダリング装置1全体として、システムの規模が拡大することなく、簡略化することができる。
As a result, the object-based
(減衰付加部11-lの他の例)
また、図1に示したオブジェクトベース音響レンダリング装置1の減衰付加部11-l(11-1~11-L)は、仮想音源座標rS及びスピーカ座標rlに基づいて、減衰係数1/||rl-rS||2を設定し、フィルタ処理が施された信号に対して減衰係数1/||rl-rS||2を乗算することで、仮想音源104とスピーカ106-lとの間の距離に応じて減衰した信号を生成するようにした。
(Another example of attenuation adding section 11-l)
Further, the attenuation addition unit 11- l (11-1 to 11- L ) of the object-based
しかしながら、減衰係数1/||rl-rS||2は、仮想音源座標rSとスピーカ座標rlとが一致する場合、無限大に発散してしまい、結果として信号を再生することができなくなってしまう。そこで、減衰付加部11-lは、減衰係数1/||rl-rS||2を近似した以下の式で表す減衰係数g(rl,rS)を用いる。
β1は、信号振幅を調整するための正の実数であり、β2は、減衰係数g(rl,rS)の発散を抑えるための正の実数である。これらのパラメータβ1,β2の値は、ユーザが任意に決定するものとする。特に、パラメータβ2の値は、減衰係数g(rl,rS)の発散を抑えるように、微小な値がユーザにより設定される。 β 1 is a positive real number for adjusting the signal amplitude, and β 2 is a positive real number for suppressing the divergence of the damping coefficients g(r l , r s ). The values of these parameters β 1 and β 2 are arbitrarily determined by the user. In particular, the value of the parameter β 2 is set by the user to a very small value so as to suppress the divergence of the attenuation coefficients g(r l , r s ).
つまり、減衰付加部11-lは、仮想音源104位置からスピーカ106-l位置までのベクトルの絶対値||rl-rS||を求め、当該絶対値を2乗した結果にパラメータβ2を加算して加算結果(||rl-rS||2+β2)を求め、パラメータβ1を加算結果(||rl-rS||2+β2)で除算することで、減衰係数g(rl,rS)を求める。 That is, the attenuation adding unit 11-l obtains the absolute value ||r l −r S || of the vector from the position of the virtual sound source 104 to the position of the speaker 106-l, and squares the absolute value to obtain the parameter β 2 is added to obtain the addition result (||r l −r S || 2 +β 2 ), and the parameter β 1 is divided by the addition result (||r l −r S || 2 +β 2 ) to obtain the attenuation Determine the coefficient g(r l ,r s ).
そして、減衰付加部11-lは、フィルタ処理が施された信号に対してg(rl,rS)を乗算することで、仮想音源104とスピーカ106-lとの間の距離に応じて減衰した信号を生成する。 Then, the attenuation addition unit 11-l multiplies the filtered signal by g(r l ,r s ), so that according to the distance between the virtual sound source 104 and the speaker 106-l Generates an attenuated signal.
パラメータβ2の値が小さいほど、減衰係数g(rl,rS)の振る舞いは減衰係数1/||rl-rS||2に近づく。一方で、仮想音源座標rSがスピーカ座標rlに近づくほど、信号振幅が極端に増大する。
The smaller the value of the parameter β 2 , the closer the behavior of the damping coefficient g(r 1 , r s ) to the damping
これにより、信号の発散を抑制することができ、ユーザは、自らが設定するパラメータβ1,β2の値に応じて、音響オブジェクトの位置が変化するときの信号振幅の変動を調整することができる。 As a result, the divergence of the signal can be suppressed, and the user can adjust the fluctuation of the signal amplitude when the position of the acoustic object changes according to the values of the parameters β 1 and β 2 set by the user. can.
また、ユーザがパラメータβ1,β2の値をβ1=β2に設定した場合、仮想音源座標rSとスピーカ座標rlとが一致するときに(rS=rl)、減衰係数g(rl,rS)=1となる。 Further, when the user sets the values of the parameters β 1 and β 2 to β 1 =β 2 , when the virtual sound source coordinates r S and the speaker coordinates r l match (r S =r l ), the attenuation coefficient g (r l , r S )=1.
このため、ユーザは、信号を不要に増大または減衰させることのないように、これらのパラメータβ1,β2の値を調整の目安とすることができる。 Therefore, the user can use the values of these parameters β 1 and β 2 as a reference for adjustment so as not to increase or attenuate the signal unnecessarily.
また、ユーザがパラメータβ1,β2の値をβ1=β2/ΔSlに設定した場合、仮想音源座標rSとスピーカ座標rlとが一致するときに(rS=rl)、減衰係数g(rl,rS)ΔSl=1、さらにはh(rl,rS)g(rl,rS)ΔSlwC(θl)=1となる。h(rl,rS)=1及びwC(θl)=1だからである。 Further, when the user sets the values of the parameters β 1 and β 2 to β 1 =β 2 /ΔS 1 , when the virtual sound source coordinates r s and the speaker coordinates r 1 match (r s =r 1 ), The damping coefficient g(r l , r s )ΔS l =1, and h(r l ,r s )g(r l ,r s )ΔS l wc (θ l )=1. This is because h(r l ,r s )=1 and w C (θ l )=1.
このため、仮想音源座標rSとスピーカ座標rlとが一致するときには、角度重み付加部13-lからスピーカ106-lへ出力される駆動信号d(rl)は、信号増幅部9-lにより増幅された信号と同じになる。つまり、スピーカ座標rlに位置するスピーカ106-lから、当該オブジェクトベース音響レンダリング装置1が入力した音源信号Sに対して増幅された信号が再生されることとなる。
Therefore, when the virtual sound source coordinates r S and the speaker coordinates r l match, the driving signal d(r l ) output from the angle weighting unit 13-l to the speaker 106-l is equal to the signal amplification unit 9-l. is the same as the signal amplified by In other words, a signal amplified with respect to the sound source signal S input by the object-based
このように、減衰付加部11-lが前記式(13)で表される減衰係数g(rl,rS)を用いることで、仮想音源座標rSとスピーカ座標rlとが一致した場合であっても、信号が無限大に発散することがない。このため、信号を再生できなくなるという不具合を解消することができる。 In this way, when the virtual sound source coordinate r S and the speaker coordinate r l match by the attenuation adding unit 11-l using the attenuation coefficient g(r l , r S ) represented by the above equation (13) However, the signal never diverges infinitely. Therefore, it is possible to solve the problem that the signal cannot be reproduced.
〔実施例2〕
次に、実施例2のオブジェクトベース音響レンダリング装置について説明する。前述のとおり、実施例2は、実施例1の構成に対してVBAPの構成を組み込むことで、実施例1の効果に加え、スピーカ106-lが疎に配置された場合に駆動信号d(rl)が小さくなる問題を解決する。より詳細には、実施例2は、実施例1に示した単純化したWFSの一部の構成とVBAPの構成とを、角度重みに応じてシームレスに切り替えることで、駆動信号d(rl)を生成する。
[Example 2]
Next, the object-based acoustic rendering device of Example 2 will be described. As described above, in the second embodiment, by incorporating the VBAP configuration into the configuration of the first embodiment, in addition to the effects of the first embodiment, the drive signal d (r l ) to solve the problem of becoming smaller. More specifically, according to the second embodiment, the configuration of a part of the simplified WFS shown in the first embodiment and the configuration of the VBAP are seamlessly switched in accordance with the angle weight, so that the drive signal d(r l ) to generate
一般に、WFSの音場再現手法を用いる場合、多数のスピーカ106-lを密に配置することを想定する。しかし、家庭用のオーディオにおいては、多くのスピーカ106-lを密に配置することは困難であり、スピーカ106-lを疎に配置するのが通常である。 In general, when using the WFS sound field reproduction method, it is assumed that a large number of speakers 106-l are densely arranged. However, in home audio, it is difficult to arrange many speakers 106-l densely, and the speakers 106-l are normally arranged sparsely.
図4は、スピーカ106-lが疎に配置されている場合を説明する図である。図4に示すように、再現音場において、スピーカ106-lが疎に配置されており、仮想音源104の位置(仮想音源座標rS)が音場を再現したい領域の境界面に近接した場合を想定する。 FIG. 4 is a diagram for explaining a case where the speakers 106-l are sparsely arranged. As shown in FIG. 4, when the speakers 106-l are sparsely arranged in the reproduced sound field and the position of the virtual sound source 104 (virtual sound source coordinates r S ) is close to the boundary surface of the area where the sound field is desired to be reproduced, assume.
この場合、全てのスピーカ106-l(106-1~106-L)において、仮想音源104位置からスピーカ106-l位置を結んだベクトル(rl-rS)とスピーカ106-l位置での境界面内向き法線ベクトルn(rl)との成す角θlは、90°に近い値または90°を超える値となってしまう。 In this case, for all speakers 106-l (106-1 to 106-L), the vector (r l −r S ) connecting the position of the virtual sound source 104 and the position of the speaker 106-l and the boundary at the position of the speaker 106-l The angle θ l formed with the in-plane normal vector n(r l ) becomes a value close to 90° or a value exceeding 90°.
このため、角度重み付加部13-lにて用いる角度重みwC(θl)は、前記式(9)から0に近い値または0となる。そして、全てのスピーカ106-lに対する駆動信号d(rl)の値が小さい値または0になってしまい、仮想音源104が境界面に近接しているにも関わらず、再生信号が小さくなるという問題が生じる。 Therefore, the angle weight w C (θ l ) used in the angle weight adding section 13-l is a value close to 0 or 0 from the above equation (9). Then, the value of the drive signal d(r l ) for all the speakers 106-1 becomes a small value or 0, and the reproduced signal becomes small even though the virtual sound source 104 is close to the boundary surface. A problem arises.
この問題を解決するため、実施例2では、図1に示した実施例1のオブジェクトベース音響レンダリング装置1において、WFSの信号分配則に対し、成す角θlに応じて連続的にVBAPの信号分配則にシームレスに切り替わるように、VBAPの構成を追加する。 In order to solve this problem, in the second embodiment, in the object-based acoustic rendering apparatus 1 of the first embodiment shown in FIG. Add VBAP configuration to seamlessly switch to the distributive law.
ここで、図1に示した単純化したWFSである実施例1のオブジェクトベース音響レンダリング装置1において、HPF10-lのHPFh(rl,rS)は、周波数の補正に関する項である。また、減衰付加部11-lの減衰係数1/||rl-rS||2を、仮想音源104の位置による距離減衰に関する項、面積要素付加部12-lの面積要素ΔSlを、スピーカ106-lを離散化することによる補正に関する項であると解釈する。さらに、角度重み付加部13-lの角度重みwC(θl)を、各スピーカ106-lに対する信号の分配側に関する項であると解釈する。
Here, in the object-based
実施例2では、WFSにおける角度重み付加部13-lの角度重みwC(θl)による各スピーカ106-lに対する信号の分配則に関する項に、VBAPにより決定される各スピーカ106-lに対する信号の分配則に関する項を並列に接続する。 In the second embodiment, the term regarding the signal distribution rule for each speaker 106-l based on the angle weight w C (θ l ) of the angle weight adding unit 13-l in WFS includes the signal for each speaker 106-l determined by VBAP. Concatenate the distributive law terms of .
図5は、実施例2のオブジェクトベース音響レンダリング装置の構成例を示すブロック図であり、図6は、実施例2のオブジェクトベース音響レンダリング装置の処理例を示す疑似コードである。 FIG. 5 is a block diagram showing a configuration example of the object-based acoustic rendering device of the second embodiment, and FIG. 6 is pseudocode showing a processing example of the object-based acoustic rendering device of the second embodiment.
このオブジェクトベース音響レンダリング装置2は、信号増幅部9-1~9-L、HPF10-1~10-L、減衰付加部11-1~11-L、面積要素付加部12-1~12-L、角度重み付加部13-1~13-L、VBAP係数乗算部14-1~14-L、角度重み付加部15-1~15-L、加算部16-1~16-L、角度算出部20及びVBAP係数算出部21を備えている。
This object-based
以下、オブジェクトベース音響レンダリング装置2において、第l(エル)番目のスピーカ106-l(l番目の系統)に対応する構成部を、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l、角度重み付加部13-l、VBAP係数乗算部14-l、角度重み付加部15-l及び加算部16-lとする。つまり、オブジェクトベース音響レンダリング装置2は、L系統分の信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l、角度重み付加部13-l、VBAP係数乗算部14-l、角度重み付加部15-l及び加算部16-lを備え、さらに、角度算出部20及びVBAP係数算出部21を備えている。
Hereinafter, in the object-based
信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lは、WFSの構成部である。VBAP係数乗算部14-l及び角度重み付加部15-lは、VBAPの構成部であり、WFSの角度重み付加部13-lに並列に接続されている。 The signal amplifier 9-l, HPF 10-l, attenuation adder 11-l, area element adder 12-l, and angle weight adder 13-l are components of the WFS. The VBAP coefficient multiplier 14-l and the angle weighting unit 15-l are components of the VBAP, and are connected in parallel to the WFS angle weighting unit 13-l.
図1に示した実施例1のオブジェクトベース音響レンダリング装置1とこの実施例2のオブジェクトベース音響レンダリング装置2とを比較すると、両オブジェクトベース音響レンダリング装置1,2は、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l、角度重み付加部13-l及び角度算出部20を備えている点で共通する。
Comparing the object-based
一方、オブジェクトベース音響レンダリング装置2は、VBAP係数乗算部14-l、角度重み付加部15-l及び加算部16-l、並びにVBAP係数算出部21を備えている点で、これらの構成部を備えていないオブジェクトベース音響レンダリング装置1と相違する。
On the other hand, the object-based
図6を参照してオブジェクトベース音響レンダリング装置2の全体処理について説明する。オブジェクトベース音響レンダリング装置2は、図2のステップS201と同様に、音源信号Sを入力すると共に、仮想音源104の仮想音源座標rSを入力する(ステップS601)。
The overall processing of the object-based
オブジェクトベース音響レンダリング装置2は、図2のステップS202と同様に、スピーカ106-lについて、スピーカ座標rl、面積要素ΔSl及び境界面内向き法線ベクトルn(rl)を入力する(ステップS602)。
Similar to step S202 in FIG. 2, the object-based
オブジェクトベース音響レンダリング装置2は、図2のステップS203と同様に、スピーカ106-lについて、仮想音源座標rS及びスピーカ座標rlに基づき、HPFh(rl,rS)を設定する(ステップS603)。
Similar to step S203 in FIG. 2, the object-based
オブジェクトベース音響レンダリング装置2は、図2のステップS204と同様に、スピーカ106-lについて、仮想音源座標rS及びスピーカ座標rlに基づき、減衰係数1/||rl-rS||2を設定する(ステップS604)。 Similar to step S204 in FIG. 2, the object-based acoustic rendering device 2 calculates the attenuation coefficient 1/||r l −r S || is set (step S604).
オブジェクトベース音響レンダリング装置2は、図2のステップS205と同様に、スピーカ106-lについて、仮想音源座標rS、スピーカ座標rl及び境界面内向き法線ベクトルn(rl)に基づき、成す角θlを算出する(ステップS605)。 Similar to step S205 in FIG. 2, the object-based acoustic rendering device 2 creates a The angle θl is calculated (step S605).
オブジェクトベース音響レンダリング装置2は、スピーカ106-lについて、成す角θlの絶対値|θl|が0°よりも大きく、かつ90°よりも小さいか否かを判定し、前記式(9)にてWFSの角度重みwC(θl)、及び以下に示す式(14)にてVBAPの角度重みwS(θl)を設定する(ステップS606)。
具体的には、オブジェクトベース音響レンダリング装置2は、成す角|θl|が0°よりも大きく、かつ90°よりも小さいと判定した場合(前記式(9)(14)ではcosθl>0の場合)、角度重みwC(θl)=cosθl及び角度重みwS(θl)=|1-cosθl|を設定する。一方、オブジェクトベース音響レンダリング装置2は、成す角|θl|が0°以下であるか、または90°以上であると判定した場合(前記式(9)(14)ではcosθl>0以外の場合)、角度重みwC(θl)=0及び角度重みwS(θl)=0を設定する。この角度重みwC(θl)は角度重み付加部13-lにより用いられ、角度重みwS(θl)は、角度重み付加部15-lにて用いられる。
Specifically, when the object-based
角度重みwC(θl)は、0から1までの範囲の値をとり、成す角|θl|が0°<|θl|<90°の範囲において、成す角|θl|が0°に近いほど1(cosθl)に近い値をとり、90°に近いほど0に近い値をとり、成す角|θl|が|θl|≦0°または90°≦|θl|の範囲において、0の値をとる。 The angle weight w C (θ l ) takes a value in the range from 0 to 1. When the angle |θ l | is 0°<|θ l |<90°, the angle |θ l | The closer the angle is to °, the closer the value is to 1 ( cos θ l ), and the closer to 90° is, the closer the value is to 0 . Takes a value of 0 in the range.
角度重みwS(θl)は、成す角|θl|が0°<|θl|<90°の範囲において、成す角|θl|が0°に近いほど0に近い値をとり、90°に近いほど1(|1-cosθl|)に近い値をとり、成す角|θl|が|θl|≦0°または90°≦|θl|の範囲において、0の値をとる。 The angle weight w S (θ l ) takes a value closer to 0 as the angle |θ l | approaches 0° in the range of 0°<|θ l |<90°, The closer the angle is to 90°, the closer the value is to 1 (|1-cos θ l |), and the angle |θ l | is 0 in the range of |θ l |≦0° or 90°≦|θ l |. Take.
オブジェクトベース音響レンダリング装置2は、所定の受音点(聴取者の位置)から仮想音源座標rSへの仮想音源方向の単位ベクトル及び全てのスピーカ106-lにおける所定の受音点からスピーカ座標rlへのスピーカ方向の単位ベクトルに基づいて、仮想音源104を内部に含む3つのスピーカをVBAP対象の3つのスピーカ106-n1,106-n2,106-n3として特定する。
The object-based
そして、オブジェクトベース音響レンダリング装置2は、VBAP対象の3つのスピーカ106-n1,106-n2,106-n3におけるスピーカ方向の単位ベクトルrn1,rn2,rn3を取得する(ステップS607)。単位ベクトルrn1,rn2,rn3は、所定の受音点及びスピーカ106-n1,106-n2,106-n3の座標(スピーカ座標)に基づいて、それぞれ取得することができる。n1,n2,n3は、VBAP対象の3つのスピーカ106-n1,106-n2,106-n3のインデックスである。
Then, the object-based
オブジェクトベース音響レンダリング装置2は、仮想音源座標rSへの仮想音源方向の単位ベクトル及びスピーカ方向の単位ベクトルrn1,rn2,rn3に基づいて、以下の式にてスピーカ106-n1,106-n2,106-n3に対応する係数gl=gn1,gn2,gn3を算出する(ステップS608)。
また、オブジェクトベース音響レンダリング装置2は、スピーカ106-1~106-Lのうちスピーカ106-n1,106-n2,106-n3以外のスピーカ106-lの係数gl=0を設定する。これらの係数gl=gn1,gn2,gn3,0は、VBAP係数算出部21により算出及び設定される。
Also, the object-based
オブジェクトベース音響レンダリング装置2は、インデックスがl=n1,n2,n3のスピーカ106-n1,106-n2,106-n3について、定数u(例えばu=1/2π)、ステップS601にて入力した音源信号S及び仮想音源座標rS、ステップS602にて入力したスピーカ座標rl及び面積要素ΔSl、ステップS603にて設定したHPFh(rl,rS)、ステップS604にて設定した減衰係数1/||rl-rS||2及びステップS606にて設定した角度重みwC(θl)及び角度重みwS(θl)に基づき、以下の式にて駆動信号d(rl)を算出し出力する(ステップS609)。
この式において、係数gl=gn1,gn2,gn3である。また、*は畳み込みを表す。駆動信号d(rl)は、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l、角度重み付加部13-l、VBAP係数乗算部14-l、角度重み付加部15-l及び加算部16-lにより算出される。 In this equation, the coefficients g l =g n1 , g n2 , g n3 . Also, * represents convolution. The drive signal d(r l ) is applied to the signal amplifier 9-l, the HPF 10-l, the attenuation adder 11-l, the area element adder 12-l, the angle weight adder 13-l, and the VBAP coefficient multiplier 14-l. , is calculated by the angle weighting unit 15-l and the addition unit 16-l.
一方、オブジェクトベース音響レンダリング装置2は、インデックスがl=n1,n2,n3以外について、すなわちスピーカ106-n1,106-n2,106-n3以外のスピーカ106-lについて、定数u、音源信号S、仮想音源座標rS、スピーカ座標rl及び面積要素ΔSl、HPFh(rl,rS)、減衰係数1/||rl-rS||2及び角度重みwC(θl)に基づき、以下の式にて駆動信号d(rl)を算出し出力する(ステップS610)。
この駆動信号d(rl)は、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lにより算出される。 This drive signal d(r l ) is calculated by the signal amplifier 9-l, HPF 10-l, attenuation adder 11-l, area element adder 12-l, and angle weight adder 13-l.
次に、図5を参照してオブジェクトベース音響レンダリング装置2の構成部の処理について説明する。信号増幅部9-l(9-1~9-L)、HPF10-l(10-1~10-L)、減衰付加部11-l(11-1~11-L)、面積要素付加部12-l(12-1~12-L)、角度重み付加部13-l(13-1~13-L)及び角度算出部20は、図1に示した構成部と同じであるため、説明を省略する。
Next, the processing of the components of the object-based
ここで、角度重み付加部13-lは、成す角θlを反映したWFSの駆動信号を第1駆動信号として、対応する加算部16-lに出力する。角度算出部20は、成す角θlを、対応する角度重み付加部13-l及び角度重み付加部15-lに出力する。
Here, the angle weighting unit 13- l outputs the WFS drive signal reflecting the formed angle θl as the first drive signal to the corresponding addition unit 16-l. The
VBAP係数算出部21は、仮想音源座標rS及びスピーカ座標r1~rLを入力する。そして、VBAP係数算出部21は、ステップS607,S608のとおり、所定の受音点から仮想音源座標rSへの仮想音源方向の単位ベクトル及び全てのスピーカ106-1~106-Lにおける所定の受音点からスピーカ座標r1~rLへのスピーカ方向の単位ベクトルに基づいて、仮想音源104を内部に含むVBAP対象の3つのスピーカ106-n1,106-n2,106-n3に対応する係数gn1,gn2,gn3を算出する。
The
VBAP係数算出部21は、係数gl=gn1,gn2,gn3を、スピーカ106-n1,106-n2,106-n3に対応するVBAP係数乗算部14-n1,14-n2,14-n3にそれぞれ出力する。また、VBAP係数算出部21は、係数gl=0を、スピーカ106-n1,106-n2,106-n3以外のスピーカ106-lに対応するVBAP係数乗算部14-lにそれぞれ出力する。
The
図7は、VBAP係数算出部21の構成例を示すブロック図である。このVBAP係数算出部21は、スピーカ決定部31及び算出部32を備えている。スピーカ決定部31は、仮想音源座標rS及び全てのスピーカ106-1~106-Lのスピーカ座標r1~rLを入力する。そして、スピーカ決定部31は、仮想音源座標rS及びスピーカ座標r1~rLに基づいて、仮想音源104を内部に含むVBAP対象の3つのスピーカ106-n1,106-n2,106-n3を特定する。
FIG. 7 is a block diagram showing a configuration example of the
スピーカ決定部31は、VBAP対象の3つのスピーカ106-n1,106-n2,106-n3におけるスピーカ方向の単位ベクトルrn1,rn2,rn3を取得し、仮想音源座標rS及びスピーカ方向の単位ベクトルrn1,rn2,rn3を算出部32に出力する。
The
算出部32は、スピーカ決定部31から仮想音源座標rS及びスピーカ方向の単位ベクトルrn1,rn2,rn3を入力する。そして、算出部32は、仮想音源座標rSへの仮想音源方向の単位ベクトル及びスピーカ方向の単位ベクトルrn1,rn2,rn3に基づいて、前記式(15)にてスピーカ106-n1,106-n2,106-n3に対応する係数gn1,gn2,gn3を算出する。そして、算出部32は、係数gn1,gn2,gn3を、対応するVBAP係数乗算部14-n1,14-n2,14-n3に出力する。
The
また、算出部32は、スピーカ106-n1,106-n2,106-n3以外のスピーカ106-lに対応する係数gl=0を設定し、対応するVBAP係数乗算部14-lに出力する。
図5に戻って、VBAP係数乗算部14-l(14-1~14-L)は、VBAP係数算出部21から係数gl(gn1,gn2,gn3,0のうちのいずれかの値)を入力する。そして、VBAP係数乗算部14-lは、面積要素付加部12-lから面積要素が付加された信号を入力し、当該信号に対し係数glを乗算することで、係数glを反映した信号を生成する。
Returning to FIG. 5, the VBAP coefficient multiplier 14-l (14-1 to 14-L) receives the coefficient g l (one of g n1 , g n2 , g n3 , 0) from the
VBAP係数乗算部14-lは、係数glを反映した信号を角度重み付加部15-lに出力する。 The VBAP coefficient multiplier 14-l outputs a signal reflecting the coefficient g l to the angle weight adder 15-l.
角度重み付加部15-l(15-1~15-L)は、角度算出部20から成す角θl(θ1~θL)を入力し、成す角θlに基づいて、ステップS606のとおり、前記式(14)にて角度重みwS(θl)を設定する。そして、角度重み付加部15-lは、VBAP係数乗算部14-lから係数glを反映した信号を入力し、当該信号に対し角度重みwS(θl)を乗算することで、成す角θlを反映した信号を生成する。
The angle weight addition unit 15-l (15-1 to 15-L) inputs the angle θ l (θ 1 to θ L ) formed from the
仮想音源104を内部に含む3つスピーカ106-n1,106-n2,106-n3に対応する角度重み付加部15-n1,15-n2,15-n3において、成す角θlを反映した信号は、成す角θlが90°に近いほど、係数glを反映した信号に近くなる。一方、成す角θlを反映した音源信号Sは、成す角θlが0°に近いほど、0に近い信号となる。また、仮想音源104を内部に含む3つスピーカ106-n1,106-n2,106-n3以外のスピーカ106-lに対応する角度重み付加部15-lにおいて、成す角θlを反映した信号は0である。 The signal reflecting the angle θl formed by the angle weighting units 15-n1, 15-n2, and 15-n3 corresponding to the three speakers 106-n1, 106-n2, and 106-n3 including the virtual sound source 104 is , the closer the angle θ l to 90°, the closer to the signal reflecting the coefficient g l . On the other hand, the sound source signal S reflecting the formed angle θl becomes a signal closer to 0 as the formed angle θl approaches 0°. In addition, in the angle weight addition unit 15-l corresponding to the speaker 106-l other than the three speakers 106-n1, 106-n2, and 106-n3 including the virtual sound source 104 inside, the signal reflecting the angle θ l formed is is 0.
角度重み付加部15-lは、成す角θlを反映した信号を第2駆動信号として加算部16-lに出力する。 The angle weight addition section 15-l outputs a signal reflecting the formed angle θ l to the addition section 16-l as a second drive signal.
加算部16-l(16-1~16-L)は、角度重み付加部13-lから成す角θlを反映した第1駆動信号を入力すると共に、角度重み付加部15-lから成す角θlを反映した第2駆動信号を入力する。そして、加算部16-lは、成す角θlを反映した第1駆動信号及び成す角θlを反映した第2駆動信号を加算し、加算結果を駆動信号d(rl)としてスピーカ106-lへ出力する。 The adders 16-l (16-1 to 16-L) receive the first drive signal reflecting the angle θ l formed by the angle weight addition unit 13-l, and the angle θ l formed by the angle weight addition unit 15-l. A second drive signal reflecting θl is input. Then, the adder 16-l adds the first drive signal reflecting the formed angle θ l and the second drive signal reflecting the formed angle θ l , and the addition result is used as the drive signal d(r l ) for the speaker 106-l. output to l.
以上のように、実施例2のオブジェクトベース音響レンダリング装置2によれば、実施例1のWFSの構成に対してVBAPの構成を組み込み、WFSの一部の構成とVBAPの構成とを、角度重みに応じてシームレスに切り替えることで、駆動信号d(rl)を生成するようにした。
As described above, according to the object-based
具体的には、VBAP係数算出部21は、所定の受音点から仮想音源座標rSへの仮想音源方向の単位ベクトル及びスピーカ座標r1~rLへのスピーカ方向の単位ベクトルに基づいて、仮想音源104を内部に含む3つのスピーカ106-n1,106-n2,106-n3に対応する係数gn1,gn2,gn3を算出する。
Specifically, the VBAP
VBAP係数乗算部14-lは、VBAP係数算出部21から係数gl(gn1,gn2,gn3,0のうちのいずれかの値)を入力する。そして、VBAP係数乗算部14-lは、信号増幅部9-l、HPF10-l、減衰付加部11-l及び面積要素付加部12-lにより得られた信号に係数glを乗算することで、係数glを反映した信号を生成する。
The VBAP coefficient multiplier 14-l receives the coefficient g l (one of g n1 , g n2 , g n3 and 0) from the
角度重み付加部15-lは、成す角θlに基づいて、前記式(14)にて角度重みwS(θl)を設定する。そして、角度重み付加部15-lは、係数glを反映した信号に角度重みwS(θl)を乗算することで、成す角θlを反映した第2駆動信号を生成する。 The angle weight adding unit 15-l sets the angle weight w S (θ l ) in the above equation (14) based on the formed angle θ l . Then, the angle weight adding section 15-l multiplies the signal reflecting the coefficient g l by the angle weight w S (θ l ) to generate a second drive signal reflecting the formed angle θ l .
加算部16-lは、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lからなるWFSの処理により得られた、成す角θlを反映した第1駆動信号、及び、成す角θlを反映した第2駆動信号を加算し、加算結果を駆動信号d(rl)としてスピーカ106-lへ出力する。 The adder 16-l is composed of the signal amplifier 9-l, the HPF 10-l, the attenuation adder 11-l, the area element adder 12-l, and the angle weight adder 13-l. The first drive signal reflecting the formed angle θ l and the second drive signal reflecting the formed angle θ l are added, and the addition result is output to the speaker 106-l as the drive signal d(r l ).
このように、角度重みwS(θl)を用いる角度重み付加部15-lは、係数glを用いるVBAP係数乗算部14-lに対して直列に接続され、VBAPのVBAP係数乗算部14-l及び角度重み付加部15-lは、WFSの角度重み付加部13-lに並列に接続される。そして、角度重み付加部13-lに用いる角度重みwC(θl)と角度重み付加部15-lに用いる角度重みwS(θl)とは、0~1の範囲においてトレードオフの関係にある。
Thus, the angle weighting unit 15-l using the angle weight w S (θ l ) is connected in series to the VBAP coefficient multiplier 14-l using the coefficient g l , and the
このため、仮想音源104の位置(仮想音源座標rS)がスピーカ106-lの境界面から離れており、成す角θlが0°に近づいている場合には、角度重みwC(θl)は1に近い大きい値となるが、角度重みwS(θl)は0に近い小さい値となる。この場合、駆動信号d(rl)は、WFSによる分配側が支配的となる。 Therefore, when the position of the virtual sound source 104 (virtual sound source coordinates r S ) is away from the boundary surface of the speaker 106-l and the formed angle θ l approaches 0°, the angle weight w C (θ l ) takes a large value close to 1, but the angle weight w S (θ l ) takes a small value close to 0. In this case, the drive signal d(r l ) is dominant on the distribution side by WFS.
一方、仮想音源104の位置(仮想音源座標rS)がスピーカ106-lの境界面に近接し、成す角θlが90°に近づいている場合には、角度重みwC(θl)は0に近い小さい値となるが、角度重みwS(θl)は1に近い大きい値となる。この場合、駆動信号d(rl)は、VBAPによる分配側が支配的となる。 On the other hand, when the position of the virtual sound source 104 (virtual sound source coordinates r S ) is close to the boundary surface of the speaker 106-l and the formed angle θ l approaches 90°, the angle weight w C (θ l ) is Although it becomes a small value close to 0, the angle weight w S (θ l ) becomes a large value close to 1. In this case, the drive signal d(r l ) is dominant on the distribution side by VBAP.
つまり、スピーカ106-lに対する仮想音源104の位置に応じて、WFSによる分配側とVBAPによる分配側とが、連続的にシームレスに切り替わるようになる。 That is, the distribution side by WFS and the distribution side by VBAP are continuously and seamlessly switched according to the position of the virtual sound source 104 with respect to the speaker 106-l.
したがって、実施例2のオブジェクトベース音響レンダリング装置2では、実施例1と同様の効果を奏することができる。また、スピーカ106-lが疎に配列された環境において、仮想音源104の位置(仮想音源座標rS)がスピーカ106-lの境界面に近接し、成す角θl が大きくなるにつれてWFSの角度重みは小さく、VBAPの角度重みが大きくなり、連続的にレンダリング則が切り替わる。このため、WFSの角度重みが小さくなることに起因し、再生信号が小さくなる場合でもVBAPの角度重みでそれを補填することで、再生信号が極端に小さくなるという問題を解決することができる。
Therefore, the object-based
尚、実施例2のオブジェクトベース音響レンダリング装置2のHPF10-l(10-1~10-L)は、図1に示した実施例1と同様に、jk||rl-rS||+1を、前記式(12)のHPF係数hn(rl,rS)を用いた前記式(11)のハイパスフィルタに置き換えて使用するようにしてもよい。
Note that the HPF 10-1 (10-1 to 10- L ) of the object-based
また、実施例2のオブジェクトベース音響レンダリング装置2の減衰付加部11-l(11-1~11-L)は、図1に示した実施例1と同様に、減衰係数1/||rl-rS||2の代わりに、前記式(13)の減衰係数g(rl,rS)を用いるようにしてもよい。つまり、減衰付加部11-lは、減衰係数g(rl,rS)を用いて、仮想音源104とスピーカ106-lとの間の距離に応じて減衰した信号を生成する。
Further, the attenuation adding unit 11-l (11-1 to 11-L) of the object-based
〔実施例3〕
次に、実施例3について説明する。前述のとおり、実施例3は、実施例2と同様に、実施例1の構成に対してVBAPの構成を組み込むことで、実施例1の効果に加え、スピーカ106-lが疎に配置された場合に駆動信号d(rl)が小さくなる問題を解決する。より詳細には、実施例3は、実施例1に示した単純化したWFSの全体の構成とVBAPの構成とを、角度重みに応じてシームレスに切り替えることで、駆動信号d(rl)を生成する。
[Example 3]
Next, Example 3 will be described. As described above, in Example 3, similar to Example 2, by incorporating the VBAP configuration into the configuration of Example 1, in addition to the effect of Example 1, the speakers 106-l are sparsely arranged. To solve the problem that the drive signal d(r l ) becomes small when More specifically, in the third embodiment, the driving signal d(r l ) is changed to Generate.
図8は、実施例3のオブジェクトベース音響レンダリング装置の構成例を示すブロック図であり、図9は、実施例3のオブジェクトベース音響レンダリング装置の処理例を示す疑似コードである。 FIG. 8 is a block diagram showing a configuration example of the object-based acoustic rendering device of Example 3, and FIG. 9 is pseudo code showing a processing example of the object-based acoustic rendering device of Example 3. In FIG.
このオブジェクトベース音響レンダリング装置3は、信号増幅部9-1~9-L、HPF10-1~10-L、減衰付加部11-1~11-L、面積要素付加部12-1~12-L、角度重み付加部13-1~13-L、VBAP係数乗算部14-1~14-L、角度重み付加部15-1~15-L、加算部16-1~16-L、角度算出部20及びVBAP係数算出部21を備えている。
This object-based acoustic rendering device 3 includes signal amplification units 9-1 to 9-L, HPFs 10-1 to 10-L, attenuation addition units 11-1 to 11-L, and area element addition units 12-1 to 12-L. , angle weight addition units 13-1 to 13-L, VBAP coefficient multiplication units 14-1 to 14-L, angle weight addition units 15-1 to 15-L, addition units 16-1 to 16-L,
信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lは、WFSの構成部であり、VBAP係数乗算部14-l及び角度重み付加部15-lは、VBAPの構成部である。WFSの構成部とVBAPの構成部とは、当該オブジェクトベース音響レンダリング装置3全体として、並列に接続されている。 The signal amplification unit 9-l, the HPF 10-l, the attenuation addition unit 11-l, the area element addition unit 12-l, and the angle weight addition unit 13-l are components of the WFS, and the VBAP coefficient multiplication unit 14-l and The angle weighting unit 15-l is a component of VBAP. The WFS component and the VBAP component are connected in parallel as the object-based acoustic rendering device 3 as a whole.
図2に示した実施例2のオブジェクトベース音響レンダリング装置2とこの実施例3のオブジェクトベース音響レンダリング装置3とを比較すると、両オブジェクトベース音響レンダリング装置2,3は、同一の構成部を備えている点で共通する。
Comparing the object-based
一方、オブジェクトベース音響レンダリング装置3は、VBAPの構成部であるVBAP係数乗算部14-l及び角度重み付加部15-lが、WFSの全体の構成部と並列に接続されている点で、WFSの一部の角度重み付加部13-lのみと並列に接続されているオブジェクトベース音響レンダリング装置2と相違する。 On the other hand, in the object-based acoustic rendering device 3, the VBAP coefficient multiplier 14-l and the angle weighting unit 15-l, which are the components of the VBAP, are connected in parallel with the overall components of the WFS. is connected in parallel with only a part of the angle weighting unit 13-l.
図9を参照してオブジェクトベース音響レンダリング装置3の全体処理について説明する。図9に示すステップS901~S908の処理は、図6に示した実施例2のオブジェクトベース音響レンダリング装置2によるステップS601~S608の処理と同じであるため、ここでは説明を省略する。
The overall processing of the object-based acoustic rendering device 3 will be described with reference to FIG. Since the processing of steps S901 to S908 shown in FIG. 9 is the same as the processing of steps S601 to S608 by the object-based
オブジェクトベース音響レンダリング装置3は、ステップS907にて取得したスピーカ座標rlのインデックスがl=n1,n2,n3の場合、スピーカ106-n1,106-n2,106-n3について、定数u(例えばu=1/2π)、ステップS901にて入力した音源信号S及び仮想音源座標rS、ステップS902にて入力したスピーカ座標rl及び面積要素ΔSl、ステップS903にて設定したHPFh(rl,rS)、ステップS904にて設定した減衰係数1/||rl-rS||2及びステップS906にて設定した角度重みwC(θl)及び角度重みwS(θl)に基づき、以下の式にて駆動信号d(rl)を算出し出力する(ステップS909)。
この式において、係数gl=gn1,gn2,gn3である。また、*は畳み込みを表す。駆動信号d(rl)は、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l、角度重み付加部13-l、VBAP係数乗算部14-l、角度重み付加部15-l及び加算部16-lにより算出される。 In this equation, the coefficients g l =g n1 , g n2 , g n3 . Also, * represents convolution. The drive signal d(r l ) is applied to the signal amplifier 9-l, the HPF 10-l, the attenuation adder 11-l, the area element adder 12-l, the angle weight adder 13-l, and the VBAP coefficient multiplier 14-l. , is calculated by the angle weighting unit 15-l and the addition unit 16-l.
一方、オブジェクトベース音響レンダリング装置3は、インデックスがl=n1,n2,n3以外の場合、スピーカ106-n1,106-n2,106-n3以外のスピーカ106-lについて、定数u、音源信号S、仮想音源座標rS、スピーカ座標rl及び面積要素ΔSl、HPFh(rl,rS)、減衰係数1/||rl-rS||2及び角度重みwC(θl)に基づき、以下の式にて駆動信号d(rl)を算出し出力する(ステップS910)。
この駆動信号d(rl)は、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lにより算出される。 This drive signal d(r l ) is calculated by the signal amplifier 9-l, HPF 10-l, attenuation adder 11-l, area element adder 12-l, and angle weight adder 13-l.
尚、前記式(18)の演算において、右辺の第1項であるWFSの構成による演算結果と、第2項であるVBAPの構成による演算結果とは、フィルタリングにより遅延が生じる。このため、角度重み付加部13-l,15-lにおいて、VBAP側にも位相を調整するための遅延を加える必要があるが、ここではその表記は省略する。 In the calculation of the above equation (18), a delay occurs due to filtering between the calculation result of the WFS configuration, which is the first term on the right side, and the calculation result of the VBAP configuration, which is the second term. Therefore, it is necessary to add a delay for adjusting the phase on the VBAP side in the angle weighting units 13-l and 15-l, but the notation thereof is omitted here.
また、前記式(18)及び前記式(19)において、畳み込み*は、FFT(Fast Fourier Transform:高速フーリエ変換)を利用し、周波数領域での積を逆変換して求めるようにしてもよい。前記式(16)及び前記式(17)についても同様である。 Further, in the formulas (18) and (19), the convolution * may be obtained by inversely transforming the product in the frequency domain using FFT (Fast Fourier Transform). The same applies to the formulas (16) and (17).
図8を参照して、オブジェクトベース音響レンダリング装置3に備えたそれぞれの構成部の処理は、図5に示した実施例2のオブジェクトベース音響レンダリング装置2に備えたそれぞれの構成部の処理と同じであるため、構成部の処理の説明については省略する。
Referring to FIG. 8, the processing of each component included in the object-based acoustic rendering device 3 is the same as the processing of each component included in the object-based
VBAP係数乗算部14-l(14-1~14-L)の入力データは、オブジェクトベース音響レンダリング装置2,3間において異なる。図5に示したオブジェクトベース音響レンダリング装置2のVBAP係数乗算部14-lは、面積要素付加部12-lから面積要素が付加された信号を入力する。これに対し、図8に示すオブジェクトベース音響レンダリング装置3のVBAP係数乗算部14-lは、音源信号Sを入力する。
The input data of the VBAP coefficient multipliers 14-l (14-1 to 14-L) differ between the object-based
具体的には、図8に示すオブジェクトベース音響レンダリング装置3のVBAP係数乗算部14-lは、VBAP係数算出部21から係数gl(gn1,gn2,gn3,0のうちのいずれかの値)を入力する。そして、VBAP係数乗算部14-lは、音源信号Sを入力し、当該音源信号Sに係数glを乗算することで、係数glを反映した信号を生成する。 Specifically, the VBAP coefficient multiplier 14- l of the object-based acoustic rendering device 3 shown in FIG. value). Then, the VBAP coefficient multiplier 14-l receives the sound source signal S and multiplies the sound source signal S by the coefficient g l to generate a signal reflecting the coefficient g l .
以上のように、実施例3のオブジェクトベース音響レンダリング装置3によれば、実施例1のWFSの構成に対してVBAPの構成を組み込み、WFSの全体の構成とVBAPの構成とを、角度重みに応じてシームレスに切り替えることで、駆動信号d(rl)を生成する。 As described above, according to the object-based acoustic rendering apparatus 3 of the third embodiment, the configuration of the VBAP is incorporated into the configuration of the WFS of the first embodiment, and the overall configuration of the WFS and the configuration of the VBAP are combined into angle weights. The driving signal d(r l ) is generated by switching seamlessly according to the demand.
具体的には、VBAP係数乗算部14-lは、VBAP係数算出部21から係数gl(gn1,gn2,gn3,0のうちのいずれかの値)を入力する。そして、VBAP係数乗算部14-lは、音源信号Sに係数glを乗算することで、係数glを反映した信号を生成する。
Specifically, the VBAP coefficient multiplier 14-l receives the coefficient g l (one of g n1 , g n2 , g n3 , and 0) from the
角度重み付加部15-lは、成す角θlに基づいて、前記式(14)にて角度重みwS(θl)を設定する。そして、角度重み付加部15-lは、係数glを反映した信号に角度重みwS(θl)を乗算することで、成す角θlを反映した第2駆動信号を生成する。 The angle weight adding unit 15-l sets the angle weight w S (θ l ) in the above equation (14) based on the formed angle θ l . Then, the angle weight adding section 15-l multiplies the signal reflecting the coefficient g l by the angle weight w S (θ l ) to generate a second drive signal reflecting the formed angle θ l .
加算部16-lは、信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lからなるWFSの処理により得られた、成す角θlを反映した第1駆動信号、及び、成す角θlを反映した第2駆動信号を加算し、加算結果を駆動信号d(rl)としてスピーカ106-lへ出力する。 The adder 16-l is composed of the signal amplifier 9-l, the HPF 10-l, the attenuation adder 11-l, the area element adder 12-l, and the angle weight adder 13-l. The first drive signal reflecting the formed angle θ l and the second drive signal reflecting the formed angle θ l are added, and the addition result is output to the speaker 106-l as the drive signal d(r l ).
このように、角度重みwS(θl)を用いる角度重み付加部15-lは、係数glを用いるVBAP係数乗算部14-lに対して直列に接続される。また、VBAPのVBAP係数乗算部14-l及び角度重み付加部15-lは、WFSの信号増幅部9-l、HPF10-l、減衰付加部11-l、面積要素付加部12-l及び角度重み付加部13-lに並列に接続される。そして、角度重み付加部13-lに用いる角度重みwC(θl)と角度重み付加部15-lに用いる角度重みwS(θl)とは、0~1の範囲においてトレードオフの関係にある。 Thus, the angle weight adding section 15-l using the angle weight w S (θ l ) is connected in series to the VBAP coefficient multiplying section -l using the coefficient g l . In addition, the VBAP coefficient multiplier 14-l and the angle weight addition unit 15-l of the VBAP are the signal amplification unit 9-l of the WFS, the HPF 10-l, the attenuation addition unit 11-l, the area element addition unit 12-l, and the angle It is connected in parallel to the weight adding section 13-l. The angle weight w C (θ l ) used in the angle weight addition unit 13-l and the angle weight w S (θ l ) used in the angle weight addition unit 15-l have a trade-off relationship in the range of 0 to 1. It is in.
このため、実施例2と同様に、θlが0°に近づいたときには、駆動信号d(rl)は、WFSによる分配側が支配的となり、θlが90°に近づいたときには、駆動信号d(rl)は、VBAPによる分配側が支配的となる。 Therefore, as in the second embodiment, when θ l approaches 0°, the drive signal d(r l ) is dominated by the WFS distribution side, and when θ l approaches 90°, the drive signal d (r l ) is dominated by the VBAP distribution side.
つまり、スピーカ106-lに対する仮想音源104の位置に応じて、連続的にWFSとVBAPとの分配側が、シームレスに切り替わるようになる。 In other words, the distribution side of WFS and VBAP is continuously switched seamlessly according to the position of the virtual sound source 104 with respect to the speaker 106-l.
したがって、実施例3のオブジェクトベース音響レンダリング装置3では、実施例1と同様の効果を奏することができる。また、実施例2と同様に、スピーカ106-lが疎に配列された環境において、WFSによるレンダリングを行っている際に、仮想音源104が境界面に近接して配置されると、VBAPによるレンダリングに連続的にシームレスに切り替わる。このため、再生信号が小さくなるという問題を解決することができる。 Therefore, the object-based acoustic rendering device 3 of the third embodiment can achieve the same effects as those of the first embodiment. Also, as in the second embodiment, in an environment where the speakers 106-l are sparsely arranged, when the virtual sound source 104 is placed close to the boundary surface during rendering by WFS, rendering by VBAP continuously and seamlessly. Therefore, it is possible to solve the problem that the reproduced signal becomes small.
尚、実施例3のオブジェクトベース音響レンダリング装置3のHPF10-l(10-1~10-L)は、図1に示した実施例1及び図5に示した実施例2と同様に、jk||rl-rS||+1を、前記式(12)のHPF係数hn(rl,rS)を用いた前記式(11)のハイパスフィルタに置き換えて使用するようにしてもよい。 Note that the HPF 10-1 (10-1 to 10-L) of the object-based acoustic rendering device 3 of the third embodiment is similar to the first embodiment shown in FIG. 1 and the second embodiment shown in FIG. |r l −r s ||+1 may be replaced with the high-pass filter of the above equation (11) using the HPF coefficient h n (r l , r s ) of the above equation (12).
また、実施例3のオブジェクトベース音響レンダリング装置3の減衰付加部11-l(11-1~11-L)は、図1に示した実施例1及び図5に示した実施例2と同様に、減衰係数1/||rl-rS||2の代わりに、前記式(13)の減衰係数g(rl,rS)を用いるようにしてもよい。つまり、減衰付加部11-lは、減衰係数g(rl,rS)を用いて、仮想音源104とスピーカ106-lとの間の距離に応じて減衰した信号を生成する。
Further, the attenuation adding unit 11-l (11-1 to 11-L) of the object-based acoustic rendering device 3 of the third embodiment is similar to the first embodiment shown in FIG. 1 and the second embodiment shown in FIG. , the damping coefficient g(r l , r s ) of the above equation (13) may be used instead of the damping
ただし、仮想音源104がスピーカ106-lに近接して配置された場合、単純化したWFSの構成(HPF10-l~角度重み付加部13-l)と、VBAPの構成(VBAP係数乗算部14-l及び角度重み付加部15-l)とでは、信号振幅が大きく異なる場合がある。このため、信号振幅が極端に異ならないように、前記式(13)の減衰係数g(rl,rS)を算出するために用いるパラメータβ1,β2は、適切に調整される必要がある。 However, when the virtual sound source 104 is placed close to the speaker 106-l, the simplified WFS configuration (HPF 10-l to angle weighting unit 13-l) and the VBAP configuration (VBAP coefficient multiplier 14- 1 and the angle weighting unit 15-l) may have significantly different signal amplitudes. Therefore, the parameters β1 and β2 used to calculate the attenuation coefficient g(r l , r s ) of the above equation (13) need to be adjusted appropriately so that the signal amplitudes do not differ significantly.
以上、実施例1,2,3を挙げて本発明を説明したが、本発明は前記実施例1,2,3に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。 Although the present invention has been described above with reference to Examples 1, 2, and 3, the present invention is not limited to Examples 1, 2, and 3, and can be variously modified without departing from the technical idea thereof. be.
尚、本発明の実施例1,2,3によるオブジェクトベース音響レンダリング装置1,2,3のハードウェア構成としては、通常のコンピュータを使用することができる。オブジェクトベース音響レンダリング装置1,2,3は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
A normal computer can be used as the hardware configuration of the object-based
オブジェクトベース音響レンダリング装置1に備えたHPF10-1~10-L、減衰付加部11-1~11-L、面積要素付加部12-1~12-L、角度重み付加部13-1~13-L及び角度算出部20の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
HPFs 10-1 to 10-L, attenuation addition units 11-1 to 11-L, area element addition units 12-1 to 12-L, and angle weight addition units 13-1 to 13- provided in the object-based
また、オブジェクトベース音響レンダリング装置2,3に備えたHPF10-1~10-L、減衰付加部11-1~11-L、面積要素付加部12-1~12-L、角度重み付加部13-1~13-L、VBAP係数乗算部14-1~14-L、角度重み付加部15-1~15-L、加算部16-1~16-L、角度算出部20及びVBAP係数算出部21の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
Also, HPFs 10-1 to 10-L, attenuation addition units 11-1 to 11-L, area element addition units 12-1 to 12-L, angle weight addition unit 13- 1 to 13-L, VBAP coefficient multipliers 14-1 to 14-L, angle weight adders 15-1 to 15-L, adders 16-1 to 16-L,
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。 These programs are stored in the storage medium and are read and executed by the CPU. In addition, these programs can be stored and distributed in storage media such as magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROM, DVD, etc.), semiconductor memories, etc., and distributed via networks. You can also send and receive
1,2,3 オブジェクトベース音響レンダリング装置
9 信号増幅部
10 HPF(ハイパスフィルタ)
11 減衰付加部
12 面積要素付加部
13,15 角度重み付加部
14 VBAP係数乗算部
16 加算部
20 角度算出部
21 VBAP係数算出部
30,32 算出部
31 スピーカ決定部
100 受音点
101,104 仮想音源
102,106 スピーカ
103 音源
105 スピーカアレイ
rnS 仮想音源方向の単位ベクトル
rn1,rn2,rn3 スピーカ方向の単位ベクトル
gl,gn1,gn2,gn3 係数
rS 仮想音源座標
rl スピーカ座標
C1,C2 領域
S 音源信号
L スピーカの個数
l スピーカの番号(系統の番号)
ΔSl スピーカの面積要素
n(rl) スピーカの境界面内向き法線ベクトル
k 波数
θl 成す角(仮想音源104位置からスピーカ106-l位置を結んだベクトル(rl-rS)と境界面内向き法線ベクトルn(rl)との成す角)
h(rl,rS) HPF
wC(θl),wS(θl) 角度重み
1/||rl-rS||2,g(rl,rS) 減衰係数
d(rl) 駆動信号
1, 2, 3 Object-based
11
ΔS l speaker area element n ( r l ) speaker boundary surface inward normal vector k wave number angle with in-plane normal vector n(r l ))
h(r l , r s ) HPF
w C (θ l ), w S (θ l )
Claims (6)
前記複数のスピーカの個数をL、前記スピーカの番号をl(=1,・・・,L)、第l番目の前記スピーカを第l番目スピーカ、音源信号が出力される仮想音源の座標を仮想音源座標rS、前記第l番目スピーカの座標をスピーカ座標rl、前記第l番目スピーカの位置での境界面内向き法線ベクトルをn(rl)、前記第l番目スピーカの位置を中心とする面積要素をΔSl、前記第l番目スピーカに対する前記駆動信号をd(rl)として、
前記複数のスピーカのそれぞれについて、前記仮想音源座標rSの位置から前記第l番目スピーカの前記スピーカ座標rlの位置までのベクトルと前記第l番目スピーカの前記境界面内向き法線ベクトルn(rl)との成す角θlを算出する角度算出部、並びに、
前記複数のスピーカのそれぞれに対応する信号増幅部、HPF(ハイパスフィルタ)、減衰付加部、面積要素付加部及び第1角度重み付加部を備え、
前記信号増幅部は、
前記音源信号を定数にて増幅し、
前記HPFは、
前記仮想音源座標rS及び前記第l番目スピーカの前記スピーカ座標rlに基づいて、HPFh(rl,rS)を設定し、前記信号増幅部により増幅された信号に対し、前記HPFh(rl,rS)を用いてフィルタ処理を施し、
前記減衰付加部は、
前記仮想音源座標rSの位置から前記第l番目スピーカの前記スピーカ座標rlの位置までのベクトルの絶対値を求め、前記絶対値を2乗した結果の逆数を減衰係数1/||rl-rS||2として設定し、前記フィルタ処理が施された信号に対し前記減衰係数1/||rl-rS||2を乗算し、
前記面積要素付加部は、
前記減衰付加部により乗算された信号に対し前記面積要素ΔSlを乗算し、
前記第1角度重み付加部は、
前記角度算出部により算出された前記第l番目スピーカの前記成す角θlに基づき、0から1までの範囲において、前記成す角θlの絶対値が0°に近いほど1に近い値をとり、前記成す角θlの絶対値が90°に近いほど0に近い値をとり、前記成す角θlの絶対値が0°以下または90°以上のときに0の値をとる角度重みwC(θl)を設定し、前記面積要素付加部により乗算された信号に対し前記角度重みwC(θl)を乗算することで、前記第l番目スピーカに対する前記駆動信号d(rl)を生成する、ことを特徴とするオブジェクトベース音響レンダリング装置。 An object-based acoustic rendering device that generates drive signals for each of a plurality of speakers placed in a listening environment by rendering a sound source object placed at a position described in acoustic metadata,
L is the number of the plurality of speakers, l (=1, . The sound source coordinates are r s , the coordinates of the first speaker are the speaker coordinates r l , the boundary surface inward normal vector at the position of the first speaker is n(r l ), and the position of the first speaker is the center. Let ΔS l be the area element for
For each of the plurality of speakers, a vector from the position of the virtual sound source coordinate r S to the position of the speaker coordinate r l of the l-th speaker and the inward normal vector n ( r l ), and an angle calculator for calculating the angle θ l formed with
A signal amplification unit, an HPF (high pass filter), an attenuation addition unit, an area element addition unit, and a first angle weight addition unit corresponding to each of the plurality of speakers,
The signal amplification unit is
amplifying the sound source signal by a constant;
The HPF is
Based on the virtual sound source coordinates r S and the speaker coordinates r l of the first speaker, HPFh (r l , r S ) is set, and the HPFh (r l , r S ), and
The attenuation adding section is
The absolute value of the vector from the position of the virtual sound source coordinate r S to the position of the speaker coordinate r l of the l-th speaker is obtained, and the reciprocal of the result obtained by squaring the absolute value is the attenuation coefficient 1/||r l −r S || 2 and multiplying said filtered signal by said attenuation factor 1/||r l −r S || 2 ;
The area element adding section includes:
Multiplying the signal multiplied by the attenuation addition unit by the area element ΔS l ,
The first angle weighting unit
Based on the angle θ l formed by the first speaker calculated by the angle calculation unit, the closer the absolute value of the formed angle θ l is to 0° in the range from 0 to 1, the closer the value is to 1. , an angle weight w C that takes a value closer to 0 as the absolute value of the formed angle θ l approaches 90°, and takes a value of 0 when the absolute value of the formed angle θ l is 0° or less or 90° or more. By setting (θ l ) and multiplying the signal multiplied by the area element addition unit by the angle weight w C (θ l ), the driving signal d(r l ) for the l-th speaker is An object-based acoustic rendering device, characterized by:
さらに、前記仮想音源座標rSへの仮想音源方向の単位ベクトル及び全てのスピーカにおける前記スピーカ座標rlへのスピーカ方向の単位ベクトルに基づいて、前記仮想音源を内部に含む3つのスピーカをVBAP(Vector Based Amplitude Panning)対象の3つのスピーカとして特定し、前記VBAP対象の3つのスピーカの単位ベクトルrn1,rn2,rn3を取得し、前記仮想音源座標rSへの仮想音源方向の単位ベクトル及び前記VBAP対象の3つのスピーカの単位ベクトルrn1,rn2,rn3に基づいて、前記VBAP対象の3つのスピーカに対応する係数gl=gn1,gn2,gn3を求め、前記全てのスピーカのうち、前記VBAP対象の3つのスピーカ以外のスピーカに対応する係数gl=0を設定し、前記係数glを出力するVBAP係数算出部、並びに、
前記複数のスピーカのそれぞれに対応するVBAP係数乗算部、第2角度重み付加部及び加算部を備え、
前記VBAP係数乗算部は、
前記面積要素付加部により乗算された信号に対し、前記VBAP係数算出部により出力された前記係数glを乗算し、
前記第2角度重み付加部は、
前記角度算出部により算出された前記第l番目スピーカの前記成す角θlに基づき、0から1までの範囲において、前記成す角θlの絶対値が0°に近いほど0に近い値をとり、前記成す角θlの絶対値が90°に近いほど1に近い値をとり、前記成す角θlの絶対値が0°以下または90°以上のときに0の値をとる角度重みwS(θl)を設定し、前記VBAP係数乗算部により乗算された信号に対し前記角度重みwS(θl)を乗算することで、第2駆動信号を生成し、
前記第1角度重み付加部は、
前記角度重みwC(θl)を設定し、前記面積要素付加部により乗算された信号に対し前記角度重みwC(θl)を乗算することで、第1駆動信号を生成し、前記加算部が、前記第1駆動信号及び前記第2駆動信号を加算することで、前記第l番目スピーカに対する前記駆動信号d(rl)を生成する、ことを特徴とするオブジェクトベース音響レンダリング装置。 An object-based acoustic rendering apparatus according to claim 1, comprising:
Further, based on the unit vector of the virtual sound source direction to the virtual sound source coordinate r S and the unit vector of the speaker direction to the speaker coordinate r l in all the speakers, the three speakers including the virtual sound source inside are set to VBAP ( Vector Based Amplitude Panning), the unit vectors r n1 , r n2 , and r n3 of the three VBAP target speakers are obtained, and the unit vector of the virtual sound source direction to the virtual sound source coordinate r S And based on the unit vectors r n1 , r n2 , and r n3 of the three VBAP target speakers, the coefficients g l =g n1 , g n2 , and g n3 corresponding to the three VBAP target speakers are obtained, and all of the above a VBAP coefficient calculation unit that sets a coefficient g l =0 corresponding to a speaker other than the three VBAP target speakers and outputs the coefficient g l ;
A VBAP coefficient multiplication unit, a second angle weighting unit and an addition unit corresponding to each of the plurality of speakers,
The VBAP coefficient multiplier is
multiplying the signal multiplied by the area element addition unit by the coefficient g l output by the VBAP coefficient calculation unit;
The second angle weighting unit
Based on the angle θ l formed by the first speaker calculated by the angle calculation unit, the closer the absolute value of the formed angle θ l is to 0°, the closer the value is to 0 in the range from 0 to 1. , an angle weight w S that takes a value closer to 1 as the absolute value of the formed angle θ l approaches 90°, and takes a value of 0 when the absolute value of the formed angle θ l is 0° or less or 90° or more. (θ l ) is set, and the signal multiplied by the VBAP coefficient multiplier is multiplied by the angle weight w S (θ l ) to generate a second drive signal,
The first angle weighting unit
By setting the angle weight w C (θ l ) and multiplying the signal multiplied by the area element addition unit by the angle weight w C (θ l ), a first drive signal is generated, and the addition A unit for generating the driving signal d(r l ) for the l-th speaker by adding the first driving signal and the second driving signal.
前記VBAP係数乗算部は、
前記面積要素付加部により乗算された信号の代わりに、前記音源信号を入力し、前記音源信号に対し前記係数glを乗算する、ことを特徴とするオブジェクトベース音響レンダリング装置。 3. An object-based acoustic rendering apparatus according to claim 2, wherein
The VBAP coefficient multiplier is
An object-based acoustic rendering apparatus, wherein the sound source signal is input instead of the signal multiplied by the area element adding unit, and the sound source signal is multiplied by the coefficient gl .
前記HPFは、
予め設定されたパラメータをα、予め設定されたフィルタ次数をN、及びn=0,1,・・・,Nとして、以下の式:
にて、HPF係数hn(rl,rS)を設定し、
x[t]及びy[t]を時刻tにおける当該HPFの入力及び出力として、入出力特性が以下の式:
となるように、前記信号増幅部により増幅された信号に対し、前記HPF係数hn(rl,rS)を用いてフィルタ処理を施す、ことを特徴とするオブジェクトベース音響レンダリング装置。 An object-based acoustic rendering device according to any one of claims 1 to 3,
The HPF is
With a preset parameter α, a preset filter order N, and n=0, 1, . . . , N, the following equation:
to set the HPF coefficient h n (r l , r s ),
Letting x[t] and y[t] be the input and output of the HPF at time t, the input/output characteristics are:
An object-based acoustic rendering apparatus, wherein the signal amplified by the signal amplifying section is filtered using the HPF coefficient h n (r l , r s ) such that:
前記減衰付加部は、
予め設定されたパラメータをβ1,β2として、以下の式:
にて減衰係数g(rl,rS)を求め、前記フィルタ処理が施された信号に対し前記減衰係数g(rl,rS)を乗算する、ことを特徴とするオブジェクトベース音響レンダリング装置。 An object-based acoustic rendering device according to any one of claims 1 to 4,
The attenuation adding section is
With preset parameters β 1 and β 2 , the following equation:
and multiplying the filtered signal by the attenuation coefficient g(r l , r s ) . .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023419A JP2022125686A (en) | 2021-02-17 | 2021-02-17 | Object-based acoustic rendering device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023419A JP2022125686A (en) | 2021-02-17 | 2021-02-17 | Object-based acoustic rendering device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022125686A true JP2022125686A (en) | 2022-08-29 |
Family
ID=83058284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021023419A Pending JP2022125686A (en) | 2021-02-17 | 2021-02-17 | Object-based acoustic rendering device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022125686A (en) |
-
2021
- 2021-02-17 JP JP2021023419A patent/JP2022125686A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018008395A1 (en) | Acoustic field formation device, method, and program | |
JP6607895B2 (en) | Binaural audio generation in response to multi-channel audio using at least one feedback delay network | |
CN105323684B (en) | Sound field synthesis approximation method, monopole contribution determining device and sound rendering system | |
CN107071685B (en) | Method and apparatus for rendering an audio soundfield representation for audio playback | |
JP6215478B2 (en) | Binaural audio generation in response to multi-channel audio using at least one feedback delay network | |
JP2006508404A (en) | Loudspeaker system for virtual sound synthesis | |
JP7071961B2 (en) | Variable acoustic loudspeaker | |
JP2010109579A (en) | Sound output element array and sound output method | |
Ramos et al. | Parametric head-related transfer function modeling and interpolation for cost-efficient binaural sound applications | |
Fazi et al. | Sound field reproduction as an equivalent acoustical scattering problem | |
CN113766396A (en) | Loudspeaker control | |
JP6970366B2 (en) | Sound image reproduction device, sound image reproduction method and sound image reproduction program | |
Hoffmann et al. | An analytical model for wedge-shaped acoustic arrays | |
JP2022125686A (en) | Object-based acoustic rendering device and program | |
JP2019050492A (en) | Filter coefficient determining device, filter coefficient determining method, program, and acoustic system | |
Ziemer et al. | Psychoacoustic Sound Field Synthesis | |
JP5941373B2 (en) | Speaker array driving apparatus and speaker array driving method | |
Gao et al. | Multizone sound reproduction with adaptive control of scattering effects | |
Simón Gálvez et al. | A study on the effect of reflections and reverberation for low-channel-count Transaural systems | |
WO2018211984A1 (en) | Speaker array and signal processor | |
CN116684784B (en) | Acoustic playback method and system based on parametric array loudspeaker array | |
WO2021251182A1 (en) | Signal processing device, method, and program | |
Zotter et al. | Higher-order ambisonic microphones and the wave equation (linear, lossless) | |
Lee et al. | Reproduction of a higher-order circular harmonic field using a linear array of loudspeakers | |
Matsuda et al. | Binaural-centered mode-matching method for enhanced reproduction accuracy at listener's both ears in sound field reproduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240104 |