JP2016092562A - Audio processing device and method, and program - Google Patents
Audio processing device and method, and program Download PDFInfo
- Publication number
- JP2016092562A JP2016092562A JP2014223959A JP2014223959A JP2016092562A JP 2016092562 A JP2016092562 A JP 2016092562A JP 2014223959 A JP2014223959 A JP 2014223959A JP 2014223959 A JP2014223959 A JP 2014223959A JP 2016092562 A JP2016092562 A JP 2016092562A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- listening area
- sound pressure
- area
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本技術は音声処理装置および方法、並びにプログラムに関し、特に、よりばらつきの少ない音圧分布の音声を得ることができるようにした音声処理装置および方法、並びにプログラムに関する。 The present technology relates to a sound processing apparatus and method, and a program, and more particularly, to a sound processing apparatus and method, and a program capable of obtaining sound with a sound pressure distribution with less variation.
例えば、音響信号を空間中に出力するために一般的なスピーカのような音源を用いる場合、その音源の指向特性による影響はあるものの概ね周囲にいる全ての人が音源から出力された音声を聴取することが可能である。 For example, when a sound source such as a general speaker is used to output an acoustic signal into the space, almost all people around it listen to the sound output from the sound source, although it is affected by the directivity characteristics of the sound source. Is possible.
そのため、音声を聴取できる空間または方向(以下、聴取エリアとも称する)と、音声を聴取できない空間または方向(以下、非聴取エリアとも称する)を設定し、聴取エリア内にいる者に限定して音声を聞かせるということはできず、そのような目的を達成するためには再生装置に対する何らかの工夫が必要となる。 Therefore, a space or direction in which sound can be heard (hereinafter also referred to as a listening area) and a space or direction in which sound cannot be heard (hereinafter also referred to as a non-listening area) are set, and the sound is limited to those who are in the listening area. In order to achieve such a purpose, some device for the playback device is required.
特定の位置に限定して音声を再生することが可能となれば、聴取者以外の人に対してその音声が騒音となることを防げる他、1つの空間内で複数の聴取者がそれぞれ別個の音響信号を聴取することが可能となる。このような要求に対する実現手段として、所望の方向に音波を放射する指向性スピーカシステムを用いることが考えられる。 If it is possible to reproduce the sound limited to a specific position, it is possible to prevent the sound from becoming a noise to a person other than the listener, and a plurality of listeners are individually separated in one space. An acoustic signal can be heard. It is conceivable to use a directional speaker system that emits sound waves in a desired direction as means for realizing such a requirement.
ここで指向性スピーカシステムには、主に幾何的な形状によって指向性を作り出すホーンスピーカや、振幅変調された強い超音波ビームの自己復調によって狭指向性を実現するパラメトリックスピーカ、複数のスピーカを設置することで全体としての指向性を形成するスピーカアレイなどがある。 Here, the directional speaker system is equipped with a horn speaker that creates directivity mainly by its geometric shape, a parametric speaker that realizes narrow directivity by self-demodulation of an amplitude-modulated strong ultrasonic beam, and multiple speakers. Thus, there is a speaker array that forms directivity as a whole.
これらの指向性スピーカシステムのうち、ホーンスピーカでは低周波で指向性を得るためには幾何学的な構造が大きくならざるを得ず、用途が限られてしまう。 Among these directional speaker systems, a horn speaker must have a large geometric structure in order to obtain directivity at a low frequency, and its application is limited.
また、超音波を用いるパラメトリックスピーカは狭い範囲の指向性を容易に得ることができるが、低周波域において音圧が不足するなどの理由で音質面において不十分である。さらに、パラメトリックスピーカでは、放射する超音波に対して自己復調される音波の比率が低いため、十分な音圧を確保するためには非常に強い超音波の曝露を許容しなければならない。 Moreover, a parametric speaker using ultrasonic waves can easily obtain directivity in a narrow range, but is insufficient in sound quality due to a lack of sound pressure in a low frequency range. Furthermore, since the ratio of the self-demodulated sound wave to the radiated ultrasonic wave is low in the parametric speaker, it is necessary to allow a very strong ultrasonic wave exposure to ensure a sufficient sound pressure.
これに対して、スピーカアレイを用いる方法では、ホーンスピーカに比べて小規模でありながら指向性を得ることができ、また可聴帯域の音を用いるため超音波暴露なども生じない。さらに、スピーカアレイによる方法では、各スピーカへと入力される入力信号間の相対的な振幅位相特性をフィルタにより変化させることで、スピーカアレイの配置を変えずに指向性を変更することが可能である。 On the other hand, in the method using the speaker array, the directivity can be obtained while being smaller than the horn speaker, and since the sound in the audible band is used, no ultrasonic exposure occurs. Furthermore, in the method using the speaker array, it is possible to change the directivity without changing the arrangement of the speaker array by changing the relative amplitude and phase characteristics between the input signals input to the speakers using a filter. is there.
しかしながら、スピーカアレイを用いる方法では、どのように振幅位相特性を変化させれば所望の指向特性を得られるかは自明ではなく、またスピーカの配置の仕方が指向性に与える影響も大きい。そのため、様々なフィルタ係数の算出方法やスピーカの配置方法が提案されている。 However, in the method using the speaker array, it is not obvious how the desired directional characteristics can be obtained by changing the amplitude and phase characteristics, and the way the speakers are arranged has a great influence on the directivity. For this reason, various filter coefficient calculation methods and speaker arrangement methods have been proposed.
例えば、聴取エリアと非聴取エリアにおける平均音響エネルギ密度と、それらの平均音響エネルギ密度の差を計算し、音源から出力される全体音響エネルギに対する音響エネルギー密度の差の比が最大になるように音源から放射される信号を計算する方法が提案されている(例えば、特許文献1参照)。この方法によれば、スピーカアレイにより音声を再生したときに、聴取エリアにいる聴取者のみが音声を聞き取ることができる。 For example, the average acoustic energy density in the listening area and the non-listening area and the difference between the average acoustic energy densities are calculated, and the ratio of the difference in acoustic energy density to the total acoustic energy output from the sound source is maximized. There has been proposed a method for calculating a signal radiated from (see, for example, Patent Document 1). According to this method, only the listener in the listening area can hear the sound when the sound is reproduced by the speaker array.
しかしながら、上述した技術では、聴取エリアや非聴取エリアの平均音響エネルギ密度を用いて計算を行っているため、聴取エリアや非聴取エリアにおける音圧分布に空間的なばらつきが生じてしまう。 However, in the above-described technique, calculation is performed using the average acoustic energy density of the listening area and the non-listening area, so that spatial variation occurs in the sound pressure distribution in the listening area and the non-listening area.
本技術は、このような状況に鑑みてなされたものであり、よりばらつきの少ない音圧分布の音声を得ることができるようにするものである。 The present technology has been made in view of such a situation, and makes it possible to obtain sound with a sound pressure distribution with less variation.
本技術の一側面の音声処理装置は、聴取エリア内にいくつかの制御点を設定するとともに、非聴取エリア内にいくつかの制御点を設定するエリア設定部と、前記聴取エリア内の各前記制御点の目的音圧を設定する目的音圧設定部と、前記目的音圧の許容誤差を設定する許容誤差設定部と、全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出するフィルタ係数計算部とを備える。 An audio processing device according to an aspect of the present technology sets an area setting unit that sets several control points in a non-listening area, and sets each control point in the listening area. A target sound pressure setting unit that sets a target sound pressure at a control point; an allowable error setting unit that sets an allowable error of the target sound pressure; and a predetermined number of sound sources less than the total number of all the control points On the basis of the transfer function between the control point and each of the control points, under the condition that the error of the sound pressure of the control point in the listening area with respect to the target sound pressure falls within the allowable error range. A filter coefficient calculation unit for calculating a filter coefficient of a filter corresponding to the sound source that minimizes the sound pressure of the control point in the non-listening area.
前記フィルタ係数計算部には、前記フィルタのゲインが所定の上限値を超えないという制約条件をさらに加えて前記フィルタ係数を算出させることができる。 The filter coefficient calculation unit may calculate the filter coefficient by further adding a constraint that the gain of the filter does not exceed a predetermined upper limit value.
前記エリア設定部には、前記聴取エリアおよび前記非聴取エリアとは異なるその他のエリアにいくつかの制御点を設定させ、前記フィルタ係数計算部には、前記その他のエリア内の前記制御点の音圧が、所定の最大音圧を超えないという制約条件をさらに加えて前記フィルタ係数を算出させることができる。 The area setting unit is configured to set some control points in other areas different from the listening area and the non-listening area, and the filter coefficient calculation unit is configured to generate sound of the control points in the other areas. The filter coefficient can be calculated by further adding a constraint that the pressure does not exceed a predetermined maximum sound pressure.
前記最大音圧を、前記聴取エリア内の前記制御点の前記目的音圧の最小値に基づいて定めるようにすることができる。 The maximum sound pressure may be determined based on a minimum value of the target sound pressure at the control point in the listening area.
前記フィルタ係数計算部には、線型計画問題を解くことにより、前記フィルタ係数を算出させることができる。 The filter coefficient calculation unit can calculate the filter coefficient by solving a linear programming problem.
本技術の一側面の音声処理方法またはプログラムは、聴取エリア内にいくつかの制御点を設定するとともに、非聴取エリア内にいくつかの制御点を設定し、前記聴取エリア内の各前記制御点の目的音圧を設定し、前記目的音圧の許容誤差を設定し、全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出するステップを含む。 An audio processing method or program according to one aspect of the present technology sets several control points in a listening area, sets several control points in a non-listening area, and sets each control point in the listening area. A target sound pressure, a tolerance of the target sound pressure, and a transfer function between the sound source and each of the control points for a predetermined number of sound sources less than the total number of all the control points. The sound pressure of the control point in the non-listening area is minimized under the condition that the error of the sound pressure of the control point in the listening area with respect to the target sound pressure is within the allowable error range. Calculating a filter coefficient of a filter corresponding to the sound source.
本技術の一側面においては、聴取エリア内にいくつかの制御点が設定されるとともに、非聴取エリア内にいくつかの制御点が設定され、前記聴取エリア内の各前記制御点の目的音圧が設定され、前記目的音圧の許容誤差が設定され、全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数が算出される。 In one aspect of the present technology, several control points are set in the listening area and several control points are set in the non-listening area, and the target sound pressure of each control point in the listening area is set. Is set, an allowable error of the target sound pressure is set, and for a predetermined number of sound sources less than the total number of all the control points, based on a transfer function between the sound source and each of the control points, Minimizing the sound pressure of the control point in the non-listening area under the condition that the error of the sound pressure of the control point in the listening area with respect to the target sound pressure is within the allowable error range, A filter coefficient of a filter corresponding to the sound source is calculated.
本技術の一側面によれば、よりばらつきの少ない音圧分布の音声を得ることができる。 According to one aspect of the present technology, it is possible to obtain sound having a sound pressure distribution with less variation.
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。 Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、図面を参照して、本技術を適用した実施の形態について説明する。 Hereinafter, embodiments to which the present technology is applied will be described with reference to the drawings.
〈第1の実施の形態〉
〈本技術の概要〉
本技術は、複数のスピーカ間での相対的な振幅位相特性を変化させることにより空間の音場特性を変化させ、予め設定した所望の聴取エリア内部のみで音響信号を聴取できるようにするものである。
<First Embodiment>
<Outline of this technology>
This technology changes the sound field characteristics of a space by changing the relative amplitude and phase characteristics among a plurality of speakers so that an acoustic signal can be heard only within a predetermined desired listening area. is there.
まず、本技術の概要について説明する。 First, an outline of the present technology will be described.
(本技術の基本的な原理について)
例えば、音響信号に含まれるある周波数成分ωについて考える。音響信号に基づく音声の再生空間上に、聴取者に音声を聴取できるようにする聴取エリアと、音声を聴取できないようにする非聴取エリアとを設け、聴取エリアをVtargetと表し、非聴取エリアをVcancelと表すとする。また、再生空間上に音源としてN個のスピーカが存在するとする。
(About the basic principle of this technology)
For example, consider a certain frequency component ω included in an acoustic signal. On the sound reproduction space based on the acoustic signal, a listening area for allowing the listener to listen to the sound and a non-listening area for preventing the sound from being heard are provided, and the listening area is represented as V target, and the non-listening area. Is expressed as V cancel . Further, it is assumed that N speakers exist as sound sources in the reproduction space.
ここで、N個のスピーカのなかのn番目(但し0≦n≦N-1)のスピーカから、聴取エリアVtargetまたは非聴取エリアVcancel内にある所定の位置rまでの伝達関数をHn(r)とする。また、n番目のスピーカに供給される音響信号に対して施されるフィルタ処理に用いる入力フィルタ係数をWnとする。すなわち、入力された音響信号が、入力フィルタ係数Wnが用いられてフィルタ処理された後、スピーカで再生されるものとする。 Here, the transfer function from the n-th speaker among the N speakers (where 0 ≦ n ≦ N−1) to a predetermined position r within the listening area V target or the non-listening area V cancel is represented by H n. (r). Also, let W n be an input filter coefficient used for filter processing performed on the acoustic signal supplied to the nth speaker. In other words, it is assumed that the input acoustic signal is filtered using the input filter coefficient W n and then reproduced by a speaker.
ここで、入力フィルタ係数Wnは、どのようなものであってもよいが、ここでは各周波数成分ごとの係数、つまり各周波数成分に対して乗算される係数を要素とする行列であるものとする。また、以下、入力フィルタ係数Wnからなるフィルタを入力フィルタとも称することとする。 Here, the input filter coefficient W n may be any value, but here, it is assumed that the coefficient is a coefficient for each frequency component, that is, a matrix having a coefficient multiplied by each frequency component as an element. To do. Further, hereinafter, it will be referred to as both an input filter filters consisting of the input filter coefficients W n.
さらに、聴取エリアVtargetにおける所望の音圧特性、すなわち目的音圧レベルをd(r)とし、音圧特性d(r)からの許容誤差をσとする。ここで、音圧特性d(r)は複素音圧である。 Further, a desired sound pressure characteristic in the listening area V target , that is, a target sound pressure level is d (r), and an allowable error from the sound pressure characteristic d (r) is σ. Here, the sound pressure characteristic d (r) is a complex sound pressure.
このとき、N個のスピーカからなるスピーカアレイの所定位置rにおける指向特性D(r)、つまり実際に得られるであろう音圧は、次式(1)に示されるようになる。 At this time, the directivity characteristic D (r) at a predetermined position r of the speaker array composed of N speakers, that is, the sound pressure that would actually be obtained is expressed by the following equation (1).
すなわち、指向特性D(r)は、N個の各スピーカの伝達関数Hn(r)と入力フィルタ係数Wnとの積の総和により表すことができる。 That is, the directivity characteristic D (r) can be represented by the sum of products of the transfer function H n (r) of each of the N speakers and the input filter coefficient W n .
そこで、入力フィルタ係数Wnを変数とする次式(2)に示す最大値最小化問題を考える。 Therefore, the maximum value minimization problem shown in the following equation (2) using the input filter coefficient W n as a variable is considered.
式(2)に示される最大値最小化問題は、聴取エリアVtargetにおける音圧ΣHn(r)Wn(但し位置rは聴取エリアVtarget内)と所望の音圧特性d(r)との間の誤差が許容誤差σ以内、つまり許容誤差の範囲内であるという条件下で、非聴取エリアVcancelにおける音圧ΣHn(r)Wn(但し位置rは非聴取エリアVcancel内)を最小化する入力フィルタ係数Wnを求めるものである。より詳細には、非聴取エリアVcancelにおいて音圧が最大となる位置rにおける音圧を最小化する入力フィルタ係数Wnが求められる。 Maximum minimization problem shown in equation (2), the sound pressure .SIGMA.H n (r) W n (where position r within the listening area V target) in the listening area V target and the desired sound pressure characteristic d (r) within the error tolerances σ between, under the condition that that is in the range of allowable error, non-listening area V cancel sound pressure at ΣH n (r) W n (where position r is in a non-listening area V cancel) To obtain an input filter coefficient W n that minimizes. More specifically, the input filter coefficient W n that minimizes the sound pressure at the position r where the sound pressure is maximum in the non-listening area V cancel is obtained.
なお、音圧特性d(r)と許容誤差σは位置rごとに定められるようにしてもよいし、いくつかの位置rで同じものが用いられてもよい。 The sound pressure characteristic d (r) and the allowable error σ may be determined for each position r, or the same one may be used at several positions r.
この最大値最小化問題を解き、入力フィルタ係数Wnを求めれば、入力フィルタ係数Wnを用いたフィルタ処理によってスピーカアレイを構成する各スピーカから出力される音声の相互間の周波数特性および振幅位相特性を制御することができる。 If this maximum value minimization problem is solved and the input filter coefficient W n is obtained, the frequency characteristics and amplitude phases between the sounds output from the speakers constituting the speaker array by the filter processing using the input filter coefficient W n Properties can be controlled.
これにより、聴取エリアVtargetで聴取される音声の音圧に比べて、非聴取エリアVcancelで聴取される音声の音圧を減少させ、聴取エリアVtargetのみで音声を聞き取ることができるようにすることができる。 Thus, compared to the sound pressure of the sound heard at the listening area V target, to reduce the sound pressure of the sound heard by the non-listening area V cancel, so as to be able to listen to audio only listening area V target can do.
しかも式(2)に示す最大値最小化問題では、比較的人間の聴覚上問題となりにくい聴取エリアVtargetにおける音質のばらつきが許容誤差σの分だけ許容されるようにしている。そのため、聴覚上、比較的問題となりやすい非聴取エリアVcancelにおける音圧をその許容範囲の中で最大限に抑えることが可能となり、聴取エリアや非聴取エリアにおける空間的な音圧のばらつきを抑えるとともに、より高い分離性能を得ることが可能となる。 In addition, in the maximum value minimization problem shown in Expression (2), the sound quality variation in the listening area V target that is relatively difficult to cause human hearing problems is allowed by the allowable error σ. Therefore, it is possible to suppress the sound pressure in the non-listening area V cancel , which is relatively problematic from the viewpoint of hearing, to the maximum within the permissible range, and to suppress variations in spatial sound pressure in the listening and non-listening areas. At the same time, higher separation performance can be obtained.
また、この最大値最小化問題では、聴取エリアVtargetにおける音圧の許容誤差σを調整することにより、聴取エリアVtargetにおける音質と非聴取エリアVcancelにおける音圧の間のトレードオフを容易に調整することができる。 Further, in this maximum minimization problem, by adjusting the tolerance σ sound pressure at the listening area V target, easily a trade-off between sound quality and non-listening area V cancel sound in pressure in the listening area V target Can be adjusted.
ところで、式(2)に示した最大値最小化問題は、このままでは複素数の絶対値演算のような非線型な要素が含まれるため、数学的な取り扱いが難しい。そこで、この最大値最小化問題を線型計画問題へと変形すれば、容易に入力フィルタ係数Wnを求めることができるようになる。 By the way, the maximum value minimization problem shown in Equation (2) is difficult to mathematically handle because it includes a non-linear element such as a complex absolute value calculation. Therefore, if this maximum value minimization problem is transformed into a linear programming problem, the input filter coefficient W n can be easily obtained.
線型計画問題への変形を行うにあたり、まず、非聴取エリアVcancel内の音声の音圧の最大値δを次式(3)により表すこととする。 In performing the transformation to the linear planning problem, first, the maximum value δ of the sound pressure of the voice in the non-listening area V cancel is expressed by the following equation (3).
そして、式(3)に示す最大値δを用いて、上述した式(2)を以下の式(4)に示すように書き換える。 Then, using the maximum value δ shown in Equation (3), Equation (2) described above is rewritten as shown in Equation (4) below.
ここで、式(4)における|ΣHn(r)Wn|≦δは、非聴取エリアVcancel内の各位置rにおける音圧が最大値δを超えないという制約を表している。 Here, | ΣH n (r) W n | ≦ δ in Expression (4) represents a constraint that the sound pressure at each position r in the non-listening area V cancel does not exceed the maximum value δ.
次に、実回転定理より、任意の複素数Zについて次式(5)が成立することから、この式(5)を用いて、式(4)における複素数の絶対値に関する条件を実数の条件に変換することができる。これにより、式(4)は以下の式(6)へと変形される。 Next, according to the real rotation theorem, the following equation (5) holds for any complex number Z. Using this equation (5), the condition relating to the absolute value of the complex number in equation (4) is converted into a real number condition. can do. Thereby, Formula (4) is deform | transformed into the following formula | equation (6).
なお、式(5)および式(6)においてθは複素数の位相、すなわち回転角度を示している。また、jは虚数単位を示しており、Re{}は複素数の実部を示している。 In Equations (5) and (6), θ represents a complex phase, that is, a rotation angle. J represents an imaginary unit, and Re {} represents a real part of a complex number.
また、複素数の虚部をIm{}で表すこととし、位置rを変数とする関数An(r)を次式(7)で表すとする。なお、式(7)においてmは自然数である。 Further, it is assumed that an imaginary part of a complex number is represented by Im {}, and a function An (r) having a position r as a variable is represented by the following equation (7). In Equation (7), m is a natural number.
さらに、位置rに応じた関数a(r)を次式(8)に示すものとし、式(7)に示した関数An(r)を要素としてもつ大きさ2N+1の行ベクトルA(r,θ)を式(9)に示すものとする。 Further, a function a (r) corresponding to the position r is represented by the following equation (8), and a row vector A (2N + 1) having the function A n (r) represented by equation (7) as an element: r, θ) is represented by equation (9).
また、各入力フィルタ係数Wnの実部と虚部、および最大値δを要素としてもつ大きさ2N+1の列ベクトルxを式(10)に示すものとし、大きさ2N+1の行ベクトルcを式(11)に示すものとし、位置rと回転角度θを変数とする関数b(r,θ)を式(12)に示すものとする。なお、式(11)では、行ベクトルcの最後の要素以外の他の要素の値は0となっている。
Further, a column vector x having a size 2N + 1 having the real part and the imaginary part of each input filter coefficient W n and the maximum value δ as elements is shown in Expression (10), and a row vector having a
このとき、行ベクトルc、列ベクトルx、行ベクトルA(r,θ)、および関数b(r,θ)を用いて、式(6)を次式(13)に示す線型半無限計画問題として表すことができる。 At this time, using the row vector c, the column vector x, the row vector A (r, θ), and the function b (r, θ), the equation (6) is expressed as a linear semi-infinite programming problem represented by the following equation (13). Can be represented.
これにより、式(2)に示した最大値最小化問題が、式(13)に示す線型半無限計画問題へと変形されたことになる。 As a result, the maximum value minimization problem shown in Expression (2) is transformed into a linear semi-infinite planning problem shown in Expression (13).
式(13)に示す線型半無限計画問題では、位置rおよび回転角度θが連続値であるため制約条件の数が無限個存在するが、位置rおよび回転角度θについて離散化を行うことで、式(13)に示す線型半無限計画問題を通常の線型計画問題として扱うことができる。これにより、その線型計画問題を主双対内点法などの線型計画法により計算することで、最適な入力フィルタ係数Wnを算出することが可能となる。 In the linear semi-infinite programming problem shown in Equation (13), the position r and the rotation angle θ are continuous values, and thus there are an infinite number of constraints. By discretizing the position r and the rotation angle θ, The linear semi-infinite programming problem expressed by Equation (13) can be treated as a normal linear programming problem. Thus, the optimal input filter coefficient W n can be calculated by calculating the linear programming problem by a linear programming method such as the main dual interior point method.
ここで、回転角度θの離散化は、実回転定理の近似精度にのみ関わる。これに対して、位置rの離散化では、聴取エリアVtargetと非聴取エリアVcancelの両空間を、音圧を制御する位置rである制御点で離散化し、空間中の音場の音圧分布を制御点に配置したマイクロフォン等のセンサの値によって代表させることになる。そのため、位置rの離散化は、得られる解の性質に大きな影響を持つ。具体的には、マイクロフォン等のセンサの数が、スピーカ等の音源の数以下である場合、聴取エリアVtargetにおける許容誤差σ=0という条件下でも、非聴取エリアVcancel内の制御点での最大音圧を0とする解xが存在し得る。 Here, the discretization of the rotation angle θ is related only to the approximation accuracy of the actual rotation theorem. On the other hand, in the discretization of the position r, both the listening area V target and the non-listening area V cancel are discretized at the control point that is the position r for controlling the sound pressure, and the sound pressure of the sound field in the space is determined. The distribution is represented by the value of a sensor such as a microphone arranged at the control point. Therefore, discretization of the position r has a great influence on the properties of the obtained solution. Specifically, when the number of sensors such as microphones is equal to or less than the number of sound sources such as speakers, the control point in the non-listening area V cancel can be used even under the condition that the tolerance σ = 0 in the listening area V target . There may be a solution x with a maximum sound pressure of 0.
しかしながら、そのようにして得られる解xは、定在波の節のようにセンサのある位置においてピンポイントに音圧を0とする解となり得るため、センサのある位置以外の非聴取エリアVcancelにおける音圧は必ずしも最小化されない。したがって、センサの数は少なくとも音源数より1つ以上多い数だけ配置することが求められる。 However, since the solution x thus obtained can be a solution where the sound pressure is zero at a certain position of the sensor as in the standing wave section, the non-listening area V cancel other than the position where the sensor is located. The sound pressure at is not necessarily minimized. Therefore, it is required to arrange at least one sensor more than the number of sound sources.
(入力フィルタの安定化について)
また、式(13)から得られる線型計画問題に対して、さらに他の制約条件を追加することで、得られる入力フィルタの性質を調整することが可能である。例えば、線型計画問題の制約条件として、次式(14)に示す制約条件を追加することで、入力フィルタのゲインについて上限を設定することができる。
(Stabilization of input filter)
Moreover, it is possible to adjust the property of the input filter obtained by adding another constraint condition to the linear programming problem obtained from Expression (13). For example, the upper limit can be set for the gain of the input filter by adding the constraint condition shown in the following equation (14) as the constraint condition of the linear programming problem.
なお、式(14)においてgmaxはスカラ値であり、入力フィルタ係数Wnの上限値を示している。したがって、式(14)により示される制約条件は、入力フィルタ係数Wnの各要素の大きさ(絶対値)が上限値gmaxを超えないという条件となる。 In Expression (14), g max is a scalar value and indicates the upper limit value of the input filter coefficient W n . Therefore, the constraint condition expressed by the equation (14) is a condition that the size (absolute value) of each element of the input filter coefficient W n does not exceed the upper limit value g max .
式(14)により示される制約条件は複素数の絶対値を含んでいるが、以上において説明した最大値最小化問題を線型計画問題へと変形する場合と同様の変形を施すことにより、この制約条件を容易に線型計画問題に組み込むことが可能である。 The constraint condition represented by the equation (14) includes the absolute value of a complex number, but this constraint condition can be obtained by performing the same modification as the case where the maximum value minimization problem described above is transformed into a linear programming problem. Can be easily incorporated into linear planning problems.
このように入力フィルタのゲイン(入力フィルタ係数Wn)に対して上限値gmaxを設定することにより、入力とする音響信号に基づいて音声を再生する際に、スピーカやアンプリファイアなどの音源装置に不具合が生じ得るような非常に高いゲインとなる周波数帯を持つ入力フィルタが得られてしまうことを回避することができる。 Thus, by setting the upper limit value g max for the gain of the input filter (input filter coefficient W n ), a sound source device such as a speaker or an amplifier is used to reproduce sound based on the input acoustic signal. Thus, it is possible to avoid an input filter having a frequency band with a very high gain that may cause problems.
すなわち、スピーカ等の音源の種類によっては、特定の周波数帯に高い振幅の成分を持つ信号を入力すると音が割れてしまうなどの不具合を有することがある。そこで、式(14)に示したフィルタゲインの上限値に関する制約条件を加えることで、そのような不具合の発生を抑えつつも聴取エリアにおける音質を確保し、非聴取エリアにおける音圧を最小化することができる。 That is, depending on the type of sound source such as a speaker, there is a problem that sound is broken when a signal having a high amplitude component in a specific frequency band is input. Therefore, by adding the constraint condition regarding the upper limit value of the filter gain shown in Expression (14), the sound quality in the listening area is ensured while suppressing the occurrence of such a problem, and the sound pressure in the non-listening area is minimized. be able to.
また、入力フィルタ係数Wnに対して上限値gmaxを設定すると、入力フィルタ係数Wnの各要素の大きさが上限値gmax以下となるので、入力フィルタの周波数軸方向の過度なゲインのばらつきを抑えることができる。その結果、インパルス応答が短く実装が容易な入力フィルタを得ることができる。換言すれば、上限値gmaxを設定することで、入力フィルタとして、時間領域でみたときにタップ数が短く、エリアシング等の生じない安定なフィルタを得ることができる。 The input when the filter coefficients W n to set the upper limit value g max, since the size of each element of the input filter coefficient W n is equal to or less than the upper limit value g max, the input filter frequency axis excessive gain Variation can be suppressed. As a result, an input filter with a short impulse response and easy mounting can be obtained. In other words, by setting the upper limit value g max , it is possible to obtain a stable filter that has a small number of taps when viewed in the time domain and does not cause aliasing or the like as an input filter.
このような入力フィルタのゲインのばらつきを抑える効果は、上述した線型計画問題を解くことで得られる非聴取エリアにおける音声の音圧とのトレードオフになっている。すなわち、上限値gmaxの値をより小さくすると、よりゲインのばらつきを抑えることができ、逆に上限値gmaxの値をより大きくすると、非聴取エリアにおける音圧の最大値をより小さくし、聴取エリアと非聴取エリアとの音圧差、つまり分離性能を向上させることができる。 Such an effect of suppressing the variation in the gain of the input filter is a trade-off with the sound pressure of the sound in the non-listening area obtained by solving the above-described linear planning problem. That is, if the value of the upper limit value g max is made smaller, variations in gain can be suppressed, and conversely, if the value of the upper limit value g max is made larger, the maximum value of the sound pressure in the non-listening area is made smaller, The sound pressure difference between the listening area and the non-listening area, that is, separation performance can be improved.
したがって、入力フィルタ係数Wnの上限値gmaxの値を調整することで、算出される入力フィルタの安定性と、得られる聴取エリアおよび非聴取エリアの分離性能との間のトレードオフを容易に調整することができるようになる。 Therefore, by adjusting the value of the upper limit value g max of the input filter coefficient W n , it is easy to make a trade-off between the calculated stability of the input filter and the separation performance of the obtained listening area and non-listening area. Will be able to adjust.
(非限定エリアの設定と拘束条件について)
また、上述した聴取エリアVtargetにも非聴取エリアVcancelにも含まれない空間または方向を、その他のエリア(以下、非限定エリアとも称する)とし、非限定エリアについて別の制約条件を設定するようにしてもよい。
(Regarding non-limited area settings and constraint conditions)
In addition, a space or direction that is not included in the above-described listening area V target or non-listening area V cancel is set as another area (hereinafter also referred to as a non-limited area), and another restriction condition is set for the non-limited area. You may do it.
ここで、非限定エリアは、例えば聴取エリアVtargetではないものの積極的に音圧を低減させる必要性の低い空間または方向とされる。 Here, the non-limited area is, for example, a space or a direction that is not the listening area V target but has a low necessity of actively reducing the sound pressure.
例として、複数の聴取エリアでそれぞれ別個の音響信号(音声)を聴取できるようにすることを考える。 As an example, let us consider that it is possible to listen to different acoustic signals (voices) in a plurality of listening areas.
このように複数の聴取エリアで、互いに異なる音声を聴取できるようにする方法としては、次のような実現方法が考えられる。すなわち、まず各音声の音響信号について再生空間上に1つの聴取エリアを設定し、聴取エリア以外の空間を非聴取エリアとして音響信号ごとに入力フィルタを算出する。そして、各音響信号に対して入力フィルタを用いたフィルタ処理を施し、その結果得られた音響信号を足し合わせて音源であるスピーカ等に供給して音声を再生させればよい。 As a method for enabling different sounds to be heard in a plurality of listening areas as described above, the following realization methods can be considered. That is, first, a listening area is set on the reproduction space for each sound signal, and an input filter is calculated for each sound signal with a space other than the listening area as a non-listening area. Then, filtering processing using an input filter may be performed on each acoustic signal, and the resultant acoustic signals may be added and supplied to a speaker or the like as a sound source to reproduce sound.
ここで、1つの音響信号に注目すると、再生空間のうち、注目する音響信号とは異なる他の音響信号に対して聴取エリアとされた空間は、その注目する音響信号の入力フィルタの算出時には、真の非聴取エリアとされる。しかし、再生空間において、どの音響信号の聴取エリアでもない空間は非限定エリアとすることができる。 Here, when attention is paid to one acoustic signal, a space that is set as a listening area for another acoustic signal different from the acoustic signal of interest in the reproduction space is calculated when calculating an input filter of the acoustic signal of interest. It is a true non-listening area. However, a space that is not a listening area for any acoustic signal in the reproduction space can be a non-limited area.
この場合、非限定エリアにおける音の漏れをある程度許容することにより、変数の自由度が真の非聴取エリアにおける音圧の抑圧に回され、各音響信号の分離性能の向上を期待することができる。 In this case, by allowing a certain amount of sound leakage in the non-limited area, the degree of freedom of the variable is reduced to the suppression of the sound pressure in the true non-listening area, and it can be expected to improve the separation performance of each acoustic signal. .
非限定エリアをVotherwiseとすると、例えば非限定エリアVotherwiseにおける制約条件として、次式(15)に示すものが考えられる。 Assuming that the non-limited area is V otherwise , for example, as a constraint condition in the non-limited area V otherwise , the following equation (15) can be considered.
なお、式(15)におけるdminは、次式(16)により示されるように聴取エリアVtargetにおける音声の目的音圧、つまり音圧特性d(r)の最小値を示している。
したがって、式(15)に示される制約条件は、非限定エリアVotherwise内の各位置r、つまり各制御点における音圧が、許容誤差σを考慮した聴取エリアVtarget内の目的音圧の最小値以下となる(超えない)という条件となる。 Therefore, the constraint condition shown in Expression (15) is that the sound pressure at each position r in the non-limited area V otherwise , that is, at each control point, is the minimum of the target sound pressure in the listening area V target considering the allowable error σ. The condition is that the value is below (not exceeding) the value.
換言すれば、式(15)に示される制約条件は、非限定エリアVotherwise内の各制御点の音圧が、非限定エリアVotherwiseに対して定めた所定の最大音圧を超えないという制約条件となる。この例では、式(15)の右辺であるdmin-σが最大音圧を示している。 In other words, the constraints shown in equation (15), the constraint that the sound pressure of the respective control points within the non-limiting area V otherwise does not exceed a predetermined maximum sound pressure determined for non-limiting area V otherwise It becomes a condition. In this example, d min -σ, which is the right side of Equation (15), indicates the maximum sound pressure.
なお、最大音圧は、その他、αdmin(但し、α<1)など、聴取エリアVtargetにおける目的音圧の最小値に基づいて定められるもの、つまり聴取エリアVtargetにおける音圧の最小値を超えないものであれば、どのようなものであってもよい。また、非限定エリアVotherwiseに対して定める最大音圧は、制御点ごとに異なる値としてもよい。そのような場合、例えば複数の非限定エリアVotherwiseごとに段階的に最大音圧を設定すること等が可能となる。 The maximum sound pressure is determined based on the minimum value of the target sound pressure in the listening area V target , such as αd min (where α <1), that is, the minimum sound pressure in the listening area V target . As long as it does not exceed, it may be anything. Further, the maximum sound pressure determined for the non-limited area V otherwise may be a different value for each control point. In such a case, for example, the maximum sound pressure can be set stepwise for each of the plurality of non-limited areas V otherwise .
このような式(15)に示される制約条件も、最大値最小化問題を線型計画問題へと変形する場合と同様の変形を施すことにより、容易に式(13)から得られる線型計画問題の制約条件として組み込むことが可能である。 The constraint condition shown in the equation (15) is also applied to the linear programming problem easily obtained from the equation (13) by performing the same modification as the case where the maximum value minimization problem is transformed into the linear programming problem. It can be incorporated as a constraint.
式(15)に示される制約条件は、単に非限定エリアを設定するだけで、非限定エリアに特に拘束条件を設けない場合、聴取エリア以外のエリアに強い音圧を発生させることが生じ得るため、そのようなことを防止するための条件である。 The constraint condition shown in the equation (15) is that a non-limited area is simply set, and if there is no particular constraint condition in the non-limited area, strong sound pressure may be generated in an area other than the listening area. This is a condition for preventing such a situation.
以上のように再生空間に非限定エリアを設定し、上述した線型計画問題に非限定エリアにおける制約条件をさらに加えることで、意図せぬ大音圧のエリアの発生を防止し、最適な入力フィルタを得ることができるようになる。 As described above, the unrestricted area is set in the reproduction space, and the constraint condition in the unrestricted area is further added to the above-mentioned linear planning problem, thereby preventing the occurrence of an unintended high sound pressure area and the optimum input filter. You will be able to get
〈音響システムの構成例〉
次に、以上において説明した本技術の具体的な実施の形態について説明する。
<Example of acoustic system configuration>
Next, specific embodiments of the present technology described above will be described.
図1は、本技術を適用した音響システムの一実施の形態の構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of an embodiment of an acoustic system to which the present technology is applied.
図1に示す音響システム11は、フィルタ計算部21および音声再生部22を有しており、この音響システム11は、音声を再生する前に、事前測定により予め伝達関数および入力フィルタを求めておくフィードフォワード型のシステムとなっている。
The
すなわち、フィルタ計算部21は、入力された各種の情報および伝達関数に基づいて入力フィルタを算出し、音声再生部22に供給する。
That is, the
音声再生部22は例えば再生空間に配置され、フィルタ計算部21から供給された入力フィルタを用いて、供給された入力音響信号にフィルタ処理を施し、その結果得られた出力音響信号に基づいて音声を出力する。
The
この例では、再生空間はエリアR1乃至エリアR3の3つのエリアに分けられている。そして、エリアR1およびエリアR3が、音声を再生すべきでない空間または方向である非聴取エリアとされており、エリアR2が、音声を再生すべき空間または方向である聴取エリアとされている。 In this example, the reproduction space is divided into three areas R1 to R3. Area R1 and area R3 are non-listening areas that are spaces or directions in which sound should not be reproduced, and area R2 is a listening area that is a space or direction in which sounds are to be reproduced.
フィルタ計算部21は、スイッチ31−1乃至スイッチ31−N、D/A(Digital/Analog)変換器32−1乃至D/A変換器32−N、音源装置33−1乃至音源装置33−N、音響センサ34−1乃至音響センサ34−K、伝達関数計算器35、情報入力部36、およびフィルタ係数計算部37を有している。
The
スイッチ31−1乃至スイッチ31−Nのそれぞれは、それらの出力端がD/A変換器32−1乃至D/A変換器32−Nに接続されており、フィルタ計算部21の制御に応じてオンまたはオフする。スイッチ31−1乃至スイッチ31−Nは、オン状態である場合、供給された測定用音響信号をD/A変換器32−1乃至D/A変換器32−Nに供給する。
Each of the switches 31-1 to 31-N has an output terminal connected to the D / A converter 32-1 to D / A converter 32-N, and according to the control of the
D/A変換器32−1乃至D/A変換器32−Nは、スイッチ31−1乃至スイッチ31−Nを介して供給された測定用音響信号に対してD/A変換を行い、音源装置33−1乃至音源装置33−Nに供給する。 The D / A converter 32-1 to D / A converter 32-N performs D / A conversion on the measurement acoustic signals supplied via the switches 31-1 to 31-N, and generates a sound source device. 33-1 to the sound source device 33-N.
音源装置33−1乃至音源装置33−Nは、例えば空間中に音声(音響信号)を放射するスピーカなどからなり、D/A変換器32−1乃至D/A変換器32−Nから供給された測定用音響信号に基づいて、伝達関数測定用の音声を再生する。 The sound source device 33-1 to sound source device 33-N include, for example, speakers that emit sound (acoustic signals) in the space, and are supplied from the D / A converter 32-1 to D / A converter 32-N. Based on the measured measurement acoustic signal, the transfer function measurement sound is reproduced.
なお、以下、スイッチ31−1乃至スイッチ31−Nを特に区別する必要のない場合、単にスイッチ31とも称し、D/A変換器32−1乃至D/A変換器32−Nを特に区別する必要のない場合、単にD/A変換器32とも称する。さらに、以下、音源装置33−1乃至音源装置33−Nを特に区別する必要のない場合、単に音源装置33とも称する。ここで、音源装置33の個数Nは、2以上とされる。
Hereinafter, when it is not necessary to particularly distinguish the switches 31-1 to 31 -N, they are also simply referred to as
音響センサ34−1乃至音響センサ34−Kは、例えばマイクロフォンなどからなり、音源装置33から出力された音声を収音し、その結果得られた測定信号を伝達関数計算器35に供給する。なお、以下、音響センサ34−1乃至音響センサ34−Kを特に区別する必要のない場合、単に音響センサ34とも称することとする。
The acoustic sensors 34-1 to 34-K are composed of, for example, a microphone and the like, pick up the sound output from the
また、フィルタ計算部21が配置された空間では、例えば非聴取エリアであるエリアR1やエリアR3に対応するエリアに、音声の音圧を制御する点(位置)であるL個の制御点が設定される。同様に、フィルタ計算部21が配置された空間における、聴取エリアであるエリアR2に対応するエリアにM個の制御点が設定される。ここでL+M=Kとされる。なお、以下では、再生空間上の聴取エリアや非聴取エリアに対応する、フィルタ計算部21が配置された空間上のエリアを、単に聴取エリアや非聴取エリアとも称することとする。
In the space where the
さらに、各制御点に音響センサ34が配置される。このとき、全制御点の合計個数、つまり全音響センサ34の合計個数Kは、全音源装置33の合計個数N以上の数となるようにされる。これは、上述したように、制御点以外の非聴取エリアにおける音圧が確実に最小化されるようにするためである。なお、より詳細にはどのエリアのどの位置に制御点を設定するか、換言すれば各音響センサ34の配置位置が聴取エリアとされるか、または非聴取エリアとされるかは、情報入力部36により決定される。
Further, an
伝達関数計算器35は、音響センサ34−1乃至音響センサ34−Kから供給された測定信号と、供給された測定用音響信号とに基づいて、各音源装置33から音響センサ34までの間の伝達特性を示す伝達関数Hn(r)を算出し、フィルタ係数計算部37に供給する。伝達関数計算器35では、各音源装置33について、音響センサ34ごとに伝達関数が求められる。つまり、合計でN×K個の伝達関数が得られる。
The
情報入力部36は、管理者の操作入力等に応じて入力フィルタの算出に必要な各種の設定を行い、その設定結果をフィルタ係数計算部37に供給する。情報入力部36はエリア設定部41、目的音圧設定部42、および許容誤差設定部43を有している。
The
エリア設定部41は、例えば管理者の操作入力等に応じて、空間上にK個の制御点を設定する。具体的には、聴取エリア、非聴取エリア、非限定エリア等の各種別のエリアにいくつかの制御点が設定され、それらの設定された制御点の位置rと、制御点を含むエリアの種別を示す情報とが制御点の設定結果などとされる。
The
目的音圧設定部42は、例えば管理者の操作入力等に応じて、K個の制御点のうちの聴取エリア内に設定された制御点、すなわち上述したM個の制御点について、それらの制御点における目的音圧を設定する。ここで、聴取エリア内の制御点の目的音圧は、上述した音圧特性d(r)である。
The target sound
許容誤差設定部43は、例えば管理者の操作入力等に応じて、聴取エリアの各制御点について、それらの制御点における目的音圧の許容誤差σを設定する。
The allowable
情報入力部36は、エリア設定部41乃至許容誤差設定部43による設定の結果、すなわち、各制御点の位置、各制御点があるエリアの種別、目的音圧、および許容誤差をフィルタ係数計算部37に供給する。
The
フィルタ係数計算部37は、伝達関数計算器35から供給された伝達関数Hn(r)と、情報入力部36から供給された各種の設定結果とに基づいて入力フィルタを算出し、音声再生部22に供給する。
The filter
また、再生空間に配置された音声再生部22は、振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−N、D/A変換器62−1乃至D/A変換器62−N、および音源装置63−1乃至音源装置63−Nを有している。
The
振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−Nには、再生しようとする音声の入力音響信号が供給される。 An input acoustic signal of the sound to be reproduced is supplied to the amplitude phase control filter processing unit 61-1 to the amplitude phase control filter processing unit 61-N.
振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−Nは、供給された入力音響信号に対して、フィルタ係数計算部37から供給された入力フィルタを用いたフィルタ処理を施し、その結果得られた出力音響信号をD/A変換器62−1乃至D/A変換器62−Nに供給する。振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−Nにおけるフィルタ処理により、N個の入力音響信号間の相対的な振幅や位相が制御される。
The amplitude phase control filter processing unit 61-1 to the amplitude phase control filter processing unit 61-N perform filter processing using the input filter supplied from the filter
D/A変換器62−1乃至D/A変換器62−Nは、振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−Nから供給された出力音響信号に対してD/A変換を行い、音源装置63−1乃至音源装置63−Nに供給する。 The D / A converter 62-1 through D / A converter 62-N perform D / A conversion on the output acoustic signals supplied from the amplitude phase control filter processing unit 61-1 through amplitude phase control filter processing unit 61-N. A conversion is performed and supplied to the sound source device 63-1 to 63-N.
音源装置63−1乃至音源装置63−Nは、例えば空間中に音声を放射するスピーカなどからなり、D/A変換器62−1乃至D/A変換器62−Nから供給された出力音響信号に基づいて音声を再生する。ここで、音源装置63−1乃至音源装置63−Nのそれぞれは、音源装置33−1乃至音源装置33−Nのそれぞれに対応する。 The sound source devices 63-1 to 63-N include, for example, speakers that emit sound into the space, and output acoustic signals supplied from the D / A converter 62-1 to D / A converter 62-N. Play audio based on Here, each of the sound source devices 63-1 to 63-N corresponds to each of the sound source devices 33-1 to 33-N.
なお、以下、振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−Nを特に区別する必要のない場合、単に振幅位相制御フィルタ処理部61とも称し、D/A変換器62−1乃至D/A変換器62−Nを特に区別する必要のない場合、単にD/A変換器62とも称する。また、以下、音源装置63−1乃至音源装置63−Nを特に区別する必要のない場合、単に音源装置63とも称する。
Hereinafter, when it is not necessary to distinguish between the amplitude phase control filter processing unit 61-1 to the amplitude phase control filter processing unit 61-N, the amplitude phase control filter processing unit 61-N is also simply referred to as an amplitude phase control
図1に示す音響システム11では、伝達関数を得るための音響センサ34を再生空間に配置する必要がないため、ユーザは再生空間の所望の位置で音声を聴取したり、所望の位置に移動したりして、より自由な聴取を行うことができる。
In the
〈フィルタ係数算出処理の説明〉
次に、図1に示した音響システム11の動作について説明する。
<Description of filter coefficient calculation processing>
Next, the operation of the
例えば音響システム11のフィルタ計算部21は、再生空間において音声再生部22が音声を再生するにあたり、事前にフィルタ係数算出処理を行って入力フィルタを算出し、音声再生部22に供給する。
For example, the
以下、図2のフローチャートを参照して、音響システム11によるフィルタ係数算出処理について説明する。
Hereinafter, the filter coefficient calculation processing by the
ステップS11において、エリア設定部41は、空間上に配置されるK個の制御点についてエリア設定を行う。すなわち、エリア設定部41は、必要に応じて再生空間上に聴取エリアや非聴取エリアといった各種別のエリアを設定するとともに、それらの各エリアに対応する、フィルタ計算部21が配置された空間上のエリアに制御点を設定する。
In step S11, the
この例では、非聴取エリアであるエリアR1やエリアR3に対応するエリアに、いくつかの制御点が設定され、聴取エリアであるエリアR2に対応するエリアに、いくつかの制御点が設定される。 In this example, some control points are set in the areas corresponding to the non-listening areas R1 and R3, and some control points are set in the areas corresponding to the listening area R2. .
ステップS12において、目的音圧設定部42は、聴取エリア内にある各制御点について、それらの制御点における音圧特性d(r)を目的音圧として設定する。
In step S12, the target sound
ステップS13において、許容誤差設定部43は、聴取エリアの各制御点について、それらの制御点における目的音圧の許容誤差σを設定する。なお、各制御点における許容誤差σは同じ値であってもよいし、異なる値であってもよい。
In step S <b> 13, the allowable
以上の処理が行われると、情報入力部36は各制御点の位置r、各制御点があるエリアの種別、目的音圧としての音圧特性d(r)、および許容誤差σをフィルタ係数計算部37に供給する。
When the above processing is performed, the
ステップS14において、フィルタ計算部21は、N個の音源装置33のうちのまだ処理対象としていない音源装置33を1つ選択する。例えば音源装置33−1から音源装置33−Nまで順番に1つずつ処理対象とする音源装置33が選択されていく。
In step S <b> 14, the
フィルタ計算部21は処理対象とする1つの音源装置33を選択すると、その音源装置33にのみ測定用音響信号が供給されるようにスイッチ31の開閉を制御する。
When the
すなわち、フィルタ計算部21は、処理対象の音源装置33に接続されているスイッチ31をオンさせ、他の処理対象ではない音源装置33に接続されているスイッチ31をオフさせる。
That is, the
ステップS15において、音源装置33は伝達関数測定用の音声を出力する。
In step S15, the
すなわち、D/A変換器32は、スイッチ31を介して供給された測定用音響信号をD/A変換し、音源装置33に供給する。これにより、測定用音響信号がデジタル信号からアナログ信号に変換される。また、音源装置33は、D/A変換器32から供給された測定用音響信号に基づいて、伝達関数測定用の音声を出力する。
That is, the D /
ここでは、フィルタ計算部21によるスイッチ31の開閉制御により、処理対象の音源装置33にのみ測定用音響信号が供給されるので、処理対象の音源装置33から伝達関数測定用の音声が出力され、他の音源装置33からは音声は出力されない。
Here, since the measurement acoustic signal is supplied only to the
ステップS16において、K個の各音響センサ34は、処理対象の音源装置33から出力された音声を収音し、その結果得られた測定信号を伝達関数計算器35に供給する。
In step S <b> 16, each of the K
ステップS17において、伝達関数計算器35は、音響センサ34から供給された測定信号と、供給された測定用音響信号とに基づいて、処理対象の音源装置33からK個の各音響センサ34のそれぞれまでの間の伝達特性を示す伝達関数Hn(r)を算出し、フィルタ係数計算部37に供給する。これにより、K個の音響センサ34ごとに、処理対象の音源装置33との間の伝達関数が得られる。
In step S <b> 17, the
ステップS18において、フィルタ計算部21は、全ての音源装置33について処理を行ったか否かを判定する。例えば、全ての音源装置33が処理対象とされ、各音源装置33についての伝達関数Hn(r)が得られた場合、全ての音源装置33について処理を行ったと判定される。
In step S <b> 18, the
ステップS18において、まだ全ての音源装置33について処理を行っていないと判定された場合、処理はステップS14に戻り、上述した処理が繰り返し行われる。すなわち、次に処理対象とする音源装置33が選択され、伝達関数Hn(r)が算出される。
If it is determined in step S18 that processing has not been performed for all the
これに対して、ステップS18において全ての音源装置33について処理を行ったと判定されると、処理はステップS19に進む。
On the other hand, if it is determined in step S18 that the processing has been performed for all
ステップS19において、フィルタ係数計算部37は、伝達関数計算器35から供給された伝達関数Hn(r)と、情報入力部36から供給された各制御点の位置r、各制御点があるエリアの種別、目的音圧としての音圧特性d(r)、および許容誤差σとに基づいて入力フィルタの入力フィルタ係数を算出し、振幅位相制御フィルタ処理部61に供給する。
In step S19, the filter
具体的には、フィルタ係数計算部37は、上述した式(13)に示した線型半無限計画問題について位置rおよび回転角度θを離散化することで得られる線型計画問題を解くことにより、N個の音源装置33ごとの入力フィルタ係数Wnを算出する。
Specifically, the filter
すなわち、フィルタ係数計算部37は、聴取エリアにおける音圧の目的音圧に対する誤差が許容誤差σの範囲内に収まるという条件下で、非聴取エリアにおける音圧の最大値を最小化する入力フィルタ係数Wnを求める線型計画問題を解くことで、入力フィルタ係数Wnを算出する。
In other words, the
このとき、フィルタ係数計算部37は、例えば式(14)に示した上限値gmaxについての制約条件を線型計画問題に追加して、線型計画問題を解くようにしてもよい。また、フィルタ係数計算部37は、非限定エリアが設定される場合には、式(15)に示した非限定エリアについての制約条件を線型計画問題に追加して、線型計画問題を解くようにしてもよい。
At this time, the filter
入力フィルタ係数Wnが得られると、フィルタ係数計算部37は、各音源装置33について求められた入力フィルタ係数Wnを、それらの音源装置33に対応する音源装置63に接続されている振幅位相制御フィルタ処理部61に供給する。
When the input filter coefficient W n is obtained, the filter
すなわち、n番目の音源装置33−nについて求められた入力フィルタ係数Wnが、音源装置33−nに対応するn番目の音源装置63−nに接続されている振幅位相制御フィルタ処理部61−nに供給される。 That is, the input filter coefficient W n obtained for the n -th sound source device 33-n is the amplitude / phase control filter processing unit 61- connected to the n-th sound device 63-n corresponding to the sound source device 33-n. n.
入力フィルタ係数Wnが振幅位相制御フィルタ処理部61に供給されると、フィルタ係数算出処理は終了する。
When the input filter coefficient W n is supplied to the amplitude / phase control
以上のようにして音響システム11は、エリアの種別や目的音圧などの各制御点に関する情報を設定するとともに伝達関数を測定により求める。そして、音響システム11は、各制御点に関する設定および伝達関数に基づいて、聴取エリアの音圧の誤差が許容誤差σの範囲内に収まるという条件下で、非聴取エリアにおける音圧の最大値を最小化する入力フィルタ係数を求めるという線型計画問題を解くことで、入力フィルタ係数を算出する。
As described above, the
これにより、聴取エリアの音圧を許容誤差により定まる範囲内に収めつつ非聴取エリアの音圧を最大限に抑えられる入力フィルタ係数を得ることができ、この入力フィルタ係数によって、より空間的なばらつきの少ない音圧分布の音声を得ることができるようになる。 As a result, it is possible to obtain an input filter coefficient that can suppress the sound pressure in the non-listening area to the maximum while keeping the sound pressure in the listening area within the range determined by the allowable error. It is possible to obtain a sound with a small sound pressure distribution.
〈音声再生処理の説明〉
続いて、音響システム11が、フィルタ係数算出処理により得られた入力フィルタを用いて音声の再生を行う音声再生処理について説明する。
<Description of audio playback processing>
Next, a sound reproduction process in which the
ステップS41において、振幅位相制御フィルタ処理部61は、供給された入力音響信号に対して、フィルタ係数計算部37から供給された入力フィルタを用いたフィルタ処理を施し、その結果得られた出力音響信号をD/A変換器62に供給する。
In step S41, the amplitude phase control
具体的には、振幅位相制御フィルタ処理部61は、供給された入力音響信号に対して時間周波数変換を行うことで、時間領域の信号(時間信号)である入力音響信号を、周波数領域の信号である周波数スペクトルに変換する。
Specifically, the amplitude phase control
そして、振幅位相制御フィルタ処理部61は、得られた周波数スペクトルの各周波数成分に、フィルタ係数計算部37から供給された入力フィルタの入力フィルタ係数Wnを構成する各周波数成分の要素(係数)を乗算することで、入力音響信号の相対的な振幅や位相を調整する。すなわち、入力音響信号に対して、周波数領域で入力フィルタを用いたフィルタ処理が施される。
Then, the amplitude / phase control
さらに、振幅位相制御フィルタ処理部61は、フィルタ処理された周波数スペクトルに対して、周波数時間変換、つまり時間周波数変換の逆変換を行うことで、フィルタ処理された時間領域の信号である出力音響信号を得る。
Further, the amplitude phase control
ステップS42において、D/A変換器62は、振幅位相制御フィルタ処理部61から供給された出力音響信号をD/A変換し、音源装置63に供給する。これにより、出力音響信号がデジタル信号からアナログ信号へと変換される。
In step S <b> 42, the D /
ステップS43において、音源装置63は、D/A変換器62から供給された出力音響信号に基づいて音声を再生し、音声再生処理は終了する。
In step S43, the
各音源装置63で音声が再生されると、再生空間内のエリアR1およびエリアR3、つまり非聴取エリアにいるユーザは再生された音声を聴取することができず、再生空間内のエリアR2、つまり聴取エリアにいるユーザは再生された音声を聴取することができる。
When the sound is reproduced by each
以上のようにして、音響システム11は、事前に算出された入力フィルタを用いて入力音響信号にフィルタ処理を施し、その結果得られた出力音響信号に基づいて、音声を再生する。このように、入力フィルタを用いて入力音響信号にフィルタ処理を施すことで、より空間的なばらつきの少ない音圧分布の音声を得ることができるとともに、より高い分離性能を得ることができる。
As described above, the
〈第2の実施の形態〉
〈音響システムの構成例〉
ところで、上述したように複数の入力音響信号に対して、それぞれ聴取エリアを設定することも可能である。そのような場合、音響システム11は、例えば図4に示すように構成される。なお、図4において図1における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
<Second Embodiment>
<Example of acoustic system configuration>
By the way, as described above, a listening area can be set for each of a plurality of input sound signals. In such a case, the
図4に示す音響システム11は、フィルタ計算部21と音声再生部22とから構成される。また、音声再生部22には、互いに異なる音声を再生するための2つの入力音響信号が供給され、音声再生部22は、それらの2つの入力音響信号の再生を同時に行う。
The
ここで、これらの入力音響信号を区別するために、一方の入力音響信号を入力IP1の入力音響信号SG1とも称し、他方の入力音響信号を入力IP2の入力音響信号SG2とも称することとする。 Here, in order to distinguish these input sound signals, one input sound signal is also referred to as an input sound signal SG1 of the input IP1, and the other input sound signal is also referred to as an input sound signal SG2 of the input IP2.
また、この例では、再生空間がエリアR11乃至エリアR15の5つのエリアに分けられている。そして、エリアR12が入力IP1の聴取エリアとされ、エリアR14が入力IP2の聴取エリアとされ、他のエリアR11、エリアR13、およびエリアR15は非聴取エリアとされている。 Further, in this example, the reproduction space is divided into five areas R11 to R15. The area R12 is the listening area for the input IP1, the area R14 is the listening area for the input IP2, and the other areas R11, R13, and R15 are non-listening areas.
したがって、この例では、入力IP1の入力音響信号SG1についての入力フィルタ係数を算出するときには、エリアR12が聴取エリアとされ、他のエリアR11、およびエリアR13乃至エリアR15は非聴取エリアとされる。 Therefore, in this example, when calculating the input filter coefficient for the input acoustic signal SG1 of the input IP1, the area R12 is set as a listening area, and the other areas R11 and the areas R13 to R15 are set as non-listening areas.
また、入力IP2の入力音響信号SG2についての入力フィルタ係数を算出するときには、エリアR14が聴取エリアとされ、他のエリアR11乃至エリアR13、およびエリアR15が非聴取エリアとされる。 Further, when calculating the input filter coefficient for the input acoustic signal SG2 of the input IP2, the area R14 is set as a listening area, and the other areas R11 to R13 and the area R15 are set as non-listening areas.
なお、ここでは各エリアが聴取エリアまたは非聴取エリアとされる例について説明するが、例えば入力IP1についても入力IP2についても非聴取エリアとなっているエリアR11、エリアR13、およびエリアR15のうちのいくつかが非限定エリアとされてもよい。 Here, an example in which each area is a listening area or a non-listening area will be described. For example, the input IP1 and the input IP2 are the non-listening areas of the areas R11, R13, and R15. Some may be non-limited areas.
また、例えば入力IP1の入力フィルタ係数を算出するときには、エリアR12およびエリアR13を聴取エリアとし、入力IP2の入力フィルタ係数を算出するときには、エリアR13およびエリアR14を聴取エリアとしてもよい。そのようにすると、エリアR12では入力IP1の音声のみが聴取でき、エリアR14では入力IP2の音声のみが聴取でき、エリアR13では入力IP1と入力IP2の両方の音声が聴取できるようになる。 For example, when calculating the input filter coefficient of the input IP1, the area R12 and the area R13 may be set as the listening area, and when calculating the input filter coefficient of the input IP2, the area R13 and the area R14 may be set as the listening area. By doing so, only the voice of the input IP1 can be heard in the area R12, only the voice of the input IP2 can be heard in the area R14, and the voices of both the input IP1 and the input IP2 can be heard in the area R13.
このような図4の例では、フィルタ計算部21は、スイッチ31−1乃至スイッチ31−N、D/A変換器32−1乃至D/A変換器32−N、音源装置33−1乃至音源装置33−N、音響センサ34−1乃至音響センサ34−K、伝達関数計算器35、情報入力部36、情報入力部101、フィルタ係数計算部37、およびフィルタ係数計算部102を有している。
In the example of FIG. 4, the
図4に示すフィルタ計算部21の構成は、新たに情報入力部101およびフィルタ係数計算部102が設けられている点で図1に示したフィルタ計算部21の構成と異なり、その他の点では図1のフィルタ計算部21と同じ構成となっている。
The configuration of the
図4のフィルタ計算部21では、情報入力部36が、入力IP1の入力音響信号SG1についての各種の設定を行い、その設定結果をフィルタ係数計算部37に供給する。また、フィルタ係数計算部37が、伝達関数計算器35から供給された伝達関数Hn(r)と、情報入力部36から供給された各種の設定結果とに基づいて、入力IP1についての入力フィルタを算出し、音声再生部22に供給する。
In the
これに対して、情報入力部101は、例えば管理者の操作入力等に応じて、入力IP2の入力音響信号SG2についての各種の設定を行い、その設定結果をフィルタ係数計算部102に供給する。また、情報入力部101は、エリア設定部41乃至許容誤差設定部43のそれぞれに対応するエリア設定部111、目的音圧設定部112、および許容誤差設定部113を有している。
On the other hand, the
さらに、フィルタ係数計算部102は、伝達関数計算器35から供給された伝達関数Hn(r)と、情報入力部101から供給された各種の設定結果とに基づいて、入力IP2についての入力フィルタを算出し、音声再生部22に供給する。
Further, the filter
また、図4に示す音声再生部22は、振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−N、振幅位相制御フィルタ処理部131−1乃至振幅位相制御フィルタ処理部131−N、加算部132−1乃至加算部132−N、D/A変換器62−1乃至D/A変換器62−N、および音源装置63−1乃至音源装置63−Nを有している。
Also, the
図4に示す音声再生部22の構成は、新たに振幅位相制御フィルタ処理部131−1乃至振幅位相制御フィルタ処理部131−N、および加算部132−1乃至加算部132−Nが設けられている点で図1の音声再生部22と異なり、その他の点では図1の音声再生部22と同じ構成となっている。
The configuration of the
図4の音声再生部22では、振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−Nは、供給された入力IP1の入力音響信号SG1に対して、フィルタ係数計算部37から供給された入力フィルタを用いたフィルタ処理を施し、その結果得られた出力音響信号を加算部132−1乃至加算部132−Nに供給する。
In the
これに対して、振幅位相制御フィルタ処理部131−1乃至振幅位相制御フィルタ処理部131−Nは、供給された入力IP2の入力音響信号SG2に対して、フィルタ係数計算部102から供給された入力フィルタを用いたフィルタ処理を施し、その結果得られた出力音響信号を加算部132−1乃至加算部132−Nに供給する。
On the other hand, the amplitude phase control filter processing unit 131-1 through the amplitude phase control filter processing unit 131-N receive the input supplied from the filter
加算部132−1乃至加算部132−Nは、それぞれ振幅位相制御フィルタ処理部61−1乃至振幅位相制御フィルタ処理部61−Nから供給された出力音響信号と、振幅位相制御フィルタ処理部131−1乃至振幅位相制御フィルタ処理部131−Nから供給された出力音響信号とを加算して、D/A変換器62−1乃至D/A変換器62−Nに供給する。
The adding units 132-1 to 132-N respectively output acoustic signals supplied from the amplitude phase control filter processing unit 61-1 to the amplitude phase control filter processing unit 61-N and the amplitude phase control
なお、以下、振幅位相制御フィルタ処理部131−1乃至振幅位相制御フィルタ処理部131−Nを特に区別する必要のない場合、単に振幅位相制御フィルタ処理部131とも称することとする。また、以下、加算部132−1乃至加算部132−Nを特に区別する必要のない場合、単に加算部132とも称することとする。
Hereinafter, the amplitude phase control filter processing unit 131-1 to the amplitude phase control filter processing unit 131 -N are also simply referred to as the amplitude phase control
〈音声再生処理の説明〉
続いて、図4に示した音響システム11の動作について説明する。
<Description of audio playback processing>
Next, the operation of the
まず、音響システム11は、入力IP1と入力IP2の音声を再生する前に、事前にそれらの入力IP1についての入力フィルタと、入力IP2についての入力フィルタとを計算して求めておく。このとき、音響システム11は、入力IP1と入力IP2について、それぞれ図2を参照して説明したフィルタ係数算出処理を行う。
First, the
ここで、入力IP1についての入力フィルタを求めるフィルタ係数算出処理では、第1の実施の形態における場合と同様に、情報入力部36によりステップS11乃至ステップS13の処理が行われ、ステップS19の処理はフィルタ係数計算部37により行われる。この場合、情報入力部36のエリア設定部41は、エリアR12を聴取エリアとし、エリアR11、およびエリアR13乃至エリアR15を非聴取エリアとして制御点の設定を行う。
Here, in the filter coefficient calculation process for obtaining the input filter for the input IP1, as in the case of the first embodiment, the process from step S11 to step S13 is performed by the
これに対して、入力IP2についての入力フィルタを求めるフィルタ係数算出処理では、情報入力部101のエリア設定部111、目的音圧設定部112、および許容誤差設定部113により、ステップS11、ステップS12、およびステップS13の処理が行われる。このとき、ステップS11では、エリア設定部111は、エリアR14を聴取エリアとし、エリアR11乃至エリアR13、およびエリアR15を非聴取エリアとして制御点の設定を行う。
In contrast, in the filter coefficient calculation process for obtaining the input filter for the input IP2, the
また、入力IP2についてのフィルタ係数算出処理が行われる前に、入力IP1についてのフィルタ係数算出処理が行われた場合には、既に伝達関数Hn(r)が得られているので、入力IP2についてのフィルタ係数算出処理では、ステップS14乃至ステップS18の処理は行われなくてもよい。 In addition, when the filter coefficient calculation process for the input IP1 is performed before the filter coefficient calculation process for the input IP2, the transfer function H n (r) has already been obtained. In the filter coefficient calculation process of step S14 to step S18, the process may not be performed.
さらに、入力IP2についてのフィルタ係数算出処理では、フィルタ係数計算部102によりステップS19の処理が行われ、入力IP2についての入力フィルタ係数Wnが算出され、振幅位相制御フィルタ処理部131に供給される。
Furthermore, the filter coefficient calculation processing for the input IP2, the process of step S19 by the filter
このようにして入力IP1についての入力フィルタと、入力IP2についての入力フィルタが得られると、その後、任意のタイミングで音響システム11は、入力IP1の音声と入力IP2の音声を再生する音声再生処理を行う。
When the input filter for the input IP1 and the input filter for the input IP2 are obtained in this way, the
以下、図5のフローチャートを参照して、図4に示す音響システム11により行われる音声再生処理について説明する。
Hereinafter, the sound reproduction process performed by the
ステップS71において、音声再生部22は、入力ごとに入力音響信号に対してフィルタ処理を施す。
In step S71, the
すなわち、振幅位相制御フィルタ処理部61は、供給された入力IP1の入力音響信号SG1に対して、フィルタ係数計算部37から供給された入力フィルタを用いたフィルタ処理を施し、その結果得られた出力音響信号を加算部132に供給する。なお、振幅位相制御フィルタ処理部61により行われるフィルタ処理は、図3のステップS41において行われるフィルタ処理と同様であるので、その説明は省略する。
That is, the amplitude phase control
同様に、振幅位相制御フィルタ処理部131は、供給された入力IP2の入力音響信号SG2に対して、フィルタ係数計算部102から供給された入力フィルタを用いたフィルタ処理を施し、その結果得られた出力音響信号を加算部132に供給する。なお、振幅位相制御フィルタ処理部131により行われるフィルタ処理は、振幅位相制御フィルタ処理部61により行われるフィルタ処理と同様であるので、その説明は省略する。
Similarly, the amplitude / phase control
ステップS72において、加算部132は、振幅位相制御フィルタ処理部61から供給された入力IP1の出力音響信号と、振幅位相制御フィルタ処理部131から供給された入力IP2の出力音響信号とを加算して、D/A変換器62に供給する。
In step S72, the adding
入力IP1の出力音響信号と入力IP2の出力音響信号が加算されると、その後、ステップS73およびステップS74の処理が行われて音声再生処理は終了するが、これらの処理は図3のステップS42およびステップS43の処理と同様であるので、その説明は省略する。 When the output acoustic signal of the input IP1 and the output acoustic signal of the input IP2 are added, the processes of step S73 and step S74 are performed thereafter, and the sound reproduction process is terminated. These processes are performed in steps S42 and S42 of FIG. Since it is the same as the process of step S43, the description is abbreviate | omitted.
このようにして出力音響信号に基づく音声が再生されると、再生空間内のエリアR12では入力IP1の音声を聴取することができ、エリアR14では入力IP2の音声を聴取することができるようになる。また、エリアR11、エリアR13、およびエリアR15では、音声を聴取することができない。 When the sound based on the output acoustic signal is reproduced in this way, the sound of the input IP1 can be heard in the area R12 in the reproduction space, and the sound of the input IP2 can be heard in the area R14. . In addition, in area R11, area R13, and area R15, it is impossible to listen to audio.
以上のようにして、音響システム11は、入力ごとに事前に算出された入力フィルタを用いて入力音響信号にフィルタ処理を施し、その結果得られた各入力の出力音響信号を加算して音声を再生する。このように、入力ごとに入力フィルタを用いて入力音響信号にフィルタ処理を施すことで、より空間的なばらつきの少ない音圧分布の音声を得ることができるとともに、より高い分離性能を得ることができる。
As described above, the
〈ユースケース1〉
また、図4に示した音響システム11のユースケースとして、様々なケースが考えられる。具体的には、例えば図6に示すように、画像提示装置181でコンテンツの映像を再生しつつ、スピーカアレイ182でコンテンツの音声を再生する場合に音響システム11を適用することができる。
<Use
Various cases are conceivable as use cases of the
図6では、音響システム11は図示されていないが、スピーカアレイ182を構成する各スピーカが音源装置63に対応し、D/A変換器62からの出力音響信号がスピーカアレイ182に供給される。
In FIG. 6, the
例えば、テレビジョン放送における音声多重放送や映画など、言語1の主音声と言語2の副音声が含まれる場合がある。通常は、それらの2つの音声を同時に再生すると主音声と副音声が混ざり合って聞こえてしまうため、言語1を解する人と言語2を解する人が同じ部屋でコンテンツを試聴することは困難であった。
For example, there may be cases where a primary audio of
これに対して、図4に示した音響システム11を利用すれば、再生空間に主音声のみの聴取エリアと、副音声のみの聴取エリアとを設けることができる。したがって、言語1を解する人のいる場所を主音声の聴取エリアかつ副音声の非聴取エリアとし、言語2を解する人のいる場所を副音声の聴取エリアかつ主音声の非聴取エリアとすれば、互いに相手の言語の音声に邪魔されることなくコンテンツを楽しむことができる。
On the other hand, if the
この例では、再生空間がエリアR21乃至エリアR25の5つのエリアに分けられている。いま、言語1を解するユーザがエリアR22におり、言語2を解するユーザがエリアR24にいるとする。そのような場合、エリアR22を主音声の聴取エリアかつ副音声の非聴取エリアとし、エリアR24を副音声の聴取エリアかつ主音声の非聴取エリアとして、音響システム11において、それぞれ主音声の入力フィルタと副音声の入力フィルタを算出すればよい。この場合、エリアR21、エリアR23、およびエリアR25は、非聴取エリアや非限定エリアとすればよい。
In this example, the reproduction space is divided into five areas R21 to R25. It is assumed that a user who understands
〈ユースケース2〉
また、図4に示した音響システム11のユースケースとして、例えば図7に示すケースも考えられる。
<Use
Further, as a use case of the
例えば、博物館や展示会などにおいて各映像や画像に対応した複数の音声を同一の部屋で同時に再生するような場合、所定の場所で再生した音声が別の場所で再生する音声の邪魔となってしまうことが生じ得る。 For example, when a plurality of sounds corresponding to each video and image are reproduced simultaneously in the same room in a museum or an exhibition, the sound reproduced at a predetermined place obstructs the sound reproduced at another place. Can occur.
そのような場合、図4に示した音響システム11を利用すれば、それらの複数の音声を互いの音声が他の音声に邪魔されるようなことなく、再生することが可能となる。
In such a case, if the
図7では、画像提示装置211でコンテンツC1の映像が再生されるとともに、画像提示装置212でコンテンツC2の映像が再生され、さらにスピーカアレイ213でコンテンツC1の音声およびコンテンツC2の音声が再生される。
In FIG. 7, the video of the content C1 is reproduced by the image presentation device 211, the video of the content C2 is reproduced by the image presentation device 212, and the audio of the content C1 and the audio of the content C2 are reproduced by the
また、図7では音響システム11は図示されていないが、スピーカアレイ213を構成する各スピーカが音源装置63に対応し、D/A変換器62からの出力音響信号がスピーカアレイ213に供給される。
Although the
この例では、再生空間がエリアR31乃至エリアR35の5つのエリアに分けられている。そして、エリアR32をコンテンツC1の音声の聴取エリア、かつコンテンツC2の音声の非聴取エリアとし、エリアR34をコンテンツC2の音声の聴取エリア、かつコンテンツC1の音声の非聴取エリアとして、コンテンツC1とコンテンツC2の入力フィルタを算出すればよい。この場合、エリアR31、エリアR33、およびエリアR35は、非聴取エリアや非限定エリアとすればよい。 In this example, the reproduction space is divided into five areas R31 to R35. Then, the content C1 and the content C1 and the content C1 are listened to as the area R32 as the audio listening area for the content C2 and the content C2 as the audio non-listening area, and the area R34 as the content C2 as the audio listening area. What is necessary is just to calculate the input filter of C2. In this case, the area R31, the area R33, and the area R35 may be non-listening areas or non-limited areas.
このようにすることで、コンテンツC1の映像が再生される画像提示装置211の正面、つまりエリアR32にいるユーザは、コンテンツC1の音声のみを聴取することができる。同様に、コンテンツC2の映像が再生される画像提示装置212の正面、つまりエリアR34にいるユーザは、コンテンツC2の音声のみを聴取することができる。 By doing in this way, the user in the front of the image presentation device 211 where the video of the content C1 is reproduced, that is, the user in the area R32 can listen only to the sound of the content C1. Similarly, the user in the front of the image presentation device 212 where the video of the content C2 is reproduced, that is, the user in the area R34 can listen only to the audio of the content C2.
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。 By the way, the above-described series of processing can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the computer. Here, the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。 FIG. 8 is a block diagram illustrating an example of a hardware configuration of a computer that executes the above-described series of processes using a program.
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
In a computer, a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, and a RAM (Random Access Memory) 503 are connected to each other by a
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
An input /
入力部506は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
The
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
In the computer configured as described above, the
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
The program executed by the computer (CPU 501) can be provided by being recorded on a
コンピュータでは、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
In the computer, the program can be installed in the
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。 For example, the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。 In addition, each step described in the above flowchart can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。 Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
さらに、本技術は、以下の構成とすることも可能である。 Furthermore, this technique can also be set as the following structures.
[1]
聴取エリア内にいくつかの制御点を設定するとともに、非聴取エリア内にいくつかの制御点を設定するエリア設定部と、
前記聴取エリア内の各前記制御点の目的音圧を設定する目的音圧設定部と、
前記目的音圧の許容誤差を設定する許容誤差設定部と、
全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出するフィルタ係数計算部と
を備える音声処理装置。
[2]
前記フィルタ係数計算部は、前記フィルタのゲインが所定の上限値を超えないという制約条件をさらに加えて前記フィルタ係数を算出する
[1]に記載の音声処理装置。
[3]
前記エリア設定部は、前記聴取エリアおよび前記非聴取エリアとは異なるその他のエリアにいくつかの制御点を設定し、
前記フィルタ係数計算部は、前記その他のエリア内の前記制御点の音圧が、所定の最大音圧を超えないという制約条件をさらに加えて前記フィルタ係数を算出する
[1]または[2]に記載の音声処理装置。
[4]
前記最大音圧は、前記聴取エリア内の前記制御点の前記目的音圧の最小値に基づいて定められる
[3]に記載の音声処理装置。
[5]
前記フィルタ係数計算部は、線型計画問題を解くことにより、前記フィルタ係数を算出する
[1]乃至[4]の何れか一項に記載の音声処理装置。
[6]
聴取エリア内にいくつかの制御点を設定するとともに、非聴取エリア内にいくつかの制御点を設定し、
前記聴取エリア内の各前記制御点の目的音圧を設定し、
前記目的音圧の許容誤差を設定し、
全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出する
ステップを含む音声処理方法。
[7]
聴取エリア内にいくつかの制御点を設定するとともに、非聴取エリア内にいくつかの制御点を設定し、
前記聴取エリア内の各前記制御点の目的音圧を設定し、
前記目的音圧の許容誤差を設定し、
全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
[1]
An area setting unit for setting some control points in the listening area and setting some control points in the non-listening area;
A target sound pressure setting unit for setting a target sound pressure of each of the control points in the listening area;
An allowable error setting unit for setting an allowable error of the target sound pressure;
For a predetermined number of sound sources less than the total number of all control points, the target sound of the sound pressure of the control points in the listening area is based on the transfer function between the sound source and each of the control points. A filter coefficient calculation unit for calculating a filter coefficient of a filter corresponding to the sound source that minimizes the sound pressure of the control point in the non-listening area under a condition that an error with respect to pressure falls within the allowable error range. And a voice processing device.
[2]
The sound processing apparatus according to [1], wherein the filter coefficient calculation unit further calculates a filter coefficient by further adding a constraint condition that a gain of the filter does not exceed a predetermined upper limit value.
[3]
The area setting unit sets some control points in other areas different from the listening area and the non-listening area,
The filter coefficient calculation unit calculates the filter coefficient by further adding a constraint that the sound pressure at the control point in the other area does not exceed a predetermined maximum sound pressure. [1] or [2] The speech processing apparatus according to the description.
[4]
The sound processing device according to [3], wherein the maximum sound pressure is determined based on a minimum value of the target sound pressure at the control point in the listening area.
[5]
The speech processing apparatus according to any one of [1] to [4], wherein the filter coefficient calculation unit calculates the filter coefficient by solving a linear programming problem.
[6]
Set some control points in the listening area and set some control points in the non-listening area,
Set the target sound pressure of each control point in the listening area,
Set the target sound pressure tolerance,
For a predetermined number of sound sources less than the total number of all control points, the target sound of the sound pressure of the control points in the listening area is based on the transfer function between the sound source and each of the control points. A sound including a step of calculating a filter coefficient of a filter corresponding to the sound source that minimizes a sound pressure at the control point in the non-listening area under a condition that an error with respect to pressure falls within the allowable error range. Processing method.
[7]
Set some control points in the listening area and set some control points in the non-listening area,
Set the target sound pressure of each control point in the listening area,
Set the target sound pressure tolerance,
For a predetermined number of sound sources less than the total number of all control points, the target sound of the sound pressure of the control points in the listening area is based on the transfer function between the sound source and each of the control points. A process including a step of calculating a filter coefficient of a filter corresponding to the sound source that minimizes the sound pressure of the control point in the non-listening area under a condition that an error with respect to pressure falls within the allowable error range. A program that causes a computer to execute.
11 音響システム, 21 フィルタ計算部, 22 音声再生部, 33−1乃至33−N,33 音源装置, 34−1乃至34−N,34 音響センサ, 35 伝達関数計算器, 36 情報入力部, 37 フィルタ係数計算部, 41 エリア設定部, 42 目的音圧設定部, 43 許容誤差設定部, 61−1乃至61−N,61 振幅位相制御フィルタ処理部, 63−1乃至63−N,63 音源装置, 101 情報入力部, 102 フィルタ係数計算部, 111 エリア設定部, 112 目的音圧設定部, 113 許容誤差設定部, 131−1乃至131−N,131 振幅位相制御フィルタ処理部, 132−1乃至132−N,132 加算部
DESCRIPTION OF
Claims (7)
前記聴取エリア内の各前記制御点の目的音圧を設定する目的音圧設定部と、
前記目的音圧の許容誤差を設定する許容誤差設定部と、
全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出するフィルタ係数計算部と
を備える音声処理装置。 An area setting unit for setting some control points in the listening area and setting some control points in the non-listening area;
A target sound pressure setting unit for setting a target sound pressure of each of the control points in the listening area;
An allowable error setting unit for setting an allowable error of the target sound pressure;
For a predetermined number of sound sources less than the total number of all control points, the target sound of the sound pressure of the control points in the listening area is based on the transfer function between the sound source and each of the control points. A filter coefficient calculation unit for calculating a filter coefficient of a filter corresponding to the sound source that minimizes the sound pressure of the control point in the non-listening area under a condition that an error with respect to pressure falls within the allowable error range. And a voice processing device.
請求項1に記載の音声処理装置。 The audio processing apparatus according to claim 1, wherein the filter coefficient calculation unit calculates the filter coefficient by further adding a constraint that the gain of the filter does not exceed a predetermined upper limit value.
前記フィルタ係数計算部は、前記その他のエリア内の前記制御点の音圧が、所定の最大音圧を超えないという制約条件をさらに加えて前記フィルタ係数を算出する
請求項1に記載の音声処理装置。 The area setting unit sets some control points in other areas different from the listening area and the non-listening area,
The audio processing according to claim 1, wherein the filter coefficient calculation unit further calculates the filter coefficient by further adding a constraint that a sound pressure at the control point in the other area does not exceed a predetermined maximum sound pressure. apparatus.
請求項3に記載の音声処理装置。 The sound processing apparatus according to claim 3, wherein the maximum sound pressure is determined based on a minimum value of the target sound pressure at the control point in the listening area.
請求項1に記載の音声処理装置。 The speech processing apparatus according to claim 1, wherein the filter coefficient calculation unit calculates the filter coefficient by solving a linear planning problem.
前記聴取エリア内の各前記制御点の目的音圧を設定し、
前記目的音圧の許容誤差を設定し、
全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出する
ステップを含む音声処理方法。 Set some control points in the listening area and set some control points in the non-listening area,
Set the target sound pressure of each control point in the listening area,
Set the target sound pressure tolerance,
For a predetermined number of sound sources less than the total number of all control points, the target sound of the sound pressure of the control points in the listening area is based on the transfer function between the sound source and each of the control points. A sound including a step of calculating a filter coefficient of a filter corresponding to the sound source that minimizes a sound pressure at the control point in the non-listening area under a condition that an error with respect to pressure falls within the allowable error range. Processing method.
前記聴取エリア内の各前記制御点の目的音圧を設定し、
前記目的音圧の許容誤差を設定し、
全前記制御点の合計個数未満の所定個数の各音源について、前記音源と各前記制御点のそれぞれとの間の伝達関数に基づいて、前記聴取エリア内の前記制御点の音圧の前記目的音圧に対する誤差が前記許容誤差の範囲内に収まるという条件下で、前記非聴取エリア内の前記制御点の音圧を最小化する、前記音源に対応するフィルタのフィルタ係数を算出する
ステップを含む処理をコンピュータに実行させるプログラム。 Set some control points in the listening area and set some control points in the non-listening area,
Set the target sound pressure of each control point in the listening area,
Set the target sound pressure tolerance,
For a predetermined number of sound sources less than the total number of all control points, the target sound of the sound pressure of the control points in the listening area is based on the transfer function between the sound source and each of the control points. A process including a step of calculating a filter coefficient of a filter corresponding to the sound source that minimizes the sound pressure of the control point in the non-listening area under a condition that an error with respect to pressure falls within the allowable error range. A program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014223959A JP2016092562A (en) | 2014-11-04 | 2014-11-04 | Audio processing device and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014223959A JP2016092562A (en) | 2014-11-04 | 2014-11-04 | Audio processing device and method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016092562A true JP2016092562A (en) | 2016-05-23 |
Family
ID=56019043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014223959A Pending JP2016092562A (en) | 2014-11-04 | 2014-11-04 | Audio processing device and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016092562A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020501448A (en) * | 2016-12-07 | 2020-01-16 | ディラック、リサーチ、アクチボラグDirac Research Ab | Voice pre-compensation filter optimized for bright and dark zones |
JPWO2021245876A1 (en) * | 2020-06-04 | 2021-12-09 | ||
CN117119092A (en) * | 2023-02-22 | 2023-11-24 | 荣耀终端有限公司 | Audio processing method and electronic equipment |
-
2014
- 2014-11-04 JP JP2014223959A patent/JP2016092562A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020501448A (en) * | 2016-12-07 | 2020-01-16 | ディラック、リサーチ、アクチボラグDirac Research Ab | Voice pre-compensation filter optimized for bright and dark zones |
JPWO2021245876A1 (en) * | 2020-06-04 | 2021-12-09 | ||
WO2021245876A1 (en) * | 2020-06-04 | 2021-12-09 | 日本電信電話株式会社 | Speaker callibration method, device, and program |
JP7487773B2 (en) | 2020-06-04 | 2024-05-21 | 日本電信電話株式会社 | Speaker calibration method, device and program |
CN117119092A (en) * | 2023-02-22 | 2023-11-24 | 荣耀终端有限公司 | Audio processing method and electronic equipment |
CN117119092B (en) * | 2023-02-22 | 2024-06-07 | 荣耀终端有限公司 | Audio processing method and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108702566B (en) | Cylindrical microphone array for efficient recording of 3D sound fields | |
JP5533248B2 (en) | Audio signal processing apparatus and audio signal processing method | |
ES2683821T3 (en) | Audio precompensation controller design using a variable set of support speakers | |
JP2019092181A (en) | Method and apparatus for rendering audio sound field representation for audio reproduction | |
JP6893986B6 (en) | Voice pre-compensation filter optimized for bright and dark zones | |
CN110557710B (en) | Low complexity multi-channel intelligent loudspeaker with voice control | |
CN111128210B (en) | Method and system for audio signal processing with acoustic echo cancellation | |
JP5909665B2 (en) | Sound field control apparatus and sound field control method | |
JP7071961B2 (en) | Variable acoustic loudspeaker | |
US9355632B2 (en) | Apparatus, method and electroacoustic system for reverberation time extension | |
JP6865440B2 (en) | Acoustic signal processing device, acoustic signal processing method and acoustic signal processing program | |
WO2016080204A1 (en) | Signal processing device, signal processing method, and program | |
JP5679304B2 (en) | Multipole loudspeaker group and arrangement method thereof, acoustic signal output device and method thereof, active noise control device and sound field reproduction device using the method, and method and program thereof | |
JP2011211312A (en) | Sound image localization processing apparatus and sound image localization processing method | |
Buerger et al. | Multizone sound field synthesis based on the joint optimization of the sound pressure and particle velocity vector on closed contours | |
JP2016092562A (en) | Audio processing device and method, and program | |
CN113766396B (en) | Speaker control | |
Xiao et al. | Spatially selective active noise control systems | |
Jeon et al. | Personal audio system for neckband headset with low computational complexity | |
Rabenstein et al. | Wave field synthesis techniques for spatial sound reproduction | |
WO2019208285A1 (en) | Sound image reproduction device, sound image reproduction method and sound image reproduction program | |
JP6567216B2 (en) | Signal processing device | |
JP4116600B2 (en) | Sound collection method, sound collection device, sound collection program, and recording medium recording the same | |
JP7099456B2 (en) | Speaker array and signal processing equipment | |
JP6695738B2 (en) | Signal conversion coefficient calculation device, signal conversion device, and program |