JP2011199707A - Audio data reproduction device, and audio data reproduction method - Google Patents
Audio data reproduction device, and audio data reproduction method Download PDFInfo
- Publication number
- JP2011199707A JP2011199707A JP2010065638A JP2010065638A JP2011199707A JP 2011199707 A JP2011199707 A JP 2011199707A JP 2010065638 A JP2010065638 A JP 2010065638A JP 2010065638 A JP2010065638 A JP 2010065638A JP 2011199707 A JP2011199707 A JP 2011199707A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- sound source
- audio data
- virtual sound
- speakers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、複数のスピーカで音声データを再生する音声データ再生装置及び音声データ再生方法に関する。 The present invention relates to an audio data reproducing apparatus and audio data reproducing method for reproducing audio data with a plurality of speakers.
従来から提案されている音響再生方式には、ステレオ（２ｃｈ）方式、５.１ｃｈサラウンド方式（ＩＴＵ−Ｒ ＢＳ.７７５−１）など広く民生用として普及している。２ｃｈ方式とは、図１で模式的に図示したように、左スピーカ１１Ｌと右スピーカ１１Ｒから異なる音声データを発生させる方式である。５.１ｃｈサラウンド方式とは、図２で模式的に図示したように、左フロントスピーカ２１Ｌ、右フロントスピーカ２１Ｒ、それらの間に配置するセンタースピーカ２２Ｃ、左リアスピーカ２３Ｌ、右リアスピーカ２３Ｒ、及び図示しない低音域（一般的に２０Ｈｚ〜１００Ｈｚ）専用のサブウーファーに対し、それぞれ異なる音声データを入力して出力する方式である。 Conventionally proposed sound reproduction systems such as stereo (2ch) system and 5.1ch surround system (ITU-R BS.775-1) are widely used for consumer use. The 2ch system is a system for generating different audio data from the left speaker 11L and the right speaker 11R as schematically illustrated in FIG. The 5.1ch surround system is, as schematically illustrated in FIG. 2, a left front speaker 21L, a right front speaker 21R, a center speaker 22C, a left rear speaker 23L, a right rear speaker 23R disposed between them, This is a method of inputting and outputting different audio data to a subwoofer dedicated to a low sound range (generally 20 Hz to 100 Hz) not shown.
また、２ｃｈ方式や５.１ｃｈサラウンド方式の他にも、７.１ｃｈ、９.１ｃｈ、２２.２ｃｈなどさまざまな音響再生方式が提案されている。上述した方式はいずれも、聴取者を中心とする円周上または球面上に各スピーカを配置し、理想的には各スピーカから等距離にある聴取位置、いわゆるスイートスポットで聴くことが好ましいとされている。例えば２ｃｈ方式ではスイートスポット１２で、５.１ｃｈサラウンド方式ではスイートスポット２４で聴くことが好ましい。逆に、スイートスポット以外の位置で聴くと、一般的に、音像・音質が劣化する。以下、これらの方式を総称してマルチチャネル再生方式と呼ぶ。 In addition to the 2ch system and 5.1ch surround system, various sound reproduction systems such as 7.1ch, 9.1ch, and 22.2ch have been proposed. In any of the methods described above, it is preferable that each speaker is arranged on a circumference or a spherical surface centered on the listener, and ideally listening at a listening position equidistant from each speaker, that is, a so-called sweet spot. ing. For example, it is preferable to listen to the sweet spot 12 in the 2ch system and the sweet spot 24 in the 5.1ch surround system. Conversely, when listening at a position other than the sweet spot, the sound image / quality is generally deteriorated. Hereinafter, these methods are collectively referred to as a multi-channel reproduction method.
一方、マルチチャネル再生方式とは別に、直線状あるいは面状に並べたスピーカ群によって、音の波面を合成する再生方式、すなわち波面合成再生方式も研究されている。中でも、非特許文献１に記載のＷａｖｅ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ（ＷＦＳ）方式は、直線状に並べたスピーカ群（以下、スピーカアレイという）を用いる現実的な実装方法の１つとして近年盛んに研究されている。 On the other hand, apart from the multi-channel playback method, a playback method for synthesizing the sound wavefront using a group of speakers arranged in a straight line or a plane, that is, a wavefront synthesis playback method has been studied. Among these, the Wave Field Synthesis (WFS) system described in Non-Patent Document 1 has been actively studied in recent years as one of practical mounting methods using linearly arranged speaker groups (hereinafter referred to as speaker arrays). .
このような波面合成再生方式は、上述のマルチチャネル再生方式とは異なり、図３で模式的に図示したように、並べられたスピーカ群３１の前のどの位置で聴いている聴取者に対しても、良好な音像と音質を両方同時に提示することができるという特長を持つ。つまり、波面合成再生方式でのスイートスポット３２は図示するように幅広くなっている。
また、ＷＦＳ方式によって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（以下、「仮想音源」と呼ぶ。）から放射されているかのような感覚を受ける。
Such a wavefront synthesis reproduction method is different from the above-described multi-channel reproduction method, as illustrated schematically in FIG. 3, for a listener who is listening at any position in front of the arranged speaker groups 31. However, it has the feature that both good sound image and sound quality can be presented at the same time. That is, the sweet spot 32 in the wavefront synthesis reproduction system is wide as shown in the figure.
In addition, a listener who is listening to sound while facing the speaker array in an acoustic space provided by the WFS method is actually a sound source in which the sound radiated from the speaker array virtually exists behind the speaker array. (Hereinafter referred to as “virtual sound source”.)
ところで、波面合成再生方式では、スピーカ同士の間隔によって、再生する音響信号の再現周波数帯域が決まることが知られている。例えば２０ｋＨｚまでの音響信号を再現するためには、図４において波面合成再生方式の実装スケールの例を模式的に示すように、隣り合うスピーカ間の中心の間隔が８.５ｍｍとなるようにスピーカ群４１を配置しなければならない。しかし、低域を再生するためにはある程度の口径の大きさが必要であり、口径が８.５ｍｍ程度のスピーカでは一般に音声の低域を出力できない。したがって、既存のスピーカを用いて波面合成再生方式により２０ｋＨｚまでの音響信号を忠実に再現することは一般的に困難である。また、再現周波数の上限を低く設定するとしてもなお、多数のスピーカを必要とする。 By the way, in the wavefront synthesis reproduction method, it is known that the reproduction frequency band of the sound signal to be reproduced is determined by the interval between the speakers. For example, in order to reproduce an acoustic signal up to 20 kHz, as shown schematically in FIG. 4 as an example of a mounting scale of the wavefront synthesis reproduction method, the speaker is set so that the distance between the centers of adjacent speakers is 8.5 mm. Group 41 must be placed. However, in order to reproduce the low range, a certain size of the aperture is necessary, and a speaker having an aperture of about 8.5 mm generally cannot output a low range of audio. Therefore, it is generally difficult to faithfully reproduce an acoustic signal up to 20 kHz using an existing speaker by a wavefront synthesis reproduction method. Even if the upper limit of the reproduction frequency is set low, a large number of speakers are still required.
一方、民生用機器の開発において、製造費用を抑えることは非常に重要であり、テレビの音響システム開発においては、より少ないスピーカの数と演算量の低下が求められる。さらに、テレビが狭額縁化するにつれて、各スピーカの口径はより小さいものが求められる。すなわち、口径の小さいスピーカを少ない数使用し、音声信号を少ない演算量で処理する技術が非常に重要となっている。 On the other hand, in the development of consumer equipment, it is very important to reduce the manufacturing cost, and in the development of the television sound system, a smaller number of speakers and a lower calculation amount are required. Furthermore, as the television becomes narrower, each speaker needs to have a smaller aperture. That is, a technology that uses a small number of small-diameter speakers and processes audio signals with a small amount of computation is very important.
このような条件の下、テレビに上述のＷＦＳ方式を適用することを考える。図５においてＷＦＳ方式の実装スケールの例を模式的に示すように、例えばスピーカ群５１における７個のスピーカを１.２ｍの幅（５０型程度のテレビ装置の幅に相当）で直線状に等間隔で並べたとすると、各スピーカ間の距離は２０ｃｍとなる。この直線状に並べたスピーカ群５１を用いてＷＦＳ方式での再生を行うと、忠実に再現できる音響波面の周波数帯域の上限は、８５０Ｈｚとなり、それ以上の周波数帯域の音は波面が乱れ、波面合成再生方式の特長である音像定位の品質が劣化する。すなわち、所望の仮想音源位置に音像が定位しないという課題を有する。 Consider applying the above-described WFS system to a television set under such conditions. As schematically shown in FIG. 5 as an example of a WFS mounting scale, for example, seven speakers in the speaker group 51 are linearly arranged with a width of 1.2 m (corresponding to the width of a television apparatus of about 50 type), etc. If arranged at intervals, the distance between the speakers is 20 cm. When reproduction is performed in the WFS system using the speaker group 51 arranged in a straight line, the upper limit of the frequency band of the acoustic wavefront that can be faithfully reproduced is 850 Hz, and the sound of the frequency band higher than that is disturbed. The quality of sound image localization, which is a feature of the composite reproduction method, is degraded. That is, there is a problem that the sound image is not localized at a desired virtual sound source position.
この課題を解決するための従来技術としては、例えば特許文献１に記載の技術がある。特許文献１に記載のアレイスピーカ装置では、帯域毎にスピーカの間隔を変えて設置している。
しかしながら、この装置で採用した方法を適用してＷＦＳ方式で再生を行う場合、高域用のスピーカの数は多数必要となり費用がかかる。さらに、帯域分割のための演算が必要となるため、演算量が非常に多くなるという問題を有する。
As a conventional technique for solving this problem, for example, there is a technique described in Patent Document 1. In the array speaker device described in Patent Document 1, the speaker spacing is changed for each band.
However, when reproduction is performed by the WFS method by applying the method adopted in this apparatus, a large number of high-frequency speakers are required, which is expensive. Furthermore, since calculation for band division is required, there is a problem that the amount of calculation becomes very large.
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、複数の既存スピーカを用いて仮想音源に対する音像として聴取させるように音声データを再生するに際し、使用するスピーカが小口径、少数で済み、少ない演算量で処理することが可能で、さらに、忠実に再現できる周波数帯域の上限を高くすることが可能な、音声データ再生装置及び音声データ再生方法を提供することにある。 The present invention has been made in view of the above-described actual situation, and an object of the present invention is to use a small speaker when reproducing audio data so as to be heard as a sound image for a virtual sound source using a plurality of existing speakers. To provide an audio data reproducing apparatus and an audio data reproducing method that can be processed with a small number of apertures, can be processed with a small amount of calculation, and can increase the upper limit of a frequency band that can be faithfully reproduced. .
上述したような課題を解決するために、本発明の第１の技術手段は、複数のスピーカを備え、仮想的に存在する音源である仮想音源に対する音像として該複数のスピーカから出力するように音声データを再生する音声データ再生装置であって、各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対する遅延量を、該当するスピーカと仮想音源との距離に応じて算出する遅延算出部と、該遅延算出部で算出された遅延量に応じて音声データを読み出す読出部と、各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対するゲイン係数を、該当するスピーカと仮想音源との距離に応じて算出するゲイン算出部と、該ゲイン算出部で算出されたゲイン係数を前記読出部で読み出した前記音声データに乗算することで、各仮想音源のそれぞれについて各スピーカへ出力するための出力音声信号を算出する音声信号算出部と、該音声信号算出部で算出された出力音声信号をスピーカ毎に加算する加算部と、を備えたことを特徴としたものである。 In order to solve the above-described problem, the first technical means of the present invention includes a plurality of speakers, and outputs sound from the plurality of speakers as a sound image of a virtual sound source that is a virtually existing sound source. An audio data reproduction device for reproducing data, wherein for all combinations of each speaker and each virtual sound source, a delay calculation unit that calculates a delay amount for each speaker according to a distance between the corresponding speaker and the virtual sound source; The readout unit that reads out audio data according to the delay amount calculated by the delay calculation unit, and the gain coefficient for each speaker for all combinations of each speaker and each virtual sound source, the gain coefficient for each speaker and the virtual sound source A gain calculation unit that calculates the distance according to the distance, and the audio data read by the reading unit is multiplied by the gain coefficient calculated by the gain calculation unit. An audio signal calculation unit that calculates an output audio signal to be output to each speaker for each virtual sound source, and an addition unit that adds the output audio signal calculated by the audio signal calculation unit for each speaker, It is characterized by having provided.
第２の技術手段は、第１の技術手段において、前記ゲイン算出部は、前記ゲイン係数を、該当するスピーカと仮想音源との距離が所定の閾値以下であれば第一の値とし、それ以外であれば該第一の値よりも小さい第二の値とすることを特徴としたものである。 According to a second technical means, in the first technical means, the gain calculation unit sets the gain coefficient to a first value if the distance between the corresponding speaker and the virtual sound source is equal to or less than a predetermined threshold, and otherwise. If so, the second value is smaller than the first value.
第３の技術手段は、第２の技術手段において、前記第二の値は、前記第一の値の０.３倍以上０.５倍以下の範囲の値とすることを特徴としたものである。 The third technical means is characterized in that, in the second technical means, the second value is a value in the range of not less than 0.3 times and not more than 0.5 times the first value. is there.
第４の技術手段は、第２または第３の技術手段において、前記所定の閾値は、スピーカ間の距離の平均値または該平均値に比例した値とすることを特徴としたものである。 According to a fourth technical means, in the second or third technical means, the predetermined threshold value is an average value of a distance between speakers or a value proportional to the average value.
第５の技術手段は、第１〜第４のいずれかの技術手段において、前記ゲイン算出部は、前記読出部で読み出す音声データから仮想音源の全てで一定の音圧または一定範囲の音圧を得るように、前記ゲイン係数を算出することを特徴としたものである。 According to a fifth technical means, in any one of the first to fourth technical means, the gain calculating unit obtains a constant sound pressure or a certain range of sound pressures in all of the virtual sound sources from the audio data read by the reading unit. As described above, the gain coefficient is calculated.
第６の技術手段は、第１〜第５のいずれかの技術手段において、前記遅延算出部は、前記遅延量を、該当するスピーカと仮想音源との距離に比例して増加するように算出することを特徴としたものである。 According to a sixth technical means, in any one of the first to fifth technical means, the delay calculation unit calculates the delay amount so as to increase in proportion to a distance between the corresponding speaker and the virtual sound source. It is characterized by that.
第７の技術手段は、第６の技術手段において、前記遅延算出部は、前記遅延量として、該当するスピーカと仮想音源との距離を音が進むのに要する時間に調整定数を乗算した値を算出することを特徴としたものである。 According to a seventh technical means, in the sixth technical means, the delay calculation unit calculates, as the delay amount, a value obtained by multiplying a time required for the sound to travel a distance between the corresponding speaker and the virtual sound source by an adjustment constant. It is characterized by calculating.
第８の技術手段は、第７の技術手段において、前記調整定数は、０.６以上、１.０以下の範囲に含まれる値とすることを特徴としたものである。 An eighth technical means is the seventh technical means, wherein the adjustment constant is a value included in a range of 0.6 or more and 1.0 or less.
第９の技術手段は、第１〜第８のいずれかの技術手段において、該当するスピーカと仮想音源との前記距離は、スピーカの配設方向を一次元ユークリッド空間、スピーカの設置平面を二次元ユークリッド空間、スピーカの設置空間を三次元ユークリッド空間としたとき、該当するスピーカと仮想音源との一次元、または二次元、または三次元のユークリッド距離であることを特徴としたものである。 A ninth technical means according to any one of the first to eighth technical means is that the distance between the corresponding speaker and the virtual sound source is such that the direction in which the speaker is arranged is one-dimensional Euclidean space and the installation plane of the speaker is two-dimensional. When the Euclidean space and the speaker installation space are set as a three-dimensional Euclidean space, it is a one-dimensional, two-dimensional, or three-dimensional Euclidean distance between the corresponding speaker and the virtual sound source.
第１０の技術手段は、複数のスピーカを備えた音声データ再生装置において、仮想的に存在する音源である仮想音源に対する音像として該複数のスピーカから出力するように音声データを再生する音声データ再生方法であって、各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対する遅延量を、該当するスピーカと仮想音源との距離に応じて算出する遅延算出ステップと、該遅延算出ステップで算出された遅延量に応じて音声データを読み出す読出ステップと、各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対するゲイン係数を、該当するスピーカと仮想音源との距離に応じて算出するゲイン算出ステップと、該ゲイン算出ステップで算出されたゲイン係数を前記読出ステップで読み出した前記音声データに乗算することで、各仮想音源のそれぞれについて各スピーカへ出力するための出力音声信号を算出する音声信号算出ステップと、該音声信号算出ステップで算出された出力音声信号をスピーカ毎に加算する加算ステップと、を有することを特徴としたものである。 A tenth technical means is an audio data reproducing method for reproducing audio data so as to be output from the plurality of speakers as a sound image for a virtual sound source that is a virtually existing sound source in an audio data reproducing apparatus including a plurality of speakers. The delay calculation step for calculating the delay amount for each speaker according to the distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source, and the delay calculation step. The step of reading out the audio data according to the delay amount and the gain calculation for calculating the gain coefficient for each speaker according to the distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source And the gain coefficient calculated in the gain calculating step is read out in the reading step. By multiplying the voice data, an audio signal calculation step for calculating an output audio signal to be output to each speaker for each virtual sound source, and the output audio signal calculated in the audio signal calculation step are added for each speaker And an adding step.
本発明によれば、複数の既存スピーカを用いて仮想音源に対する音像として聴取させるように音声データを再生するに際し、使用するスピーカが小口径、少数で済み、少ない演算量で処理することが可能で、さらに、忠実に再現できる周波数帯域の上限を高くすることが可能になり、良好な音像と音質を両方同時に提示することができる。 According to the present invention, when audio data is reproduced so as to be heard as a sound image for a virtual sound source using a plurality of existing speakers, the number of speakers used is small and a small number, and processing with a small amount of computation is possible. Furthermore, it is possible to increase the upper limit of the frequency band that can be faithfully reproduced, so that both a good sound image and sound quality can be presented simultaneously.
本発明に係る音声データ再生装置は、複数のスピーカを備え、仮想的に存在する音源である仮想音源に対する音像としてそれらのスピーカから出力するように音声データを再生する装置である。まず、非特許文献１のＷＦＳ方式との比較により本発明の思想について説明する。 The audio data reproducing apparatus according to the present invention is an apparatus that includes a plurality of speakers and reproduces audio data so as to be output from the speakers as a sound image of a virtual sound source that is a virtually existing sound source. First, the concept of the present invention will be described by comparison with the WFS method of Non-Patent Document 1.
非特許文献１のＷＦＳ方式は、音の波面を比較的忠実に再現する方式である。一方、人間の音像知覚に関する現象として先行音効果（ハース効果）が知られている。先行音効果（ハース効果）とは、同一の音声を複数の音源から再生し、音源それぞれから聴取者に到達する各音声に小さな時間差がある場合、先行して到達した音声の音源方向に音像が定位する効果を指し示したものである。この効果を利用すれば、仮想音源位置に音像を知覚させることが可能となる。ただし、その効果だけで音像を明確に知覚させることは難しい。ここで、人間は音圧を最も高く感じる方向に音像を知覚するという性質も持ち合わせている。したがって、本発明に係る音声データ再生装置では、上述の先行音効果と、この最大音圧方向知覚の効果とを組み合わせ、これにより、少ないスピーカでも仮想音源の方向に音像を知覚させることが可能にしている。 The WFS system of Non-Patent Document 1 is a system that reproduces a sound wavefront relatively faithfully. On the other hand, a preceding sound effect (Haas effect) is known as a phenomenon related to human sound image perception. The preceding sound effect (Haas effect) is the same sound reproduced from multiple sound sources, and if there is a small time difference between each sound reaching the listener from each sound source, the sound image will be in the direction of the sound source of the previously reached sound This indicates the effect of localization. If this effect is used, a sound image can be perceived at the virtual sound source position. However, it is difficult to clearly perceive the sound image only by the effect. Here, humans also have the property of perceiving a sound image in the direction in which the sound pressure is felt highest. Therefore, the audio data reproduction device according to the present invention combines the above-described effect of the preceding sound and the effect of perceiving the maximum sound pressure direction, thereby allowing a sound image to be perceived in the direction of the virtual sound source even with a small number of speakers. ing.
以下、図面を参照しながら、本発明に係る音声データ再生装置の構成例及び処理例について説明する。図６は、本発明に係る音声データ再生装置の一構成例を示すブロック図、図７は、図６の音声データ再生装置における音声信号処理部の一構成例を示すブロック図、図８は、各仮想音源に対応する音声信号を図７の音声信号処理部におけるバッファに蓄える様子を示す図である。 Hereinafter, a configuration example and a processing example of an audio data reproduction device according to the present invention will be described with reference to the drawings. 6 is a block diagram showing an example of the configuration of the audio data reproducing apparatus according to the present invention, FIG. 7 is a block diagram showing an example of the configuration of the audio signal processing unit in the audio data reproducing apparatus of FIG. 6, and FIG. It is a figure which shows a mode that the audio | voice signal corresponding to each virtual sound source is stored in the buffer in the audio | voice signal processing part of FIG.
図６で例示する音声データ再生装置（音声信号処理装置）６０は、本発明の主たる構成要素である音声信号処理部６３の他に、デコーダ６１、音声信号抽出部６２、Ｄ／Ａコンバータ６４、増幅器６５、そして複数のスピーカ群が配列したアレイスピーカ６６を備える。デコーダ６１は、コンテンツを復号化し、音声信号抽出部６２に出力する。復号化の対象となるコンテンツとしては、デジタル放送として受信したコンテンツ、インターネットからダウンロードするコンテンツ、外部記憶装置または内部記憶装置から読み出すコンテンツなど、どのような経路で取得したコンテンツであってもよい。 An audio data reproduction device (audio signal processing device) 60 illustrated in FIG. 6 includes a decoder 61, an audio signal extraction unit 62, a D / A converter 64, in addition to the audio signal processing unit 63 which is a main component of the present invention. An amplifier 65 and an array speaker 66 in which a plurality of speaker groups are arranged are provided. The decoder 61 decodes the content and outputs it to the audio signal extraction unit 62. The content to be decrypted may be content acquired through any route, such as content received as a digital broadcast, content downloaded from the Internet, content read from an external storage device or internal storage device.
音声信号抽出部６２は、復号化されたコンテンツから音声信号を抽出し、音声信号処理部６３に、ある一定標本数ずつまとめて出力する。ここでは、音声信号の標本周波数を４４１００Ｈｚとしたときに５１２標本点ずつまとめて出力するものとする。以降、その一まとまりの標本値群をセグメントと呼ぶ。そのセグメント出力は、例えば約１１.６ｍｓ（≒５１２［ｓａｍｐｌｅ］÷４４１００［Ｈｚ］）毎に行われる。また、ここでは、上記コンテンツにおける音声データが仮想音源の数だけ音声信号を持っていることを前提に説明する。ただし、後述するように、音声データの加工（フォーマット変換）によって各仮想音源についての音声信号を生成するように、音声データ再生装置６０を構成することはできる。 The audio signal extraction unit 62 extracts an audio signal from the decoded content, and outputs the audio signal to the audio signal processing unit 63 by a certain number of samples. Here, when the sampling frequency of the audio signal is 44100 Hz, 512 sampling points are output together. Hereinafter, the group of sample values is called a segment. The segment output is performed, for example, about every 11.6 ms (≈512 [sample] ÷ 44100 [Hz]). Here, the description will be made on the assumption that the audio data in the content has audio signals as many as the number of virtual sound sources. However, as will be described later, the audio data reproduction device 60 can be configured to generate an audio signal for each virtual sound source by processing audio data (format conversion).
音声信号処理部６３は、後述する信号処理を行い、その処理結果をＤ／Ａコンバータ６４に出力する。ここで、その処理結果は各スピーカ６６が出力すべき音声信号となる。Ｄ／Ａコンバータ６４は、それぞれの音声信号をデジタル信号からアナログ信号に変換し、増幅器６５に出力する。各増幅器６５は、それぞれの音声信号を増幅し、各スピーカ６６に出力する。スピーカ６６に出力された音声信号は、音となって空間中に出力される。 The audio signal processing unit 63 performs signal processing described later, and outputs the processing result to the D / A converter 64. Here, the processing result is an audio signal to be output from each speaker 66. The D / A converter 64 converts each audio signal from a digital signal to an analog signal and outputs the analog signal to the amplifier 65. Each amplifier 65 amplifies each audio signal and outputs it to each speaker 66. The audio signal output to the speaker 66 is output into the space as sound.
音声信号処理部６３は、図７の音声信号処理部７０で例示できる。音声信号処理部７０は、距離計算部７１、ゲイン計算部７２、遅延計算部７３、バッファ７４、波形生成部７５、及び波形加算部７６を備える。 The audio signal processing unit 63 can be exemplified by the audio signal processing unit 70 of FIG. The audio signal processing unit 70 includes a distance calculation unit 71, a gain calculation unit 72, a delay calculation unit 73, a buffer 74, a waveform generation unit 75, and a waveform addition unit 76.
ここで、遅延計算部７３は、上述の先行音効果を生じさせるための遅延を計算し、ゲイン計算部７２は、同じく上述の最大音圧方向知覚効果を生じさせるためのゲイン係数を計算する。遅延計算部７３は、各スピーカと各仮想音源との組み合わせの全てについて、該当するスピーカと仮想音源との距離に応じて各スピーカに対する遅延量を算出する遅延算出部の一例である。遅延算出部では、計算ではなく、予め格納された距離−遅延量のテーブルから遅延量を求めてもよい。ゲイン計算部７２は、各スピーカと各仮想音源との組み合わせの全てについて、該当するスピーカと仮想音源との距離に応じて各スピーカに対するゲイン係数を算出するゲイン算出部の一例である。ゲイン算出部では、計算ではなく、予め格納された距離−ゲイン係数のテーブルから遅延量を求めてもよい。 Here, the delay calculation unit 73 calculates a delay for producing the above-described preceding sound effect, and the gain calculation unit 72 similarly calculates a gain coefficient for producing the above-mentioned maximum sound pressure direction perception effect. The delay calculation unit 73 is an example of a delay calculation unit that calculates a delay amount for each speaker according to the distance between the corresponding speaker and the virtual sound source for all combinations of the speakers and the virtual sound sources. The delay calculation unit may calculate the delay amount from a distance-delay amount table stored in advance, instead of calculation. The gain calculation unit 72 is an example of a gain calculation unit that calculates a gain coefficient for each speaker according to the distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source. The gain calculation unit may determine the delay amount from a table of distance-gain coefficients stored in advance, instead of calculation.
バッファ７４は音声信号を一時的に蓄える。より具体的には図８に示すように、音声信号処理部７０に入力された、各仮想音源に対応する各音声信号は、それぞれ別々のバッファ領域８１，８２，８３等に蓄えられる。バッファ領域８１〜８３等としては物理的に別々のバッファを設けておいてもよい。それぞれのバッファ領域８１等では、例えば４セグメント分など、ある一定のセグメント数だけ音声信号波形を保持しておき、それより過去のセグメントは順次捨てていく。どれだけのセグメント数を保持するかについては、ハードウェアの性能などによって適切に決定する。 The buffer 74 temporarily stores the audio signal. More specifically, as shown in FIG. 8, each audio signal corresponding to each virtual sound source input to the audio signal processing unit 70 is stored in a separate buffer area 81, 82, 83, or the like. As the buffer areas 81 to 83, etc., physically separate buffers may be provided. In each buffer area 81 or the like, the audio signal waveform is held for a certain number of segments, for example, for four segments, and the past segments are sequentially discarded. The number of segments to be retained is appropriately determined according to hardware performance.
波形生成部７５は、算出された遅延量に応じて音声データをバッファ７４より読み出す読出部の一例である。より詳細には、この読出部は、各仮想音源について、各バッファ領域８１〜８３等から遅延量に応じて読み出しを行う。また、波形生成部７５は、次の音声信号算出部の一例でもある。この音声信号算出部は、算出されたゲイン係数を読出部で読み出した音声データに乗算することで、各スピーカと各仮想音源に対する出力音声信号を算出、すなわち各仮想音源のそれぞれについて各スピーカへ出力するための出力音声信号を算出する。そして、波形加算部７６は、算出された出力音声信号をスピーカ毎に加算する。 The waveform generation unit 75 is an example of a reading unit that reads audio data from the buffer 74 in accordance with the calculated delay amount. More specifically, the reading unit reads out each virtual sound source from the buffer areas 81 to 83 according to the delay amount. The waveform generation unit 75 is also an example of the next audio signal calculation unit. The sound signal calculation unit calculates the output sound signal for each speaker and each virtual sound source by multiplying the sound data read by the reading unit by the calculated gain coefficient, that is, outputs each sound source to each speaker. An output audio signal for calculating the output is calculated. And the waveform addition part 76 adds the calculated output audio | voice signal for every speaker.
図９は、図７の音声信号処理部の処理例を説明するためのフロー図であり、図９に基づき音声信号処理部７０での処理の流れを説明する。まず、音声信号処理部７０は、ステップＳ９１ａ，Ｓ９１ｂのループ及びステップＳ９２ａ，Ｓ９２ｂのループで示すように各スピーカと各仮想音源の全ての組み合わせについて、遅延量を取得し（ステップＳ９３）、それに基づいてバッファ７４より音声信号を読み出し（ステップＳ９４）、次にゲイン係数を取得し（ステップＳ９５）、先ほど読み出した音声信号にそのゲイン係数を乗算して音声信号を得る（ステップＳ９６）。音声信号処理部７０は、このようにして得られた音声信号群をスピーカ毎に加算して（ステップＳ９７）、各スピーカの出力音声信号を得る。最終的に、各出力音声信号が各スピーカから音として出力される。 FIG. 9 is a flowchart for explaining a processing example of the audio signal processing unit in FIG. 7, and the flow of processing in the audio signal processing unit 70 will be described based on FIG. First, the audio signal processing unit 70 acquires delay amounts for all combinations of the speakers and the virtual sound sources as shown by the loops of steps S91a and S91b and the loops of steps S92a and S92b (step S93). Then, the audio signal is read from the buffer 74 (step S94), the gain coefficient is obtained (step S95), and the audio signal read earlier is multiplied by the gain coefficient to obtain the audio signal (step S96). The audio signal processing unit 70 adds the audio signal group thus obtained for each speaker (step S97), and obtains an output audio signal from each speaker. Finally, each output audio signal is output as a sound from each speaker.
このように、上述の遅延量の取得からゲイン係数の乗算までは各スピーカと各仮想音源の全ての組み合わせについて行い、各スピーカの出力音声信号を求めるための加算はスピーカ毎に行うが、ここでは説明のために、ｉ番目のスピーカとｊ番目の仮想音源の組み合わせの場合を例に挙げて、各処理の詳細について説明する。 As described above, from the acquisition of the delay amount described above to multiplication of the gain coefficient is performed for all combinations of each speaker and each virtual sound source, and the addition for obtaining the output audio signal of each speaker is performed for each speaker. For the sake of explanation, the details of each process will be described by taking the case of a combination of the i-th speaker and the j-th virtual sound source as an example.
まず、ステップＳ９３では、ｉ番目のスピーカとｊ番目の仮想音源の組み合わせの場合の遅延量を取得する。遅延計算部７３における遅延量の計算処理例を、図１０のフロー図に基づき説明する。遅延計算部７３は、遅延量を計算するのに先立ちｉ番目のスピーカとｊ番目の仮想音源の距離を計算し、その距離を得る（ステップＳ１０１）。 First, in step S93, a delay amount in the case of a combination of the i-th speaker and the j-th virtual sound source is acquired. An example of delay amount calculation processing in the delay calculation unit 73 will be described with reference to the flowchart of FIG. The delay calculation unit 73 calculates the distance between the i-th speaker and the j-th virtual sound source prior to calculating the delay amount, and obtains the distance (step S101).
その距離は距離計算部７１によって計算される。距離計算部７１における計算処理例を図１２に基づき説明する。距離計算部７１は、スピーカと仮想音源の距離を計算するために、まず仮想音源位置とスピーカ位置を取得する（ステップＳ１２１，Ｓ１２２）。ステップＳ１２１，Ｓ１２１の順序は問わない。ところで、スピーカは通常、機器に設置され固定されているので、スピーカ位置は既知とすることは一般性を損なわない。無論、スピーカは移動可能であり、移動に伴いスピーカ位置も自動的にまたはユーザ操作により設定可能としておいてもよい。 The distance is calculated by the distance calculation unit 71. An example of calculation processing in the distance calculation unit 71 will be described with reference to FIG. The distance calculation unit 71 first acquires a virtual sound source position and a speaker position in order to calculate the distance between the speaker and the virtual sound source (steps S121 and S122). The order of steps S121 and S121 does not matter. By the way, since the speaker is usually installed and fixed in the apparatus, it is not detracting from generality that the speaker position is known. Of course, the speaker may be moved, and the speaker position may be set automatically or by user operation as it moves.
ここでは、ステップＳ１２２において、例えばｉ番目のスピーカ位置を読み込んだとして説明する。読み込んだ位置は例えば直交座標で表現される三次元のベクトル値《ｌｉ》＝（ｌｉｘ ｌｉｙ ｌｉｚ）ｔｒとし、各要素はメートルの単位で表現される。ここで、ｔｒは転置行列を表し、《》はベクトルを表す記号とする。以下同様の表記を用いる。 Here, it is assumed that, for example, the i-th speaker position is read in step S122. Read position, for example a three-dimensional vector value is represented by an orthogonal coordinate "l i" = a (l ix l iy l iz) tr, each element is expressed in units of meters. Here, tr represents a transposed matrix, and <<>> is a symbol representing a vector. Hereinafter, the same notation is used.
ステップＳ１２１では、距離計算部７１は、音声信号に伴うように装置内部などから読み出され入力された、仮想音源の位置を示す位置情報を読み出す。仮想音源の位置情報は時間とともに変化してもよいが、この例では予め決まっているものとする。ここでは例として、ステップＳ１２１においてｊ番目の仮想音源の位置情報を読み込んだとする。読み込んだ位置は上と同じく直交座標で表現される三次元のベクトル値《ｓj》＝（ｓjｘ ｓjｙ ｓjｚ）ｔｒとし、各要素はメートルの単位で表現される。そして、同じく距離計算部７１は、ｉ番目のスピーカ位置とｊ番目の仮想音源位置との間の距離ｄｉｊ＝｜《ｌｉ》−《ｓj》｜を計算する（ステップＳ１２３）。 In step S121, the distance calculation unit 71 reads position information indicating the position of the virtual sound source, which is read and input from the inside of the apparatus or the like so as to accompany the audio signal. The position information of the virtual sound source may change with time, but is assumed to be predetermined in this example. Here, as an example, it is assumed that the position information of the j-th virtual sound source is read in step S121. The read position is a three-dimensional vector value << s j >> = (s jx s jy s jz ) tr expressed by orthogonal coordinates as above, and each element is expressed in units of meters. Similarly, the distance calculation unit 71 calculates a distance d ij = | << l i >> − << s j >> | between the i-th speaker position and the j-th virtual sound source position (step S123).
その結果を基に、上述の遅延計算部７３は、図１０のフロー図に従って、離散値の遅延量τｉｊを計算する（ステップＳ１０２）。τｉｊの具体的な計算方法については後述する。
ここでは、仮想音源位置が予め決まっており、その仮想音源の位置情報が音声信号に伴うように入力されるものとしたが、予め仮想音源の位置情報が音声信号とともに記録されているようなデータフォーマットも考えられ、そのようなデータフォーマットの場合においては、仮想音源の位置情報を音声データから取得すればよい。無論、この場合でも、音声信号とともに記録された仮想音源の位置情報は時刻によって変化するものであってもよい。このように、音声データは、仮想音源についての位置情報を伴ったデータであってもよいし、伴わなくてもよく、その場合には音声データ再生装置６０の内部や外部記憶装置などから音声信号に伴うように位置情報が読み出せればよい。例えば音声データ再生装置６０におけるデフォルトの仮想音源位置を示す位置情報、もしくは音声データ再生装置６０側でユーザ設定により決めたユーザ設定の仮想音源位置を示す位置情報を、再生対象の音声信号に伴うように読み出せばよい。
Based on the result, the delay calculation unit 73 described above calculates a delay amount τ ij of a discrete value according to the flowchart of FIG. 10 (step S102). A specific method for calculating τ ij will be described later.
Here, the virtual sound source position is determined in advance, and the position information of the virtual sound source is input so as to accompany the audio signal. However, the data in which the position information of the virtual sound source is recorded together with the audio signal in advance. A format is also conceivable. In the case of such a data format, the position information of the virtual sound source may be acquired from the sound data. Of course, even in this case, the position information of the virtual sound source recorded together with the audio signal may change with time. As described above, the audio data may or may not be accompanied by position information about the virtual sound source. In this case, an audio signal is received from the inside of the audio data reproducing device 60 or an external storage device. It is sufficient that the position information can be read out as shown in FIG. For example, the position information indicating the default virtual sound source position in the sound data reproducing apparatus 60 or the position information indicating the user-set virtual sound source position determined by the user setting on the sound data reproducing apparatus 60 side is accompanied with the sound signal to be reproduced. It is sufficient to read out.
図９を再度参照すると、ステップＳ９４では、このようにしてステップＳ９３で求められた遅延量を基にバッファ７４から音声信号を読み出す。その読み出し方法を模式的に示したものが図１３である。図１３は図８のバッファ領域８１〜８３等のうちの１つを抜き出した模式図である。この抜き出したバッファ１３０に入っているデータの最新の値から、離散値の遅延量だけ読み出す部分をデータが古い方にシフトさせ、そこから１セグメント分の音声信号を読み出す。読み出した信号を《ｘｉj》＝（ｘ（０），ｘ（Ｔ），・・・，ｘ（ＮＴ））とする。ただし、Ｎはセグメントの長さで上述と同様５１２、Ｔはサンプリング周期で例えば１÷４４１００［Ｈｚ］＝０.０２３［ｍｓ］である。 Referring to FIG. 9 again, in step S94, the audio signal is read from the buffer 74 based on the delay amount thus obtained in step S93. FIG. 13 schematically shows the reading method. FIG. 13 is a schematic diagram in which one of the buffer areas 81 to 83 shown in FIG. 8 is extracted. From the latest value of the extracted data stored in the buffer 130, the part to be read by the discrete delay amount is shifted to the older data, and the audio signal for one segment is read therefrom. Let the read signal be << x ij >> = (x (0), x (T),..., X (NT)). However, N is the length of the segment, 512 as described above, and T is the sampling period, for example, 1/44100 [Hz] = 0.023 [ms].
ステップＳ９５では、このようにして読み出した音声信号の波形に乗算するためのゲイン係数を取得する処理を施すが、ゲイン係数の取得はゲイン計算部７２においてゲイン係数を計算することにより実行する。図１１のフロー図に基づき、ゲイン計算部７２におけるゲイン係数の計算処理例を説明する。ゲイン係数を計算するためには、仮想音源とスピーカとの距離を取得する必要があるが、その距離計算は上述で図１２を用いて説明した通りである。このようにしてゲイン計算部７２は距離ｄｉｊを取得し（ステップＳ１１１）、距離ｄｉｊに対してゲイン係数ｇｉｊを計算する（ステップＳ１１２）。ｇｉｊの具体的な計算方法については後述する。 In step S95, a process of acquiring a gain coefficient for multiplying the waveform of the audio signal read out in this way is performed. Acquisition of the gain coefficient is executed by the gain calculator 72 calculating the gain coefficient. Based on the flowchart of FIG. 11, an example of gain coefficient calculation processing in the gain calculation unit 72 will be described. In order to calculate the gain coefficient, it is necessary to acquire the distance between the virtual sound source and the speaker, and the distance calculation is as described above with reference to FIG. In this way, the gain calculation unit 72 acquires the distance d ij (step S111), and calculates the gain coefficient g ij with respect to the distance d ij (step S112). A specific calculation method of g ij will be described later.
そして、ステップＳ９６では、求めたゲイン係数を先ほど読み出した音声信号に乗算する。その乗算後の信号を《ｙｉｊ》とすると、《ｙｉｊ》＝ｇｉｊ《ｘｉｊ》となる。そして、ステップＳ９２ａ，Ｓ９２ｂのループで示したように、上述の処理を各仮想音源に対して行った後、ｉ番目のスピーカに対する出力音声信号《ｏｉ》を次式により求める（ステップＳ９７）。 In step S96, the audio signal read out earlier is multiplied by the obtained gain coefficient. When the signal after the multiplication is << y ij >>, << y ij >> = g ij << x ij >>. Then, as shown by the loop of steps S92a and S92b, after performing the above-described processing on each virtual sound source, an output audio signal << o i >> for the i-th speaker is obtained by the following equation (step S97).
上記信号《ｙｉｊ》の状態は、例えば図１４の波形一覧表１４０で表現したようになる。図１４は、図７の音声信号処理部７０において生成される、各仮想音源、各スピーカについての１セグメント長の音声信号波形の例を模式的に示している。波形一覧表１４０では、スピーカ数が８個、仮想音源が３個の例を表している。また、波形一覧表１４０において縦軸は仮想音源のインデックス、横軸はスピーカのインデックスを表しており、それぞれ全ての組み合わせについて、１セグメントの長さの音声信号波形が算出されている。波形一覧表１４０において列毎に波形を加算すると、各スピーカに対する出力音声信号《ｏｉ》が算出される。 The state of the signal << y ij >> is expressed by, for example, the waveform list 140 in FIG. FIG. 14 schematically shows an example of an audio signal waveform of one segment length for each virtual sound source and each speaker generated in the audio signal processing unit 70 of FIG. The waveform list 140 represents an example in which the number of speakers is eight and the number of virtual sound sources is three. In the waveform list 140, the vertical axis represents the index of the virtual sound source and the horizontal axis represents the index of the speaker, and an audio signal waveform having a length of one segment is calculated for each combination. When the waveforms are added for each column in the waveform list 140, an output audio signal << o i >> for each speaker is calculated.
次に、ｉ番目のスピーカとｊ番目の仮想音源に対し、上述の遅延量τｉｊとゲイン係数ｇｉｊを、それぞれｉ番目のスピーカ位置とｊ番目の仮想音源位置との間の距離ｄｉｊから求める方法について説明する。図１５は各仮想音源とスピーカの配置例を示す鳥瞰図である。図１５で示す配置例１５０では、横軸でスピーカアレイの軸方向を、縦軸で視聴者からスピーカへの奥行き方向を、それぞれ示しており、ともに単位はメートルである。ＬＳＰ１〜ＬＳＰ８はそれぞれ１番目から８番目のスピーカを、ＮＳ１〜５はそれぞれ１〜５番目の仮想音源を表している。この配置例１５０では、スピーカ数が８個、仮想音源が５個としている。なお、仮想音源が５個の場合、図１４の波形一覧表１４０における仮想音源のインデックス数は５つとなる。 Next, with respect to the i-th speaker and the j-th virtual sound source, the delay amount τ ij and the gain coefficient g ij are respectively calculated from the distance d ij between the i-th speaker position and the j-th virtual sound source position. A method of obtaining will be described. FIG. 15 is a bird's eye view showing an arrangement example of each virtual sound source and speakers. In the arrangement example 150 shown in FIG. 15, the horizontal axis indicates the axial direction of the speaker array, and the vertical axis indicates the depth direction from the viewer to the speaker, both in units of meters. LSP1 to LSP8 represent the first to eighth speakers, and NS1 to NS5 represent the first to fifth virtual sound sources, respectively. In this arrangement example 150, the number of speakers is eight and the number of virtual sound sources is five. When there are five virtual sound sources, the number of virtual sound source indexes in the waveform list 140 of FIG. 14 is five.
配置例１５０において、１番目の仮想音源に対し求めた各スピーカの遅延量とゲイン係数を模式的に表したものが、それぞれ図１６と図１７である。図１６は、配置例１５０における１番目の仮想音源に対し、遅延計算部７３で求めた遅延量の一例を示す模式図で、図１７は、配置例１５０における１番目の仮想音源に対し、ゲイン計算部７２で求めたゲイン係数の一例を示す模式図である。ここで、図１６では、縦軸で遅延量の値を、横軸でスピーカのインデックスを表し、図１７では、縦軸でゲイン係数の値を、横軸でスピーカのインデックスを表している。 In the arrangement example 150, FIG. 16 and FIG. 17 schematically show the delay amount and gain coefficient of each speaker obtained for the first virtual sound source. 16 is a schematic diagram showing an example of the delay amount obtained by the delay calculation unit 73 for the first virtual sound source in the arrangement example 150. FIG. 17 shows the gain for the first virtual sound source in the arrangement example 150. It is a schematic diagram which shows an example of the gain coefficient calculated | required by the calculation part. In FIG. 16, the vertical axis represents the delay value, the horizontal axis represents the speaker index, and in FIG. 17, the vertical axis represents the gain coefficient value, and the horizontal axis represents the speaker index.
図１６で示す遅延量のグラフ１６０から分かるように、遅延量は、仮想音源ＮＳ１のｘ座標と各スピーカのｘ座標との距離に比例して増加させている。具体的には、例えばＮＳ１のｘ座標と対象スピーカのｘ座標との距離を音が進むのに要する時間に調整定数σを乗算し、その時間に相当する標本点の数とする。σは例えば０.８などとする。ここで、この例では仮想音源ＮＳ１のｘ座標と各スピーカのｘ座標との距離に遅延量は、直線１６１や直線１６２で示すように比例して増加しているが、これは演算量をなるべく低下させるためであり、例えば仮想音源とスピーカとの距離をパラメータとし何らかの曲線関数に従って増加させてもよい。この遅延量は前述した先行音効果を生じさせるためのものであるから、視聴者に仮想音源に最も近いスピーカからの音を最初に到達させることが最大の目的である。 As can be seen from the delay amount graph 160 shown in FIG. 16, the delay amount is increased in proportion to the distance between the x coordinate of the virtual sound source NS1 and the x coordinate of each speaker. More specifically, for example, the time required for the sound to travel the distance between the x coordinate of NS1 and the x coordinate of the target speaker is multiplied by the adjustment constant σ to obtain the number of sample points corresponding to that time. For example, σ is set to 0.8. Here, in this example, the delay amount increases in proportion to the distance between the x coordinate of the virtual sound source NS1 and the x coordinate of each speaker, as shown by the straight line 161 and the straight line 162. For example, the distance between the virtual sound source and the speaker may be used as a parameter and may be increased according to some curve function. Since this delay amount is for causing the preceding sound effect described above, the main purpose is to first let the viewer reach the sound from the speaker closest to the virtual sound source.
このように、遅延計算部７３で例示した遅延算出部は、遅延量を、該当するスピーカと仮想音源との距離に比例して増加するように算出することが、演算量が少なくて済むため好ましい。特に、遅延算出部は、遅延量として、該当するスピーカと仮想音源との距離を音が進むのに要する時間に調整定数σを乗算した値を算出することが好ましい。さらに、この調整定数σは、０.８で例示したように、０.６以上、１.０以下の範囲に含まれる値とすることが好ましい。これは、遅延差が少ないと先行音効果が十分に働かず音像がぼやけ定位しにくくなるために０.６以上とし、あまり遅らせると音が一つのまとまりとして聞こえず、仮想音源とは別の場所から遅れた音としていわば残響のように聞こえてしまうため１.０以下としている。なお、ここでは仮想音源は複数のスピーカの手前側ではなく後ろ側（奥側）にあるものとしている。 As described above, it is preferable that the delay calculation unit exemplified by the delay calculation unit 73 calculates the delay amount so as to increase in proportion to the distance between the corresponding speaker and the virtual sound source because the calculation amount is small. . In particular, the delay calculation unit preferably calculates a value obtained by multiplying the time required for the sound to travel the distance between the corresponding speaker and the virtual sound source by the adjustment constant σ as the delay amount. Further, the adjustment constant σ is preferably set to a value included in the range of 0.6 or more and 1.0 or less, as exemplified by 0.8. If the delay difference is small, the preceding sound effect does not work sufficiently and the sound image is difficult to blur and localize. Therefore, if the delay difference is too long, the sound cannot be heard as a single unit, and it is different from the virtual sound source. Since it sounds like a reverberant sound, it is set to 1.0 or less. Here, the virtual sound source is assumed to be on the rear side (back side) rather than the front side of the plurality of speakers.
また、図１７で示すゲイン係数のグラフ１７０から分かるように、仮想音源ＮＳ１のｘ座標と各スピーカのｘ座標との距離が一定値以下の場合、ゲイン係数は１.０とし、それ以外のスピーカでは０.３としている。この一定値は所定の閾値であればよいが、例えばこの一定値をスピーカ間の距離の１.５倍としたとき、一定値以下に該当するスピーカはスピーカＬＳＰ２、ＬＳＰ３、ＬＳＰ４となる。直線１７２で図示したようにこれら３つのスピーカに対するゲイン係数を１.０とし、直線１７１，１７３で図示したようにそれ以外のスピーカＬＳＰ１、ＬＳＰ５〜８に対するゲイン係数を０.３とする。このように、ゲイン計算部７２で例示したゲイン算出部は、ゲイン係数を、該当するスピーカと仮想音源との距離が所定の閾値以下であれば第一の値とし、それ以外であれば第一の値よりも小さい第二の値とすることが好ましい。これにより簡単な演算で済む。 Further, as can be seen from the gain coefficient graph 170 shown in FIG. 17, when the distance between the x coordinate of the virtual sound source NS1 and the x coordinate of each speaker is equal to or less than a certain value, the gain coefficient is 1.0, and the other speakers Then, it is set to 0.3. The constant value may be a predetermined threshold value. For example, when the constant value is 1.5 times the distance between the speakers, the speakers corresponding to the predetermined value or less are the speakers LSP2, LSP3, and LSP4. As shown by the straight line 172, the gain coefficients for these three speakers are set to 1.0, and as shown by the straight lines 171 and 173, the gain coefficients for the other speakers LSP1 and LSP5 to 8 are set to 0.3. As described above, the gain calculation unit exemplified by the gain calculation unit 72 sets the gain coefficient to the first value if the distance between the corresponding speaker and the virtual sound source is equal to or smaller than the predetermined threshold, and to the first value otherwise. The second value is preferably smaller than the value of. This requires simple calculations.
図１８及び図１９を参照しながらより好ましい例を説明する。図１８は、配置例１５０における４番目の仮想音源に対し、ゲイン計算部７２で求めたゲイン係数の一例を示す模式図で、図１９は、配置例１５０における４番目の仮想音源に対し、ゲイン計算部７２で求めたゲイン係数の他の例を示す模式図である。 A more preferable example will be described with reference to FIGS. 18 is a schematic diagram illustrating an example of the gain coefficient obtained by the gain calculation unit 72 for the fourth virtual sound source in the arrangement example 150. FIG. 19 illustrates the gain for the fourth virtual sound source in the arrangement example 150. It is a schematic diagram which shows the other example of the gain coefficient calculated | required in the calculation part.
図１７で説明した方法で４番目の仮想音源のゲイン係数を求めると、仮想音源ＮＳ４が左端に位置するＬＳＰ１のｘ座標と同じｘ座標を持つ場合、図１８で示すゲイン係数のグラフ１８０における直線１８１，１８２で例示したように、ＬＳＰ１、ＬＳＰ２以外のスピーカに対するゲイン係数は０.３となり（ゲイン係数１.０で出力するスピーカの数が２つのみとなり）、仮想音源ＮＳ４の音声信号が、ゲイン係数１.０で出力するスピーカが３つ存在する他の仮想音源の音声信号よりも小さくなってしまう。この現象は右端にあるスピーカＬＳＰ８と仮想音源ＮＳ５などについても同様に起こる。よって、ゲイン係数１.０のスピーカが２個になる仮想音源、すなわち仮想音源のｘ座標がＬＳＰ１とＬＳＰ２のｘ座標の中点よりもＬＳＰ１側に位置する仮想音源ＮＳ４、あるいはＬＳＰ７とＬＳＰ８のｘ座標の中点よりもＬＳＰ８側に位置する仮想音源ＮＳ５については、図１９のグラフ１９０における直線１９１で例示したように、ゲイン係数のうち１.０であった方（第一の値）を√Ｍ倍（Ｍ＞１）すればよい。直線１９２で例示したようにゲイン係数のうち０.３であった方（第二の値）はそのままにする。これにより、仮想音源に近いスピーカから出力される音圧のパワーをＭ倍することができる。図１９ではＭ＝２とした例を挙げている。ただし、その仮想音源について該当スピーカの音声信号を単に√Ｍ倍した場合、音声信号が取り得る値の範囲を越えてしまう恐れがあるため、最初に全ての仮想音源に対する入力音声信号を１／√Ｍ倍しておくことも必要となる。 When the gain coefficient of the fourth virtual sound source is obtained by the method described in FIG. 17, when the virtual sound source NS4 has the same x coordinate as the x coordinate of LSP1 located at the left end, a straight line in the gain coefficient graph 180 shown in FIG. As exemplified in 181 and 182, the gain coefficient for speakers other than LSP1 and LSP2 is 0.3 (the number of speakers output with the gain coefficient 1.0 is only two), and the audio signal of the virtual sound source NS4 is It becomes smaller than the sound signal of another virtual sound source in which there are three speakers that output with a gain coefficient of 1.0. This phenomenon occurs similarly for the speaker LSP8 and the virtual sound source NS5 at the right end. Therefore, a virtual sound source having two speakers with a gain coefficient of 1.0, that is, a virtual sound source NS4 in which the x coordinate of the virtual sound source is located on the LSP1 side from the midpoint of the x coordinates of LSP1 and LSP2, or x of LSP7 and LSP8 For the virtual sound source NS5 located on the LSP8 side of the coordinate midpoint, as exemplified by the straight line 191 in the graph 190 of FIG. 19, the gain coefficient of 1.0 (first value) is √ M times (M> 1) may be used. As illustrated by the straight line 192, the gain coefficient that is 0.3 (second value) is left as it is. Thereby, the power of the sound pressure output from the speaker close to the virtual sound source can be multiplied by M. FIG. 19 shows an example in which M = 2. However, if the sound signal of the corresponding speaker for the virtual sound source is simply multiplied by √M, the sound signal may exceed the range of values that the sound signal can take. It is also necessary to keep M times.
Ｍ＝２は単なる一例に過ぎない。より好ましくは、全ての仮想音源に対する入力音声信号を１／√Ｍ倍後に、該当する仮想音源の該当するスピーカの音声信号のゲイン係数（第一の値）だけ√Ｍ倍し、第一の値を採用するスピーカ数と第二の値を採用するスピーカ数とを鑑みたうえで、√Ｍ倍していない仮想音源と比べて音圧が同じになるように、Ｍの値を算出するとよい。また、予め定めた一定範囲に音圧が収まるように算出するだけでもよい。例えば、ある仮想音源について第一の値をとるスピーカ数及び第二の値をとるスピーカ数からその仮想音源についての合計音圧を求め、それをＭ倍したときの音圧を得て、他の仮想音源についても同様に合計音圧を得て、Ｍ倍した合計音圧と他の仮想音源についての合計音圧を等しいまたは一定範囲内に入るとして、Ｍを算出すればよい。そして、そのＭを用いることで上述の制御は実現できる。 M = 2 is merely an example. More preferably, the input audio signals for all virtual sound sources are multiplied by √M after 1 / √M times, and the gain coefficient (first value) of the sound signal of the corresponding speaker of the corresponding virtual sound source is set to the first value. In consideration of the number of speakers adopting and the number of speakers adopting the second value, the value of M may be calculated so that the sound pressure is the same as that of a virtual sound source not multiplied by √M. Alternatively, the calculation may be made so that the sound pressure falls within a predetermined range. For example, the total sound pressure for the virtual sound source is obtained from the number of speakers taking the first value and the number of speakers taking the second value for a certain virtual sound source, and the sound pressure obtained by multiplying it by M is obtained. Similarly, the total sound pressure is obtained for the virtual sound source, and M may be calculated assuming that the total sound pressure multiplied by M and the total sound pressure for other virtual sound sources are equal or within a certain range. And the above-mentioned control is realizable by using the M.
より具体的な例を挙げる。例えば、仮想音源ＮＳ１と仮想音源ＮＳ４との第一の値（ゲイン係数１.０）をとるスピーカの個数の比率から、Ｍ＝３／２＝１.５を採用するようにしてもよい。各スピーカの間隔が一定のときには、次のように一般化できる。仮想音源位置のｘ座標をｘＮ、ｉ番目のスピーカのｘ座標をｘｉ、ｉ＝１〜８、スピーカ間の距離をＬ、閾値をｗとして、第一の値をとるスピーカの個数をＰとすると、
(i) ｘＮ＜ｘ１＋ｗ−Ｌ または ｘ８−ｗ−Ｌ＜ｘＮの場合
Ｐ＝ｆｌｏｏｒ（２ｗ／Ｌ）−１
(ii) ｘ１＋ｗ−Ｌ≦ｘＮ≦ｘ８−ｗ−Ｌの場合
(ii-a) ｘｉ＋ｗ＜ｘＮ＜ｘｉ＋floor(２ｗ／Ｌ)−ｗの場合
Ｐ＝ｆｌｏｏｒ（２ｗ／Ｌ）
(ii-b) それ以外
Ｐ＝ｆｌｏｏｒ（２ｗ／Ｌ）＋１
ただし、ｗ＝ａＬ（ａは正の実数）であり、ｆｌｏｏｒ（ｋ）はフロア関数で、実数ｋを越えない整数の最大値を表す。
このようにしてＰを求め、Ｐの最小値ｆｌｏｏｒ（２ｗ／Ｌ）−１に対してのＰの比率がＭとなる。このようにして求めたＭによれば音圧を一定にさせることができる。
More specific examples will be given. For example, M = 3/2 = 1.5 may be adopted from the ratio of the number of speakers taking the first value (gain coefficient 1.0) of the virtual sound source NS1 and the virtual sound source NS4. When the interval between the speakers is constant, it can be generalized as follows. The number of speakers taking the first value is P, where the x coordinate of the virtual sound source position is x N , the x coordinate of the i-th speaker is x i , i = 1 to 8, the distance between the speakers is L, and the threshold is w. Then,
(i) x N <x 1 + w-L or x 8 -w-L <For x N P = floor (2w / L) -1
(ii) When x 1 + w−L ≦ x N ≦ x 8 −w−L
(ii-a) x i + w <x N <x i + floor (2w / L) −w P = floor (2w / L)
(ii-b) Otherwise P = floor (2w / L) +1
However, w = aL (a is a positive real number), floor (k) is a floor function, and represents the maximum value of an integer not exceeding the real number k.
In this way, P is obtained, and the ratio of P to the minimum value floor (2w / L) -1 of P is M. According to M thus obtained, the sound pressure can be made constant.
このように、ゲイン計算部７２で例示したゲイン算出部は、読出部で読み出す音声データから仮想音源の全てで一定の音圧または一定範囲の音圧を得るように、ゲイン係数を算出することが好ましい。すなわち、ゲイン算出部は、遅延させた後の各スピーカに出力するための、ある音声データ（音声出力信号）について、スピーカ間で足し合わせた音圧が、仮想音源の全てで一定もしくは一定範囲内に収まるように、各スピーカのゲインを制御、つまり各スピーカに対するゲイン係数を算出することが好ましい。 As described above, the gain calculation unit exemplified by the gain calculation unit 72 can calculate the gain coefficient so as to obtain a certain sound pressure or a certain range of sound pressures for all virtual sound sources from the audio data read by the reading unit. preferable. In other words, the gain calculation unit, for a certain audio data (audio output signal) to be output to each speaker after being delayed, the sound pressure added between the speakers is constant or within a certain range for all of the virtual sound sources. It is preferable to control the gain of each speaker, that is, to calculate the gain coefficient for each speaker so as to fall within the range.
ここで、ゲイン係数は、前述した最大音圧方向知覚効果を生じさせるためのものであるため、仮想音源に近いスピーカからの音圧が、他のスピーカからの音圧よりも相対的に大きければよい。したがって、ここでの例は仮想音源のｘ座標とスピーカのｘ座標との距離（一次元のユークリッド距離）を用いているが、ｘ座標とｚ座標をパラメータとし仮想音源とスピーカの位置座標同士の二次元のユークリッド距離が大きくなるにつれ、すなわち仮想音源がスピーカから奥行き方向（ｚ軸方向）にも離れるにつれ、線形的あるいは非線形的にゲインを減衰させてもよい。さらに、仮想音源の三次元空間上の位置座標とスピーカの三次元空間上の位置座標とのユークリッド距離（三次元のユークリッド距離）をパラメータとしてもよい。ここで、スピーカの配設方向（並び方向、但し直線上に並んでいない場合には配置に基づき大まかに決めた並び直線の方向）を一次元ユークリッド空間、スピーカの設置平面を二次元ユークリッド空間、スピーカの設置空間を三次元ユークリッド空間としている。 Here, since the gain coefficient is for generating the maximum sound pressure direction perception effect described above, if the sound pressure from the speaker close to the virtual sound source is relatively larger than the sound pressure from other speakers, Good. Therefore, the example here uses the distance between the x coordinate of the virtual sound source and the x coordinate of the speaker (one-dimensional Euclidean distance). As the two-dimensional Euclidean distance increases, that is, as the virtual sound source moves away from the speaker in the depth direction (z-axis direction), the gain may be attenuated linearly or nonlinearly. Furthermore, the Euclidean distance (three-dimensional Euclidean distance) between the position coordinates of the virtual sound source in the three-dimensional space and the position coordinates of the speaker in the three-dimensional space may be used as a parameter. Here, the direction in which the speakers are arranged (arrangement direction, but if they are not arranged in a straight line, the direction of the arrangement straight line determined roughly based on the arrangement) is a one-dimensional Euclidean space, the installation plane of the speakers is a two-dimensional Euclidean space, The speaker installation space is a 3D Euclidean space.
また、この例では仮想音源から遠いスピーカのゲイン係数を０.３としてある程度の出力を遠いスピーカからも行っているが、これは、全てのスピーカを使用して効率よく音を出すための手段である。このような処置をすることによって、特に低域の音については位相が揃うため、音圧が効率的に加算されるため、小さい口径のスピーカを使用しても低域の音を大きく出力させることが可能となる。つまり、このようにゲイン係数を設定しておくことで、少ないスピーカ数と演算量で広いスイートスポットと低域の大きな音圧を得ることができる。このように、第二の値が第一の値の０.３倍以上であれば全てのスピーカを使って効率よく音を出すことができる。また、第二の値が第一の値の半分（０.５倍）以下に小さくしておくことで、仮想音源の近くのスピーカからの音像として聴取させる効果がより得られる。このように、第二の値は、第一の値の０.３倍以上０.５倍以下の範囲の値とすること、すなわち、第一の値を１.０とした場合に第二の値が０.３以上０.５以下の範囲とすることが好ましい。 In this example, the gain coefficient of the speaker far from the virtual sound source is set to 0.3, and a certain amount of output is also performed from the far speaker. This is a means for efficiently producing sound using all speakers. is there. By taking such measures, the sound pressure is efficiently added because the phase is aligned, especially for low-frequency sounds, so that low-frequency sounds can be output greatly even when using a small-diameter speaker. Is possible. That is, by setting the gain coefficient in this way, it is possible to obtain a wide sweet spot and a large sound pressure in a low frequency range with a small number of speakers and a calculation amount. In this way, if the second value is 0.3 times or more of the first value, sound can be produced efficiently using all the speakers. In addition, by making the second value smaller than half the first value (0.5 times), an effect of listening as a sound image from a speaker near the virtual sound source can be further obtained. In this way, the second value is set to a value in the range of 0.3 to 0.5 times the first value, that is, when the first value is 1.0, The value is preferably in the range of 0.3 or more and 0.5 or less.
また、上記所定の閾値は、均等にスピーカを配列した場合のスピーカ間の距離の１.５倍で例示したように、スピーカ間の距離の平均値または平均値に比例した値とすることが好ましい。これは存在するスピーカのうち第一の値をとるスピーカの数と第二の値をとるスピーカの数とを、各仮想音源について大まかに合わせ易くするためである。無論、この例でのように、スピーカ間の距離が一定値である場合、平均値は言うまでもなくその一定値である。また、このとき用いるスピーカ間の距離についても、一次元、二次元、三次元のうちいずれのユークリッド距離を採用してもよい。 The predetermined threshold is preferably an average value of the distance between the speakers or a value proportional to the average value, as exemplified by 1.5 times the distance between the speakers when the speakers are arranged uniformly. . This is to make it easier to roughly match the number of speakers having the first value and the number of speakers having the second value for each virtual sound source. Of course, when the distance between the speakers is a constant value as in this example, the average value is, of course, the constant value. In addition, as for the distance between the speakers used at this time, any one of the one-dimensional, two-dimensional, and three-dimensional Euclidean distances may be adopted.
本発明に係る音声データ再生装置では、以上のようにして、各スピーカに対する出力音声信号を求める。ここでは、特にアレイスピーカの両端に対してゲインを小さくするなど、通常の波面合成処理では必要となる空間エイリアシング抑圧処理は施していない。それは、本発明の方式が数の少ないスピーカを用いることに特化しているため、音響波面が合成されるのは低い周波数帯域のみとなり、空間エイリアシング抑圧処理をしない影響は小さいからである。逆に、その影響を考慮し両端のスピーカのゲインを小さくしてしまうと全体の音圧が下がるという大きな悪影響が出てしまう。したがって、この例では上述の空間エイリアシング抑圧処理は実施していない。ただし、本発明は空間エイリアシング抑圧処理を排除するものではなく、併用してもよい。 In the audio data reproducing apparatus according to the present invention, the output audio signal for each speaker is obtained as described above. Here, spatial aliasing suppression processing that is necessary in normal wavefront synthesis processing, such as reducing the gain especially at both ends of the array speaker, is not performed. This is because the method of the present invention specializes in using a small number of speakers, so that the acoustic wavefront is synthesized only in a low frequency band, and the influence of not performing spatial aliasing suppression processing is small. On the other hand, if the gain of the speakers at both ends is reduced in consideration of the influence, there is a great adverse effect that the overall sound pressure is lowered. Therefore, in this example, the above-described spatial aliasing suppression processing is not performed. However, the present invention does not exclude the spatial aliasing suppression processing, and may be used in combination.
このような方式で音声を再生すると、数が少ないスピーカでもＷＦＳと同様、仮想音源位置に音像を定位することができる。また、それと同時に、口径の小さいスピーカを用いても低域の音声を豊かに再生することが可能となる。さらに、上述の方式にはハイパスフィルタやローパスフィルタなど一般的なデジタルフィルタの挿入が不要なため、非常に演算量を抑えて実装することが可能である。 When sound is reproduced in such a manner, a sound image can be localized at the virtual sound source position even with a small number of speakers, as in WFS. At the same time, a low frequency sound can be reproduced richly even if a speaker having a small aperture is used. Furthermore, since the above method does not require insertion of a general digital filter such as a high-pass filter or a low-pass filter, it can be implemented with a very small amount of calculation.
以上、本発明によれば、アレイスピーカなど複数の既存スピーカを用いて仮想音源に対する音像として聴取させるように音声データを再生するに際し、各スピーカに対する音声信号のゲインと遅延量を適切に設定し、それにより音像の知覚に重要な要素である各スピーカ間の音圧差と遅延量差を柔軟に調整しているので、スピーカ群の前のどの位置で聴いている聴取者に対しても、口径の小さい、そして個数の少ないスピーカと、少ない演算量で、良好な音像と音質を両方同時に提示することができる。 As described above, according to the present invention, when reproducing audio data to be heard as a sound image for a virtual sound source using a plurality of existing speakers such as an array speaker, the gain and delay amount of the audio signal for each speaker are appropriately set, As a result, the sound pressure difference and the delay difference between the speakers, which are important elements for sound image perception, are adjusted flexibly. Both a good sound image and sound quality can be presented simultaneously with a small and small number of speakers and a small amount of calculation.
また、本発明に係る音声データ再生装置は、それぞれの音声信号（各仮想音源についての音声信号）の位置情報が関連付けできるように予め既知となっている場合、あるいは音声データとともに記録されて既知となっている場合について、音声データの再生を行うことができる。そのような場合における、テレビ放送やインターネットからダウンロードできる音楽・動画コンテンツ、あるいは光ディスクなどの記憶装置から読み出せる音楽・動画コンテンツを再生する。あるいは、音声データとともに例えばピンマイクの位置情報も伝送するようなテレビ会議などに使用することもできる。 In addition, the audio data reproducing device according to the present invention is known in advance when the position information of each audio signal (audio signal for each virtual sound source) is known so that it can be associated, or recorded together with the audio data. The audio data can be reproduced for the case where In such a case, music / video content that can be downloaded from a television broadcast or the Internet, or music / video content that can be read from a storage device such as an optical disk is reproduced. Alternatively, it can also be used for a video conference that transmits, for example, pin microphone position information together with audio data.
但し、音声データが仮想音源毎に分離できないような通常の音声データであっても、次のような構成を採用することで対応できる。図２０は、図６の音声データ再生装置における音声信号処理部の他の構成例を示すブロック図である。図２０で例示する音声信号処理部２００は、距離計算部２０１、ゲイン計算部２０２、遅延計算部２０３、バッファ２０４、波形生成部２０５、及び波形加算部２０６を備える。これらの構成要素は、それぞれ図７の音声信号処理部７０における距離計算部７１、ゲイン計算部７２、遅延計算部７３、バッファ７４、波形生成部７５、及び波形加算部７６に該当し、その説明を省略する。 However, even normal audio data that cannot be separated for each virtual sound source can be dealt with by adopting the following configuration. FIG. 20 is a block diagram showing another configuration example of the audio signal processing unit in the audio data reproducing device of FIG. The audio signal processing unit 200 illustrated in FIG. 20 includes a distance calculation unit 201, a gain calculation unit 202, a delay calculation unit 203, a buffer 204, a waveform generation unit 205, and a waveform addition unit 206. These components correspond to the distance calculation unit 71, gain calculation unit 72, delay calculation unit 73, buffer 74, waveform generation unit 75, and waveform addition unit 76 in the audio signal processing unit 70 of FIG. Is omitted.
さらに、音声信号処理部２００は、フォーマット変換処理部２０７を備える。フォーマット変換処理部２０７は、仮想音源毎の音声信号すら含まない音声トラックからなるコンテンツを、音声信号処理部２００で仮想音源に対する音像として再生可能なフォーマットに変換する。この変換処理は、例えば、音声データ再生装置６０内部に位置が記憶された各仮想音源に関して、音声データから各仮想音源についての音声信号を算出し、さらに各仮想音源位置を伴うように加工する。このような変換処理により、仮想音源の位置を示す位置情報も含めて仮想音源に関する情報を一切含まない音声データでも、仮想音源に対する音像として聴取させるように再生できる。この場合、本発明に係る音声データ再生装置に専用のコンテンツを必要とせずに、上述したようなコンテンツをそのままのフォーマットで再生することが可能となるため、非常に有益となる。 Furthermore, the audio signal processing unit 200 includes a format conversion processing unit 207. The format conversion processing unit 207 converts the content including the audio track that does not include even the audio signal for each virtual sound source into a format that can be reproduced as a sound image for the virtual sound source by the audio signal processing unit 200. In this conversion processing, for example, for each virtual sound source whose position is stored in the sound data reproduction device 60, an audio signal for each virtual sound source is calculated from the sound data, and further processed so as to accompany each virtual sound source position. By such conversion processing, even audio data that does not include any information related to the virtual sound source including the position information indicating the position of the virtual sound source can be reproduced so as to be heard as a sound image for the virtual sound source. In this case, the above-described content can be reproduced in the format as it is without requiring a dedicated content in the audio data reproducing apparatus according to the present invention, which is very useful.
次に、本発明の実装について簡単に説明する。本発明は、例えばテレビなど映像の伴う装置に利用できる。本発明を適用可能な装置の様々な例について、図２１〜図２７を参照しながら説明する。図２１〜図２３は、それぞれ図６の音声データ再生装置を備えたテレビ装置の構成例を示す図で、図２４及び図２５は、それぞれ図６の音声データ再生装置を備えた映像投影システムの構成例を示す図、図２６は、図６の音声データ再生装置を備えたテレビボードとテレビ装置とでなるシステムの構成例を示す図、図２７は、図６の音声データ再生装置を備えた自動車の例を示す図である。なお、図２１〜図２７のいずれにおいてもＬＳＰ１〜ＬＳＰ８で示す８個のスピーカを配列した例を挙げているが、スピーカの数は複数であればよい。 Next, the implementation of the present invention will be briefly described. The present invention can be used for an apparatus accompanied with an image such as a television. Various examples of apparatuses to which the present invention can be applied will be described with reference to FIGS. FIGS. 21 to 23 are diagrams showing an example of the configuration of a television apparatus provided with the audio data reproducing apparatus of FIG. 6, respectively. FIGS. 24 and 25 are diagrams of a video projection system provided with the audio data reproducing apparatus of FIG. FIG. 26 is a diagram showing a configuration example, FIG. 26 is a diagram showing a configuration example of a system composed of a television board and a television apparatus equipped with the audio data reproducing device of FIG. 6, and FIG. 27 is equipped with the audio data reproducing device of FIG. It is a figure which shows the example of a motor vehicle. In any of FIGS. 21 to 27, an example is shown in which eight speakers indicated by LSP1 to LSP8 are arranged, but the number of speakers may be plural.
本発明に係る音声データ再生装置はテレビ装置に利用できる。音声データ再生装置の配置は自由に決めればよい。図２１で示すテレビ装置２１０のように、テレビ画面２１１の下方に、音声データ再生装置におけるスピーカＬＳＰ１〜ＬＳＰ８を直線状に並べたスピーカ群２１２を設けてもよい。図２２で示すテレビ装置２２０のように、テレビ画面２２１の上方に、音声データ再生装置におけるスピーカＬＳＰ１〜ＬＳＰ８を直線状に並べたスピーカ群２２２を設けてもよい。図２３で示すテレビ装置２３０のように、テレビ画面２３１に、音声データ再生装置における透明のフィルム型スピーカＬＳＰ１〜ＬＳＰ８を直線状に並べたスピーカ群２３２を埋め込んでもよい。 The audio data reproducing apparatus according to the present invention can be used for a television apparatus. The arrangement of the audio data reproducing device may be determined freely. Like the television apparatus 210 shown in FIG. 21, a speaker group 212 in which the speakers LSP1 to LSP8 in the audio data reproducing apparatus are arranged in a straight line may be provided below the television screen 211. Like the television device 220 shown in FIG. 22, a speaker group 222 in which the speakers LSP1 to LSP8 in the audio data reproducing device are arranged in a straight line may be provided above the television screen 221. Like the television device 230 shown in FIG. 23, a speaker group 232 in which transparent film type speakers LSP1 to LSP8 in the audio data reproducing device are arranged in a straight line may be embedded in the television screen 231.
また、本発明に係る音声データ再生装置は映像投影システムに利用できる。図２４で示す映像投影システム２４０のように、映像投射装置２４１ａで映像を投射する投射用スクリーン２４１ｂに、スピーカＬＳＰ１〜ＬＳＰ８のスピーカ群２４２を埋め込むようにしてもよい。図２５で示す映像投影システムのように、映像投射装置２５１ａで映像を投射する音透過型のスクリーン２５１ｂの後ろに、スピーカＬＳＰ１〜ＬＳＰ８を並べたスピーカ群２５２を配置してもよい。そのほか、本発明に係る音声データ再生装置はテレビ台（テレビボード）に埋め込むこともできる。図２６で示すシステム（ホームシアターシステム）２６０のように、テレビ装置２６１を搭載するためのテレビ台２６２ａにスピーカＬＳＰ１〜ＬＳＰ８を並べたスピーカ群２６２ｂを埋め込むようにしてもよい。さらに、本発明に係る音声データ再生装置はカーオーディオに適用することもできる。図２７で示す自動車２７０のように、車内のダッシュボードにスピーカＬＳＰ１〜ＬＳＰ８を曲線状に並べたスピーカ群２７２を埋め込むようにしてもよい。 Also, the audio data reproducing apparatus according to the present invention can be used in a video projection system. As in the video projection system 240 shown in FIG. 24, the speaker group 242 of the speakers LSP1 to LSP8 may be embedded in the projection screen 241b that projects video by the video projection device 241a. As in the video projection system shown in FIG. 25, a speaker group 252 in which the speakers LSP1 to LSP8 are arranged behind the sound transmission type screen 251b that projects video by the video projection device 251a may be arranged. In addition, the audio data reproducing apparatus according to the present invention can be embedded in a television stand (television board). As in the system (home theater system) 260 shown in FIG. 26, a speaker group 262b in which the speakers LSP1 to LSP8 are arranged may be embedded in the TV stand 262a for mounting the TV device 261. Furthermore, the audio data reproducing apparatus according to the present invention can also be applied to car audio. As in an automobile 270 shown in FIG. 27, a speaker group 272 in which speakers LSP1 to LSP8 are arranged in a curved shape may be embedded in a dashboard inside the vehicle.
また、例えば図７や図２０で例示した音声信号処理部における各構成要素など、本発明に係る音声データ再生装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現される。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。 In addition, each component of the audio data reproducing device according to the present invention, such as each component in the audio signal processing unit illustrated in FIG. 7 or FIG. 20, for example, is a microprocessor (or DSP: Digital Signal Processor), memory, bus It is realized by hardware such as an interface and a peripheral device, and software executable on these hardware. Part or all of the hardware can be mounted as an integrated circuit / IC (Integrated Circuit) chip set, and in this case, the software may be stored in the memory. In addition, all the components of the present invention may be configured by hardware, and in that case as well, part or all of the hardware can be mounted as an integrated circuit / IC chip set. .
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、マイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体であっても、本発明を構成することができる。 The object of the present invention is also achieved by supplying a recording medium storing software program codes for realizing the functions in the above-described various configuration examples to the apparatus and executing the program codes by a microprocessor or a DSP. Achieved. In this case, the software program code itself realizes the functions of the above-described various configuration examples, and the present invention can be configured even with the program code itself or a recording medium on which the program code is recorded. .
以上、本発明に係る音声データ再生装置について説明したが、処理の流れをフロー図で例示したように、本発明は、複数のスピーカを備えた音声データ再生装置において、仮想的に存在する音源である仮想音源に対する音像としてそれらのスピーカから出力するように音声データを再生する音声データ再生方法としての形態も採り得る。なお、上記プログラムコード自体は、換言すると、この音声データ再生方法をコンピュータに実行させるためのプログラムである。 The audio data reproducing apparatus according to the present invention has been described above. As illustrated in the flowchart of the processing flow, the present invention is a sound source that virtually exists in an audio data reproducing apparatus including a plurality of speakers. A form as an audio data reproducing method for reproducing audio data so as to be output from those speakers as a sound image with respect to a certain virtual sound source can also be adopted. In other words, the program code itself is a program for causing a computer to execute the audio data reproduction method.
この音声データ再生方法は、次の遅延算出ステップ、読出ステップ、ゲイン算出ステップ、音声信号算出ステップ、及び加算ステップを有する。遅延算出ステップは、各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対する遅延量を、該当するスピーカと仮想音源との距離に応じて算出する。読出ステップは、遅延算出ステップで算出された遅延量に応じて音声データを読み出す。ゲイン算出ステップは、各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対するゲイン係数を、該当するスピーカと仮想音源との距離に応じて算出する。音声信号算出ステップは、ゲイン算出ステップで算出されたゲイン係数を読出ステップで読み出した音声データに乗算することで、各仮想音源のそれぞれについて各スピーカへ出力するための出力音声信号を算出する。加算ステップは、音声信号算出ステップで算出された出力音声信号をスピーカ毎に加算する。その他の応用例については、音声データ再生装置について説明した通りであり、その説明を省略する。 This audio data reproduction method includes the following delay calculation step, readout step, gain calculation step, audio signal calculation step, and addition step. In the delay calculation step, the delay amount for each speaker is calculated according to the distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source. In the reading step, audio data is read according to the delay amount calculated in the delay calculating step. In the gain calculation step, the gain coefficient for each speaker is calculated according to the distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source. The audio signal calculating step calculates an output audio signal to be output to each speaker for each virtual sound source by multiplying the audio data read in the reading step by the gain coefficient calculated in the gain calculating step. In the adding step, the output audio signal calculated in the audio signal calculating step is added for each speaker. Other application examples are the same as those described for the audio data reproducing apparatus, and a description thereof will be omitted.
６０…音声データ再生装置、６１…デコーダ、６２…音声信号抽出部、６３…音声信号処理部、６４…Ｄ／Ａコンバータ、６５…増幅器、６６…スピーカ、７０，２００…音声信号処理部、７１，２０１…距離計算部、７２，２０２…ゲイン計算部、７３，２０３…遅延計算部、７４，２０４…バッファ、７５，２０５…波形生成部、７６，２０６…波形加算部、８１，８２，８３…バッファ領域、１３０…バッファ、２０７…フォーマット変換処理部。 60 ... Audio data reproduction device, 61 ... Decoder, 62 ... Audio signal extraction unit, 63 ... Audio signal processing unit, 64 ... D / A converter, 65 ... Amplifier, 66 ... Speaker, 70,200 ... Audio signal processing unit, 71 , 201 ... Distance calculator, 72, 202 ... Gain calculator, 73, 203 ... Delay calculator, 74, 204 ... Buffer, 75, 205 ... Waveform generator, 76, 206 ... Waveform adder, 81, 82, 83 ... buffer area, 130 ... buffer, 207 ... format conversion processing unit.
Claims (10)
各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対する遅延量を、該当するスピーカと仮想音源との距離に応じて算出する遅延算出部と、
該遅延算出部で算出された遅延量に応じて音声データを読み出す読出部と、
各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対するゲイン係数を、該当するスピーカと仮想音源との距離に応じて算出するゲイン算出部と、
該ゲイン算出部で算出されたゲイン係数を前記読出部で読み出した前記音声データに乗算することで、各仮想音源のそれぞれについて各スピーカへ出力するための出力音声信号を算出する音声信号算出部と、
該音声信号算出部で算出された出力音声信号をスピーカ毎に加算する加算部と、
を備えたことを特徴とする音声データ再生装置。 An audio data reproducing apparatus that includes a plurality of speakers and reproduces audio data so as to be output from the plurality of speakers as a sound image for a virtual sound source that is a virtually existing sound source,
A delay calculating unit that calculates a delay amount for each speaker according to a distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source;
A reading unit that reads out audio data in accordance with the delay amount calculated by the delay calculating unit;
For all combinations of each speaker and each virtual sound source, a gain calculation unit that calculates a gain coefficient for each speaker according to the distance between the corresponding speaker and the virtual sound source;
An audio signal calculation unit that calculates an output audio signal to be output to each speaker for each virtual sound source by multiplying the audio data read by the reading unit by the gain coefficient calculated by the gain calculation unit; ,
An adding unit for adding the output audio signal calculated by the audio signal calculating unit for each speaker;
An audio data reproducing apparatus comprising:
各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対する遅延量を、該当するスピーカと仮想音源との距離に応じて算出する遅延算出ステップと、
該遅延算出ステップで算出された遅延量に応じて音声データを読み出す読出ステップと、
各スピーカと各仮想音源との組み合わせの全てについて、各スピーカに対するゲイン係数を、該当するスピーカと仮想音源との距離に応じて算出するゲイン算出ステップと、
該ゲイン算出ステップで算出されたゲイン係数を前記読出ステップで読み出した前記音声データに乗算することで、各仮想音源のそれぞれについて各スピーカへ出力するための出力音声信号を算出する音声信号算出ステップと、
該音声信号算出ステップで算出された出力音声信号をスピーカ毎に加算する加算ステップと、
を有することを特徴とする音声データ再生方法。 In an audio data reproduction apparatus provided with a plurality of speakers, an audio data reproduction method for reproducing audio data so as to be output from the plurality of speakers as a sound image for a virtual sound source that is a virtually existing sound source,
A delay calculating step for calculating a delay amount for each speaker according to a distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source;
A reading step of reading out audio data according to the delay amount calculated in the delay calculating step;
A gain calculating step for calculating a gain coefficient for each speaker according to the distance between the corresponding speaker and the virtual sound source for all combinations of each speaker and each virtual sound source;
An audio signal calculating step for calculating an output audio signal to be output to each speaker for each virtual sound source by multiplying the audio data read in the reading step by the gain coefficient calculated in the gain calculating step; ,
An adding step of adding the output audio signal calculated in the audio signal calculating step for each speaker;
A method for reproducing audio data, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010065638A JP2011199707A (en) | 2010-03-23 | 2010-03-23 | Audio data reproduction device, and audio data reproduction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010065638A JP2011199707A (en) | 2010-03-23 | 2010-03-23 | Audio data reproduction device, and audio data reproduction method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011199707A true JP2011199707A (en) | 2011-10-06 |
Family
ID=44877314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010065638A Pending JP2011199707A (en) | 2010-03-23 | 2010-03-23 | Audio data reproduction device, and audio data reproduction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011199707A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013073560A1 (en) * | 2011-11-14 | 2013-05-23 | シャープ株式会社 | Directional speaker device |
| CN105808205A (en) * | 2016-04-01 | 2016-07-27 | 中车青岛四方机车车辆股份有限公司 | Audio volume control method, device and system, loudspeaker and rail vehicle |
| JPWO2014034555A1 (en) * | 2012-08-29 | 2016-08-08 | シャープ株式会社 | Audio signal reproducing apparatus, method, program, and recording medium |
| JP2019512173A (en) * | 2016-01-22 | 2019-05-09 | 上海肇觀電子科技有限公司ＮｅｘｔＶＰＵ （Ｓｈａｎｇｈａｉ） Ｃｏ．， Ｌｔｄ． | Method and apparatus for displaying multimedia information |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02224495A (en) * | 1989-02-27 | 1990-09-06 | Canon Inc | Screen for video display |
| JPH04345400A (en) * | 1991-05-23 | 1992-12-01 | Pioneer Electron Corp | On-vehicle speaker system |
| JPH10304500A (en) * | 1997-04-25 | 1998-11-13 | Victor Co Of Japan Ltd | Sound field reproducing device |
| JP2004531125A (en) * | 2001-03-27 | 2004-10-07 | １．．．リミテッド | Method and apparatus for creating a sound field |
| JP2007110582A (en) * | 2005-10-17 | 2007-04-26 | Sony Corp | Image display device and method, and program |
| JP2007274061A (en) * | 2006-03-30 | 2007-10-18 | Yamaha Corp | Sound image localizer and av system |
| JP2008067041A (en) * | 2006-09-07 | 2008-03-21 | Yamaha Corp | Array speaker apparatus |
-
2010
- 2010-03-23 JP JP2010065638A patent/JP2011199707A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02224495A (en) * | 1989-02-27 | 1990-09-06 | Canon Inc | Screen for video display |
| JPH04345400A (en) * | 1991-05-23 | 1992-12-01 | Pioneer Electron Corp | On-vehicle speaker system |
| JPH10304500A (en) * | 1997-04-25 | 1998-11-13 | Victor Co Of Japan Ltd | Sound field reproducing device |
| JP2004531125A (en) * | 2001-03-27 | 2004-10-07 | １．．．リミテッド | Method and apparatus for creating a sound field |
| JP2007110582A (en) * | 2005-10-17 | 2007-04-26 | Sony Corp | Image display device and method, and program |
| JP2007274061A (en) * | 2006-03-30 | 2007-10-18 | Yamaha Corp | Sound image localizer and av system |
| JP2008067041A (en) * | 2006-09-07 | 2008-03-21 | Yamaha Corp | Array speaker apparatus |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013073560A1 (en) * | 2011-11-14 | 2013-05-23 | シャープ株式会社 | Directional speaker device |
| JP2013106172A (en) * | 2011-11-14 | 2013-05-30 | Sharp Corp | Directional speaker device |
| JPWO2014034555A1 (en) * | 2012-08-29 | 2016-08-08 | シャープ株式会社 | Audio signal reproducing apparatus, method, program, and recording medium |
| JP2019512173A (en) * | 2016-01-22 | 2019-05-09 | 上海肇觀電子科技有限公司ＮｅｘｔＶＰＵ （Ｓｈａｎｇｈａｉ） Ｃｏ．， Ｌｔｄ． | Method and apparatus for displaying multimedia information |
| CN105808205A (en) * | 2016-04-01 | 2016-07-27 | 中车青岛四方机车车辆股份有限公司 | Audio volume control method, device and system, loudspeaker and rail vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7010334B2 (en) | Speech processing equipment and methods, as well as programs | |
| JP6950014B2 (en) | Methods and Devices for Decoding Ambisonics Audio Field Representations for Audio Playback Using 2D Setup | |
| JP5944840B2 (en) | Stereo sound reproduction method and apparatus | |
| JP5533248B2 (en) | Audio signal processing apparatus and audio signal processing method | |
| KR101764175B1 (en) | Method and apparatus for reproducing stereophonic sound | |
| JP6284480B2 (en) | Audio signal reproducing apparatus, method, program, and recording medium | |
| KR100647338B1 (en) | Method of and apparatus for enlarging listening sweet spot | |
| JP2008522483A (en) | Apparatus and method for reproducing multi-channel audio input signal with 2-channel output, and recording medium on which a program for doing so is recorded | |
| JP2006507727A (en) | Audio reproduction system and method for reproducing an audio signal | |
| JP6434165B2 (en) | Apparatus and method for processing stereo signals for in-car reproduction, achieving individual three-dimensional sound with front loudspeakers | |
| JP2011199707A (en) | Audio data reproduction device, and audio data reproduction method | |
| JP2012060301A (en) | Audio signal conversion device, method, program, and recording medium | |
| WO2013073560A1 (en) | Directional speaker device | |
| JP6161962B2 (en) | Audio signal reproduction apparatus and method | |
| JP6017352B2 (en) | Audio signal conversion apparatus and method | |
| JP2013176170A (en) | Reproduction device and reproduction method | |
| WO2013176073A1 (en) | Audio signal conversion device, method, program, and recording medium | |
| KR20150005438A (en) | Method and apparatus for processing audio signal | |
| JP2015065551A (en) | Voice reproduction system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131224 |