JP2007041164A - Sound signal processing method and sound field reproduction system - Google Patents
Sound signal processing method and sound field reproduction system Download PDFInfo
- Publication number
- JP2007041164A JP2007041164A JP2005223436A JP2005223436A JP2007041164A JP 2007041164 A JP2007041164 A JP 2007041164A JP 2005223436 A JP2005223436 A JP 2005223436A JP 2005223436 A JP2005223436 A JP 2005223436A JP 2007041164 A JP2007041164 A JP 2007041164A
- Authority
- JP
- Japan
- Prior art keywords
- reproduction
- sound
- audio signal
- transfer function
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、或る環境の音場を別の環境にて再現するのに好適な音声信号処理方法に関する。また、記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムに関する。 The present invention relates to an audio signal processing method suitable for reproducing a sound field of one environment in another environment. Also, a sound comprising a recording device that records information on a recording medium, and an audio signal processing device that generates a reproduction audio signal for reproducing a sound field based on the information recorded on the recording medium. The field reproduction system.
例えば映画、音楽などのコンテンツを視聴する場合、再生音声に臨場感を与えるために、残響を付加することが行われている。
残響付加処理としては、いわゆるデジタルリバーブ方式が知られている。このデジタルリバーブ方式は、原音に対してランダムなディレイタイムとされるディレイ情報を多数発生させ、さらに、ディレイタイムが長くなるほど音量を小さくしたり、ディレイタイムの長い箇所でフィードバックを掛けて残響時間を長くとる等の信号処理を行うものである。これにより原音に対して人工的に残響効果を生成することができる。しかし、ディレイ情報を生成するためのパラメータは、そのパラメータの設定を行う作業者の聴感に基づいて設定されるので、この設定作業は繁雑なものとなる。また、人工的に残響を作り出すことから原音を定位させるという概念がなく、音場の再現に優れたものではない。
For example, when viewing content such as movies and music, reverberation is added to give the reproduced sound a sense of reality.
As the reverberation adding process, a so-called digital reverb method is known. This digital reverb method generates a lot of delay information that is random delay time with respect to the original sound, and further reduces the volume as the delay time becomes longer, or applies feedback at places where the delay time is longer to reduce the reverberation time Signal processing such as taking a long time is performed. As a result, a reverberation effect can be artificially generated for the original sound. However, since the parameters for generating the delay information are set based on the audibility of the operator who sets the parameters, this setting work is complicated. In addition, there is no concept of localizing the original sound because it artificially creates reverberation, and it is not excellent in reproducing the sound field.
これに対し、実際に音場空間においてインパルス応答の測定を行って、音源の定位などの空間情報に基づいて残響効果を得るための手法として、例えば上記特許文献1に記載の技術が知られている。
この特許文献1に記載の技術では、例えば図1に示されているように、ホールなどの測定環境(測定音場)1に、音源として測定用のスピーカ3を配置する。そして、この測定用スピーカ3にTSP(Time Streched Pulse)信号などとされるインパルス応答測定用の音声信号を供給して、同じ音場内の所要の位置に配置された複数の測定用マイク4(a〜p)に対して、測定用スピーカ3から出力される測定用音声を入力させる。この場合、例えば測定用マイク4aでは、図1に矢印で示されているように、測定用スピーカ3からの直接音、及び測定用スピーカ3から出力され測定環境としてのホール内で反射した反射音を検出することができる。図示は省略しているが、このことは他の測定用マイク4b、4c、4dについても同様である。
そこで、各測定用マイク4(a〜d)により検出された音声信号に基づき、残響を含むインパルス応答を測定することで、測定用スピーカ3から各測定用マイク4までのそれぞれに対応した伝達関数を求めることができる。
On the other hand, as a technique for actually measuring an impulse response in a sound field space and obtaining a reverberation effect based on spatial information such as localization of a sound source, for example, the technique described in
In the technique described in
Therefore, a transfer function corresponding to each of the
このような伝達関数を用いれば、例えば図3に示されるようにして、図1の場合の各測定用マイク4と同じ位置関係によりスピーカ8(a〜p)を配置した環境で、図1の測定環境での音場を再現することができる。
つまり、上記のようにして各測定用マイク4のそれぞれの配置位置までに対応した伝達関数が求まれば、再生したい音声信号をこれらの伝達関数を用いてそれぞれ畳み込むことで、各スピーカ8の配置位置から出力すべき音声信号が得られる。従ってそれらの音声信号を、対応する位置に配置したスピーカ8からそれぞれ出力することで、これらスピーカ8に囲まれた空間内にて図1の測定環境と同様の残響効果を得ることができる。
このような方式は、実際に測定した伝達関数を用いるので、再生時における音場の再現性に優れたものとなる。また同時に、再生音場における音像定位としてもより明確なものとなる。
If such a transfer function is used, for example, as shown in FIG. 3, in an environment in which the speakers 8 (ap) are arranged in the same positional relationship as each
That is, when the transfer functions corresponding to the respective arrangement positions of the
Since such a method uses a transfer function actually measured, it has excellent sound field reproducibility during reproduction. At the same time, the sound image localization in the reproduction sound field becomes clearer.
なお、このとき重要なのは、図1の測定環境おける測定用マイク4(a〜p)と、図3の再現環境におけるスピーカ8(a〜p)とが幾何学的に同等の位置関係で配置されるようにすることである。このようにすることで、再現環境においてスピーカ8に囲まれた領域(閉曲面)内では、測定音場の音源の定位(音像定位)が明確に再現されるようになり、測定環境の音場を明確に再現することが可能となる。 It is important to note that the measurement microphone 4 (ap) in the measurement environment of FIG. 1 and the speaker 8 (ap) in the reproduction environment of FIG. 3 are arranged in a geometrically equivalent positional relationship. It is to make it. By doing in this way, the localization of the sound source of the measurement sound field (sound image localization) can be clearly reproduced in the region (closed curved surface) surrounded by the speaker 8 in the reproduction environment, and the sound field of the measurement environment Can be clearly reproduced.
ところで、上記特許文献1に記載の手法では、測定環境において測定用信号を出力する測定用スピーカ3としては、無指向性のものとし、これによってある1点から空間全体へ音の放出が可能となるようにして、測定空間の広さや壁、床、天井の材質、幾何学構造等を要因とする響きを表現するための情報(測定環境の空間情報)を測定するようにされていた。
しかしながら実際において、測定用スピーカ3の配置位置に仮想音像として再現しようとする音源については、その指向性も再現するということが想定できる。このような場合において、上記のように無指向性による測定用スピーカ3を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。
By the way, in the method described in
However, in practice, it can be assumed that the directivity of the sound source to be reproduced as a virtual sound image at the position where the
そこで、本発明では以上のような問題点に鑑み、音声信号処理方法として以下のようにすることとした。
すなわち、先ず第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカにより音声を発音する第一の発音工程を備える。
また、前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された音声を測定する第一の測定工程を備える。
また、前記第一の測定工程によって測定された音声に基づいて、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した第一の伝達関数群を生成する第一の伝達関数生成工程を備える。
さらに、入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程を備えるようにした。
Therefore, in the present invention, in view of the above-described problems, the audio signal processing method is as follows.
That is, first, a first sound generation step of sound generation by a directional speaker arranged at a virtual sound image position outside the first closed curved surface is provided.
In addition, a first measurement step is provided for measuring the sound produced in the first sound production step at a plurality of positions on the first closed curved surface.
Further, a first transfer function group corresponding to each of the plurality of positions on the first closed curved surface from the virtual sound image position is generated based on the sound measured by the first measurement step. A transfer function generation step.
Further, the input audio signal is subjected to arithmetic processing based on the first transfer function group, and a first reproduction audio signal corresponding to each of the plurality of positions on the first closed curved surface is obtained. A first reproduction audio signal generation step to be obtained is provided.
上記のようにして、有指向性のスピーカにより発音した音声に基づき得られた第一の伝達関数群により、入力音声信号についての演算処理を行うことで、これによって得られる第一の再現用音声信号には、上記有指向性のスピーカによって発音された音声の指向方向の情報を含ませることができる。
従って、これら第一の再現用音声信号を、例えば上記第一の閉曲面上の複数の位置と幾何学的に同等の位置関係により配置した再現用スピーカからそれぞれ出力すれば、これら再現用スピーカにより囲われた空間内において、仮想音源の指向性を表現したかたちで測定環境の音場(残響や音像定位)を再現することができる。
As described above, the first reproduction function group obtained by performing the arithmetic processing on the input sound signal by the first transfer function group obtained based on the sound generated by the directional speaker is obtained. The signal can include information on the directivity direction of the sound produced by the directional speaker.
Therefore, if these first reproduction audio signals are respectively output from reproduction speakers arranged in a geometrically equivalent positional relationship with a plurality of positions on the first closed curved surface, for example, these reproduction speakers In the enclosed space, the sound field (reverberation and sound image localization) of the measurement environment can be reproduced in the form of the directivity of the virtual sound source.
このようにして本発明によれば、測定環境の音場の再現を、仮想音源の指向方向を表現したかたちで実現することができる。 As described above, according to the present invention, the reproduction of the sound field of the measurement environment can be realized in the form of expressing the directivity direction of the virtual sound source.
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。なお、説明は以下の順序で行うものとする。
<1.基本的構成>
1−1.1つの音像位置の再現
1−2.複数の音像位置の再現
1−3.第二閉曲面での音場再現
<2.実施の形態としての音場再現>
2−1.音源の指向方向の再現
2−2.演奏形態のシミュレート
2−3.ステレオエフェクタの再現
2−4.音源の指向性と指向方向ごとの放音特性の再現
2−5.アンビエンスデータの追加
2−6.カメラ視点に応じた音場再現
2−7.音場再現システムの構成例
Hereinafter, the best mode for carrying out the invention (hereinafter referred to as an embodiment) will be described. The description will be made in the following order.
<1. Basic configuration>
1-1. Reproduction of one sound image position 1-2. Reproduction of a plurality of sound image positions 1-3. Sound field reproduction on the second closed surface <2. Sound field reproduction as an embodiment>
2-1. Reproduction of directivity direction of sound source 2-2. Simulation of performance form 2-3. Reproduction of stereo effector 2-4. Reproduction of directivity of sound source and sound emission characteristics for each directivity 2-5. Addition of ambience data 2-6. Sound field reproduction according to the camera viewpoint 2-7. Configuration example of sound field reproduction system
なお、本明細書において、特に断らなければ、音声信号に対する「伝達関数に基づく演算処理」とは、音声信号に対して伝達関数を畳み込み積分処理を施すことや、伝達関数をフィルタ係数として設定したFIR(Finite Impulse Response)フィルタによって音声信号にフィルタ処理を施すことを指すものとする。
In this specification, unless otherwise specified, “calculation processing based on a transfer function” for an audio signal means that the transfer function is subjected to convolution integration processing for the audio signal, or the transfer function is set as a filter coefficient. It means that the audio signal is filtered by an FIR (Finite Impulse Response) filter.
<1.基本的構成>
1−1.1つの音像位置の再現
図1は、音場再現にあたっての測定環境を模式的に示した図である。
なお、この「1.基本的構成」にて説明する音場再現技術は、後に説明する本実施の形態としての音場再現を実現するにあたってその基とする技術であり、この内容は本出願人の先の出願である「特開2002−186100号公報」にも記載されている。
<1. Basic configuration>
1-1. Reproduction of one sound image position
FIG. 1 is a diagram schematically showing a measurement environment for sound field reproduction.
The sound field reproduction technology described in “1. Basic configuration” is a technology used as a basis for realizing the sound field reproduction as the present embodiment described later. This is also described in Japanese Patent Laid-Open No. 2002-186100, which is an earlier application.
図1において、測定環境1は、後に説明する再生環境において再現しようとする音場であり、この場合は例えばコンサートホールやライブ会場などとして考えればよい。
この測定環境1には、例えば当該測定環境1の壁に近接しない位置に、半径R_bndとなる円周上に、測定用マイク(マイクロフォン)4a、4b、4c、4d、4e、4f、4g、4h、4i、4j、4k、4l、4m、4n、4o、4pを配置する。
なお、以下において、このような半径R_bndとなる円周のことを、第一閉曲面10と呼ぶ。
In FIG. 1, a
The
Hereinafter, the circumference having such a radius R_bnd is referred to as a first closed
各測定用マイク4(a〜p)は、その指向性を第一閉曲面10の法線方向において外側に向けるものとする。なお、本明細書における以降の説明においてもマイクロフォンに示される矢印は、その指向性を示すものとする。
また、第一閉曲面10の中心から半径R_spとなる位置に、仮想音源として測定用スピーカ3を配置する。この測定用スピーカ3に対しては、測定用信号再生部2から測定用信号が供給される。この測定用信号としては、後述するインパルス応答測定のためのTSP(Time Streched Pulse:時間引き延ばしパルス)信号を出力するようにされる。
なお、測定用スピーカ3は、後述する再生環境における仮想スピーカを再現するために備えられることから、その指向性や周波数特性は、再生環境における聴取者に対する聴感を想定したものとすることが望ましい。
Each measurement microphone 4 (ap) has its directivity directed outward in the normal direction of the first closed
Further, the
Note that since the
この測定環境1における測定は、測定用スピーカ3に測定信号TSPを供給して、測定用スピーカ3から出力された測定用音声を各測定用マイク4(a〜p)入力させるようにするが、図1においては、測定用スピーカ3から測定用マイク4aに至る音声の経路を模式的に示している。
各測定用マイク4(a〜p)で検出された音声信号は、図示していないインパルス応答測定装置に供給され、ここでは各測定用マイク4で検出された音声の音圧に基づいて、測定用スピーカ3から各測定マイク4(a〜p)に対応したインパルス応答が測定される。このインパルス応答は、大きなホールなどでは5〜10秒程度であることもあるが、小さなホールや響きの少ないホールなどではより短い時間長となることもある。この測定により、各インパルス応答に基づいた伝達関数を求めることができる。すなわち、図1には、測定用マイク4aに対応した伝達関数Haを求める場合の音声の経路が示されている。また、図示していないが、測定用マイク4b〜測定用マイク4pについても、同様にそれぞれに対応した伝達関数Hb〜Hpを求めることができる。
なお、インパルス応答の測定は、各測定用マイク毎に行ってもよいし、全ての測定用マイク4(a〜p)に対して同時に行うようにしてもよい。また、測定用信号はTSP信号に限らず、擬似ランダム雑音や音楽信号などを用いてもよい。
また、以降の説明においても、測定環境1における測定用スピーカから測定用マイクまでの伝達関数は「H」により表す。
In the
The sound signal detected by each measurement microphone 4 (ap) is supplied to an impulse response measurement device (not shown), and here, measurement is performed based on the sound pressure of the sound detected by each
The impulse response measurement may be performed for each measurement microphone, or may be performed simultaneously for all the measurement microphones 4 (ap). Further, the measurement signal is not limited to the TSP signal, and pseudo random noise, music signal, or the like may be used.
In the following description, the transfer function from the measurement speaker to the measurement microphone in the
このようにして、測定環境1においては各測定用マイク4a、4b、4c、4d・・・4pに対応した伝達関数Ha、Hb、Hc、Hd・・・Hpを求めることができる。そして、これらの伝達関数Ha〜Hpを用いることにより、測定環境1とは別の環境(再現環境)で当該測定環境1の音場を再現することができるようになる。
In this way, in the
図2は、再現環境における再現音声の再生系(再現信号生成装置)の構成について示している。
再現信号生成装置5において、音声再生部6は、任意の音声信号Sを出力することができるようにされている。この音声再生部6から出力された音声信号Sは、演算部7a、7b、7c、7d・・・7n、7o、7pに供給される。個々の演算部7(a〜p)には、それぞれ上記のようにして測定用マイク4a〜4p対応に測定された伝達関数Ha〜Hpのうち、同じ添え字(アルファベット)の付される伝達関数Hが設定されており、各演算部7は、供給された音声信号Sに対してそれぞれ設定された伝達関数Hに基づく演算処理を施す。これにより、各演算部7(a〜p)からは、音声信号Sに対して伝達関数に対応するインパルス応答が畳み込まれた再現信号SHa、SHb、SHc、SHd・・・SHn、SHo、SHpが出力される。
なお、先にも述べたが、各演算部7の動作は、それぞれ設定された伝達関数(インパルス応答)をフィルタ係数として設定したFIRフィルタによっても実現することができる。このことは、後述する全ての「演算部」についても同様である。
FIG. 2 shows a configuration of a reproduction sound reproduction system (reproduction signal generation device) in a reproduction environment.
In the reproduction
As described above, the operation of each calculation unit 7 can also be realized by an FIR filter in which each set transfer function (impulse response) is set as a filter coefficient. The same applies to all “calculation units” described later.
各再現信号SH(a〜p)は、再生環境に配置されている再現用スピーカ8a、8b、8c、8d・・・8n、8o、8pに供給される。これにより、各再現用スピーカ8(a〜p)からは、測定環境1における伝達関数H(a〜p)に基づいた再現信号SH(a〜p)による音声が出力される。
Each reproduction signal SH (ap) is supplied to
図3は再現環境について説明する模式図である。
再現環境11は、例えば無響室や、残響の少ないスタジオなどとされる。
この再現環境11に、図2に示した再現用スピーカ8(a〜p)を配置する。この場合、再現用スピーカ8(a〜p)は、図1に示した測定用マイク4(a〜p)の配置位置に対応させ、半径R_bndで形成される第一閉曲面10の外周上に内側に向けて配置される。つまり、再現用スピーカ8(a〜p)、測定用マイク4(a〜p)において同一の添え字(アルファベット)を付したもの配置位置どうしが対応している。
なお、測定環境1における第一閉曲面10と再現環境11における第一閉曲面10とは、それぞれ別々の空間に存在する閉曲面ではあるが、ここでは同一半径により形成される幾何学的に同等の閉曲面ということで、便宜上同一の符号を付している。
FIG. 3 is a schematic diagram for explaining the reproduction environment.
The
The reproduction speakers 8 (ap) shown in FIG. 2 are arranged in the
The first closed
そして、これら再現用スピーカ8(a〜p)から、先の図2に示したようにして上記再現信号SH(a〜p)を供給して出力することで、第一閉曲面12の内側に居る聴取者は、図1に示した測定用スピーカ3から音声信号Sを再生した場合の音場が第一閉曲面10の外側に擬似的に再現されているように感じることができる。
Then, the reproduction signal SH (ap) is supplied from these reproduction speakers 8 (ap) to the output as shown in FIG. The listener who is present can feel as if the sound field when the audio signal S is reproduced from the
ここで、或る閉曲面内に音源がない場合、その音場を別の場所で正確に再現するためには、原音場と再生音場とで閉曲面の外周の音圧と法線方向の粒子速度を一致させればよいということが知られている(公知文献:電子情報通信学会編「音響システムとディジタル処理」(コロナ杜)を参照)。具体的には、閉曲面上に双指向性マイクロフォンを無数個設置し、それぞれの設置点における音圧と粒子速度を測定する。このため、測定環境1における第一閉曲面10では無数個の測定用マイクを法線方向に外向きに設置し、再現環境11における第一閉曲面10においてはこれらの測定用マイクに対応した無数個の再現用スピーカを配置することで、再現環境11での第一閉曲面10の内側を視聴位置とした場合、聴取者は測定環境1の第一閉曲面10内に居る場合と同様の定位感や残響感を得ることができ、さらに、再現環境11にはない測定用スピーカ3の位置に仮想音像を知覚することができるようになる。つまり、再現環境11の第一閉曲面10の内側のいずれの聴取位置においても、その外側に測定環境1と同等の音場感を得ることができる。
しかし、上記のように、無数個のマイクロフォンと再現用スピーカを必要とすることは、実際にこれを実現することは困難である。そこで、本出願人は、指向性マイクロフォン、例えば単一指向性マイクロフォンの出力に音圧及び粒子速度成分が含まれることに着目して、有限個数の指向性マイクロフォンと、それに対応する数の再現用スピーカでほぼ同様な音響効果が得られることを実験により確かめた。
Here, when there is no sound source in a certain closed curved surface, in order to accurately reproduce the sound field in another place, the sound pressure and normal direction of the outer periphery of the closed curved surface are reproduced between the original sound field and the reproduced sound field. It is known that the particle velocities need to be matched (refer to “Literature: Electronic systems and digital processing” edited by the Institute of Electronics, Information and Communication Engineers (Corona)). Specifically, an infinite number of bidirectional microphones are installed on a closed curved surface, and the sound pressure and particle velocity at each installation point are measured. For this reason, innumerable measurement microphones are installed outward in the normal direction in the first closed
However, as described above, it is difficult to actually realize this because it requires an infinite number of microphones and reproduction speakers. Therefore, the present applicant pays attention to the fact that sound pressure and particle velocity components are included in the output of a directional microphone, for example, a unidirectional microphone, and for reproducing a finite number of directional microphones and the corresponding number. Experiments have confirmed that almost the same sound effects can be obtained with speakers.
このようにして、例えばホールなどの測定環境1における音場を、無響室などとされる再現環境11において再現することができる。
ここで、このことによれば、図1に示したように測定環境1におけるインパルス応答の測定を1回行っておけば、その後、これら測定データ(伝達関数)を用いることで、再現環境11など測定環境1以外の環境で、随時測定環境1の音場を擬似的に再現することができるようになる。
そして、この場合、先の図2の構成によれば、このように再現される音場で再生する音声としては任意の音声とすることができるので、測定を行ったホールで任意の音声が再生された(任意の演奏が行われた)ものとして再現することができる。
In this way, the sound field in the
Here, according to this, if the impulse response is measured once in the
In this case, according to the configuration shown in FIG. 2, since the sound reproduced in the sound field reproduced in this way can be any sound, any sound is reproduced in the measured hall. Can be reproduced as being performed (any performance was performed).
1−2.複数の音像位置の再現
上記説明では、測定環境1において1つの測定用スピーカ3から各測定用マイク4(a〜4p)までのインパルス応答を測定した結果に基づき、再現環境11において1つの音像位置を再現するものとしたが、この技術を応用することで、次の図4に示されるようにして配置した複数の測定用スピーカ3、つまり複数の音像位置を再現することが可能となる。
1-2. Reproduction of multiple sound image positions
In the above description, one sound image position is reproduced in the
図4において、先ずこの場合は、先の図1と同様の測定用マイク4a〜4pを配置した測定環境1において、図示するように複数の測定用スピーカ3−1、3−2、3−3、3−4を、第一閉曲面10の外側におけるそれぞれ別々の場所に配置する。ここでは、測定用スピーカ3−1の配置位置をPosition1とし、測定用スピーカ3−2の配置位置をPosition2と表している。同様に測定用スピーカ3−3、測定用スピーカ3−4の配置位置は、それぞれPosition3、Position4とする。
4, first, in this case, in the
この場合の測定環境1における測定は、測定用スピーカ3ごとに測定用信号TSPを供給して行う。このとき、各測定用マイク4(a〜p)においては、各測定用スピーカ3ごとの出力音声信号について検出するようにされる。各測定用マイク4にて得られたこれら測定用スピーカ3ごとの音声信号は、この場合も図示しないインパルス応答測定装置に供給され、これによって各測定用スピーカ3(3−1〜3−4)から各測定マイク4(a〜p)までのそれぞれに対応したインパルス応答が測定され、その結果に基づき、各測定用スピーカ3から各測定マイク4までのそれぞれに対応した伝達関数を求めることができる。
例えば図4では、測定用スピーカ3−1から測定用マイク4aまでに対応した伝達関数Ha−1、測定用スピーカ3−1から測定用マイク4bまでに対応した伝達関数Hb−1を得る経路を模式的に示している。また、同じように測定用スピーカ3−3から測定用マイク4aまでに対応した伝達関数Ha−3、測定用スピーカ3−3から測定用マイク4oまでに対応した伝達関数Ho−3を求める経路についても模式的に示している。
The measurement in the
For example, in FIG. 4, a path for obtaining a transfer function Ha-1 corresponding to the measurement speaker 3-1 to the
このようにして、測定用スピーカ3ごとに出力した測定用信号TSPに応じて、測定用スピーカ3−1から各測定用マイク4a〜pまでに対応した伝達関数Ha−1〜Hp−1、測定用スピーカ3−2から各測定用マイク4a〜pに対応した伝達関数Ha−2〜Hp−2、測定用スピーカ3−3から各測定用マイク4a〜pまでに対応した伝達関数Ha−3〜Hp−3、測定用スピーカ3−4から各測定用マイク4a〜pまでに対応した伝達関数Ha−4〜Hp−4を求めることができる。
この場合のインパルス応答の測定は、異なるPositionの測定用スピーカ3からの音声が混在しないように、1つの測定用スピーカ3ごとに測定用信号TSPを出力して行うことが望ましい。また、複数の測定用スピーカ3を配置する以外にも、1つの測定用スピーカ3を順次各Positionに配置して行うようにすることもできる。
In this way, according to the measurement signal TSP output for each
The measurement of the impulse response in this case is desirably performed by outputting the measurement signal TSP for each
図5は、これら各伝達関数Ha−1〜Hp−1、Ha−2〜Hp−2、Ha−3〜Hp−3、Ha−4〜Hp−4に基づき、音場再現を行うための再現用音声信号(単に再現信号とも呼ぶ)を生成する再現信号生成装置15の構成を示している。
この再現信号生成装置15としては、例えば複数の音像位置(Position1〜Position4)ごとに、それぞれ異なる音声を出力する場合に対応した構成を採る。このために、各Positionに対応した音声再生部6−1、6−2、6−3、6−4の計4つの音声再生部を備えるようにされる。
この場合も各音声再生部6としては、任意の音声信号Sを出力することができるようにされている。ここでは、各音声再生部6から出力される音声信号Sを、それぞれのPositionの番号に対応させて音声信号S1、S2、S3、S4と示している。
FIG. 5 shows reproduction for performing sound field reproduction based on these transfer functions Ha-1 to Hp-1, Ha-2 to Hp-2, Ha-3 to Hp-3, Ha-4 to Hp-4. 2 shows a configuration of a reproduction
For example, the reproduction
Also in this case, each audio reproduction unit 6 can output an arbitrary audio signal S. Here, the audio signal S output from each audio reproduction unit 6 is shown as audio signals S1, S2, S3, and S4 corresponding to the respective Position numbers.
また、この場合の演算部7としては、Position1〜Position4のそれぞれに対応した4セットを設けるものとしている。すなわち、Position1に対応した演算部7a−1〜7p−1、Position2に対応した演算部7a−2〜7p−2、Position3に対応した演算部7a−3〜7p−3、Position4に対応した演算部7a−4〜7p−4が設けられる。
演算部7a−1〜7p−1に対しては、図示するように測定用スピーカ3−1(Position1)から各測定用マイク4への出力に応じて得られた伝達関数Ha−1〜Hp−1が設定される。これら演算部7a−1〜7p−1は、それぞれ音声再生部6−1から入力される音声信号S1に対し、設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−1〜SHp−1を出力する。これによって、先ずは測定用スピーカ3−1(Position1)の音像位置を再現するための再現信号が得られる。
また、演算部7a−2〜7p−2に対しては、測定用スピーカ3−2(Position2)から各測定用マイク4への出力に応じて得られた伝達関数Ha−2〜Hp−2が設定され、これら演算部7a−2〜7p−2は、それぞれ音声再生部6−2から入力される音声信号S2に対し設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−2〜SHp−2を出力する。これによって測定用スピーカ3−2(Position2)の音像位置を再現するための再現信号が得られる。
同様に、演算部7a−3〜7p−3は、測定用スピーカ3−3(Position3)に応じて得られた伝達関数Ha−3〜Hp−3が設定され、それぞれ音声再生部6−3から入力される音声信号S3に対し設定された伝達関数Hに基づく演算処理を行って、再現信号SHa−3〜SHp−3を出力する。これにより測定用スピーカ3−3(Position3)の音像位置を再現するための再現信号が得られる。
さらに、演算部7a−4〜7p−4は、測定用スピーカ3−4(Position4)に応じて得られた伝達関数Ha−4〜Hp−4が設定され、それぞれ音声再生部6−4から入力される音声信号S4に対し設定された伝達関数Hに基づく演算処理を行って再現信号SHa−4〜SHp−4を出力する。これにより測定用スピーカ3−4(Position4)の音像位置を再現するための再現信号が得られる。
In this case, four sets corresponding to each of
For the
For the
Similarly, in the
Furthermore, the
加算器9a〜加算器9pは、再現用スピーカ8a〜8pと1対1の関係により設けられ、演算部7a−1〜7p−1、演算部7a−2〜7p−2、演算部7a−3〜7p−3、演算部7a−4〜7p−4のうち、対応する添え字(アルファベット)の付された演算部7からの出力を入力し、それらを加算して対応する添え字の付される再現用スピーカ8に供給する。
つまり、例えば加算器9aは、演算部7a−1、7a−2、7a−3、7a−4からの4つの再現信号SHa−1、SHa−2、SHa−3、SHa−4を入力し、これらを加算して再現用スピーカ8aに供給する。これによってスピーカ8aからは、図4に示した全てのPositionから測定用マイク4aまでの経路に対応した再現音声を出力することができる。
また、加算器9pは、演算部7p−1、7p−2、7p−3、7p−4からの4つの再現信号SHp−1、SHp−2、SHp−3、SHp−4を入力し、これらを加算して再現用スピーカ8pに供給する。これによりスピーカ8pからは、図4に示した全てのPositionから測定用マイク4pまでの経路に対応した再現音声を出力することができる。
このような再現信号SHの加算が加算器9b〜9oにおいて同様に行われることで、それぞれ対応するスピーカ8b〜8oにおいても、同様に全てのPositionから該当する測定用マイク4までの経路に対応した再現信号を出力することができる。
この結果、これら再現用スピーカ8a〜8pにより囲われる、再現環境11における第一閉曲面10の内側の聴取者は、図4に示した各測定用スピーカ4(Position1、Position2、Position3、Position4)のそれぞれから音声を再生した場合の音場が第一閉曲面10の外側に擬似的に再現されているように感じることができる。すなわち、これによってPosition1、Position2、Position3、Position4のそれぞれの位置に、音像を再現(定位、提示)することができる。
The
That is, for example, the
Further, the
By adding the reproduction signals SH in the same manner in the
As a result, the listener inside the first closed
図6は、この場合の再現環境11について模式的に示している。
先の図5に示した再現信号生成装置15では、Position1、Position2、Position3、Position4ごとに独立して別々の音声を入力できるように構成した。これによれば、各Positionごとに、例えばボーカル、ドラム、ギター、キーボード(鍵盤楽器)などといった異なるPlayerの音声を入力することで、この図6に示されているように、Position1にはボーカル(Player1)、Position2にはドラム(Player2)、Position3にはギター(Player3)、Position4にはキーボード(Player4)などというように、然るべきPositionに然るべきPlayerの音像を提示することができるようになる。
FIG. 6 schematically shows the
The reproduction
1−3.第二閉曲面での音場再現
ここで、これまでで説明したような音場再現の手法においては、測定用スピーカ4の配置数、再現環境11での再現用スピーカ8の配置数を増やすほど、音像の定位感(音場の再現度)は増すことができる。このことによれば、再現環境11としては、なるべく多くの再現用スピーカ8を配置できる環境が望ましいものとなるが、実際の再現環境としては、例えば一般の家庭の部屋などとされることも考えられる。
一般家庭の部屋などの環境では、スピーカの配置数は限られたものとなり、また、このように配置数が制限される以外にも、それぞれの家庭では各スピーカの配置関係が異なるものとなることが予想される。従って、一般家庭での音場再現を想定した場合は、それらの条件に応じて、ホールなどの測定環境において、それぞれの条件に応じた測定用マイク4の配置関係・配置数の別ごとに測定を行う必要がある。
しかし、このことによると、例えば新たなスピーカの個数・配置の条件に対応させるとした場合には、いちいち対象とするホールに出向き、その条件に応じた測定用マイクの配置により測定を行う必要がでてきてしまい、この点で多大な労力と費用を要するものとなってしまう。
1-3. Sound field reproduction on the second closed surface
Here, in the sound field reproduction method as described above, as the number of the
In an environment such as a room in a general household, the number of speakers arranged is limited, and in addition to the limited number of speakers arranged in this way, the arrangement relationship of each speaker in each home is different. Is expected. Therefore, when sound field reproduction in a general home is assumed, measurement is performed for each of the arrangement relation / number of
However, according to this, for example, when it is necessary to correspond to the condition of the number and arrangement of new speakers, it is necessary to go to the target hole one by one and perform measurement with the arrangement of the measurement microphone according to the condition. In this respect, much labor and cost are required.
ここで、これまでの説明のようにして、再現環境11における第一閉曲面10の内側で測定環境1での音場を再現できるということは、この第一閉曲面10のさらに内側の第二閉曲面においても、第一閉曲面10上の各スピーカからの伝達関数を用いた演算処理を行えば、測定環境1の音場を再現するための再現信号を得ることができる。
つまり、これによって上記第二閉曲面内において、測定環境1の音場を再現することが可能となる。
これによれば、例えば対象とするホールなどでの測定を1度行っておけば、家庭の部屋などの実際の再現環境への適応のための測定は、いちいち対象とするホールなどに出向かずとも、再現環境11としての例えば実験施設などにおいて、第一閉曲面10上の再現用スピーカ8のそれぞれから第二閉曲面14上のそれぞれの測定用マイクまでについて行えばよいものとできる。
Here, as described so far, the fact that the sound field in the
That is, this makes it possible to reproduce the sound field of the
According to this, for example, if the measurement in the target hall is performed once, the measurement for adapting to the actual reproduction environment such as the room in the home does not have to go to the target hall. For example, in a laboratory facility as the
なお、ここで確認のために述べておくと、再現環境11における第一閉曲面10での音場再現としては、上記した実験施設などで家庭の部屋などへの適応に供される以外にも多様な用途が想定できる。
例えば、ライブなどのイベントとしては、実際にその会場(ホール)でアーティストが演奏する形態以外にも、所謂フィルムライブなどとして行われるような、実際のライブ会場での映像を映し出すスクリーンを配置した会場においてライブ音声を流すことで行われるものもある。
このようなフィルムライブの会場であれば、比較的多数の再現用スピーカ8を配置することができる(つまり測定時に多数の測定用マイク4を配置できる)ので、実際のライブ会場で測定した情報に基づきこれらの再現用スピーカ8から再現音声を出力すれば、実際のライブ会場さながらの音場を再現することができる。また、このとき、PlayerごとのPositionが予め決まっているのであれば、予め実際の会場にてそのPositionごとに測定を行っておき、再現時にはそのPositionに該当するPlayerの音声をそのPositionでの測定結果(伝達関数)に基づいて演算処理を施すことで、各Playerの音像位置も的確に再現することができる。
For confirmation, the sound field reproduction on the first closed
For example, as a live event, in addition to the actual performance of the artist in the venue (hall), a venue where a screen for displaying images at an actual live venue, such as a so-called film live, is arranged. In some cases, live audio is played.
In such a film live venue, a relatively large number of reproduction speakers 8 can be arranged (that is,
図7は、上記のようにして第一閉曲面10内の第二閉曲面において音場再現を行うにあたっての、インパルス応答の測定手法について説明するための模式図である。
なお、ここでは説明を簡略化するために、測定環境1において測定用スピーカ3を1つのみ配置し、1つの音像位置のみを再現する場合について例示する。
図7において、この場合は、再現環境11における第一閉曲面10の内側に、測定用マイク13A、13B、13C、13D、13Eを配置する。これらの測定用マイク13(A〜E)は、例えば家庭の部屋などとされる再現環境(後述する再現環境20)に配置される再現用スピーカに対応した配置状態をとるようにされればよく、その個数及び配置関係は図示するものに限定はされない。
この図では、これら測定用マイク13(A〜E)を外周として形成される閉曲面を、第二閉曲面14として表している。この第二閉曲面14の内側が、家庭の部屋などとされる再現環境における聴取位置になる。
なお、第二閉曲面14は、第一閉曲面10の内側に形成される必要があるため、測定環境1において測定を行う場合は、第二閉曲面14の広さを考慮して第一閉曲面10を形成することが望ましい。
またこの場合、ホールでの測定はなるべく多くの測定用マイク4を配置して、第一閉曲面10上のなるべく多くの点までについての伝達関数Hを求めておくことが好ましい。これによって測定環境1→再現環境11ではより高い再現度で対象とした音場を再現できる状態としておくことができ、家庭の部屋などの再現環境への適応としてもより高い再現度を実現できる。
FIG. 7 is a schematic diagram for explaining an impulse response measurement technique when reproducing the sound field on the second closed curved surface in the first closed
In order to simplify the description, an example is given in which only one
7, in this case,
In this figure, a closed curved surface formed with the measurement microphones 13 (A to E) as the outer periphery is represented as a second closed curved surface 14. The inside of the second closed curved surface 14 is a listening position in a reproduction environment such as a home room.
Since the second closed curved surface 14 needs to be formed inside the first closed
In this case, it is preferable to arrange as
そして、この場合は、図示するように測定用信号再生装置2により、測定用信号TSPを第一平曲面10上に配置された各再現用スピーカ8(a〜p)ごとに出力して、各スピーカ8から各測定用マイク13までに対応したインパルス応答を測定する。これらのインパルス応答から、各スピーカ8→各測定用マイク13のそれぞれの経路での伝達関数を求めることができる。
In this case, as shown in the figure, the measurement
このような第一閉曲面10上に配置された再現用スピーカから第二閉曲面14上に配置された測定用マイクまでの伝達関数は「E」により表すものとする。
例えば図7にも示されているように、測定用マイク13Aに対する再現用スピーカ8aからの伝達関数はEa−Aと表す。また、測定用マイク13Aに対する再現用スピーカ8bからの伝達関数はEb−Aとし、また再現用スピーカ8cからの伝達関数はEc−Aと表す。
また、図示は省略しているが、上記再現用スピーカ8aから、残りの測定用マイク13B〜13Eへの伝達関数をEa−B、Ea−C、Ea−D、Ea−E、さらに、上記再現用スピーカ8bから測定用マイク13B〜13Eへの伝達関数をEb−B、Eb−C、Eb−D、Eb−E、上記再現用スピーカ8cから測定用マイク13B〜13Eへの伝達関数をEc−B、Ec−C、Ec−D、Ec−Eと表す。以下も同様に、小文字アルファベットは測定用スピーカ8の別、ハイフン後の大文字アルファベットは測定用スピーカ13の別を示すものとして、スピーカ→マイクの対応を示すようにして伝達関数Eを表現する。
The transfer function from the reproduction speaker arranged on the first closed
For example, as shown in FIG. 7, the transfer function from the
Although not shown, transfer functions from the
ここで、上記のようにして求められた伝達関数Eを用いれば、第二閉曲面14内において、第一閉曲面10の内側で再現される音場を再現することができる。先にも述べたように、再現環境11における第一閉曲面10の内側では伝達関数Hを用いて測定環境1の音場を再現できるので、これによれば上記第二閉曲面14内においても、測定環境1の音場を再現できることになる。
Here, if the transfer function E obtained as described above is used, the sound field reproduced inside the first closed
図8は、このようにして第二閉曲面14内において測定環境1の音場を再現するための再現信号生成装置19の構成を示している。
なお、この図においては、家庭の部屋などとされる実際の再現環境20に配置される再現用スピーカを、図示するように再現用スピーカ18A、18B・・・18Eとしている。
先ず、音声再生部6からの音声信号Sは、先の図2に示したものと同様に伝達関数Ha〜Hpが設定された演算部7a〜7pのそれぞれに入力される。このように演算部7a〜7pにより音声信号Sがそれぞれ伝達関数Ha〜Hpに基づき演算処理されることで、再現用スピーカ8a〜8pのそれぞれに対応した再現信号SHa〜SHpが得られる。
FIG. 8 shows the configuration of the reproduction
In this figure, reproduction speakers arranged in an actual reproduction environment 20 such as a home room are
First, the audio signal S from the audio reproduction unit 6 is input to each of the
ここで、先の図7を参照してわかるように、この場合の第一閉曲面10上の再現用スピーカ8からの出力音声は、第二閉曲面14上の各マイク13に対して入力される。そしてこれに伴い、伝達関数Eとしては、1つの測定用マイク13につき、第一閉曲面10上の再現用スピーカ8a〜8pに応じた数がそれぞれ得られる。すなわち、測定用マイク13Aに対応してはEa−A、Eb−A・・・Ep−A、測定用マイク13Bに対応してはEa−B、Eb−B・・・Ep−B、測定用マイク13Cに対応してはEa−C、Eb−C・・・Ep−Cが得られる。また、測定用マイク13Dに対応してはEa−D、Eb−D・・・Ep−D、測定用マイク13Eに対応してはEa−E、Eb−E・・・Ep−Eが得られるものである。
従って、第二閉曲面14上の各測定用マイク13(つまり実際の再現環境20における再現用スピーカ18)の位置ごとに対応する再現信号を得るにあたっては、図示するように測定用マイク13の位置(A〜E)ごとに、上述の各マイク13ごとのa〜pの伝達関数Eを設定した、演算部16a−A〜16p−A、16B−a〜16B−p・・・16E−a〜16E−pを設けるようにする。
そして、図示するように、これら演算部16a−A〜16p−A、16B−a〜16B−p・・・16E−a〜16E−pに対し、上記した演算部7a〜7pからの再現信号SHa〜SHpとして、それぞれ対応する添え字の付された再現信号SHを供給し、これにより各演算部16において、入力される再現信号SHを各々に設定された伝達関数Eに基づき演算処理を施すようにする。
Here, as can be seen with reference to FIG. 7, the output sound from the reproduction speaker 8 on the first closed
Accordingly, in order to obtain a reproduction signal corresponding to each position of each measurement microphone 13 on the second closed curved surface 14 (that is, the reproduction speaker 18 in the actual reproduction environment 20), the position of the measurement microphone 13 as shown in FIG. The arithmetic units 16a-A to 16p-A, 16B-a to 16B-p,... 16E-a to which the transfer functions E of a to p for the respective microphones 13 are set for each (A to E). 16E-p is provided.
Then, as shown in the figure, for these arithmetic units 16a-A to 16p-A, 16B-a to 16B-p ... 16E-a to 16E-p, the reproduction signal SH from the above-described
このような構成により、測定用マイク13A〜13Eの配置位置(再現用スピーカ18A〜18Eの配置位置)ごとに、第一閉曲面10上の測定用スピーカ8a〜8pのそれぞれの経路からに応じた伝達関数Eにより演算処理された再現信号SHEを得ることができる。
つまり、例えば測定用マイク13A(再現用スピーカ18A)に対応しては、測定用マイク8a〜8pのそれぞれからの経路に応じた伝達関数Eにより演算処理された再現信号SHEA−a〜SHEA−pが得られる。同様に、測定用マイク13B(再現用スピーカ18B)に対応しては、測定用マイク8a〜8pからのそれぞれの経路に応じた伝達関数Eにより処理された再現信号SHEB−a〜SHEB−pが得られるといったものである。
以下同様に、演算部16a−C〜16p−C、16D−a〜16D−p、16E−a〜16E−pからの出力は、それぞれSHEC−a〜SHEC−p、SHED−a〜SHED−p、SHEE−a〜SHEE−pと表すものとする。
With such a configuration, the
That is, for example, for the
Similarly, the outputs from the arithmetic units 16a-C to 16p-C, 16D-a to 16D-p, and 16E-a to 16E-p are respectively SHEC-a to SHEC-p and SHED-a to SHED-p. , SHEE-a to SHEE-p.
加算器17A、17B・・・17Eは、再現用スピーカ18A、18B・・・18Eと1対1の関係により設けられる。
図示するように加算器17A、17B・・・17Eは、演算部16a−A〜16p−AからのSHEA−a〜p、16a−B〜16p−BからのSHEB−a〜p・・・16a−E〜16p−EからのSHEE−a〜pを入力し、それらを加算して再現用スピーカ18A、18B・・・18Eのうちの対応するスピーカ18に供給する。
上記説明から理解されるように、加算器17の各々に入力される再現信号SHE(a〜p)は、それぞれ伝達関数H及び伝達関数Eに基づき処理され、且つそれぞれの測定用マイク13(再現用スピーカ18)ごとに応じた再現信号となっている。
従って上記のように各加算器17でそれらを加算して対応する再現用スピーカ18に供給することで、各再現用スピーカ18からは、それぞれ測定環境1における音場を再現するための再現信号SHE(SHEA、SHEB・・・SHEE)が出力されることになる。すなわち、このような再現用スピーカ18を第二閉曲面14上での測定用マイク13と同様に配置した実際の再現環境20では、その第二閉曲面14内において、測定環境1の音場を再現することができるようになる。
As shown in the figure,
As understood from the above description, the reproduction signals SHE (ap) input to each of the adders 17 are processed based on the transfer function H and the transfer function E, respectively, and each measurement microphone 13 (reproduction). The reproduction signal corresponds to each speaker 18).
Therefore, as described above, the adders 17 add them and supply them to the corresponding reproduction speakers 18, so that the reproduction signals SHE for reproducing the sound field in the
図9は、このように第二閉曲面14にて測定環境1の音場を再現する場合での、実際の再現環境20と、仮想音場としての測定環境1、及び第一閉曲面10を模式的に示している。
再生環境20における再現用スピーカ18(A〜E)は、先の図7に示した第二閉曲面14上と同じ半径を有する第二閉曲面14上において、図7の各測定用マイク13(A〜E)と同等の位置関係により配置される。つまり、この再現環境20における各再現用スピーカ18は、各測定用マイク13と幾何学的に同等の位置関係により配置される。
そして、図示するようにこれら再現用スピーカ18(A〜E)は、第二閉曲面14上において、その内側方向に向けて配置され、再現用スピーカ18Aからは再現信号SHEA、再現用スピーカ18Bからは再現信号SHEB、再現用スピーカ18Cからは再現信号SHEC、再現用スピーカ18Dからは再現信号SHED、再現用スピーカ18Eからは再現信号SHEEを出力することで、第二閉曲面14の内側にいる聴取者にとっては、破線で示す第一閉曲面10上に配された再現用スピーカ8(a〜p)により再現される音場と同等な音場を感じることができる。つまりは、破線で示す測定環境1の音場(残響・測定用スピーカ3の音像位置)を擬似的に知覚することができる。従って第二閉曲面14内を聴取位置とした場合、測定環境1内における残響音場、及び音像定位を得ることができるようになる。これにより、例えば家庭の部屋などに居ながら、例えばホールなどの残響音場及び音像定位により、コンテンツとしての音声を聴取することができるようになる。
FIG. 9 shows the actual reproduction environment 20, the
The reproduction speakers 18 (A to E) in the reproduction environment 20 are arranged on the second closed curved surface 14 having the same radius as the second closed curved surface 14 shown in FIG. A to E) are arranged in the same positional relationship. That is, each reproduction speaker 18 in the reproduction environment 20 is arranged in a geometrically equivalent positional relationship with each measurement microphone 13.
Then, as shown in the figure, these reproduction speakers 18 (A to E) are arranged on the second closed curved surface 14 so as to face inward, and from the
なお、ここでは測定環境1において1つの測定用スピーカ3のみが配置されたものとして、1つのPositionのみを想定した場合を例示したが、複数のPositionを想定した場合は、増やしたPositionの数分、先の図8に示した各加算器17よりも前段の構成を追加すればよい。つまり、例えばPosition1とPosition2との2つのPositionを想定した場合、図8に示した構成に対し、さらにPosition2用の音声再生部6(6−2)、演算部7a〜7p(7a−2〜7p−2)、演算部16A−a〜16A−p、16B−a〜16B−p・・・16E−a〜16E−p(16A−a−2〜16A−p−2、16B−a−2〜16B−p−2・・・16E−a−2〜16E−p−2)を追加する。その上で、追加した演算部16A−a−2〜16A−p−2、16B−a−2〜16B−p−2・・・16E−a−2〜16E−p−2から出力される再現信号については、この場合も加算器17A〜17Eが、それぞれ同じ添え字(大文字アルファベット)の付されたものを入力・加算するように構成すればよい。
但しこの場合、測定環境1→第一閉曲面10での伝達関数Hに基づき再生信号Sを処理する演算部7a〜7pと演算部7a−2〜7p−2とでは、それぞれに設定される伝達関数H(a〜b)は異なるもとなる。つまり、例えば演算部7a〜7pで設定される伝達関数Hが、Position1から各測定用マイク8に対応したHa−1〜Hp−1だとすると、演算部7a−2〜7p−2で設定される伝達関数Hは、Position2から各測定用マイク8に対応したHa−2〜Hp−2を測定することになる。
上記構成により、加算器17A〜17Eの出力としては、測定環境1→第一閉曲面10の対応ではPosition1及びPosition2の音像位置がそれぞれ加味され、且つ第一閉曲面10→第二閉曲面14での対応では伝達関数Eにより適応が為された再現信号SHE(A〜E)が得られる。これによって各再現用スピーカ18(A〜E)からは、Position1及びPosition2の音像位置を再現することのできる再現信号を出力することができ、これにより第二閉曲面14においても、その内側の聴取者は、仮想音場としての測定環境1におけるPosition1、Position2に、それぞれの音像を知覚することができるようになる。
Here, the case where only one position is assumed as an example in which only one
However, in this case, the
With the above configuration, the outputs of the
<2.実施の形態としての音場再現>
2−1.音源の指向方向の再現
ここで、これまでで説明した音場再現の手法では、測定環境1において測定用信号を出力する測定用スピーカ3としては無指向性のものとし、これによってある1点から空間全体へ音の放出が可能となるようにして、測定空間の広さや壁、床、天井の材質、幾何学構造等を要因とする響きを表現するための情報(測定環境1の空間情報)を測定するようにされていた。
しかしながら実際において、測定用スピーカ3の配置位置に仮想音像として再現しようとする音源としては、指向性を有するものも想定できる。このような場合において、上記のように無指向性による測定用スピーカ3を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。
<2. Sound field reproduction as an embodiment>
2-1. Reproduction of direction of sound source
Here, in the sound field reproduction method described so far, the
However, in reality, a sound source having a directivity can be assumed as a sound source to be reproduced as a virtual sound image at the position where the
そこで、本実施の形態としては、測定環境1において測定用信号を出力する測定用スピーカとして、有指向性のスピーカを用い、これを所要の方向に向けてインパルス応答を測定した結果に基づき、音場を再現する。
図10は、本実施の形態としての音場再現として、先ずは音源の特定の指向方向を再現する場合における測定環境1の模式図を示している。
図10において、この場合も測定環境1では、第一閉曲面10上においてそれぞれ外向きに測定用マイク4a〜4pを配置する。その上でこの場合は、有指向性の測定用スピーカとして、単一指向性の測定用スピーカ21を、図示するように或る特定の方向に向けた状態で測定用信号TSPの出力を行い、以降はこれまでと同様に測定用マイク4a〜4pまでに対応したインパルス応答の測定を行って伝達関数Hを求める。
ここで、図10において測定用スピーカ21が向けられた方向はDirection2とし、また測定用スピーカ21の配置位置はPosition1とする。
そして、このDirection2に向けた状態で上記のようにして各測定用マイク4(a〜p)ごとに得られた伝達関数Hは、測定用マイク4a、4b・・・4pの順に、それぞれ伝達関数Ha-dir2、Hb-dir2、Hc-dir2・・・Hp-dir2と表す。
Therefore, in the present embodiment, a directional speaker is used as a measurement speaker that outputs a measurement signal in the
FIG. 10 is a schematic diagram of the
10, in this case as well, in the
Here, the direction in which the
And the transfer function H obtained for each measurement microphone 4 (ap) as described above in the state directed to
図11は、このようにして得られた伝達関数Hに基づき、再現環境11にて測定環境1の音場を再現する様子を模式的に示している。
先ずこの場合、音源としては、ライン収録音源(Player1)22を想定している。このライン収録音源22とは、対象とするPlayerから直接的に収録した音源であり、例えばボーカルではマイクによって検出した電気信号を取り込んだものであり、またギターやキーボードなどの電気楽器では音声出力端子からの電気信号を直接的に取り込んだものとなる。
確認のために述べておくと、ここで言う「Player」とは、再現しようとする仮想音像位置(Position)の1つ1つに対応するものであり、先の図6にも示したように、例えばボーカル、ドラム、ギター、キーボードなどの各演奏者の別に対応するものとなる。ここでは、Player1はボーカルであるとして、その仮想音像を破線により示している。
FIG. 11 schematically shows how the sound field of the
First, in this case, the line recording sound source (Player 1) 22 is assumed as the sound source. The line
For confirmation, “Player” here corresponds to each of the virtual sound image positions (Positions) to be reproduced, as shown in FIG. For example, it corresponds to each performer such as vocals, drums, guitars and keyboards. Here, assuming that
この場合も再現環境11においては、第一閉曲面10上に、測定環境1での測定用マイク4a〜4pと同様の位置関係により再現用スピーカ8a〜8pが配置される。
そして、ライン収録音源22からのライン収録データとしての音声信号を、上述のようにして音源の指向方向が加味された伝達関数Ha-dir2、Hb-dir2、Hc-dir2・・・Hp-dir2の各々に基づき演算処理し、それらを対応する再現用スピーカ8からそれぞれ出力する。
これにより、第一閉曲面10内における聴取者は、測定環境1におけるPosition1の仮想音像位置において、Player1が図中の矢印により示した指向方向に向けて放音しているものとして知覚することができる。すなわち、これにより再現環境11において、測定環境1におけるPosition1の仮想音像位置から特定の指向方向に向けて放音した場合の音場を再現することができる。
なお、この場合の各スピーカ8a〜8pが出力すべき再現信号を生成する再現信号生成装置の構成としては、先の図2に示したものと各演算部7に設定される伝達関数Hが異なる以外は同等の構成となる。
Also in this case, in the
Then, the audio signals as the line recording data from the line
As a result, the listener in the first closed
In this case, as a configuration of a reproduction signal generation device that generates a reproduction signal to be output by each of the
2−2.演奏形態のシミュレート
このようにして、特定の指向方向を表現できれば、例えばボーカルやギターなどのPlayerが演奏中に振り返る、また楽器を回すなどの演奏形態のシミュレートを行うことができる。以下、その手法について説明する。
図12は、このようにして演奏形態のシミュレートを実現するにあたっての測定環境1の様子を模式的に示した図である。
先ずこの場合は、仮想音像位置を中心として各方向に測定用スピーカ21を向けてインパルス応答の測定を行う。ここでは、測定用スピーカ21として指向性60°のスピーカを用いて、音源の指向方向として6つの方向(Direction1、Direction2・・・Direction6)を定義する。
そして、図示するように第一閉曲面10上に配置された各測定用マイク4(a〜p)により、測定用スピーカ21を各Directionに向けたときのインパルス応答を測定し、測定用スピーカ21→各測定用マイク4に対応した伝達関数Hを各Directionごとに得る。
このとき、Direction1としたときの各測定用マイク4(a〜p)までの伝達関数Hは、「Ha-dir1、Hb-dir1・・・Hp-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク4(a〜p)までの伝達関数は、それぞれ「Ha-dir2、Hb-dir2・・・Hp-dir2」、「Ha-dir3、Hb-dir3・・・Hp-dir3」、「Ha-dir4、Hb-dir4・・・Hp-dir4」、「Ha-dir5、Hb-dir5・・・Hp-dir5」、「Ha-dir6、Hb-dir6・・・Hp-dir6」と表す。
2-2. Simulate performance
In this way, if a specific directivity direction can be expressed, it is possible to simulate a performance form such that a player such as a vocal or guitar looks back during performance or turns an instrument. The method will be described below.
FIG. 12 is a diagram schematically showing the state of the
First, in this case, the impulse response is measured by directing the
Then, the impulse response when the
At this time, the transfer function H to each measurement microphone 4 (ap) when
このようにして、各Directionごとの伝達関数Hが得られることで、入力音声信号に対する演算処理を、時間経過と共に異なるDirectionによる伝達関数Hに変更しながら行うことで、音源から発せられる音声の指向方向が順次異なるようにすることができる。例えば、演算処理に用いる伝達関数Hを順次Direction1→Direction2→Direction3・・・→Direction6に対応するものに変更してくことで、仮想音像位置におけるPlayerがDirection1→Direction2→Direction3・・・→Direction6の方向に回転しながら発音している状態を再現することができる。 In this way, by obtaining the transfer function H for each direction, the arithmetic processing for the input sound signal is performed while changing to the transfer function H by different direction as time passes, thereby directing the sound emitted from the sound source. The directions can be different sequentially. For example, by changing the transfer function H used for calculation processing to one corresponding to Direction1 → Direction2 → Direction3 ... → Direction6, the player at the virtual sound image position is Direction1 → Direction2 → Direction3 ... → Direction6 You can reproduce the state of sounding while rotating.
図13は、このような指向方向の制御を行う場合の再現信号生成装置25の構成を示している。
なお、この図では、先の図4〜図6にて説明したようにして測定環境1における複数のPosition(Position1〜Position4)を再現する場合に対応した構成を示す。
このようにPositionを複数想定したとき、伝達関数Hは、各Positionに配置した測定用スピーカ21(21−1〜21−4)について、図12にて説明したものと同様の手法によりインパルス応答の測定を行った結果に基づき求めることができる。
FIG. 13 shows a configuration of the reproduction
This figure shows a configuration corresponding to a case where a plurality of Positions (
As described above, when a plurality of Positions are assumed, the transfer function H is obtained by measuring the impulse response of the measurement speakers 21 (21-1 to 21-4) arranged in each Position by the same method as described in FIG. It can obtain | require based on the result of having measured.
図13において、先ずこの場合の再現信号生成装置25としては、このように複数のPosition(1〜4)に対応するものとしたことから、先の図5に示したものと同様に、各Positionごとの音声再生部(6−1〜6−4)と、各Positionごとの演算部とが設けられる。
この場合も各Position(各Player)に対応した音声再生部は、Position1から順に音声再生部6−1、6−2、6−3、6−4として示している。また、各Positionごとの演算部については、Position1から順に演算部26a−1〜26p−1、26a−2〜26p−2、26a−3〜26p−3、26a−4〜26p−4とする。
さらに、この場合としても再現用スピーカ8a〜8pと1対1の関係により設けられる加算器27a〜加算器27pが備えられる。これら加算器27a〜27pは、演算部26a−1〜26p−1、演算部26a−2〜26p−2、演算部26a−3〜26p−3、演算部26a−4〜26p−4のうち、対応する添え字(アルファベット)の付された演算部26からの出力を入力し、それらを加算して対応する再現用スピーカ8に供給する。これにより各再現用スピーカ8からは、各Positionの音像位置を表現する再現信号を出力することができる。
In FIG. 13, since the reproduction
Also in this case, the audio reproduction units corresponding to each Position (each Player) are shown as audio reproduction units 6-1, 6-2, 6-3, and 6-4 in order from
Further, even in this case,
その上でこの場合には、上記のようにして各Directionごとに求めた伝達関数Hを逐次変更設定して指向方向を制御するための構成として、コントローラ28とROM29とが備えられる。
ROM29内には、予め測定環境1における測定の結果得られた、各Positionごと、及び各Directionごとの伝達関数Hの情報が、Direction対応情報29aとして格納されている。
図14は、ROM29に格納される上記Direction対応情報29aのデータ構造を示している。この図に示すように、この場合は各Positionごとに、測定用スピーカ21をそれぞれのDirectionに向けたときの伝達関数Hの情報が得られることになる。
ここでは、各測定用マイク4(a〜p)までに対応した伝達関数Ha〜Hpについて、その直後に付す数字によりPositionの別を表している。さらに、その後に付す「-dir」の数字により各Directionを表している。例えば、Position1の測定用スピーカ21をDirection2の方向に向けたときの、測定用マイク4aへの伝達関数Hは、「Ha1-dir2」と表し、またPosition3の測定用スピーカ21をDirection6の方向に向けたときの、測定用マイク4bへの伝達関数Hは「Hb3-dir6」と表すといったものである。
In addition, in this case, a
In the
FIG. 14 shows the data structure of the
Here, regarding the transfer functions Ha to Hp corresponding to the respective measurement microphones 4 (a to p), the position is represented by a number immediately after that. Furthermore, each “Direction” is indicated by the number “-dir” attached after that. For example, the transfer function H to the
コントローラ28は、このROM29内に格納される各Position・各Directionごとの伝達関数Hの情報に基づいて、各演算部26に設定される伝達関数Hを可変設定することで、各Positionから発せられる音声の指向方向を制御する。
例えば、Position1についての指向方向をDirection1→Direction2→Direction3方向に回転させるとした場合には、ROM29から伝達関数Ha1-dir1〜Hp1-dir1→Ha1-dir2〜Hp1-dir2→Ha1-dir3〜Hp1-dir3を順次読み出し、これらを演算部26a−1〜26p−1に対し順次設定する。これによりPosition1についての指向方向は時間経過と共に順にDirection1→Direction2→Direction3へと回転させることができる。
The
For example, when the directivity direction for
ここで、よりスムーズな回転を表現するにあたっては、変更するDirectionの間隔を可能な限り短くすることが必要となる。このためには、さらに細かいDirectionの区切りを定義してより多くのDirectionについて伝達関数Hを求めておくことが考えられる。
しかし、これは測定回数の増加を招き現実的ではないので、実際に回転を表現するにあたっては、隣接するDirection同士の伝達関数Hを補間してさらに細かい区切りによるDirectionごとの伝達関数Hを生成し、これらを時間経過に応じて順次変更設定していくようにする。これによれば、比較的少ないDirectionを定義した場合にもスムーズな回転を表現することができる。
Here, in order to express a smoother rotation, it is necessary to shorten the direction interval to be changed as much as possible. For this purpose, it is conceivable to define a finer division of the Direction and obtain the transfer function H for more Direction.
However, this increases the number of measurements and is not realistic, so when actually expressing the rotation, the transfer function H between adjacent directions is interpolated to generate a transfer function H for each direction with finer divisions. These are sequentially changed and set as time passes. According to this, smooth rotation can be expressed even when relatively few Direction are defined.
なお、ここでは、コントローラ28に対して指向方向の変化態様を指示するための構成については省略しているが、このような指向方向の変化態様の指示は、例えば操作部を設けてユーザ操作に基づいて行うことや、音声信号の再生時間軸上のどのタイミングでどのDirectionを設定すべきかを指示するための指示情報を予め与えておくことにより行うことができる。
また、このことは、指向方向制御の対象とする音源(Position)の指定についても同様となる。
Here, the configuration for instructing the
This also applies to the designation of a sound source (Position) that is a target of directivity control.
2−3.ステレオエフェクタの再現
ところで、これまでの説明においては、入力音声信号がモノラル音声信号であることを前提としたが、入力音声信号としてはステレオ音声信号である場合もあり得る。例えば、エレキギターなどの電気楽器としては、その出力音声自体はモノラルであるが、これを演出加工するいわゆるエフェクタを通した場合、モノラル信号が加工されてステレオ信号として出力される場合がある。
このようなエフェクタによる演出効果をそのまま再現したいとした場合には、1つの仮想音像位置につき、Rch(チャンネル)とLchとの2つの音源を再現することが考えられる。ここでは、このようなRchとLchとの再現を、これまでで説明した音源の指向方向の概念を利用して行う例を挙げる。
2-3. Stereo effector reproduction
By the way, in the description so far, it is assumed that the input audio signal is a monaural audio signal, but the input audio signal may be a stereo audio signal. For example, for an electric musical instrument such as an electric guitar, the output sound itself is monaural. However, when a so-called effector for effecting the sound is passed, the monaural signal may be processed and output as a stereo signal.
When it is desired to reproduce the effect by such an effector as it is, it is conceivable to reproduce two sound sources, Rch (channel) and Lch, for one virtual sound image position. Here, an example is given in which such reproduction of Rch and Lch is performed using the concept of the directivity direction of the sound source described so far.
図15は、このように1つの仮想音像位置につきRchとLchとの2つの音源を再現する場合での、測定環境1の様子を模式的に示している。
ここで、それぞれの音源がRchとLchに基づくものであれば、これらの音源に対応する指向方向としては逆とするか、或いは少なくとも同方向とならないようにすればよい。そこでこの場合としては、図示するようにRch音源の指向方向についてはDirection6を定義し、Lch音源の指向方向についてはDirection2を定義する。
そして、これに対応して、この場合の測定としては、Rch音源に対応したDirection6方向に測定用スピーカ21を向けたときの各測定用マイク4へのインパルス応答と、Lch音源に対応したDirection2方向に測定用スピーカ21を向けたときの各測定用マイク4へのインパルス応答を測定し、これによってRch音源、Lch音源に対応したそれぞれの伝達関数Hを求めるようにする。
この場合も、測定用スピーカ21の配置位置をPosition1であるとすると、上記のようにDirection6に向けたときに各マイク4ごとに得られる伝達関数Hは「Ha1-dir6、Hb1-dir6・・・Hp1-dir6」と示す。同様に、Direction2に向けたときに各マイク4ごとに得られる伝達関数Hは「Ha1-dir2、Hb1-dir2・・・Hp1-dir2」と示す。
FIG. 15 schematically shows the state of the
Here, if each sound source is based on Rch and Lch, the directivity directions corresponding to these sound sources may be reversed, or at least not in the same direction. In this case, therefore, Direction 6 is defined for the directivity direction of the Rch sound source and
Correspondingly, measurement in this case includes impulse response to each
Also in this case, if the position of the
図16は、このように1つの仮想音像位置につきRchとLchとの2つの音源を再現する場合に、再現環境11において各再現用スピーカ8(a〜p)から出力すべき再現信号を生成するための再現信号生成装置30の構成を示している。
音声再生部6からの再生信号Sは、ステレオエフェクト処理部31に入力される。このステレオエフェクト処理部31は、入力されるモノラル音声信号に対し、いわゆるフランジャーやデジタルディレイなどといったデジタルエフェクト処理を施してRch、Lchによるステレオ音声信号を生成する。
なお、ここではステレオエフェクタを内蔵する構成を示しているが、外部のエフェクタにおいてステレオエフェクト処理されて得られたRch音声信号とLch音声信号とを直接入力する構成とすることもできる。
FIG. 16 shows that a reproduction signal to be output from each reproduction speaker 8 (ap) is generated in the
A reproduction signal S from the audio reproduction unit 6 is input to the stereo
Although a configuration in which a stereo effector is incorporated is shown here, an Rch audio signal and an Lch audio signal obtained by stereo effect processing in an external effector may be directly input.
演算部31a−R、31b−R・・・31p−Rには、先に説明したようにしてRch音源に対応して求められた伝達関数Ha1-dir6、Hb1-dir6・・・Hp1-dir6が設定される。また、演算部31a−L、31b−L・・・31p−Lには、Lch音源に対応して求められた伝達関数Ha1-dir2、Hb1-dir2・・・Hp1-dir2が設定される。
演算部31a−R、31b−R・・・31p−Rは、それぞれ入力されるRch音声信号に対し設定された伝達関数Hに基づく演算処理を行う。これによってDirection6の指向方向を有するRch音源を再現するために各再現用スピーカ8から出力すべき再現信号が得られる。
同様に、演算部31a−L、31b−L・・・31p−Lとしては、それぞれ入力されるLch音声信号に対し設定された伝達関数Hに基づく演算処理を行うようにされ、これによりDirection2の指向方向を有するLch音源を再現するために各再現用スピーカ8から出力すべき再現信号を得ることができる。
In the
The
Similarly, the
加算器32a〜32pは、それぞれ演算部31a−R〜31p−R、31a−L〜31p−Lのうち、同じ添え字の付された演算部31からの再現信号を入力・加算して、その結果を同じく同一の添え字の付された再現用スピーカ8に供給する。
このようにして、Rch音源の指向方向を再現するための再現信号と、Lch音源の指向方向を再現するための再現信号とがそれぞれ加算されて対応する再現用スピーカ8から出力されることで、これら再現用スピーカ8が配置された再現環境11における第一閉曲面10内において、Rch音源の指向方向とLch音源の指向方向とを表現したかたちで測定環境1の音場を再現することができる。
The
In this way, the reproduction signal for reproducing the directivity direction of the Rch sound source and the reproduction signal for reproducing the directivity direction of the Lch sound source are added and output from the corresponding reproduction speaker 8, respectively. In the first closed
2−4.音源の指向性と指向方向ごとの放音特性の再現
ここで、ピアノやバイオリン、ドラムなどといった電気楽器ではないいわゆるアコースティック楽器としては、それぞれの楽器で多少なりともその指向性と指向方向ごとの放音特性が異なるものとなる。厳密に言えば、このような楽器(音源)ごとの指向性や指向方向ごとの放音特性が、ホール等の音響空間全体に対して個別に影響を与えてその音源の音響特性を形づくるものとなるので、よりリアルにその音源としての仮想音像を再現するとした場合には、その指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うことが有効である。
2-4. Reproduction of directivity of sound source and sound emission characteristics for each direction
Here, as a so-called acoustic musical instrument that is not an electric musical instrument such as a piano, a violin, and a drum, the directivity of each musical instrument and the sound emission characteristics for each directing direction are somewhat different. Strictly speaking, the directivity of each musical instrument (sound source) and the sound emission characteristics of each directivity direction individually affect the entire acoustic space such as a hall and shape the sound characteristics of the sound source. Therefore, if the virtual sound image as the sound source is reproduced more realistically, it is effective to reproduce the sound field in consideration of the directivity and sound emission characteristics for each direction.
このように音源の指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うとした場合の手法を、次の図17〜図20を参照して説明する。
図17は、この場合の音源の収録の様子を模式的に示した図であり、図17(a)ではその斜視図を、また図17(b)ではその上視図を示している。
この場合、先ずは所要の音源36を或る平面上で円形状に囲う音源収録面35を定義する。そして、この音源収録面35上において、音源36を取り囲むようにして複数の収録用マイク37(有指向性マイク)を配置する。この場合も各マイク37に記した矢印の方向は指向性方向を示しており、これら矢印からわかるように各マイク37は音源36と向き合う方向に配置する。このように配置した複数の有指向性マイクごとに音源36からの音声を収録することで、それぞれの収録音声には、音源36の指向性と指向方向ごとの放音特性とを反映させることができる。
ここでは、音源収録面35上においてそれぞれ指向性60°の収録用マイク37を6つ配置し、Direction1〜Direction6の6つのDirectionを定義する例を示している。図示するようにDirection1の収録用マイク37は収録用マイク37−1、Direction2の収録用マイク37は収録用マイク37−2というように、収録用マイク37の符号はハイフン以下の数字により配置されるDirectionの別を示す。
このように音源36を6方向から囲うことによって、この場合は音源36についての指向方向として6つの方向が定義されたことになる。さらには、このように6方向に配置した各収録用マイク37により音声を収録することで、これら各収録用マイク37ごとの収録音声としては、音源36の6つの指向方向ごとの放音特性をそれぞれ反映したものとすることができる。
A method in which sound field reproduction is performed in such a manner in consideration of the directivity of the sound source and the sound emission characteristics for each directivity direction will be described with reference to FIGS.
FIGS. 17A and 17B are diagrams schematically showing how sound sources are recorded in this case. FIG. 17A shows a perspective view thereof, and FIG. 17B shows a top view thereof.
In this case, first, a sound
Here, an example is shown in which six recording microphones 37 each having a directivity of 60 ° are arranged on the sound
Thus, by enclosing the
このことによれば、この場合に各収録用マイク37で収録された音声を、それぞれのDirectionごとに外向きに放音すれば、音源36の指向性と指向方向ごとの放音特性とを再現することができる。
つまり、図17において各Directionごとに配置される各収録用マイク37の位置に同じ指向性60°の有指向性スピーカを外向きに配置し、これらのスピーカからそれぞれ対応する収録用マイク37による収録音声を出力することで、音源36の指向性と指向方向ごとの放音特性とを反映したかたちで音源36を再現することができる。
なお、この場合において、各収録用マイク37による音源36の収録は、収録現場での空間情報が含まれないようにするために、なるべく音源36に近接した状態(いわゆる「オン」の状態)で行われることが好ましい。
According to this, if the sound recorded by each recording microphone 37 in this case is emitted outward for each direction, the directivity of the
That is, in FIG. 17, a directional speaker having the same directivity of 60 ° is disposed outward at the position of each recording microphone 37 disposed for each direction, and recording is performed by the corresponding recording microphone 37 from these speakers. By outputting sound, the
In this case, the recording of the
このようにして、音源36を囲うようにして各Directionから音声を収録し、同じDirectionの関係となるように配置した有指向性スピーカによってそれぞれの収録音声を出力することで、音源36の指向性と指向方向ごとの放音特性を再現することができるが、本実施の形態としては、このような音源36が配置された測定環境1としての音場を、別の環境である再現環境11にて再現しようとするものである。
ここで、再現環境11において測定環境1に配置された音源36のDirection1〜Direction6の指向方向を表現するためには、先にも説明したように、これらDirectionごとに伝達関数Hを求めるようにすればよい。この場合には、音源36からの収録音声は各Directionごとに存在するので、これら各Directionの収録音声を、各Directionについて求めた伝達関数Hのうちの同じDirectionの伝達関数Hにより畳み込むことで、各Directionごとの再現信号を得ることができる。
In this way, sound is recorded from each direction so as to surround the
Here, in order to express the directivity directions of
なお、ここでは音源36についての指向方向として6つを定義しているので、各Directionごとの伝達関数Hを求める手法としては、この場合も先の図12において説明したように、測定環境1における測定用スピーカ21を各Direction(Direction1〜Direction6)に向けたときの、各測定用マイク4(a〜p)までに対応したインパルス応答を測定して行えばよい。
すなわち、例えば音源36の測定環境1での配置位置を仮にPosition1(Player1)とした場合、Direction1については、伝達関数Ha1-dir1、Hb1-dir1・・・Hp1-dir1、Direction2については伝達関数Ha1-dir2、Hb1-dir2・・・Hp1-dir2を求める。同様に、Direction3については伝達関数Ha1-dir3、Hb1-dir3・・・Hp1-dir3、Direction4については伝達関数Ha1-dir4、Hb1-dir4・・・Hp1-dir4、Direction5については伝達関数Ha1-dir5、Hb1-dir5・・・Hp1-dir5、Direction6については伝達関数Ha1-dir6、Hb1-dir6・・・Hp1-dir6を求めるものである。
Here, since six directivity directions for the
That is, for example, if the position of the
図18は、音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応した、再現信号生成装置40の構成を示している。
この場合、音声再生部6にて再生する音声は、各Directionごとに収録した音声信号である。ここでは、Direction1に配置された収録用マイク37−1て収録された音声を再生する音声再生部6を、音声再生部6−1−1とし、またDirection2に配置された収録用マイク37−2て収録された音声を再生する音声再生部6を音声再生部6−1−2と示している。同様に、収録用マイク37−3、37−4、37−5、37−6で収録された音声信号を再生する音声再生部6を、音声再生部6−1−3、6−1−4、6−1−5、6−1−6と示している。
なお、この場合の音声再生部に付した符号について、1つ目のハイフン後の数字は、音源36が仮にPosition1に配置されたPlayer1であると仮定した場合に対応させた数字であり、例えばPosition2に配置されたPlayer2である場合には「2」が付されるといったものである。また、このことは、以下で説明する各部の符号についても同様である。
FIG. 18 shows a configuration of the reproduction
In this case, the audio reproduced by the audio reproducing unit 6 is an audio signal recorded for each direction. Here, the audio reproduction unit 6 that reproduces the audio recorded by the recording microphone 37-1 disposed in
Note that the number after the first hyphen is the number associated with the case where it is assumed that the
そして、これら各Directionごとに収録した音声信号を、各Directionごとに求めた伝達関数Hに基づきそれぞれ処理するための、演算部41−1−1a〜41−1−1p、演算部41−1−2a〜41−1−2p、演算部41−1−3a〜41−1−3p、演算部41−1−4a〜41−1−4p、演算部41−1−5a〜41−1−5p、演算部41−1−6a〜41−1−6pが備えられる。
演算部41−1−1a〜41−1−1pには、測定用スピーカ21をDirection1に向けたときの各測定用マイク4(a〜p)までに対応した伝達関数H(Ha1-dir1〜Hp1-dir1)が設定されており、各々は、音声再生部6−1−1から供給される音声信号を、設定された伝達関数Hに基づき処理する。これにより、先ずはDirection1の収録音声については、Direction1方向に放音されたものとして表現するために各再現用スピーカ8(a〜p)から出力すべき再現信号を得ることができる。
また、演算部41−1−2a〜41−1−2pには、伝達関数Ha1-dir2〜Hp1-dir2が設定され、各々音声再生部6−1−2から再生されるDirection2の収録音声信号について設定された伝達関数Hに基づき演算処理を行うことで、Direction2の収録音声がDirection2方向に放音されたものとして表現するために各再現用スピーカ8から出力すべき再現信号を得ることができる。
同様に、演算部41−1−3a〜41−1−3p、演算部41−1−4a〜41−1−4p、演算部41−1−5a〜41−1−5p、演算部41−1−6a〜41−1−6pには、伝達関数Ha1-dir3〜Hp1-dir3、伝達関数Ha1-dir4〜Hp1-dir4、伝達関数Ha1-dir5〜Hp1-dir5、伝達関数Ha1-dir6〜Hp1-dir6が設定され、それぞれ音声再生部6−1−3、6−1−4、6−1−5、6−1−6からの音声信号を、設定された伝達関数Hに基づき処理する。これにより、演算部41−1−3a〜41−1−3pではDirection3の収録音声、演算部41−1−4a〜41−1−4pではDirection4の収録音声、演算部41−1−5a〜41−1−5pではDirection5の収録音声、演算部41−1−6a〜41−1−6pではDirection6の収録音声について、それぞれ各再現用スピーカ8(a〜p)から出力すべき再現信号が得られる。
Then, calculation units 41-1-1a to 41-1-1p and calculation unit 41-1- for processing the audio signals recorded for each direction based on the transfer function H obtained for each direction. 2a to 41-1-2p, computing units 41-1-3a to 41-1-3p, computing units 41-1-4a to 41-1-4p, computing units 41-1-5a to 41-1-5p, Arithmetic units 41-1-6a to 41-1-6p are provided.
The calculation units 41-1-1a to 41-1-1p include transfer functions H (Ha1-dir1 to Hp1) corresponding to the respective measurement microphones 4 (ap) when the
In addition, transfer functions Ha1-dir2-Hp1-dir2 are set in the arithmetic units 41-1-2a to 41-1-2p, and the recorded audio signals of
Similarly, calculation units 41-1-3a to 41-1-3p, calculation units 41-1-4a to 41-1-4p, calculation units 41-1-5a to 41-1-5p, calculation unit 41-1 The transfer functions Ha1-dir3-Hp1-dir3, transfer functions Ha1-dir4-Hp1-dir4, transfer functions Ha1-dir5-Hp1-dir5, and transfer functions Ha1-dir6-Hp1-dir6 are included in −6a to 41-1-6p. Are set, and the audio signals from the audio reproduction units 6-1-3, 6-1-4, 6-1-5, and 6-1-6 are processed based on the set transfer function H, respectively. As a result, in the calculation units 41-1-3a to 41-1-3p, the recorded voice of Direction3, and in the calculation units 41-1-4a to 41-1-4p, the recorded voice of Direction4, the calculation units 41-1-5a to 41-41. Reproduction signals to be output from the respective reproduction speakers 8 (a to p) are obtained for the recorded sound of
加算器42a、42b・・・42pは、再現用スピーカ8a、8b・・・8pと1対1の関係で設けられており、それぞれ対応する添え字の付された演算部41からの再現信号を入力・加算して、その結果を同一の添え字の付された再現用スピーカ8に供給する。
これにより、上記のようにして各Directionごとに得られた、各再現用スピーカ8ごとに出力すべき再現信号は、再現用スピーカ8ごとに加算されて対応する再現用スピーカ8から出力されるものとなる。
The
As a result, the reproduction signal to be output for each reproduction speaker 8 obtained for each direction as described above is added to each reproduction speaker 8 and output from the corresponding reproduction speaker 8. It becomes.
このような再現信号生成装置40の構成により、例えばDirection1での収録音声は、測定環境1においてDirection1の指向方向で出力されたものとして再現でき、また同様にDirection2での収録音声は、測定環境1においてDirection2の指向方向で出力されたものとして再現環境11において再現することができる。また、他のDirectionでの収録音声についても、同様にそれぞれ対応するDirectionの指向方向により出力されたものとして再現することができる。
この結果、再現環境11の第一閉曲面10内において、音源の指向性と指向方向ごとの放音特性とを反映したかたちで、よりリアルに測定環境1における仮想音像を再現することができる。
With such a configuration of the reproduction
As a result, the virtual sound image in the
なお、ここでは指向性60°の収録用マイク37を6つ用いることで6つのDirectionを定義したとしたことから、伝達関数Hとしては、先の図12と同様の6つのDirectionの測定結果を用いる例を挙げたが、例えば指向性20°の収録用マイク37により18のDirectionの指向方向を定義するなど異なる数の指向方向を定義した場合には、その定義した指向方向ごとに伝達関数Hを求めるようにすればよい。或いは、実際に定義した全ての方向について伝達関数Hの測定を行わずとも、より少ない方向について伝達関数Hを求めておき、それらのうち隣接するDirectionの伝達関数H同士を補間することで、定義したDirectionに応じた伝達関数Hを求めるようにしてもよい。これによって測定回数を削減することができる。 Here, since six Direction is defined by using six recording microphones 37 having a directivity of 60 °, the transfer function H is obtained by measuring the same six Direction measurement results as in FIG. An example of use is given, but when a different number of directivity directions are defined, for example, by defining a directivity direction of 18 directions with a recording microphone 37 having directivity of 20 °, the transfer function H is defined for each defined directivity direction. Should be requested. Or, without measuring the transfer function H for all the directions actually defined, the transfer function H is obtained for a smaller number of directions, and the transfer functions H of adjacent directions among them are interpolated. The transfer function H corresponding to the directed Direction may be obtained. As a result, the number of measurements can be reduced.
また、ここでは、音源からの音声収録は平面的で行う場合を例示したが、例えば次の図19に示されるように、音源を立体的に囲んで音声収録を行うことも考えられる。
図19においては、音源を円筒状に囲む例を示してる。
この場合の音源の収録は、図のように円筒を上段、中段、下段の円形平面により区切り、それぞれの円形平面上に複数の収録用マイク51を配置して行う。
ここでは、上段、中段、下段の円形平面を、それぞれ円形平面50−1、円形平面50−2、円形平面50−3と示している。そして、上段の円形平面50−1の外周上に配置される収録用マイク51を51−1、中段の円形平面50−2の外周上に配置される収録用マイク51を51−2、下段の円形平面50−3の外周上に配置される収録用マイク51を51−3と表す。 この場合もそれぞれの円形平面上では、収録用マイク51は指向性60°のものを使用し、Direction1〜Direction6の6つのDirectionを定義する。この場合、各収録用マイク51のDirectionは、2番目のハイフン後の数字によって表す。例えば、上段のDirection2に配置された収録用マイク51は収録用マイク51−1−2、下段のDirection6に配置された収録用マイク51は51−3−6と表すといったものである。
Further, here, the case where the sound recording from the sound source is performed in a planar manner is illustrated, but for example, as shown in FIG.
FIG. 19 shows an example of surrounding a sound source in a cylindrical shape.
In this case, the sound source is recorded by dividing the cylinder into upper, middle, and lower circular planes as shown in the figure, and arranging a plurality of recording microphones 51 on the respective circular planes.
Here, the upper, middle, and lower circular planes are shown as a circular plane 50-1, a circular plane 50-2, and a circular plane 50-3, respectively. Then, the recording microphone 51 arranged on the outer circumference of the upper circular plane 50-1 is 51-1, the recording microphone 51 arranged on the outer circumference of the middle circular plane 50-2 is 51-2, and the lower microphone plane 51 is arranged. The recording microphone 51 arranged on the outer periphery of the circular plane 50-3 is denoted as 51-3. In this case as well, on each circular plane, the recording microphone 51 uses a directivity of 60 °, and defines six directions from
このように音源を立体的に囲って各収録用マイク51により音声収録を行った場合には、例えば音源が人間である場合を想定すると、衣服が擦れる音、手のアクションで生じる音や足音など、声以外にも複数の音源をその指向性・指向方向ごとの放音特性を含めて収録することが可能となる。
つまりは、図19に示す収録用マイク51と幾何学的に同等の配置位置で、同じ指向性60°の再現用スピーカを外向きに配置し、それらから対応する収録用マイク51で収録された音声を出力することで、円形平面51−1〜51−3で囲まれる空間内に収録対象となった人間が存在するように知覚させることができるものである。
In this way, when the sound source is three-dimensionally enclosed and voice recording is performed by the recording microphones 51, for example, assuming that the sound source is a human being, the sound of rubbing clothes, the sound generated by hand actions, footsteps, etc. In addition to the voice, it is possible to record a plurality of sound sources including the directivity and sound emission characteristics for each directivity direction.
In other words, the reproduction microphones having the same directivity of 60 ° are arranged outwardly at the geometrically equivalent arrangement position as the recording microphone 51 shown in FIG. By outputting the sound, it is possible to perceive that there is a person who is a recording target in the space surrounded by the circular planes 51-1 to 51-3.
図20は、このように立体的に囲んだ音源を再現環境11にて再現するとしたときの、測定環境1の様子を模式的に示した図である。
先ず、この場合は立体的な再現を行うものとされることから、第一閉曲面10としても、立体的な空間を想定する。この場合は、第一閉曲面10としては直方体による空間を想定し、測定用マイクはこの直方体による第一閉曲面10を覆う所要の位置において外向きとなるように配置する。このように立体的に配置された測定用マイクについては、図示するように53a〜53xと示す。なお、このことは、必ずしもこれまでの平面による第一閉曲面10の場合と配置する測定用マイク4の個数が異なることを意味するものではなく、測定用マイク53としてはa〜pまでとすることもできる。
なお、先の説明では第一閉曲面10は円形であるとしたが、ここでは便宜上、立体による閉曲面についても同一の符号を付した。
FIG. 20 is a diagram schematically showing the state of the
First, in this case, since three-dimensional reproduction is performed, a three-dimensional space is assumed as the first closed
In the above description, the first closed
そして、この場合の測定は、上記立体による第一閉曲面10の外側において、円形平面50−1、50−2、50−3を想定し、これら円形平面上に収録時と同じDirectionごとに測定用スピーカ52を配置して行う。つまり、図20に示した収録用マイク51と幾何学的に同等となる配置関係により測定用スピーカ52を配置して行う。
これら測定用スピーカ52としても指向性60°の有指向性スピーカを用いる。また、この場合としても各測定用スピーカ52の符号は、最初のハイフン後の数字は配置される円形平面50−1、50−2、50−3の別を示し、2番目のハイフン後の数字はDirection1からDirection6の別を表している。
その上で、各測定用スピーカ52ごとに、図示は省略した測定用信号再生装置2からの測定用信号TSPの出力を行い、このとき第一閉曲面10上に配置した各測定用マイク53a〜53xまでに対応して得られるインパルス応答(伝達関数H)の測定を行う。
例えば、ここでは第一閉曲面10上の測定用マイク53はx個であり、また測定用スピーカ52は6×3=18個であるので、合計で18×x個の伝達関数Hが得られることになる。
And the measurement in this case assumes the circular planes 50-1, 50-2, 50-3 outside the first closed
As the measurement speakers 52, directional speakers having a directivity of 60 ° are used. Also in this case, the reference numerals of the respective measurement speakers 52 indicate the numbers after the first hyphen and indicate the circular planes 50-1, 50-2, 50-3 on which they are arranged, and the numbers after the second hyphen. Stands for Direction1 to Direction6.
Then, the measurement signal TSP is output from the measurement signal reproduction device 2 (not shown) for each measurement speaker 52, and at this time, the
For example, here, the number of measurement microphones 53 on the first closed
図示は省略するが、この場合の再現環境11においては、測定環境1において第一閉曲面10を立方体として想定したことに応じて、同じ立方体による第一閉曲面10を想定し、この場合も測定環境1において配置した測定用マイク53と幾何学的に同等の配置関係により再現用スピーカ8a〜8xを配置する。
そして、これら再現用スピーカ8a〜8xにより出力すべき再現信号を生成するための再現信号生成装置の構成としては、基本的には先の図18に示した構成と同様となる。つまり、この場合も1つの円形平面50について見れば、Direction1〜Direction6までの6つのDirectionについて、それぞれの収録音声を対応する伝達関数Hで畳み込んで各再現用スピーカ8から出力すべき再現信号を得ることに変わりはないので、そのための構成(つまり6つの音声再生部6と6セットの演算部41(1a〜1p、2a〜2p・・・6a〜6p))をさらに2つ増やしたものとして捉えることができる。
但し、この場合は測定用マイク53をa〜xまでとしたので、測定用スピーカ52ごとに得られる伝達関数Hは、Ha〜Hxまでとなる。つまり、各収録音声ごとに設けられる1セットの演算部41としては、それぞれHa〜Hxを設定したものを設けることになる。同様に、再現用スピーカ8としてもa〜xまでとなるので、加算器42としても各再現用スピーカ8対応にa〜xまで設けることになる。この場合も各加算器42は、同一の添え字の付された演算部41からの再現信号を入力・加算し、その結果を同一の添え字の付された再現用スピーカ8に供給するように構成する。
Although illustration is omitted, the
Then, the configuration of the reproduction signal generation apparatus for generating the reproduction signal to be output by these
However, in this case, since the measurement microphone 53 is set to a to x, the transfer function H obtained for each measurement speaker 52 is set to Ha to Hx. In other words, as a set of
このような構成により、各再現用スピーカ8からは、各収録用マイク51による収録音声が各円形平面50−1、50−2、50−3における各Directionごとに向けて放音されたものとして再現することのできる再現信号が出力される。
これによって、再現用スピーカ8が配置された再現環境11における第一閉曲面10内の聴取者は、測定環境1における仮想音像位置としての円筒空間内に、この場合の収録対象としての人間が存在するものとして感じることができるようになる。換言すれば、再現環境11の第一閉曲面10内において、測定環境1の仮想音像位置としての円筒空間内に収録対象としての人間が居るように再現することができる。
With such a configuration, it is assumed that the recording sound by each recording microphone 51 is emitted from each reproduction speaker 8 toward each direction in each circular plane 50-1, 50-2, 50-3. A reproduction signal that can be reproduced is output.
Thus, the listener in the first closed
このような手法は、例えばアニメーションやCGなどのアフレコ(アフターレコーディング)の手法として採用して好適である。つまりは、声優を収録対象としてこれを円筒状に囲って収録を行うことで、声の他にも衣服の擦れる音や足音などの音声も含めた収録を行っておく。そして、用いる伝達関数Hとしては、例えばそのシーンにおいてキャラクターが存在する位置とそれを取り囲む空間との関係に応じる等して、測定環境1の選定、さらにその中での仮想音像位置と第一閉曲面10との配置関係を選定して測定する。
これにより再現環境11において、想定した空間内の想定した仮想音像位置としての円筒空間内に、そのキャラクターが存在するかのように再現することができる。
Such a method is suitably employed as a method of after-recording (after-recording) such as animation or CG. In other words, by recording a voice actor as a subject of recording in a cylindrical shape, recording including voices such as rubbing sounds and footsteps in addition to voice is performed. As the transfer function H to be used, for example, depending on the relationship between the position where the character exists in the scene and the space surrounding it, the
As a result, the
なお、ここでは音源を立体的に囲む例として円筒状に囲む例を示したが、例えば球形に囲むようにすることもできる。つまり、この場合は音源を囲む球面上において、任意に定義したDirectionごとに収録用マイク51を配置して音声収録を行う。
この際、測定環境1においては、同等の球面上に各収録用マイク51の配置位置と幾何学的に同等となる位置に測定用スピーカ52を配置して同様のインパルス応答の測定を行えばよい。
また、再現信号生成装置の構成としては、収録用マイク51と測定用マイク53(つまり測定用スピーカ52と再現用スピーカ8)の配置数を同じとした場合は、先に説明したものと同様の構成となる。
In addition, although the example which encloses a sound source three-dimensionally as an example which encloses a sound source was shown here, it can also make it enclose, for example in a spherical form. That is, in this case, on the spherical surface surrounding the sound source, the recording microphone 51 is arranged for each arbitrarily defined direction, and audio recording is performed.
At this time, in the
The reproduction signal generating apparatus has the same configuration as that described above when the recording microphone 51 and the measurement microphone 53 (that is, the measurement speaker 52 and the reproduction speaker 8) are arranged in the same number. It becomes composition.
また、ここでは測定用スピーカ52を複数配置してインパルス応答の測定を行う場合を例示したが、測定環境1でのインパルス応答の測定は実際に測定用スピーカ52を複数配置しなくとも、1つの測定用スピーカ52を順次各円形平面50の外周上の各位置で各Directionに向けて行うことも可能である。
なお、この場合も隣接するDirectionでの伝達関数Hを補間することで、測定回数を減らすことも可能である。
Further, here, the case where a plurality of measurement speakers 52 are arranged and the impulse response is measured is illustrated, but the measurement of the impulse response in the
In this case, the number of measurements can be reduced by interpolating the transfer function H in the adjacent direction.
2−5.アンビエンスデータの追加
ここで、ライブなどのイベントでの臨場感をよりリアルに再現するにあたっては、観客の声援や拍手などの、その会場で生じる演奏音以外の音(アンビエンス)を付加することが有効である。ここでは、このようなアンビエンスを追加してより臨場感のある音場再現を行う場合の手法について説明する。
2-5. Add ambience data
Here, it is effective to add sound (ambience) other than the performance sound generated at the venue, such as the cheering and applause of the audience, in order to more realistically reproduce the sense of presence in an event such as a live performance. Here, a method for reproducing such a realistic sound field by adding such ambience will be described.
図21は、このようなアンビエンスについて収録する場合の測定環境1の様子を模式的に示している。
先ず、この場合は、第一閉曲面10上において、インパルス応答の測定を行ったときと同数・同位置に収録用マイク64a〜64pを配置する。これら収録用マイク64a〜64pとしても、有指向性マイクを使用する。
なお、同じ測定環境1の第一閉曲面10上の同位置に配置するマイクとして、この収録用マイク64と測定用マイク4とでは異なる符号を付しているが、同一のマイクを使用するものとしてもよい。
FIG. 21 schematically shows the state of the
First, in this case, the
Note that the
その上で、図示するようにして第一閉曲面10外の所要位置に、複数のエキストラとしての人物を複数配置して、歓声や拍手などのアンビエンスとしての所定の音声を発しさせ、各収録用マイク64によりその音声の収録を行う。これによって、各収録用マイク64a〜64pでは、測定環境1の空間情報を含んだかたちでアンビエンスの収録を行うことができる。ここでは、各収録用マイク64a、64b・・64pでそれぞれ得られたアンビエンスの収録音声信号は、アンビエンス−a、アンビエンス−b・・・アンビエンス−pと呼ぶ。
In addition, as shown in the figure, a plurality of persons as extras are arranged at required positions outside the first closed
再現環境11においては、第一閉曲面10上に配置した再現用スピーカ8a、8b・・・8pにより、アンビエンス−a、アンビエンス−b・・・アンビエンス−pを音声出力することで、第一閉曲面10の内側に居る聴取者は、測定環境1における第一閉曲面10の外側に観客が居るものとして感じることができる。
In the
図22は、このようなアンビエンスを付加する場合の再現信号生成装置60の構成を示している。
なお、この図では、先の図18に示した音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応させた再現信号生成装置の構成について示している。
この図に示されるようにして、測定環境1にて収録されたアンビエンス−a、アンビエンス−b・・・アンビエンス−pについては、それぞれ再生部61a、61b・・・61pにより再生出力する。この場合は、各再現用スピーカ8a〜8pと1対1の関係で設けられた加算器42a〜42pの後段に対して、さらに加算器62a〜62pが設けられ、上記再生部61a、61b・・・61pは、これら加算器62a、62b・・・62pに対し、アンビエンス−a、アンビエンス−b・・・アンビエンス−pを供給する。
FIG. 22 shows a configuration of the reproduction
This figure shows the configuration of a reproduction signal generation apparatus that is adapted for sound field reproduction in consideration of the directivity of the sound source and the sound emission characteristics for each directivity direction shown in FIG.
As shown in this figure, the ambience-a, ambience-b... Ambience-p recorded in the
このようにしてアンビエンス−a、アンビエンス−b・・・アンビエンス−pは、各再現用スピーカ8a、8b・・・8pの再現信号の供給ラインに対して加算されて出力される。つまり、測定環境1において収録用マイク64a、64b・・・64pにより収録されたアンビエンス−a、アンビエンス−b・・・アンビエンス−pは、再現環境11における幾何学的に同等の位置に配置された再現用スピーカ8a、8b・・・8pにより第一閉曲面10内側にそれぞれ出力されるものとなる。
これにより、再現環境11における第一閉曲面10の内側に居る聴取者は、第一閉曲面10の外側に測定環境1における観客が居るものとして感じることができ、よりリアルな臨場感を与えることができる。
In this way, ambience-a, ambience-b... Ambience-p are added to the reproduction signal supply lines of the
Accordingly, a listener who is inside the first closed
2−6.カメラ視点に応じた音場再現
これまでは、再現環境11において主に音声のみを再生する場合について述べてきたが、例えば或るアーティストのライブイベントを収録したコンテンツとしては、AV(Audeo and Video)コンテンツとすることも考えられる。つまり、これに応じて再現環境11においては、ライブの収録音声とこれと同期した収録映像とを再生するといったものである。
ここで、ライブ映像を収録したAVコンテンツとしては、終始1つの視点(1アングル)のみで被写体(アーティスト)を捉えるのではなく、多数のアングルから捉えるようにされたものがある。このように複数のアングルから被写体を捉える映像がある場合においては、そのアングルごとに応じた音場再現を行うようにすることで、カメラアングルごとに応じた臨場感を与えることができる。
2-6. Sound field reproduction according to camera viewpoint
Up to now, the case where only the sound is reproduced in the
Here, as AV contents recorded with live video, there are those which are not captured from only one viewpoint (one angle) from the beginning but captured from a number of angles. In this way, when there is a video that captures a subject from a plurality of angles, it is possible to give a sense of reality corresponding to each camera angle by performing sound field reproduction corresponding to each angle.
図23は、その手法について模式的に示した図である。
この図23では、実際にライブなどのイベントが行われるホールとしての測定環境1の様子を示しており、図23(a)は実際にライブが行われているときのカメラ65による映像収録の様子を模式的に示し、図23(b)ではカメラアングルに応じた測定の様子について模式的に示している。なお、ここではステージ66上のPlayerは複数居る場合を想定し、その位置を図示するPosition1〜Position4により示している。
例えば図23(a)に示すようにカメラ65がステージ66上のアーティストを捉えた場合に対応しては、図23(b)に示す同じ測定環境1としてのホール内において、同じアングルでステージ66を捉えるようにして配置した測定用マイク68a〜68xにより、ステージ66上の各Positionごとでのインパルス応答の測定を行う。
図23(b)において、この場合の測定環境1における第一閉曲面10としては、先の図20と同様に立体空間を想定し、また図20の場合と同様のa〜xの測定用マイク68を配置している。そして、このような第一閉曲面10による立体空間をステージ66に対して図23(a)でのカメラアングルと同等の角度に傾けた状態となるようにして、それぞれのPosition(1〜4)ごとに配置した測定用スピーカ67(67−1〜67−4)ごとに出力した測定用信号TSPについて、各測定用マイク68(a〜x)ごとのインパルス応答の測定を行う。
これによって、各測定用スピーカ67(1〜4)から各測定用マイク68(a〜x)までに対応したx×4個の伝達関数Hを求めるようにする。
FIG. 23 is a diagram schematically showing the method.
FIG. 23 shows a state of the
For example, as shown in FIG. 23 (a), when the camera 65 captures an artist on the
In FIG. 23B, as the first closed
Thus, x × 4 transfer functions H corresponding to each measurement microphone 67 (1 to 4) to each measurement microphone 68 (a to x) are obtained.
そして、再現環境11における再現時には、そのアングルのシーンに対応させて、これらの伝達関数Hを使用して再生音声信号を畳み込み、これによって得られた再現信号を、測定環境1で配置した測定用マイク68(a〜x)と幾何学的に同等の位置関係となるように配置した再現用スピーカ8(a〜x)により出力すればよい。
これによって再現環境11における上記再現用スピーカ8(a〜x)で囲まれた第一閉曲面10内の視聴者は、図23に示したアングルでステージ66上を捉えた映像が再生されるときに、同じアングルでステージ66を見た場合での音場を感じることができるようになる。
Then, at the time of reproduction in the
Thus, when the viewer on the first closed
さらに、このような手法による音場再現を、想定される複数のカメラアングルについて行うことで、カメラアングルごとにそれぞれのアングルでステージ66を見た場合での音場を知覚させるようにすることができる。
つまり、この場合には、想定される複数のアングルについて、図23(b)にて説明したものと同様の手法により伝達関数Hの測定を行っておき、カメラアングルと伝達関数Hとの対応情報を作成しておく。
このとき、映像信号については、シーンごとのカメラアングルの情報を例えばメタデータなどとして埋め込んでおく。
そして、収録した映像と音声との再生時においては、上記映像信号中に埋め込まれたアングル情報に基づき、上記アングル・伝達関数Hの対応情報から該当する伝達関数Hを選択し、これを随時演算部に対して設定して再生音声信号を演算処理して再現用スピーカ8(a〜x)から出力する。これにより、映像中の複数のカメラアングルごとに、そのアングルでステージ66を見た場合での音場を知覚させるようにすることができる。
このようなカメラアングルごとに応じた音場再現を行うことができれば、娯楽性を増すことができて好ましい。
Furthermore, sound field reproduction by such a method is performed for a plurality of assumed camera angles, so that the sound field can be perceived when the
That is, in this case, the transfer function H is measured for a plurality of assumed angles by the same method as described in FIG. 23B, and the correspondence information between the camera angle and the transfer function H is obtained. Create.
At this time, for the video signal, information of the camera angle for each scene is embedded as, for example, metadata.
When reproducing the recorded video and audio, based on the angle information embedded in the video signal, the corresponding transfer function H is selected from the correspondence information of the angle and transfer function H, and this is calculated as needed. The reproduced audio signal is set and set for the unit, and the reproduced audio signal is processed and output from the reproduction speakers 8 (a to x). Thereby, for each of a plurality of camera angles in the video, the sound field can be perceived when the
If such a sound field reproduction corresponding to each camera angle can be performed, it is preferable because entertainment can be increased.
なお、ここではカメラアングルごとの伝達関数Hの測定にあたり、第一閉曲面10として立体を想定したが、これに代えて平面とすることもできる。
また、図23(b)では、測定用信号TSPを出力する測定用スピーカ、及び第一閉曲面10上に配置される測定用マイクはそれぞれ測定用スピーカ67、測定用マイク68と符号を付したが、これらはそれぞれ測定用スピーカ21、測定用マイク4と同等のものである。
Here, in measuring the transfer function H for each camera angle, a solid is assumed as the first closed
Further, in FIG. 23B, the measurement speaker that outputs the measurement signal TSP and the measurement microphone that is arranged on the first closed
2−7.音場再現システムの構成例
以上では、本実施の形態の音場再現システムとしての個々の機能を実現するための方法及び構成について説明してきたが、これらの機能を実現するための手法及び再現システム全体の構成について以下で説明する。
なお、ここでは説明の便宜上、先の図17〜図20にて説明したような音源の指向性と指向方向ごとの放音特性については考慮せず、また図15〜図16で説明したステレオエフェクタには対応しない場合の構成について説明する。これらにも対応するとした場合の追加構成については後述する。
また、ここでは、実際に音場の再現を行う再現環境としては家庭の部屋などとしての再現環境20を想定し、第二閉曲面14での音場再現を行う場合での構成について説明する。
さらにこの場合、仮想音像位置として提示するPlayer(Position)はPlayer1〜Player3の3つとし、また、各Positionでの音源の指向方向としては6つのDirectionを定義するものとする。
2-7. Configuration example of sound field reproduction system
The method and configuration for realizing the individual functions as the sound field reproduction system according to the present embodiment have been described above. The method for realizing these functions and the configuration of the entire reproduction system will be described below. To do.
Here, for convenience of explanation, the directivity of the sound source and the sound emission characteristics for each direction as described in FIGS. 17 to 20 are not considered, and the stereo effector described in FIGS. 15 to 16 is used. A configuration in the case of not corresponding to will be described. An additional configuration in a case where these are also handled will be described later.
In addition, here, a configuration in the case of reproducing the sound field on the second closed curved surface 14 assuming a reproduction environment 20 as a home room or the like as a reproduction environment for actually reproducing the sound field will be described.
Further, in this case, there are three Players (Positions) to be presented as virtual sound image positions, Player1 to Player3, and six Direction are defined as the direction of sound source in each Position.
先ず、前提として、本実施の形態の音場再現システムとしては、ライブ映像とその音声とを含むAVコンテンツ作成のために各種音声・映像の収録を行うと共に、仮想音像位置を再現するための伝達関数についての測定などを行う制作側と、実際に再現環境11において音場を再現する側としてのユーザ側とに分けられる。
この場合、上記制作側は、収録した映像・音声、及び伝達関数などを所要のメディアに記録し、ユーザ側では、後述する再現信号生成装置により、そのメディアに記録された情報に基づいて音場再現が行われるものとする。
First, as a premise, the sound field reproduction system according to the present embodiment records various audio / videos for the production of AV contents including live video and its audio, and transmits for reproducing the virtual sound image position. There are a production side for measuring functions and the like, and a user side for actually reproducing the sound field in the
In this case, the production side records the recorded video / audio, transfer function, and the like on a required medium, and the user side uses a reproduction signal generation device (to be described later) to generate a sound field based on the information recorded on the medium. It is assumed that reproduction is performed.
図24は、この場合の制作側において行われるべき作業工程と、これらの作業工程により得られた情報をメディア77に対して記録するための記録装置70の構成とについて示した図である。
先ず、この場合の記録装置70は、図中の作業工程S1〜S4によって得られた情報からそれぞれアングル/Direction・伝達関数対応情報、再生環境・伝達関数対応情報、アンビエンスデータ、各Playerのライン収録データを生成する、アングル/Direction・伝達関数対応情報生成部71、再生環境・伝達関数対応情報生成部72、アンビエンスデータ生成部73、各Playerのライン収録データ生成部74を備える。また、図中作業工程S5により得られる収録映像に対してアングル情報・Direction指示情報を追加するアングル情報・Direction指示情報追加部75を備える。
さらには、これらアングル/Direction・伝達関数対応情報生成部71、再生環境・伝達関数対応情報生成部72、アンビエンスデータ生成部73、各Playerのライン収録データ生成部74により得られた各データと、上記アングル情報・Direction指示情報追加部75によりアングル情報・Direction指示情報が追加された映像データとを、例えば光ディスク記録媒体などとされるメディア77に記録する記録部76を備えている。
この記録装置70としては、例えばパーソナルコンピュータにより実現される。
FIG. 24 is a diagram showing work processes to be performed on the production side in this case and a configuration of a
First, in this case, the
Furthermore, each of the data obtained by the angle / direction / transfer function correspondence
The
図24において、先ず作業工程S1では、アングル/Directionを変えながら各Positionごとに伝達関数Hについての測定を行う。これは、先の図12〜図14にて説明した仮想音像の指向性方向の制御と、図23にて説明したカメラアングルに応じた音場再現を実現するために必要な作業となる。
この作業工程S1では、ホールなどの測定環境1において、仮想音像位置として想定する各Position(この場合はPosition1〜Position3の3位置)にそれぞれ有指向性の測定用スピーカ21を配置すると共に、第一閉曲面10上に所定数の測定用マイク68(測定用マイク4)を所定の配置関係により配置する。
このとき、各測定用スピーカ21からの測定用信号TSPの出力は、1つのPositionごとに、測定用スピーカ21の向きをDirection1、Direction2・・・Direction6と変えながら行う。一方、各測定用マイク68による上記測定用信号TSPの検出結果に基づくインパルス応答の測定は、想定されるカメラアングルの1つ1つに対応させて、先の図23(b)に示したように測定用マイク68を配置した第一閉曲面10の角度(アングル)を変化させながら行う。
これによって、各測定用マイク68までに対応した伝達関数Hとしては、それぞれのPositionごとに、それぞれのDirection・アングルとしたときの複数が求められる。つまりこの場合、Position数×Direction数×想定したアングル数の分、各測定用マイク68までに対応した伝達関数Hが得られる。
In FIG. 24, first, in work step S1, the transfer function H is measured for each Position while changing the angle / Direction. This is a work necessary to realize the control of the directivity direction of the virtual sound image described with reference to FIGS. 12 to 14 and the sound field reproduction according to the camera angle described with reference to FIG.
In this work step S1, in the
At this time, the measurement signal TSP is output from each
As a result, a plurality of transfer functions H corresponding to the respective measurement microphones 68 are obtained for each Position and each Direction / Angle. That is, in this case, the transfer function H corresponding to each measurement microphone 68 is obtained by the number of Positions × Direction Numbers × the assumed number of angles.
なお、ここでは説明の便宜上、測定環境1の第一閉曲面10上に配置する測定用マイク68(測定用マイク4)の数は図23で示したa〜xではなく、a〜pまでであるとする。
また、この場合も測定用スピーカ21は各Positionごとに1つずつ配置するものとしたが、1つの測定用スピーカ21を順次各Positionに配置して測定用信号TSPの出力を行ってもよい。
Here, for convenience of explanation, the number of measurement microphones 68 (measurement microphones 4) arranged on the first closed
In this case as well, one
記録装置70において、アングル/Direction・伝達関数対応情報生成部71は、このような作業工程S1により得られた各伝達関数Hの情報に基づき、次の図26に示すようなアングル/Direction・伝達関数対応情報を生成する。
つまり、この図26に示されるようにして、仮想音像位置として想定した各Positionごとに、各アングル及び各Directionとしたときに各測定用マイク68対応に得られた伝達関数Hの情報を格納したものである。
ここでも、伝達関数Hの添え字(a〜p)は、測定用マイク68(a〜p)の何れに対応するかを示している。また、この添え字に続く数字により、Positionの別を表している。さらに、続く「ang」の数字によりアングルの別を表し、最後の「dir」の数字によりDirectionの別を表している。
In the
That is, as shown in FIG. 26, for each Position assumed as the virtual sound image position, information on the transfer function H obtained for each measurement microphone 68 when each angle and each Direction is stored. Is.
Here again, the subscripts (ap) of the transfer function H indicate which of the measurement microphones 68 (ap) corresponds to. The number following this subscript represents the position. Further, the following “ang” number indicates the angle, and the last “dir” number indicates the direction.
また、図24において、作業工程S2では、第二閉曲面14の測定用マイク13の個数/配置を変えながら、伝達関数Eについての測定を行う。
この作業工程S2では、先の図7にて示したようにして、再現環境11における第一閉曲面10上において、測定環境1での第一閉曲面10で配置した各測定用マイク68(4)と幾何学的に同じ配置関係が得られるようにして再現用スピーカ8を配置する。そして、この再現環境11における第一閉曲面10内において、実際の再現環境(再現環境20)での再現用スピーカ18の配置数・配置関係として想定したそれぞれの配置数・配置関係となるように、第二閉曲面14上に配置する測定用マイク13の配置数・配置関係を変えながら、各再現用スピーカ8ごとに出力した測定用信号TSPについてのインパルス応答の測定を行う。これによって、各配置数・配置関係のパターンごとに、各測定用マイク13までに対応した伝達関数Eを求める。
なお、この作業工程S2としても、測定マイク13としては1つのみを用い、これを第二閉曲面14上の想定される配置位置に順次配置してインパルス応答の測定を行うこともできる。
In FIG. 24, in work step S2, the transfer function E is measured while changing the number / arrangement of the measurement microphones 13 of the second closed curved surface.
In this work step S2, as shown in FIG. 7, the measurement microphones 68 (4) arranged on the first closed
In this operation step S2 as well, only one measurement microphone 13 can be used, and this can be sequentially arranged at an assumed arrangement position on the second closed curved surface 14 to measure the impulse response.
再生環境・伝達関数対応情報生成部72は、この作業工程S2により得られた測定用マイク13の各配置数・配置関係ごとの伝達関数Eの情報を、それぞれの配置数・配置関係の情報と対応づけた再生環境・伝達関数対応情報を生成する。
The reproduction environment / transfer function correspondence
続いて、作業工程S3では、アンビエンス収録を行う。すなわち、先の図21に示したように、測定環境1における第一閉曲面10の外側にエキストラとしての人物を配置して、歓声や拍手などといったアンビエンスとしての所定の音声を発しさせる。この音声を、先の作業工程S1で第一閉曲面10上に配置した各測定用スピーカ68と同じ位置に配置した各収録用マイク64により収録する。
つまり、先にも説明したように各アンビエンスはインパルス応答の測定時に配置した各測定用マイク68の位置で収録する必要があるもので、従って上記収録用マイク64としては測定用マイク68と同数を用い、且つそれぞれの収録用マイク64は、測定時に配置したそれぞれの測定用マイク68と同じ位置に配置する必要がある。
この場合、測定用マイク68としては、先にも述べたように測定用マイク68a〜68pを用いるので、収録用マイク64としても収録用マイク64a〜64pを用いる。なお、測定用マイク68と収録用マイク64とはそれぞれ異なる符号を付しているが、同一のマイクを用いることもできる。
Subsequently, in the work process S3, ambience recording is performed. That is, as shown in FIG. 21, a person as an extra is arranged outside the first closed
That is, as described above, each ambience needs to be recorded at the position of each measurement microphone 68 arranged at the time of measurement of the impulse response. Each of the
In this case, since the
アンビエンスデータ生成部73は、この作業工程S3で収録した各アンビエンスの収録音声信号に基づき、アンビエンスデータを生成する。つまり、この場合は収録用マイク64a〜64pによりそれぞれ収録されたアンビエンス−a〜アンビエンス−pがそれぞれ個別のデータとして管理されたアンビエンスデータを生成する。
The ambience
作業工程S4では、各Playerのライン収録を行う。つまり、例えばPlayerが演奏する楽器が電気楽器であれば、電気的に出力される音声信号を収録する。或いは、ボーカル、ドラムなどの電気楽器以外の場合には、音源に近接して配置したマイクによって音声収録を行えばよい。 In work process S4, line recording of each player is performed. That is, for example, if the musical instrument played by the player is an electric musical instrument, an audio signal that is electrically output is recorded. Alternatively, in the case other than electric instruments such as vocals and drums, sound recording may be performed with a microphone arranged close to the sound source.
各Playerのライン収録データ生成部74は、この作業工程S4での各収録音声に基づき、各Playerごとのライン収録データを生成する。つまり、この場合はPlayer1〜Player3のライン収録音声信号が、それぞれ個別のデータとして管理される各Playerごとのライン収録データを生成する。
The line recording
作業工程S5では、映像収録を行う。すなわち、実際に測定対象としたホールなどの測定環境1において行われるイベントを、ビデオカメラによって映像収録する。
アングル情報・Direction指示情報追加部75は、作業工程S5で得られた収録映像データに対し、伝達関数Hとしてどのアングルに対応したものを選択すべきかを示すためのアングル情報と、同じく伝達関数HとしてPlayerごとにどのDirectionに対応したものを選択すべきかについて指示するためのDirection指示情報とを、メタデータとして追加する。
この場合、アングル情報は、実際には収録映像を再生してみて、各シーンがどのカメラアングルに該当するかを制作側の人間が判断して決定する。上記アングル情報・Direction指示情報追加部75は、このようにして決定された各シーンとそれに対応するアングルの情報とに基づき、収録映像データに対するアングル情報の追加を行う。同様にDirection指示情報としても、実際に収録映像を再生してみてPlayerが振り返えるシーンなどがあった場合に、制作側の人間がそのPlayerの動きに応じた指向方向が表現されるようなDirectionを判断して決定する。そしてアングル情報・Direction指示情報追加部75では、このようにして決定されたDirection指示情報が指定されたシーンに追加されるようにして、収録映像データに対するDirection指示情報の追加を行う。
In work process S5, video recording is performed. That is, the video camera records an event that occurs in the
The angle information / direction instruction
In this case, the angle information is determined by a person on the production side who determines which camera angle corresponds to each scene by actually reproducing the recorded video. The angle information / direction instruction
記録部76は、アングル/Direction・伝達関数対応情報生成部71、再生環境・伝達関数対応情報生成部72、アンビエンスデータ生成部73、各Playerのライン収録データ生成部74により得られた各データと、上記アングル情報・Direction指示情報追加部75によりアングル情報・Direction指示情報が追加された映像データとを、メディア77に対して記録する。
この際、アンビエンスデータとしては、アンビエンス−a〜アンビエンス−pまでの複数の音声信号が存在するので、これらがそれぞれ別々のトラックに分かれて収録されるようにメディア77に記録する。同様に、各Playerのライン収録データについても、Playerごとのライン収録音声信号がそれぞれ別々のトラックに収録されるようにする。
The
At this time, since there are a plurality of audio signals from ambience-a to ambience-p as ambience data, they are recorded on the medium 77 so as to be recorded separately on separate tracks. Similarly, for the line recording data of each player, the line recording audio signal for each player is recorded on a separate track.
なお、ここで確認のために述べておくと、この図24において各作業工程に付した工程番号は必ずしも各工程を行うべき順序を示したものではない。 For confirmation, the process numbers given to the work steps in FIG. 24 do not necessarily indicate the order in which the steps should be performed.
図25は、ユーザ側の再現環境20において音場再現に用いる再現信号生成装置80の構成について示している。
なお、図示は省略するが、この場合の再現環境20としては、先の図9に示した再現環境20において第二閉曲面14上において5つ配置されていた再現用スピーカ18を、再現用スピーカ18A、18B、18Cの3つにしたものと考えればよい。また、この場合、仮想音像位置としてはPosition1〜Position3の3つを想定しているので、図9においては破線による測定用スピーカ3として示した1つの仮想音像位置は3つとなる。
さらにこの場合は、メディア77に記録されたAVコンテンツを再生して映像出力を行うので、そのためのディスプレイ装置を再現環境20において配置することになるが、このディスプレイ装置は第二閉曲面14の内側、或いは外側において、第二閉曲面14内の視聴者(聴取者)から見て仮想音像位置側となる位置に配置すればよい。このように仮想音像位置側に配置すれば、画面上で各Playerが表示される位置と仮想音像位置との方向を一致させることができ、各Playerの表示位置と再現される仮想音像位置との一体感を増すことができる。
なお、図25においては、上記ディスプレイ装置の図示は省略している。
FIG. 25 shows the configuration of a reproduction
Although not shown, the reproduction environment 20 in this case includes five reproduction speakers 18 arranged on the second closed curved surface 14 in the reproduction environment 20 shown in FIG. What is necessary is just to think that it was set as three of 18A, 18B, 18C. In this case, since three virtual sound image positions,
Further, in this case, since the AV content recorded on the medium 77 is reproduced and the video is output, a display device for the AV content is arranged in the reproduction environment 20, but this display device is arranged inside the second closed curved surface 14. Alternatively, on the outside, the second closed curved surface 14 may be disposed at a position on the virtual sound image position side when viewed from the viewer (listener). If the player is arranged on the virtual sound image position side in this way, the position of each player displayed on the screen and the direction of the virtual sound image position can be matched, and the display position of each player and the reproduced virtual sound image position can be matched. A sense of unity can be increased.
In FIG. 25, the display device is not shown.
図25において、この場合の再現信号生成装置80には、先の図13にて説明したものと同様の演算部26a−1〜26p−1、演算部26a−2〜26p−2、演算部26a−3〜26p−3が設けられる。つまり、伝達関数Hについて変更設定が可能な演算部である。ここではPlayer1〜Player3までを想定しているため、図13ではPlayer4までの4セット備えられていたうちの、Player3までの3セットが備えられている。
そして、これら各演算部26のうち、対応する添え字の付された演算部26からの出力を加算して、第一閉曲面10上の各再現用スピーカ8(a〜p)に対応した再現信号を得るための加算器27a〜27pが設けられる。
さらに、これら加算器27a〜27pと1対1の関係となるようにして設けた加算器62a〜62pが設けられる。これら加算器62a〜62pは、先の図22にて示したものと同様のものであり、それぞれ対応するアンビエンスとしての音声信号を加算するために設けられる。
25, the reproduction
Then, among these calculation units 26, the outputs from the calculation units 26 with the corresponding subscripts are added, and reproduction corresponding to each reproduction speaker 8 (ap) on the first closed
Further,
そして、その後段には、演算部86A−a〜86A−p、演算部86B−a〜86B−p、演算部86C−a〜86C−pが設けられる。
これら演算部86は、基本的には先の図8に示したものと同様に、第一閉曲面10上に配置した再現用スピーカ8(a〜p)の各々から、第二閉曲面14上に配置した各々の測定用マイク13までに対応して得られた伝達関数Eが設定されるものであるが、ここでは再生環境整合処理として実際の第二閉曲面14上の再現用スピーカ18の配置数・配置関係に対応させるために、各演算部86には後述するコントローラ83からそれぞれ対応する伝達関数Eが設定されるものとなる。
In the subsequent stage,
These calculation units 86 are basically arranged on the second closed curved surface 14 from each of the reproduction speakers 8 (ap) arranged on the first closed
演算部86A−a〜86A−p、演算部86B−a〜86B−p、演算部86C−a〜86C−pは、上記した加算器62a〜62pのうち、それぞれ同じ添え字(a〜p)の付された加算器62からの出力を入力し、これを設定された伝達関数Eに基づき処理する。
これによって演算部86A−a〜86A−pでは、再現環境11における第一閉曲面10上の再現用スピーカ8(a〜p)のそれぞれから第二閉曲面14上の測定用マイク13A(再現用スピーカ18A)までに対応した再現信号(SHEA-a〜SHEA-p)が得られ、演算部86B−a〜86B−pでは再現用スピーカ8(a〜p)のそれぞれから再現用スピーカ18Bまでに対応した再現信号(SHEB-a〜SHEB-p)が得られる。また、演算部86C−a〜86C−pでは、再現用スピーカ8(a〜p)のそれぞれから再現用スピーカ18Cまでに対応した再現信号(SHEC-a〜SHEC-p)が得られる。
The
As a result, in the
加算器17A、17B、17Cは、先の図8に示したものと同様に第二閉曲面14上に配置される再現用スピーカ18(この場合は18A、18B、18C)と1対1の関係となるようにして設けられる。加算器17Aは、演算部86A−a〜86A−pのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ18Aに供給する。また、加算器17Bは演算部86B−a〜86B−pのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ18Bに供給し、さらに加算器17Cは演算部86C−a〜86C−pのそれぞれからの出力を入力・加算してその結果を再現用スピーカ18Cに供給する。
The
そして、この場合の再現信号生成装置80に対しては、メディア77に記録された各種情報を再生し、これに基づく制御を行うための構成として、メディア読出部81、バッファメモリ82、コントローラ83、メモリ部84、映像再生系85を備えている。
メディア読出部81は、当該再現信号生成装置80に装填されたメディア77に記録された各種情報の読み出しを行い、これをバッファメモリ82に供給する。バッファメモリ82は、コントローラ83の制御に基づき、読み出しデータのバッファリング及びバッファリングデータの読み出しを行う。
In this case, the reproduction
The
コントローラ83はマイクロコンピュータにより構成され、当該再現信号生成装置80の全体制御を行う。メモリ部84はコントローラ83が備えるROM、RAMなどの記憶装置を包括的に示しており、図示は省略したがここには各種の制御プログラムが格納され、コントローラ83はこの制御プログラムに基づいて各部の制御を実行するようにされている。
ここで、先の図24にて説明したように、メディア77に対しては、アングル/Direction・伝達関数対応情報、再生環境・伝達関数対応情報、アンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データが記録されている。
コントローラ83は、メディア読出部81によってこれらの情報のうちからアングル/Direction・伝達関数対応情報、再生環境・伝達関数対応情報の読み出しを実行させ、これらを図示するようにメモリ84内にアングル/Direction・伝達関数対応情報84a、再生環境・伝達関数対応情報84bとして格納する。
The controller 83 is constituted by a microcomputer and performs overall control of the reproduction
Here, as described above with reference to FIG. 24, for the
The controller 83 causes the
さらにコントローラ83は、同じくメディア読出部81にアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データの読み出しを実行させ、これをバッファメモリ82にバッファリングさせる。
図示するようにして、このバッファメモリ82からは、アンビエンス収録データとしてのアンビエンス−a、アンビエンス−b・・・アンビエンス−pが、加算器62a、62b・・・62pに供給されるようになっている。
同様に、各Playerのライン収録データについても、Player1の収録音声信号、Player2の収録音声信号、Player3の収録音声信号が、演算部26a−1〜26p−1、演算部26a−2〜26p−2、演算部26a−3〜26p−3に供給されるようになっている。
さらに、アングル情報とDirection指示情報とが埋め込まれた映像データについては、映像再生系85に供給されるようになっている。
Further, the controller 83 causes the
As shown in the figure, from the
Similarly, with regard to the line recording data of each player, the recording audio signal of
Further, the video data in which the angle information and the direction instruction information are embedded is supplied to the
ここで、バッファメモリ82に対しては、メディア77に記録されている全てのアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データを読み出してバッファリングするものとし、コントローラ83は、バッファリングされたこれらのデータが連続的に対応する各部に供給されるようにバッファメモリ82の読み出し動作を制御することも考えられる。
しかしながら、実際において、このようにメディア77から全てのデータを読み出してバッファリングするのには非常に多くの時間を要するので、各データは時分割的に必要なデータ量だけをメディア77から逐次読み出し、これを順次各部に供給するようにバッファメモリ82の読み出し動作を制御するように構成することもできる。
Here, the
However, in practice, since it takes a very long time to read and buffer all data from the medium 77 in this way, each data sequentially reads from the medium 77 only the necessary data amount in a time-sharing manner. The read operation of the
映像再生系85は、映像データについての圧縮伸張デコーダやエラー訂正処理部などの再生系の構成を包括的に示している。この映像再生系85は、バッファメモリ82から供給される映像データについて上記圧縮伸張デコーダやエラー訂正処理部などによる再生処理を施すことで、再現環境20において配置される図示されないディスプレイ装置にて映像表示を行うための映像信号を生成し、これを図示する映像出力としてディスプレイ装置に供給する。
また、この場合の映像再生系85としては、映像データに対してメタデータとして付加されているアングル情報とDirection指示情報とを抽出し、これらをコントローラ83に対して供給するようにされている。
The
In this case, the
コントローラ83は、このようにして映像再生系85から供給されるアングル情報、Direction指示情報と、先に説明したようにメモリ部84内に格納したアングル/Direction・伝達関数対応情報84aとに基づき、各演算部26に対して設定すべき伝達関数Hを変更設定するアングル・Direction変更部83aを備えている。
このアングル・Direction変更部83aとしては、入力されるアングル情報とDirection指示情報とによって特定される伝達関数Hを、メモリ部84内のアングル/Direction・伝達関数対応情報84aから読み出し、これをそれぞれの演算部26に対して設定する。
例えば、アングル情報が「アングル1」を示すものであり、Direction指示情報としてはPlayer1(Position1)がDirection1、Player2(Position2)がDirection2、Player3(Position3)がDirection6を指示するものであった場合には、図26に示したようなアングル/Direction・伝達関数対応情報64aから、Player1については「Ha1-ang1-dir1〜Hp1-ang1-dir1」、Player2については「Ha2-ang1-dir2〜Hp2-ang1-dir2」、Player3については「Ha3-ang1-dir6〜Hp3-ang1-dir6」を読み出す。そして、上記「Ha1-ang1-dir1〜Hp1-ang1-dir1」については演算部26a−1〜26p−1、「Ha2-ang1-dir2〜Hp2-ang1-dir2」については演算部26a−2〜26p−2、「Ha3-ang1-dir6〜Hp3-ang1-dir6」については演算部26a−3〜26p−3に設定するといったものである。
このようなアングル・Direction変更部83の動作により、各演算部26には、アングル情報、Direction指示情報として新たなアングル・Directionが指示されるごとにそれらアングル・Directionに応じた伝達関数Hが逐次設定される。これによってアングルの変更に応じた音場再現、及び指定されたPlayerの指向性方向の制御を行うことができる。
Based on the angle information and direction instruction information supplied from the
As the angle /
For example, if the angle information indicates “
By such an operation of the angle / direction changing unit 83, each time the new angle / direction is instructed to each computing unit 26 as angle information and direction instruction information, the transfer function H corresponding to the angle / direction is sequentially generated. Is set. As a result, the sound field can be reproduced according to the angle change, and the directivity direction of the designated player can be controlled.
なお、確認のために述べておくと、上記アングル・Direction変更部83aとしてはコントローラ83の機能をブロック化して示すもので、実際にはコントローラ83のソフトウエア処理により実現されるものである。このことは、次に説明する再生環境整合処理部83bについても同様である。
For confirmation, the angle /
また、コントローラ83は、メモリ部84に格納した再生環境・伝達関数対応情報84bと、同じメモリ部84に対して予め格納された配置パターン情報84cとに基づき、実際の再現用スピーカ18の配置数と配置関係とに適合した伝達関数Eの設定を行う再生環境整合処理を行うための再生環境整合処理部83bを備える。
ここで、上記配置パターン情報84cは、当該再現信号生成装置80が対応するとして予め設定された再現用スピーカ18の配置数・配置関係のパターンを示す情報である。再生環境整合処理部83bでは、このような配置パターン情報84cに示される配置数・配置関係のパターン情報に基づき、再生環境・伝達関数対応情報84b中から該当するパターンに対応づけれて格納される伝達関数E(Ea−A〜Ep−A、Ea−B〜Ep−B、Ea−C〜Ep−C)を読み出し、これらをそれぞれ対応する演算部86に設定する。
これによって各演算部86には、実際の再現環境20における再現用スピーカ18の配置数・配置関係に応じた伝達関数Eが設定され、この結果実際の再現環境20における再現用スピーカ18の配置数・配置関係に応じた適正な音場再現を行うことができる。
The controller 83 also determines the actual number of speakers 18 for reproduction based on the reproduction environment / transfer
Here, the
As a result, a transfer function E corresponding to the number of arrangements / relationships of the reproduction speakers 18 in the actual reproduction environment 20 is set in each computing unit 86. As a result, the number of arrangements of the reproduction speakers 18 in the actual reproduction environment 20 is set. -Appropriate sound field reproduction according to the arrangement relationship can be performed.
なお、再現信号生成装置80が複数パターンの配置数・配置関係に対応可能な場合には、操作部を設けてそれらのパターンの中から該当するパターンをユーザが選択できるように構成することもできる。
In addition, when the reproduction
ここで、先にも述べたように、上記音場再現システムの構成は、音源の指向性と指向方向ごとの放音特性は考慮せず、またステレオエフェクタについては対応しない場合の構成を説明したものであるが、これらに対応した構成とする場合は、記録装置70、再現信号生成装置80として以下のように構成すればよい。
なお、ここでは一例として、Player1のみについて音源の指向性と指向方向ごとの放音特性について考慮した音場再現を行うものとし、また、Player2のライン収録データをステレオエフェクタを介したものとする場合を例示する。
この場合、制作側においては、作業工程S4において、Player1については先の図17に示したようにして例えばDirection1〜Direction6の6方向から囲むように配置した収録用マイク37で音声を収録する。また、Player2については、ライン収録データをステレオエフェクタに通したものを記録装置70に入力する。
つまりこの場合、各Playerのライン収録データ生成部74では、Player1についてはDirection1〜Direction6の6つの収録データを生成するようにされ、Player2についてはLchとRchとによる2つの収録データを生成するようにされる。そして記録部76は、これらの収録データをメディア77に対して記録するようにされる。
Here, as described above, the configuration of the sound field reproduction system described above is a configuration in which the directivity of the sound source and the sound emission characteristics for each directivity direction are not considered, and the stereo effector is not supported. However, in the case of a configuration corresponding to these, the
As an example here, the sound field reproduction that considers the directivity of the sound source and the sound emission characteristics for each directivity direction is performed only for
In this case, on the production side, in the work step S4, as for Player1, the sound is recorded by the recording microphone 37 arranged so as to surround from the six directions of Direction1 to Direction6 as shown in FIG. As for
That is, in this case, the line recording
再現信号生成装置80としては、この場合はPlayer1の収録データがDirection1〜Direction6に対応した6つが存在することに応じて、演算部26としては、Player1のDirection1に応じた収録データをそれぞれ入力する演算部26a−1−1〜26p−1−1と、同じくDirection2に応じた収録データをそれぞれ入力する演算部26a−1−2〜26p−1−2を追加する。また、同様にDirection3、Direction4、Direction5、Direction6の収録データについても、演算部26a−1−3〜26p−1−3、演算部26a−1−4〜26p−1−4、演算部26a−1−5〜26p−1−5、演算部26a−1−6〜26p−1−6を追加する。
この場合、アングル・Direction変更部83aは、これら演算部26a−1−1〜26p−1−1、演算部26a−1−2〜26p−1−2、演算部26a−1−3〜26p−1−3、演算部26a−1−4〜26p−1−4、演算部26a−1−5〜26p−1−5、演算部26a−1−6〜26p−1−6に対しては、アングル情報に応じてのみ設定する伝達関数Hを変更する。換言すれば、演算部26a−1−1〜26p−1−1には「-dir1」、演算部26a−1−2〜26p−1−2には「-dir2」、演算部26a−1−3〜26p−1−3には「-dir3」、演算部26a−1−4〜26p−1−4には「-dir4」、演算部26a−1−5〜26p−1−5には「-dir5」、演算部26a−1−6〜26p−1−6には「-dir6」による伝達関数Hを常に設定するようにされるものである。
これら演算部26a−1−1〜26p−1−1、演算部26a−1−2〜26p−1−2、演算部26a−1−3〜26p−1−3、演算部26a−1−4〜26p−1−4、演算部26a−1−5〜26p−1−5、演算部26a−1−6〜26p−1−6の出力としても、それぞれ同じ添え字(a〜p)が付された加算器27に供給されるように構成する。
In this case, the reproduction
In this case, the angle /
These
また、Player2の収録データをそれぞれ入力する演算部26としては、LchとRchに対応した2セットの演算部26(a〜p)を設けるようにする。つまり、演算部26a−L〜26p−L、演算部26a−R〜26p−Rを設ける。
これら演算部26a−L〜26p−L、演算部26a−R〜26p−Rに対しても、アングル・Direction変更部83aは、アングル情報のみに応じて伝達関数Hを設定変更する。例えば先の図15に示したようにLchとしてDirection2、RchとしてDirection6を定義した場合、演算部26a−L〜26p−Lには「-dir2」、演算部26a−R〜26p−Rには「-dir6」による伝達関数Hが常に設定されるようにするものである。
これら演算部26a−L〜26p−L、演算部26a−R〜26p−Rからの出力としても、それぞれ同じ添え字(a〜p)が付された加算器27に供給されるように構成する。
Further, as the calculation unit 26 for inputting the recorded data of
The angle /
The outputs from the
なお、これまでの図24〜図26の説明では、本実施の形態の音場再現システムの前提として、制作側は音場再現のために必要な各種情報を記録したメディア77を販売し、このメディア77を基にユーザ側で音場再現を行うものとした。
しかしながら音場再現のために必要な各種の情報は、メディア77を介してユーザ側に提供する以外にも、例えばネットワーク経由で提供するようにもできる。
この場合、制作側では、上記音場再現に必要な各種情報を所要の記録媒体に記録・保持すると共に、保持された上記各種情報をネットワークを介して外部装置に送信することが可能に構成された情報処理装置を備えるようにする。一方、ユーザ側の再現信号生成装置80としては、上記ネットワークを介したデータ通信が可能となるように構成する。
このようにネットワークを介して音場再現のための各種情報の提供が可能となることで、制作側からユーザ側にリアルタイムで上記各種情報の提供を行うことができ、これによれば再現環境20においてリアルタイムに測定環境1での音場を再現することも可能となる。
In the description of FIGS. 24 to 26 so far, as a premise of the sound field reproduction system of the present embodiment, the production side sells a medium 77 on which various information necessary for sound field reproduction is recorded. The sound field is reproduced on the user side based on the
However, various kinds of information necessary for reproducing the sound field can be provided not only to the user via the medium 77 but also via a network, for example.
In this case, the production side is configured to record and hold various information necessary for reproducing the sound field on a required recording medium, and to transmit the held various information to an external device via a network. An information processing apparatus is provided. On the other hand, the reproduction
As described above, by providing various information for reproducing the sound field via the network, it is possible to provide the various information in real time from the production side to the user side. It is also possible to reproduce the sound field in the
また、上記説明では、ユーザ側(再現信号生成装置80側)において、各再現用スピーカ18から出力すべき再現信号を生成するものとしたが、これに代え、制作側(記録装置70側)で図25に示す再現信号生成のための構成を備えるようにすることで、メディア77には各再現用スピーカ18から出力すべき再現信号を記録するものとし、ユーザ側では、メディア77からこれらの再現信号を再生するだけで音場再現が行えるように構成することもできる。
これによれば、ユーザ側で備える装置の構成を簡易化することができる。しかしながら、一方で制作側では、実際の再現環境20で想定される再現用スピーカ18の配置数・配置関係のパターンに応じた分の複数種類のメディア77を作成・販売しなければならなくなってしまうことになる。
これに対し、上記により説明した本例の音場再現システムによれば、制作側で作成するメディア77は1種のみとでき、この点での効率化が図られることになる。
In the above description, a reproduction signal to be output from each reproduction speaker 18 is generated on the user side (reproduction
According to this, the configuration of the device provided on the user side can be simplified. However, on the other hand, on the production side, it is necessary to create and sell a plurality of types of
On the other hand, according to the sound field reproduction system of this example described above, only one type of
また、図24、図25の説明では、メディア77に対しPlayerごとの収録データ及び映像データと共に、アングル/Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報を記録するものとしたが、メディア77にはPlayerごとの収録データ及び映像データのみを記録し、アングル/Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報についてはネットワーク経由で提供するなど、音場再現に必要な情報のうちの一部をネットワーク経由で提供するように構成することもできる。
特に、再生環境・伝達関数対応情報については、演算部86に設定する以外の情報は全て不要な情報となる。そこで、例えばネットワーク上の所要のサーバ装置に再生環境・伝達関数対応情報を保持させておき、ユーザ側は、音場再現にあたって先ずはこのサーバ装置にアクセスするようにしておき、該当する再現用スピーカ18の配置数・配置関係のパターンに応じた伝達関数Eをダウンロードするように構成する。
これによってメディア77の記録情報量を削減できると共に、再現信号生成装置80においても不要な情報を保持する必要がなくなることで、無駄な読み出し動作の省略及びコントローラ83の処理負担の軽減などが図られる。
24 and 25, the recording data and video data for each player are recorded on the medium 77, and the angle / Direction / transfer function correspondence information and the reproduction environment / transfer function correspondence information are recorded. Only the recorded data and video data for each player is recorded on the
In particular, regarding the reproduction environment / transfer function correspondence information, all information other than that set in the calculation unit 86 is unnecessary information. Therefore, for example, a required server device on the network holds the reproduction environment / transfer function correspondence information, and the user side first accesses the server device to reproduce the sound field, and the corresponding reproduction speaker. The transfer function E corresponding to the 18 arrangement number / pattern-related pattern is downloaded.
As a result, the amount of recorded information on the medium 77 can be reduced, and unnecessary information is not held in the reproduction
また、図25では、演算部26、加算器27、加算器62、演算部86、加算器17をハードウエアにより構成するものとして示したが、これら各部の機能をコントローラ83のソフトウエア処理により実現するように構成することもできる。
In FIG. 25, the calculation unit 26, the
また、図25では、再現信号生成装置80がメディア77の読出部を備える構成とした場合を例示したが、再現信号生成装置80としては、外部においてメディア77から読み出された各情報を入力し、以降はこの各情報に基づいて同様の動作を行うAVアンプとして構成することもできる。
25 illustrates the case where the reproduction
また、上記説明では、メディア77は光ディスク記録媒体としたが、他のディスクメディア(ハードディスクなどの磁気ディスクや光磁気ディスク)とすることもできる。或いは、半導体メモリを使用した記録媒体など、ディスクメディア以外とすることもできる。 In the above description, the medium 77 is an optical disk recording medium, but may be another disk medium (a magnetic disk such as a hard disk or a magneto-optical disk). Alternatively, it may be other than a disk medium such as a recording medium using a semiconductor memory.
また、上記説明では、第二閉曲面14での音場再現を行うにあたり、再生音声信号を伝達関数Hに基づき演算処理を施した再現信号を生成した後に、これら再現信号をさらに伝達関数Eに基づき演算処理を施すことで、第二閉曲面14上に配置される再現用スピーカ18の配置位置ごとに対応した再現信号を得るようにしたが、これに代え、伝達関数Hと伝達関数Eとを足し合わせた伝達関数を生成しておき、再生音声をこの合成された伝達関数に基づいてそれぞれ演算処理することによっても同様の結果を得ることができる。
具体的に、例えば図25に示したPlayer1についてのこの場合の再現信号生成系を説明すると、伝達関数H−1(a〜p)+伝達関数E−A(a〜p)、伝達関数H−1(a〜p)+伝達関数E−B(a〜p)、伝達関数H−1(a〜p)+伝達関数E−C(a〜p)による合成伝達関数を設定した3セットの演算部を設け、これらの各々にPlayer1の収録音声信号を供給する。これにより、伝達関数H−1(a〜p)+伝達関数E−A(a〜p)を設定した演算部からは再現用スピーカ18Aから出力すべき再現信号(a〜p)が得られるので、これらを加算器17Aで加算して再現用スピーカ18Aに供給する。
また、伝達関数H−1(a〜p)+伝達関数E−B(a〜p)を設定した演算部からは再現用スピーカ18Bから出力すべき再現信号(a〜p)が得られるので、これらを加算器17Bで加算して再現用スピーカ18Bに供給する。
さらに伝達関数H−1(a〜p)+伝達関数E−C(a〜p)を設定した演算部からは再現用スピーカ18Cから出力すべき再現信号(a〜p)が得られるので、これらを加算器17Cで加算して再現用スピーカ18Cに供給する。
他のPlayerについても、同様の構成が採られることで、結果的に図25に示した構成と同様の音場再現を行うことができる。
なお、この場合のアングル・Directionごとの伝達関数Hの可変は、上記した各演算部内でそれぞれ伝達関数Eに足し合わせる伝達関数Hを可変設定するように構成すればよい。
ところで、上記構成によると、アンビエンスについては図25に示したようにして再生信号を伝達関数H(a〜p)で畳み込んだ後に加算することはできないものとなる。この場合の構成に対応してアンビエンスの追加を行うとした場合は、上記の再現信号生成系の構成とは別途に、アンビエンスa〜pをそれぞれ入力する演算部86A-a〜86A-p、演算部86B-a〜86B-p、演算部86C-a〜86C-pを設け、これらの出力を同様に同じ添え字(A、B、C)の付される加算器17A、17B、17Cにそれぞれ入力して加算するように構成すればよい。これによって、上記した再現信号生成系で生成された各再現用スピーカ18A、B、Cから出力すべきそれぞれの再現信号に対し、第一閉曲面10→第二閉曲面14への伝達関数Eを畳み込んだアンビエンスを加算することができ、図25に示す構成と同様にアンビエンスを再現することができる。
なお、このようにして伝達関数Hと伝達関数Eとを足し合わせた合成の伝達関数によって再生音声信号を畳み込んだ場合としても、結果的に再生音声信号を伝達関数Hに基づき演算処理した再現信号を伝達関数Eで演算処理した場合と同じ効果が得られるので、このような合成の伝達関数で再生信号を演算処理する場合も、再生音声信号を伝達関数Hに基づき演算処理した再現信号を伝達関数Eで演算処理したものであるとしてみなす。
Further, in the above description, when reproducing the sound field on the second closed curved surface 14, after generating a reproduction signal obtained by performing an arithmetic process on the reproduced audio signal based on the transfer function H, the reproduced signal is further converted into the transfer function E. By performing arithmetic processing based on this, a reproduction signal corresponding to each arrangement position of the reproduction speaker 18 arranged on the second closed curved surface 14 is obtained, but instead, a transfer function H, a transfer function E, and A similar result can be obtained by generating a transfer function obtained by adding together and processing the reproduced speech based on the synthesized transfer function.
Specifically, for example, a reproduction signal generation system for
In addition, since the calculation unit that sets the transfer function H-1 (ap) + transfer function EB (ap) can obtain a reproduction signal (ap) to be output from the
Further, since the calculation unit that sets the transfer function H-1 (ap) + transfer function E-C (ap) can obtain a reproduction signal (ap) to be output from the
As for other players, by adopting the same configuration, it is possible to perform sound field reproduction similar to the configuration shown in FIG. 25 as a result.
In this case, the transfer function H for each angle / direction may be varied by setting the transfer function H to be added to the transfer function E in each of the above-described arithmetic units.
By the way, according to the above configuration, the ambience cannot be added after the reproduction signal is convoluted with the transfer function H (ap) as shown in FIG. In the case where ambience is added corresponding to the configuration in this case, separately from the above-described configuration of the reproduction signal generation system,
Even when the reproduced audio signal is convoluted with the combined transfer function obtained by adding the transfer function H and the transfer function E in this manner, the reproduced audio signal is reproduced based on the transfer function H as a result. Since the same effect as that obtained when the signal is arithmetically processed by the transfer function E can be obtained, the reproduction signal obtained by arithmetically processing the reproduced audio signal based on the transfer function H can be obtained even when the reproduction signal is arithmetically processed by such a composite transfer function. It is assumed that the calculation is performed with the transfer function E.
以上、本発明の実施の形態について説明したが、本発明としてはこれに限定されるべきものではない。
例えば実施の形態では、フィルムライブの会場や家庭の部屋などにおいて音声を再生する場合の音場再現に本発明を適用する場合を例示したが、例えばカーオーディオシステムにおいて音声の再生を行う場合にも適用することができる。或いは、例えば臨場感、没入感を与えるアミューズメント、ゲームのようなバーチャルリアリティー産業機器に対しても好適に適用することができる。
As mentioned above, although embodiment of this invention was described, as this invention, it should not be limited to this.
For example, in the embodiment, the case where the present invention is applied to sound field reproduction in the case of reproducing sound in a film live venue, a home room, or the like has been exemplified, but also in the case of reproducing sound in a car audio system, for example. Can be applied. Alternatively, the present invention can also be suitably applied to virtual reality industrial equipment such as an amusement or game that gives a sense of reality or immersion.
1 測定環境、2 測定用信号再生部、3、21、52、67 測定用スピーカ、4、13、53、68 測定用マイク、5、15、19、25、30、40、60、80 再現信号生成装置、6 音声再生部、7、16、26、31、41、86 演算部、8、18 再現用スピーカ、9、17、27、32、42、62 加算器、10 第一閉曲面、11、20 再現環境、14 第二閉曲面、28 コントローラ、29 ROM、29a Direction対応情報、31 ステレオエフェクト処理部、35 音源収録面、36 音源、37、51、64 収録用マイク、50 円形平面、61a〜61p 再生部、65 カメラ、66 ステージ、70 記録装置、71 アングル/Direction・伝達関数対応情報生成部、72 再生環境・伝達関数対応情報生成部、73 アンビエンスデータ生成部、74 各Playerのライン収録データ生成部、75 アングル情報・Direction指示情報付加部、76 記録部、77 メディア、81 メディア読出部、82 バッファメモリ、83 コントローラ、83a アングル・Direction変更部、83b 再生環境整合処理部、84 メモリ部、84a アングル/Direction・伝達関数対応情報、84b 再生環境・伝達関数対応情報、84c 配置パターン情報、85 映像再生系 1 Measurement environment, 2 Measurement signal reproduction unit, 3, 21, 52, 67 Measurement speaker, 4, 13, 53, 68 Measurement microphone, 5, 15, 19, 25, 30, 40, 60, 80 Reproduction signal Generator, 6 sound reproducing unit, 7, 16, 26, 31, 41, 86 computing unit, 8, 18 reproduction speaker, 9, 17, 27, 32, 42, 62 adder, 10 first closed curved surface, 11 , 20 reproduction environment, 14 second closed curved surface, 28 controller, 29 ROM, 29a Direction correspondence information, 31 stereo effect processing unit, 35 sound source recording surface, 36 sound source, 37, 51, 64 recording microphone, 50 circular plane, 61a ~ 61p playback unit, 65 camera, 66 stage, 70 recording device, 71 angle / Direction / transfer function correspondence information generation unit, 72 playback environment / transfer function correspondence information generation unit, 73 Ambience data generation unit, 74 Line recording data generation unit of each player, 75 Angle information / Direction instruction information addition unit, 76 Recording unit, 77 Media, 81 Media reading unit, 82 Buffer memory, 83 Controller, 83a Angle / Direction change Part, 83b reproduction environment matching processing part, 84 memory part, 84a angle / Direction / transfer function correspondence information, 84b reproduction environment / transfer function correspondence information, 84c arrangement pattern information, 85 video reproduction system
Claims (21)
前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された音声を測定する第一の測定工程と、
前記第一の測定工程によって測定された音声に基づいて、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した第一の伝達関数群を生成する第一の伝達関数生成工程と、
入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程と、
を備えることを特徴とする音声信号処理方法。 A first sound generation step of sound generation by a directional speaker disposed at a virtual sound image position outside the first closed curved surface;
A first measurement step of measuring the sound produced in the first pronunciation step at a plurality of positions on the first closed curved surface;
Generating a first transfer function group corresponding to each of the plurality of positions on the first closed curved surface from the virtual sound image position based on the sound measured by the first measurement step; A transfer function generation process;
A first reproduction sound signal corresponding to each of the plurality of positions on the first closed curved surface is obtained by performing arithmetic processing based on the first transfer function group on the input sound signal. An audio signal generation process for reproduction,
An audio signal processing method comprising:
ことを特徴とする請求項1に記載の音声信号処理方法。 Further, the first sound output from each of the reproduction speakers arranged according to a positional relationship geometrically equivalent to the plurality of positions on the first closed curved surface is the first sound signal for reproduction. Comprising a signal output step,
The audio signal processing method according to claim 1.
前記第一の閉曲面の内側に形成される第二の閉曲面上における複数の位置で、前記第二の発音工程によって発音された音声を測定する第二の測定工程と、
前記第二の測定工程によって測定された音声に基づいて、前記複数の音源のそれぞれから、前記第二の閉曲面上における前記複数の位置のそれぞれまでに対応した第二の伝達関数群を生成する第二の伝達関数生成工程と、を備えると共に、
前記第一の再現用音声信号生成工程により得られた前記第一の再現用音声信号に対して、前記第二の伝達関数群に基づいた演算処理を施すことで、前記第二の閉曲面上の前記複数の位置のそれぞれに対応した第二の再現用音声信号を得る第二の再現用音声信号生成工程と、
前記第二の再現用音声信号のぞれぞれを、前記第二の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した再現用スピーカから出力する第二の音声信号出力工程とを備える、
ことを特徴とする請求項1に記載の音声信号処理方法。 Furthermore, a second sound generation step of sound generation from a sound source arranged in a geometrically equivalent positional relationship with the plurality of positions in the first closed curved surface,
A second measuring step of measuring the sound produced by the second sounding step at a plurality of positions on the second closed curved surface formed inside the first closed curved surface;
Based on the sound measured by the second measuring step, a second transfer function group corresponding to each of the plurality of positions on the second closed curved surface is generated from each of the plurality of sound sources. A second transfer function generation step, and
By applying arithmetic processing based on the second transfer function group to the first reproduction audio signal obtained by the first reproduction audio signal generation step, A second reproduction audio signal generating step of obtaining a second reproduction audio signal corresponding to each of the plurality of positions;
A second audio signal output that is output from a reproduction speaker in which each of the second reproduction audio signals is arranged in a positional relationship that is geometrically equivalent to the plurality of positions on the second closed curved surface. A process,
The audio signal processing method according to claim 1.
前記第一の測定工程では、前記有指向性スピーカによって発音された前記複数の方向ごとの音声を測定し、
前記第一の伝達関数生成工程では、
前記第一の測定工程の測定結果に基づき、前記複数の方向ごとに前記第一の伝達関数群を生成すると共に、
前記第一の再現用音声信号生成工程では、
入力した音声信号に対して、前記複数の方向ごとに生成した第一の伝達関数群のうちから選択した1つの前記第一の伝達関数群に基づく演算処理を施して、前記第一の再現用音声信号を得るようにされる、
ことを特徴とする請求項1に記載の音声信号処理方法。 In the first sounding step, sound is produced by directing the directional speaker in a plurality of directions,
In the first measurement step, the sound for each of the plurality of directions sounded by the directional speaker is measured,
In the first transfer function generation step,
Based on the measurement result of the first measurement step, generating the first transfer function group for each of the plurality of directions,
In the first reproduction audio signal generation step,
The input audio signal is subjected to arithmetic processing based on the first transfer function group selected from the first transfer function group generated for each of the plurality of directions, and the first reproduction function group To get an audio signal,
The audio signal processing method according to claim 1.
前記第一の測定工程では、前記2つの方向ごとに、前記有指向性スピーカによって発音された音声を測定し、
前記第一の伝達関数生成工程では、
前記第一の測定工程の測定結果に基づき、前記2つの方向ごとに、前記第一の伝達関数群を生成すると共に、
前記第一の再現用音声信号生成工程では、入力されるステレオ音声信号のうち、一方のチャンネルの音声信号については、前記2つの方向ごとの前記第一の伝達関数群のうちの一方の前記第一の伝達関数群に基づく演算処理を施し、他方のチャンネルの音声信号については、他方の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として前記2つの方向ごとの再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる、
ことを特徴とする請求項1に記載の音声信号処理方法。 In the first sound generation step, sound is generated in two different directions by the directional speaker,
In the first measuring step, the sound produced by the directional speaker is measured for each of the two directions,
In the first transfer function generation step,
Based on the measurement result of the first measurement step, the first transfer function group is generated for each of the two directions,
In the first reproduction audio signal generation step, for the audio signal of one channel among the input stereo audio signals, the first of the first transfer function groups for each of the two directions is selected. An arithmetic process based on one transfer function group is performed, and an audio signal of the other channel is subjected to an arithmetic process based on the other first transfer function group, so that the plurality of the plural on the first closed curved surface A reproduction audio signal for each of the two directions is obtained as a reproduction audio signal corresponding to each position, and the reproduction audio signal is added to each of the plurality of positions on the first closed curved surface. In combination, the first reproduction audio signal is obtained.
The audio signal processing method according to claim 1.
前記第一の測定工程では、
前記有指向性スピーカによって、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に音声を発音するようにされ、
前記第一の測定工程では、前記有指向性スピーカにより発音した前記複数方向ごとに音声を測定し、
前記第一の伝達関数生成工程では、
前記第一の測定工程の測定結果に基づき、前記複数方向ごとに、前記第一の伝達関数群を生成すると共に、
前記第一の再現用音声信号生成工程では、
前記収録工程にて収録した音声信号をそれぞれ対応する方向の前記第一の伝達関数群に基づき演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる、
ことを特徴とする請求項1に記載の音声信号処理方法。 Furthermore, the recording step of recording the sound from the sound source with a directional microphone from a plurality of directions so as to surround the required sound source,
In the first measurement step,
The directional speaker is adapted to generate sound in a plurality of directions opposite to the plurality of directions in which the sound from the sound source is recorded in the recording step.
In the first measurement step, sound is measured for each of the plurality of directions generated by the directional speaker,
In the first transfer function generation step,
Based on the measurement result of the first measurement step, for each of the plurality of directions, to generate the first transfer function group,
In the first reproduction audio signal generation step,
Reproduction corresponding to each of the plurality of positions on the first closed curved surface by performing arithmetic processing on the audio signal recorded in the recording step based on the first transfer function group in the corresponding direction. As the audio signal, reproduction audio signals for the plurality of directions are obtained, and by adding the reproduction audio signals for each of the plurality of positions on the first closed curved surface, To obtain a sound signal for reproduction,
The audio signal processing method according to claim 1.
前記音源を前記有指向性マイクロフォンにより平面的に囲うようにして音声を収録することを特徴とする請求項7に記載の音声信号処理方法。 In the recording process,
8. The audio signal processing method according to claim 7, wherein audio is recorded so that the sound source is surrounded by the directional microphone in a plane.
前記音源を前記有指向性マイクロフォンにより立体的に囲うようにして音声を収録することを特徴とする請求項7に記載の音声信号処理方法。 In the recording process,
The audio signal processing method according to claim 7, wherein audio is recorded so that the sound source is three-dimensionally surrounded by the directional microphone.
前記第一の再現用音声信号生成工程では、
入力した音声信号に対して前記第一の伝達関数群に基づく演算処理を施して前記第一の再現用音声信号を得た上で、それら第一の再現用音声信号ごとに、前記アンビエンス収録工程により収録した前記複数の位置ごとの音声信号のうちの対応する音声信号をそれぞれ加算するようにされる、
ことを特徴とする請求項1に記載の音声信号処理方法。 Furthermore, the ambience recording step of recording the sound generated outside the first closed curved surface by a directional microphone at a plurality of positions on the first closed curved surface,
In the first reproduction audio signal generation step,
The ambience recording step is performed for each of the first reproduction audio signals after performing the arithmetic processing based on the first transfer function group on the input audio signals to obtain the first reproduction audio signals. The corresponding audio signals among the audio signals for each of the plurality of positions recorded by the above are respectively added.
The audio signal processing method according to claim 1.
前記有指向性スピーカに対する前記第一の閉曲面の角度を変えながら、前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された音声を測定するようにされ、
前記第一の伝達関数生成工程では、
前記第一の測定工程によって前記角度ごとに測定された音声ごとに、前記第一の伝達関数群を生成すると共に、
前記第一の再現用音声信号生成工程では、
入力した音声信号に対して、前記角度ごとに得られた前記第一の伝達関数群のうちから選択した1つの前記第一の伝達関数群に基づく演算処理を施して前記第一の再現用音声信号を得るようにされる、
ことを特徴とする請求項1に記載の音声信号処理方法。 In the first measurement step,
While changing the angle of the first closed surface with respect to the directional speaker, the sound produced in the first sound production process at a plurality of positions on the first closed surface is measured,
In the first transfer function generation step,
For each sound measured at each angle by the first measurement step, the first transfer function group is generated,
In the first reproduction audio signal generation step,
The input sound signal is subjected to arithmetic processing based on the first transfer function group selected from the first transfer function group obtained for each angle, and the first reproduction sound is obtained. To get a signal,
The audio signal processing method according to claim 1.
前記入力した音声信号と同期して表示される映像の視点情報に応じて、前記1つの第一の伝達関数群を選択する、
ことを特徴とする請求項11に記載の音声信号処理方法。 In the first reproduction audio signal generation step,
Selecting the one first transfer function group according to the viewpoint information of the video displayed in synchronization with the input audio signal;
The audio signal processing method according to claim 11.
前記記録装置は、
第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカにより発音した音声を、前記第一の閉曲面上における複数の位置で測定した結果に基づき得られた第一の伝達関数群と、所要の音源から収録した収録音声信号とを前記記録媒体に対して記録する記録手段を備え、
前記音声信号処理装置は、
前記記録媒体に記録された前記第一の伝達関数群と前記収録音声信号とを入力する入力手段と、
前記収録音声信号に対して前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再生用音声信号を得る第一の再生用音声信号生成手段とを備える、
ことを特徴とする音場再現システム。 Sound field reproduction comprising: a recording device for recording information on a recording medium; and an audio signal processing device for generating a reproduction audio signal for reproducing the sound field based on the information recorded on the recording medium A system,
The recording device comprises:
The first transfer function group obtained based on the result of measuring the sound produced by the directional speaker arranged at the virtual sound image position outside the first closed curved surface at a plurality of positions on the first closed curved surface And a recording means for recording the recorded audio signal recorded from the required sound source on the recording medium,
The audio signal processing device includes:
Input means for inputting the first transfer function group recorded on the recording medium and the recorded audio signal;
A first reproduction audio signal corresponding to each of the plurality of positions on the first closed curved surface is obtained by performing arithmetic processing based on the first transfer function group on the recorded audio signal. Audio signal generation means for reproduction of
Sound field reproduction system characterized by that.
前記音声信号処理装置における前記入力手段は、装填された前記記録媒体に対する読み出しを行って前記第一の伝達関数群と前記収録音声信号とを入力するように構成される、
ことを特徴とする請求項13に記載の音場再現システム。 The recording medium is a removable medium,
The input means in the audio signal processing apparatus is configured to read the loaded recording medium and input the first transfer function group and the recorded audio signal.
The sound field reproduction system according to claim 13.
前記記録媒体に記録された前記第一の伝達関数群と前記収録音声信号とを、所定のネットワークを経由して入力するように構成される、
ことを特徴とする請求項13に記載の音場再現システム。 The input means in the audio signal processing device is:
The first transfer function group recorded on the recording medium and the recorded audio signal are configured to be input via a predetermined network.
The sound field reproduction system according to claim 13.
前記第一の伝達関数群として、前記有指向性スピーカを複数の方向に向けて発音した音声を測定した結果に基づき得られた、前記複数の方向ごとの第一の伝達関数群を記録するようにされ、
前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
前記収録音声信号に対して、前記複数の方向ごとの第一の伝達関数群のうちから選択した1つ前記第一の伝達関数群に基づく演算処理を施して、前記第一の再現用音声信号を得るように構成される、
ことを特徴とする請求項13に記載の音場再現システム。 The recording means in the recording device comprises:
As the first transfer function group, the first transfer function group for each of the plurality of directions obtained based on the result of measuring the sound produced by directing the directional speaker in a plurality of directions is recorded. And
The first reproduction audio signal generating means in the audio signal processing device is:
The recorded audio signal is subjected to arithmetic processing based on the first transfer function group selected from the first transfer function group for each of the plurality of directions, and the first reproduction audio signal Configured to get the
The sound field reproduction system according to claim 13.
前記第一の伝達関数群として、前記有指向性スピーカにより2つの異なる方向に向けて発音した音声を測定した結果に基づき得られた、前記2つの方向ごとの第一の伝達関数群を記録し、
前記収録音声信号としては、ステレオ音声信号としての2チャンネル分の音声信号を記録するようにされると共に、
前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
前記2チャンネル分の音声信号のうち、一方のチャンネルの音声信号については、前記2つの方向ごとの第一の伝達関数群のうちの一方の前記第一の伝達関数群に基づく演算処理を施し、他方のチャンネルの音声信号については、他方の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として前記2つの方向ごとの再現用音声信号を得るようにされると共に、それらを前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる、
ことを特徴とする請求項13に記載の音場再現システム。 The recording means in the recording device comprises:
As the first transfer function group, the first transfer function group for each of the two directions obtained based on the result of measuring the sound produced by the directional speaker in two different directions is recorded. ,
As the recorded audio signal, an audio signal for two channels as a stereo audio signal is recorded,
The first reproduction audio signal generating means in the audio signal processing device is:
Among the audio signals for the two channels, the audio signal of one channel is subjected to arithmetic processing based on one of the first transfer function groups in the first transfer function group for each of the two directions, The audio signal of the other channel is subjected to arithmetic processing based on the first transfer function group of the other, so that the reproduction audio signal corresponding to each of the plurality of positions on the first closed curved surface is obtained. A reproduction audio signal for each of two directions is obtained, and the first reproduction audio signal is obtained by adding them for each of the plurality of positions on the first closed curved surface. To be
The sound field reproduction system according to claim 13.
前記収録音声信号として、所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより収録した複数の音声信号を記録すると共に、
前記第一の伝達関数群としては、前記有指向性スピーカにより、前記有指向性マイクロフォンにより前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に発音した音声を測定した結果に基づき得られた、前記複数方向ごとの前記第一の伝達関数群を記録するようにされ、
前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
前記有指向性マイクロフォンにより収録した前記複数方向ごとの収録音声信号を、それぞれ対応する方向の前記第一の伝達関数群に基づき演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる、
ことを特徴とする請求項13に記載の音場再現システム。 The recording means in the recording device comprises:
As the recording audio signal, recording a plurality of audio signals recorded by a directional microphone from a plurality of directions so as to surround a required sound source,
As the first transfer function group, as a result of measuring sound produced in a plurality of directions opposite to the plurality of directions in which the sound from the sound source is recorded by the directional microphone by the directional speaker. The first transfer function group obtained for each of the plurality of directions obtained based on
The first reproduction audio signal generating means in the audio signal processing device is:
By performing arithmetic processing based on the first transfer function group in the corresponding direction, the recorded audio signals recorded in the plurality of directions recorded by the directional microphone, the plural on the first closed curved surface The reproduction audio signals for the plurality of directions are obtained as reproduction audio signals corresponding to the respective positions, and the reproduction audio signals are added to the plurality of positions on the first closed curved surface. In combination, the first reproduction audio signal is obtained.
The sound field reproduction system according to claim 13.
上記記録媒体に対し、前記第一の閉曲面上の複数の位置で有指向性マイクロフォンにより前記第一の閉曲面の外側に生じる音声を収録したアンビエンス音声信号をさらに記録するようにされ、
前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
前記収録音声信号に対して前記第一の伝達関数群に基づく演算処理を施して前記第一の再現用音声信号を得た上で、それら第一の再現用音声信号ごとに、前記アンビエンス音声信号のうちの対応する音声信号を加算するようにされる、
ことを特徴とする請求項13に記載の音場再現システム。 The recording means in the recording device comprises:
The recording medium is further recorded with an ambience audio signal recording audio generated outside the first closed curved surface by a directional microphone at a plurality of positions on the first closed curved surface,
The first reproduction audio signal generating means in the audio signal processing device is:
After performing the arithmetic processing based on the first transfer function group on the recorded audio signal to obtain the first reproduction audio signal, the ambience audio signal is obtained for each of the first reproduction audio signals. Is adapted to add the corresponding audio signal of
The sound field reproduction system according to claim 13.
前記第一の伝達関数群として、前記有指向性スピーカに対する前記第一の閉曲面の角度を変えながら前記第一の閉曲面上における複数の位置で前記有指向性スピーカから発音された音声を測定した結果に基づき得られた、前記角度ごとの第一の伝達関数群を記録するようにされ、
前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
前記収録音声信号に対して、前記角度ごとの前記第一の伝達関数群のうちから選択した1つの前記第一の伝達関数群に基づく演算処理を施して、前記第一の再現用音声信号を得るようにされる、
ことを特徴とする請求項13に記載の音場再現システム。 The recording means in the recording device comprises:
As the first transfer function group, the sound produced from the directional speaker is measured at a plurality of positions on the first closed curved surface while changing the angle of the first closed curved surface with respect to the directional speaker. The first transfer function group for each angle obtained based on the result is recorded,
The first reproduction audio signal generating means in the audio signal processing device is:
The recorded audio signal is subjected to arithmetic processing based on the first transfer function group selected from the first transfer function group for each angle, and the first reproduction audio signal is obtained. To get,
The sound field reproduction system according to claim 13.
前記第一の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した音源から発音した音声を、前記第一の閉曲面の内側に形成される第二の閉曲面上における複数の位置で測定した結果に基づき得られた、前記複数の音源のそれぞれから前記第二の閉曲面上における前記複数の位置のそれぞれまでに対応した第二の伝達関数群をさらに記録するようにされ、
前記音声信号処理装置は、さらに、
前記第一の再現用音声信号生成手段により得られた前記第一の再現用音声信号に対して、前記第二の伝達関数群に基づいた演算処理を施すことで、前記第二の閉曲面上の前記複数の位置のそれぞれに対応した第二の再現用音声信号を得る第二の再現用音声信号生成手段を備える、
ことを特徴とする請求項13に記載の音場再現システム。
The recording means in the recording device comprises:
A plurality of voices on the second closed surface formed inside the first closed surface are generated by sound generated from a sound source arranged in a geometrically equivalent positional relationship with the plurality of positions on the first closed surface. A second transfer function group corresponding to each of the plurality of positions on the second closed surface obtained from each of the plurality of sound sources obtained based on the result measured at the position is further recorded. ,
The audio signal processing device further includes:
By applying arithmetic processing based on the second transfer function group to the first reproduction audio signal obtained by the first reproduction audio signal generation means, A second reproduction audio signal generating means for obtaining a second reproduction audio signal corresponding to each of the plurality of positions.
The sound field reproduction system according to claim 13.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005223436A JP4735108B2 (en) | 2005-08-01 | 2005-08-01 | Audio signal processing method, sound field reproduction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005223436A JP4735108B2 (en) | 2005-08-01 | 2005-08-01 | Audio signal processing method, sound field reproduction system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011029409A Division JP5168373B2 (en) | 2011-02-15 | 2011-02-15 | Audio signal processing method, sound field reproduction system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007041164A true JP2007041164A (en) | 2007-02-15 |
JP4735108B2 JP4735108B2 (en) | 2011-07-27 |
Family
ID=37799219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005223436A Expired - Fee Related JP4735108B2 (en) | 2005-08-01 | 2005-08-01 | Audio signal processing method, sound field reproduction system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4735108B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008227773A (en) * | 2007-03-09 | 2008-09-25 | Advanced Telecommunication Research Institute International | Sound space sharing apparatus |
JP2012109643A (en) * | 2010-11-15 | 2012-06-07 | National Institute Of Information & Communication Technology | Sound reproduction system, sound reproduction device and sound reproduction method |
EP2606661A1 (en) * | 2010-08-20 | 2013-06-26 | Industrial Research Limited | Surround sound system |
ES2751224A1 (en) * | 2019-09-17 | 2020-03-30 | Gomez Joaquin Rebollo | POSITIONAL SPECTRAL SOUND SYSTEM AND METHOD (Machine-translation by Google Translate, not legally binding) |
WO2022113288A1 (en) * | 2020-11-27 | 2022-06-02 | ヤマハ株式会社 | Live data delivery method, live data delivery system, live data delivery device, live data reproduction device, and live data reproduction method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2874411A4 (en) | 2012-07-13 | 2016-03-16 | Sony Corp | Information processing system and recording medium |
RU2635046C2 (en) | 2012-07-27 | 2017-11-08 | Сони Корпорейшн | Information processing system and information media |
US10175931B2 (en) | 2012-11-02 | 2019-01-08 | Sony Corporation | Signal processing device and signal processing method |
WO2014069111A1 (en) | 2012-11-02 | 2014-05-08 | ソニー株式会社 | Signal processing device, signal processing method, measurement method, and measurement device |
US10896668B2 (en) | 2017-01-31 | 2021-01-19 | Sony Corporation | Signal processing apparatus, signal processing method, and computer program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04256814A (en) * | 1991-02-12 | 1992-09-11 | Matsushita Electric Ind Co Ltd | Sound-field simulating apparatus |
JPH08272380A (en) * | 1995-03-30 | 1996-10-18 | Taimuuea:Kk | Method and device for reproducing virtual three-dimensional spatial sound |
JP2002186100A (en) * | 2000-12-11 | 2002-06-28 | Sony Corp | Sound signal processing method, sound signal processing unit |
JP2005101901A (en) * | 2003-09-25 | 2005-04-14 | Yamaha Corp | Characteristic correcting system |
-
2005
- 2005-08-01 JP JP2005223436A patent/JP4735108B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04256814A (en) * | 1991-02-12 | 1992-09-11 | Matsushita Electric Ind Co Ltd | Sound-field simulating apparatus |
JPH08272380A (en) * | 1995-03-30 | 1996-10-18 | Taimuuea:Kk | Method and device for reproducing virtual three-dimensional spatial sound |
JP2002186100A (en) * | 2000-12-11 | 2002-06-28 | Sony Corp | Sound signal processing method, sound signal processing unit |
JP2005101901A (en) * | 2003-09-25 | 2005-04-14 | Yamaha Corp | Characteristic correcting system |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008227773A (en) * | 2007-03-09 | 2008-09-25 | Advanced Telecommunication Research Institute International | Sound space sharing apparatus |
EP2606661A1 (en) * | 2010-08-20 | 2013-06-26 | Industrial Research Limited | Surround sound system |
EP2606661A4 (en) * | 2010-08-20 | 2014-09-10 | Ind Res Ltd | Surround sound system |
JP2012109643A (en) * | 2010-11-15 | 2012-06-07 | National Institute Of Information & Communication Technology | Sound reproduction system, sound reproduction device and sound reproduction method |
ES2751224A1 (en) * | 2019-09-17 | 2020-03-30 | Gomez Joaquin Rebollo | POSITIONAL SPECTRAL SOUND SYSTEM AND METHOD (Machine-translation by Google Translate, not legally binding) |
WO2021053253A1 (en) * | 2019-09-17 | 2021-03-25 | Joaquin Rebollo Gomez | Positional spectral sound system |
WO2022113288A1 (en) * | 2020-11-27 | 2022-06-02 | ヤマハ株式会社 | Live data delivery method, live data delivery system, live data delivery device, live data reproduction device, and live data reproduction method |
WO2022113393A1 (en) * | 2020-11-27 | 2022-06-02 | ヤマハ株式会社 | Live data delivery method, live data delivery system, live data delivery device, live data reproduction device, and live data reproduction method |
CN114945978A (en) * | 2020-11-27 | 2022-08-26 | 雅马哈株式会社 | Live data transmission method, live data transmission system, transmission device thereof, live data playback device, and live data playback method |
Also Published As
Publication number | Publication date |
---|---|
JP4735108B2 (en) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4674505B2 (en) | Audio signal processing method, sound field reproduction system | |
JP4735108B2 (en) | Audio signal processing method, sound field reproduction system | |
JP5168373B2 (en) | Audio signal processing method, sound field reproduction system | |
US10924875B2 (en) | Augmented reality platform for navigable, immersive audio experience | |
US5822438A (en) | Sound-image position control apparatus | |
JP3578783B2 (en) | Sound image localization device for electronic musical instruments | |
WO2000018112A1 (en) | Apparatus and method for presenting sound and image | |
JP2003316371A (en) | Device, method, and program for giving echo, device, method, and program for generating impulse response, and recording medium | |
Bartlett et al. | On Location Recording Techniques | |
JP4883197B2 (en) | Audio signal processing method, sound field reproduction system | |
Réveillac | Musical sound effects: Analog and digital sound processing | |
WO1997030564A1 (en) | Electronic acoustic device | |
Bartlett | Stereo microphone techniques | |
JP2007333813A (en) | Electronic piano apparatus, sound field synthesizing method of electronic piano and sound field synthesizing program for electronic piano | |
KR100955328B1 (en) | Apparatus and method for surround soundfield reproductioin for reproducing reflection | |
JP2010044428A (en) | Sound signal processing method and sound signal processing apparatus | |
JP2002186100A (en) | Sound signal processing method, sound signal processing unit | |
JP2005157278A (en) | Apparatus, method, and program for creating all-around acoustic field | |
JP2007124023A (en) | Method of reproducing sound field, and method and device for processing sound signal | |
CA3044260A1 (en) | Augmented reality platform for navigable, immersive audio experience | |
US20240163624A1 (en) | Information processing device, information processing method, and program | |
JP3552244B2 (en) | Sound field playback device | |
JP2006030443A (en) | Recording medium, recording device and method, data processor and method, data output system, and method | |
JP2002152897A (en) | Sound signal processing method, sound signal processing unit | |
JPH1070798A (en) | Three-dimensional sound reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110411 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4735108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |