JP2000322069A - Sound field space information transmission/reception method, sound field space information transmission device and sound field reproduction device - Google Patents

Sound field space information transmission/reception method, sound field space information transmission device and sound field reproduction device

Info

Publication number
JP2000322069A
JP2000322069A JP11133868A JP13386899A JP2000322069A JP 2000322069 A JP2000322069 A JP 2000322069A JP 11133868 A JP11133868 A JP 11133868A JP 13386899 A JP13386899 A JP 13386899A JP 2000322069 A JP2000322069 A JP 2000322069A
Authority
JP
Japan
Prior art keywords
spatial information
sound
transmitting
sound field
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11133868A
Other languages
Japanese (ja)
Other versions
JP4046891B2 (en
Inventor
Tatsu Ikezawa
龍 池沢
Hiroyuki Okubo
洋幸 大久保
Masamichi Otani
眞道 大谷
Kazuo Ono
一穂 小野
Setsu Komiyama
摂 小宮山
Hiroshi Asayama
宏 浅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAIMU WEAR KK
Japan Broadcasting Corp
Original Assignee
TAIMU WEAR KK
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAIMU WEAR KK, Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical TAIMU WEAR KK
Priority to JP13386899A priority Critical patent/JP4046891B2/en
Publication of JP2000322069A publication Critical patent/JP2000322069A/en
Application granted granted Critical
Publication of JP4046891B2 publication Critical patent/JP4046891B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stereophonic System (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve the reality or feeding of presence of a voice reproduced on the reception side. SOLUTION: This method is so composed that, on the transmission side, a sound field simulation of space corresponding to a scene or the position of a listener is executed and space information on a sound field obtained by the simulation is transmitted together with a sound signal to the reception side, and that, on the reception side, a convolutional operation of the received sound signal is executed based on the received space information on the sound field to generate a regenerative signal and the regenerative signal is supplied to a speaker or a headphone.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、映像とともにある
いは音声だけで伝送されてきた音声を受信側で受信・再
現するにあたって、再現された音声が現実と同程度にリ
アリティや臨場感をもって、シーンまたは聴取者の位置
に対応した音声としてダイナミックに再現できるように
した装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for receiving and reproducing sound transmitted along with a video or only a sound on a receiving side, with the reproduced sound having the same level of reality and realism as a real scene. The present invention relates to a device that can be dynamically reproduced as sound corresponding to the position of a listener.

【0002】[0002]

【従来の技術】臨場感ある音場を再現する手法としてス
テレオ方式がよく知られている。ステレオ方式は、少な
くとも2つのスピーカを用意し、これらを聴取者の正面
左右に配置して立体的な音響を再現しようとする手法で
あり、モノラルスピーカ方式に比較して高臨場感を譲し
出すことができる。
2. Description of the Related Art A stereo system is well known as a technique for reproducing a realistic sound field. The stereo method is a method of preparing at least two speakers and arranging them at the front left and right of a listener to reproduce three-dimensional sound, and gives a higher sense of realism as compared with the monaural speaker method. be able to.

【0003】2チャンネルステレオ方式でさらにリアリ
ティのある音場を再現する手法の1つにダミーヘッド収
音システムと呼ばれるものがある。ダミーヘッド収音シ
ステムは、人間の頭部を模した、いわゆるダミーヘッド
のちょうど鼓膜の位置にマイクロフォンを仕込んだ収音
システムであり、ヘッドホン再生とすることにより、リ
アリティのある音場を再現しようとするものである。こ
の手法は、頭部伝達関数という人間の頭部の存在による
音の回り込みや回折効果を考慮した伝達関数を用いて入
力信号に畳み込み演算を施す手法と等価である。
One of the techniques for reproducing a more realistic sound field in a two-channel stereo system is a so-called dummy head sound pickup system. The dummy head sound pickup system is a sound pickup system that imitates the human head, a microphone that is placed at the position of the eardrum of a so-called dummy head, and attempts to reproduce the sound field with reality by reproducing with headphones. Is what you do. This method is equivalent to a method of performing a convolution operation on an input signal using a transfer function that takes into account sound wraparound and diffraction effects due to the presence of a human head, which is a head-related transfer function.

【0004】一方、ヘッドホン再生でなくてもダミーヘ
ッド収音の効果が発揮できる手法として、OSS (Orth
o Stereophonic System)がある。これは、ダミーヘッド
収音したものを聴取者の正面左右に配置したスピーカで
音を再生する場合に、左右のスピーカからの再生音が完
全に分離されて聴取者の左右の耳に入力されないという
欠点を補うために、左右のスピーカから出る音の分離特
性を向上させる手法である。OSSでは、信号処理によ
り左右の聴取ポイントにおいて不要なスピーカからの再
生音と逆相の音波が発生するようにし、この逆相音波の
干渉により不要なスピーカからの再生音を打ち消して、
右(左)のスピーカからの音を右(左)の耳だけに聴こ
えるようにしている。
On the other hand, OSS (Orth
o Stereophonic System). This means that when the sound picked up by the dummy head is reproduced by speakers arranged in front and left and right of the listener, the reproduced sounds from the left and right speakers are completely separated and are not input to the left and right ears of the listener. In order to make up for the drawback, this is a technique for improving the separation characteristics of sounds emitted from the left and right speakers. In the OSS, signal processing is performed to generate a sound wave in phase opposite to an unnecessary reproduction sound from the speaker at the left and right listening points, and the unnecessary reproduction sound from the speaker is canceled by the interference of the anti-phase sound wave.
The sound from the right (left) speaker is heard only by the right (left) ear.

【0005】これらの手法を用いたシステムとしては、
ローランド社のRSS(ローランド・サウンド・スペー
ス)やアーチャーコミュニケーションズ社が開発したQ
サウンドがある。
[0005] Systems using these methods include:
Roland's RSS (Roland Sound Space) and Q developed by Archer Communications
There is sound.

【0006】また、ステレオ方式でさらにリアリティの
ある音場再現を実現する手法として、前方2チャンネル
のスピーカ以外からも音声を発生させるいわゆるサラウ
ンド方式がある。サラウンド方式には、主信号にディレ
ーをもたせた信号を前方2チャンネル以外のサラウンド
スピーカから出す簡易な手法や、近年の劇場映画などの
マルチチャンネル音声システムに対応した高能率符号化
方式を採用したAC−3方式などがある。
As a technique for realizing a more realistic sound field reproduction in the stereo system, there is a so-called surround system in which sound is generated from other than the front two-channel speakers. The surround method employs a simple method of outputting a signal obtained by delaying the main signal from surround speakers other than the front two channels, and an AC method employing a high-efficiency encoding method corresponding to a multi-channel audio system such as a recent theater movie. -3 method.

【0007】さらに、特定のホールやスタジアムの音場
の空間情報が数種類プリセットされ、聴取者の好みに応
じて選択されたこれらの空間情報に基づき、既に録音さ
れたCDなどの再生音を畳み込み演算して再生信号を生
成することにより、臨場感をより高めることができるよ
うにした音響効果機器や増幅装置がヤマハ社などから製
品化されている。
Further, several kinds of spatial information of the sound field of a specific hall or stadium are preset, and based on these spatial information selected according to the listener's preference, the reproduced sound of a CD or the like already recorded is convoluted. A sound effect device and an amplifying device capable of enhancing the sense of realism by generating a reproduced signal in response to such a signal have been commercialized by Yamaha Corporation and the like.

【0008】[0008]

【発明が解決しようとする課題】上述した2チャンネル
ステレオ方式は、収音現場の臨場感を再現しようとする
ものであるが、その臨場感はあくまで収音ポイントの臨
場感であって、収音ポイント以外のポイントの臨場感を
再現することはできない。
The two-channel stereo system described above is intended to reproduce the sense of reality at the sound pickup site, but the sense of presence is merely the sense of presence at the sound pickup point. It is not possible to reproduce the realism of points other than points.

【0009】また、例えば、スタジオ内でセットを使っ
て行われる放送用ドラマの収録などでは、いわゆるロケ
収録の場合のような現実の音響空間における臨場感をも
った音声を収録することはできない。そのため、収録後
に、例えば、洞窟のシーンであれば、収録音に響きの長
いリバーブを試行錯誤しながら付加するといった方法
で、音作りをするのが常であり、受信側で各シーンに対
応した現実の音響空間に存在する音響特性を忠実に再現
することはできなかった。
[0009] For example, in the recording of a broadcast drama performed using a set in a studio, it is not possible to record a sound with a sense of reality in a real acoustic space as in so-called location recording. For this reason, after recording, for example, if it is a cave scene, it is usual to make a sound by adding a reverb with a long sound to the recorded sound while trial and error, and the receiving side responded to each scene It was not possible to faithfully reproduce the acoustic characteristics existing in the actual acoustic space.

【0010】また、サラウンド方式は、音が広がること
により高臨場感を体感することはできるが、これも収音
ポイント以外のポイントの臨場感を再現できない点、お
よび収音現場にない臨場感を再現できない点については
2チャンネルステレオ方式と同じである。
[0010] The surround sound system can provide a high sense of realism due to the spread of sound. However, the surround sound system cannot reproduce the realism of points other than the sound collection point, and also has a sense of realism that does not exist at the sound collection site. The point that cannot be reproduced is the same as the two-channel stereo system.

【0011】さらに、プリセットされている数種類の音
場の空間情報をもとに、既に録音されたCDなどの再生
音を畳み込み演算して臨場感を向上させる従来技術は、
収音現場にない臨場感を再現できるものの、その臨場感
は予めプリセットされたホールやスタジアムの特定の収
音ポイントにおける臨場感であり、収音ポイントをリア
ルタイムでダイナミックに変化させることはできない
し、当然ながらプリセット以外の音場を再現することは
できなかった。
Further, a conventional technique for improving the sense of realism by convoluting a reproduced sound of an already recorded CD or the like based on spatial information of several preset sound fields,
Although it is possible to reproduce the sense of reality that does not exist at the sound pickup site, the sense of presence is the sense of presence at a specific sound pickup point of a preset hall or stadium, and it is not possible to dynamically change the sound pickup point in real time, Naturally, it was not possible to reproduce sound fields other than presets.

【0012】また、CG技術を用いて構築した架空の世
界を現実のように知覚できるいわゆるバーチャルリアリ
ティ (VR:Virtual Reality)において、操作者がジョ
イスティックなどを操作して操作者の意思を反映した立
体視等を行う場合、映像については操作者の動きに応じ
た立体視が可能である反面、音声については操作者の動
きに応じたダイナミックな音場再生をすることができな
かった。このことは、記録媒体に記録されたデータをも
とに、コンピュータにより操作者の意思を反映させた映
像を再生するコンピュータゲームなどの再生音声につい
ても同様である。
[0012] In a so-called virtual reality (VR), which can perceive an imaginary world constructed using CG technology as if it were real, the operator operates a joystick or the like to reflect a three-dimensional object reflecting the operator's intention. When performing visual observations or the like, it is possible to perform a stereoscopic view according to the movement of the operator for video, but it is not possible to reproduce a dynamic sound field according to the movement of the operator for sound. The same is true for a reproduction sound of a computer game or the like in which a computer reproduces a video reflecting the intention of an operator based on data recorded on a recording medium.

【0013】本発明の目的は、映像とともにあるいは音
声だけで伝送されてきた音声を受信側で受信・再現する
にあたって、再現された音声が現実と同程度にリアリテ
ィや臨場感をもって、シーンまたは聴取者の位置に対応
した音声としてダイナミックに再現できるようにした音
場空間情報送受信方法、音場空間情報送信装置および音
場再現装置を提供することにある。
[0013] An object of the present invention is to provide a method for receiving and reproducing sound transmitted along with a video or only a sound at a receiving side, so that the reproduced sound has the same degree of reality and realism as a scene or a listener. To provide a sound field spatial information transmitting / receiving method, a sound field spatial information transmitting apparatus, and a sound field reproducing apparatus which can be dynamically reproduced as a sound corresponding to the position of the sound field.

【0014】[0014]

【課題を解決するための手段】上記目的を達成するため
に、本発明音場空間情報送受信方法は、送信側において
は、シーンまたは聴取者の位置に対応した空間の音場シ
ミュレーションを行い、該シミュレーションにより得ら
れた音場の空間情報を音声信号とともに受信側に送信
し、受信側においては、受信された音場の空間情報をも
とに受信された音声信号を畳み込み演算して再生信号を
生成し、該再生信号をスピーカまたはヘッドホンに供給
するようにしたことを特徴とするものである。
In order to achieve the above object, the sound field spatial information transmitting / receiving method of the present invention performs a sound field simulation of a space corresponding to a scene or a position of a listener on a transmitting side. The spatial information of the sound field obtained by the simulation is transmitted to the receiving side together with the audio signal, and the receiving side convolves the received audio signal based on the spatial information of the received sound field to calculate the reproduced signal. The reproduction signal is generated and supplied to a speaker or headphones.

【0015】また、本発明音場空間情報送信装置は、音
声信号を送信する第1の送信手段、各シーンに対応した
複数の音場の空間情報をテーブル化した形態で記憶する
記憶手段、およびその記憶した複数の空間情報のうちか
ら特定のシーンに対応した空間情報を選択して送信する
第2の送信手段を少なくとも具えてなることを特徴とす
るものである。
Further, the sound field spatial information transmitting apparatus of the present invention includes a first transmitting means for transmitting an audio signal, a storing means for storing spatial information of a plurality of sound fields corresponding to each scene in a table form, and At least a second transmitting means for selecting and transmitting spatial information corresponding to a specific scene from the plurality of stored spatial information is provided.

【0016】また、本発明音場再現装置は、音声信号を
受信する第1の受信手段、選択されて送信された音場の
空間情報を受信する第2の受信手段、第2の受信手段に
よって受信された空間情報をもとに生成した反射音時系
列と第1の受信手段によって受信された音声信号との畳
み込み演算を行う畳み込み演算手段、および畳み込み演
算手段の出力が供給され音場を再現するスピーカまたは
ヘッドホンを少なくとも具えてなることを特徴とするも
のである。
Further, the sound field reproducing apparatus according to the present invention comprises a first receiving means for receiving an audio signal, a second receiving means for receiving spatial information of a selected and transmitted sound field, and a second receiving means. Convolution operation means for performing a convolution operation between the reflected sound time series generated based on the received spatial information and the audio signal received by the first reception means, and the output of the convolution operation means is supplied to reproduce the sound field And at least a speaker or headphones.

【0017】また、本発明音場空間情報送信装置は、音
声信号を送信する第1の送信手段、聴取者の各位置に対
応した複数の音場の空間情報をテーブル化した形態で記
憶する記憶手段、およびその記憶した複数の空間情報の
うちから受信側から送られてくる聴取者の位置情報に対
応した空間情報を選択して送信する第2の送信手段を少
なくとも具えてなることを特徴とするものである。
Further, the sound field spatial information transmitting apparatus of the present invention is a first transmitting means for transmitting an audio signal, and a storage for storing in a table form spatial information of a plurality of sound fields corresponding to each position of a listener. Means, and at least a second transmitting means for selecting and transmitting spatial information corresponding to the position information of the listener sent from the receiving side from the plurality of stored spatial information, and transmitting the selected spatial information. Is what you do.

【0018】また、本発明音場再現装置は、操作者が入
力する聴取者の位置情報を送信側に送信する送信手段、
音声信号を受信する第1の受信手段、送信側から送られ
てくる聴取者の位置情報に対応した空間情報を受信する
第2の受信手段、第2の受信手段によって受信された空
間情報をもとに生成した反射音時系列と第1の受信手段
によって受信された音声信号との畳み込み演算を行う畳
み込み演算手段、および畳み込み演算手段の出力が供給
され音場を再現するスピーカまたはヘッドホンを少なく
とも具えてなることを特徴とするものである。
The sound field reproduction device according to the present invention further comprises: transmitting means for transmitting the position information of the listener input by the operator to the transmitting side;
The first receiving means for receiving the audio signal, the second receiving means for receiving the spatial information corresponding to the position information of the listener sent from the transmitting side, and the spatial information received by the second receiving means. At least a convolution operation means for performing a convolution operation of the reflected sound time series generated and the audio signal received by the first reception means, and a speaker or a headphone to which an output of the convolution operation means is supplied to reproduce a sound field. It is characterized by the fact that

【0019】また、本発明音場空間情報送信装置は、音
声信号を送信する第1の送信手段、各シーンに対応した
複数の音場の空間情報をテーブル化した形態で同時また
は時系列で送信する第2の送信手段、およびシーンに対
応した空間情報切り換え信号を送信する第3の送信手段
を少なくとも具えてなることを特徴とするものである。
Further, the sound field spatial information transmitting apparatus of the present invention comprises a first transmitting means for transmitting an audio signal, and simultaneously or time-sequentially transmitting a plurality of sound field spatial information corresponding to each scene in a table form. And at least a third transmitting means for transmitting a spatial information switching signal corresponding to a scene.

【0020】また、本発明音場空間情報送信装置は、音
声信号を送信する第1の送信手段、および聴取者の位置
に対応した複数の音場の空間情報をテーブル化した形態
で同時または時系列で送信する第2の送信手段を少なく
とも具えてなることを特徴とするものである。
Further, the sound field spatial information transmitting apparatus of the present invention comprises a first transmitting means for transmitting an audio signal, and simultaneous or temporal information in a form in which spatial information of a plurality of sound fields corresponding to the position of a listener is tabulated. It is characterized by comprising at least a second transmitting means for transmitting in a sequence.

【0021】また、本発明音場再現装置は、音声信号を
受信する第1の受信手段、テーブル化した形態の複数の
音場の空間情報を受信する第2の受信手段、第2の受信
手段によって受信された空間情報を記憶する記憶手段、
送信側からシーンに対応して送られてくる空間情報切り
換え信号または操作者が入力する聴取者の位置情報をも
とに記憶手段に記憶されている複数の空間情報の中から
所定の空間情報を選択する選択手段、選択された空間情
報をもとに生成した反射音時系列と第1の受信手段によ
って受信された音声信号との畳み込み演算を行う畳み込
み演算手段、および畳み込み演算手段の出力が供給され
音場を再現するスピーカまたはヘッドホンを少なくとも
具えてなることを特徴とするものである。
Further, the sound field reproducing apparatus of the present invention comprises a first receiving means for receiving an audio signal, a second receiving means for receiving spatial information of a plurality of sound fields in a tabulated form, and a second receiving means. Storage means for storing the spatial information received by
Based on the spatial information switching signal transmitted from the transmitting side corresponding to the scene or the position information of the listener input by the operator, predetermined spatial information is stored from a plurality of spatial information stored in the storage means. Selection means for selecting, convolution operation means for performing a convolution operation of the reflected sound time series generated based on the selected spatial information and the audio signal received by the first reception means, and output of the convolution operation means And at least a speaker or a headphone for reproducing a sound field.

【0022】また、本発明音場再現装置は、音声信号を
再生する第1の再生手段、テーブル化した形態の複数の
音場の空間情報を再生する第2の再生手段、第2の再生
手段によって再生された空間情報を記憶する記憶手段、
第3の再生手段からシーンに対応して再生される空間情
報切り換え信号または操作者が入力する聴取者の位置情
報をもとに記憶手段に記憶されている複数の空間情報の
中から所定の空間情報を選択する選択手段、選択された
空間情報をもとに生成した反射音時系列と第1の再生手
段によって再生された音声信号との畳み込み演算を行う
畳み込み演算手段、および畳み込み演算手段の出力が供
給され音場を再現するスピーカまたはヘッドホンを少な
くとも具えてなることを特徴とするものである。
Further, the sound field reproducing apparatus of the present invention comprises a first reproducing means for reproducing an audio signal, a second reproducing means for reproducing spatial information of a plurality of sound fields in a tabular form, and a second reproducing means. Storage means for storing the spatial information reproduced by
A predetermined space is selected from a plurality of pieces of space information stored in the storage means based on a spatial information switching signal reproduced from the third reproducing means corresponding to a scene or a listener's position information input by the operator. Selection means for selecting information, convolution operation means for performing a convolution operation of a reflected sound time series generated based on the selected spatial information and an audio signal reproduced by the first reproduction means, and output of the convolution operation means , And at least a speaker or headphones for reproducing a sound field.

【0023】[0023]

【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。前述し
たように、本発明は、送信側においては、シーンまたは
聴取者の位置に対応した空間の音場シミュレーションを
行い、その結果得られた音場の空間情報を音声信号とと
もに受信側に送信し、受信側においては、受信した音場
の空間情報をもとに音声信号を畳み込み演算して受信側
の音場再生機器の構成に応じた再生信号を生成し、それ
ら再生信号を複数のスピーカやヘッドホンに供給するこ
とによりシーンなどに対応した臨場感のある音場をダイ
ナミックに再現できるようにしたものである。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail below based on embodiments of the present invention with reference to the accompanying drawings. As described above, according to the present invention, on the transmitting side, a sound field simulation of a space corresponding to a scene or a position of a listener is performed, and spatial information of the resulting sound field is transmitted to a receiving side together with an audio signal. On the receiving side, a convolution operation is performed on the audio signal based on the spatial information of the received sound field to generate a reproduced signal corresponding to the configuration of the sound field reproducing device on the receiving side. By supplying the sound to headphones, it is possible to dynamically reproduce a realistic sound field corresponding to a scene or the like.

【0024】図1は、送信側において、ドラマなど各シ
ーンに対応した音場の空間情報を受信側に送信し、受信
側において、受信した空間情報をもとに音声信号を畳み
込み演算することによってシーンと連動した高臨場感の
ある音響再現が可能となる本発明による音場空間情報送
受信方法の一実施形態をフローチャートにて示してい
る。
FIG. 1 shows that a transmitting side transmits spatial information of a sound field corresponding to each scene such as a drama to a receiving side, and the receiving side performs a convolution operation on an audio signal based on the received spatial information. 1 is a flowchart illustrating an embodiment of a sound field spatial information transmitting / receiving method according to the present invention, which enables a highly realistic sound reproduction linked to a scene.

【0025】図1に示すフローチャートに基づいて、本
発明方法を順を追って説明する。送信側において、 1.シーンに対応する仮想空間の音響特性(空間の形、
材料など)を入力データとして用意する(S1)。
The method of the present invention will be described step by step with reference to the flowchart shown in FIG. On the transmitting side: The acoustic characteristics of the virtual space corresponding to the scene (the shape of the space,
Materials) are prepared as input data (S1).

【0026】2.上記の入力データを用いて、なんらか
の音場シミュレーション(例えば、特開平9−1664
82号「高精度音線追跡装置および高精度音線追跡方
法」公報参照)を実行(S2)し、各シーンに対応した
音場の空間情報をあらかじめ作成しておく(S3)。こ
の空間情報は、反射音一本一本の到来方向情報から音圧
レベルの情報まで音源および聴取点の位置など一群のデ
ータをパラメータとしてテーブル化した形態で送信側の
記憶装置に保存する(S4)。
2. Using the above input data, some kind of sound field simulation (for example, Japanese Patent Application Laid-Open No. 9-1664)
No. 82, “High-accuracy sound ray tracing device and high-accuracy sound ray tracing method” is executed (S2), and spatial information of a sound field corresponding to each scene is created in advance (S3). This spatial information is stored in the storage device on the transmission side in a form in which a group of data such as the position of the sound source and the listening point from the direction of arrival of each reflected sound to the information of the sound pressure level is tabulated as parameters (S4). ).

【0027】3.当該シーンに対応した音場の空間情報
テーブルを上記記憶装置から選択し(S4,S5,S
6)連続した音声信号とともに受信側に向けて送信する
(S7,S8)。
3. A spatial information table of a sound field corresponding to the scene is selected from the storage device (S4, S5, S5).
6) Transmit to the receiving side together with the continuous audio signal (S7, S8).

【0028】受信側において、 4.送信側から伝送されてきた当該シーンに対応した音
場の空間情報テーブル、および連続的に送られてくる音
声信号を受信する(S9,S10)。受信した音場の空
間情報テーブルから、受信側で再現したいチャンネル数
に対応した数の反射音時系列を以下に説明するようにし
て生成する。本実施形態では、一例として、受信側にお
いて音場の再現は図2に示すように4つのスピーカで再
現されるものとし、生成された一例の反射音時系列を図
3に示す。ここに、反射音時系列の生成は、伝送された
来た音場の空間情報テーブルに記載されている反射音の
到来方向と遅れ時間から、水平面内を4つに分割した各
方向(図2参照)別の反射音時系列を生成する(S1
1)。
On the receiving side: The spatial information table of the sound field corresponding to the scene transmitted from the transmitting side and the audio signal continuously transmitted are received (S9, S10). From the spatial information table of the received sound field, the number of reflected sound time series corresponding to the number of channels to be reproduced on the receiving side is generated as described below. In the present embodiment, as an example, the reproduction of the sound field on the receiving side is assumed to be reproduced by four speakers as shown in FIG. 2, and an example of the generated reflected sound time series is shown in FIG. Here, the reflected sound time series is generated by dividing the horizontal plane into four directions based on the arrival direction and delay time of the reflected sound described in the spatial information table of the transmitted sound field (FIG. 2). Generate another reflected sound time series (S1).
1).

【0029】図2に示すように、時間遅れが小さくてレ
ベルの大きい反射音Aが2つのスピーカ1、2の間から
到来する場合には、反射音方向とスピーカ1との角度を
α、反射音方向とスピーカ2との角度をβとすると、反
射音Aのレベルのうち、スピーカ1はβ/(α+β)倍
の信号を、スピーカ2はα/(α+β)倍の信号を各々
受け持つことになる。また、時間遅れが大きく、レベル
が下がった反射音B,Cがそれぞれ図示の方向からも到
来する場合には、反射音Aと同様、反射音B,Cの時間
遅れとレベルおよびそれぞれの到来方向とを考慮した信
号をそれぞれ受けもつ1から4までの4つのスピーカの
各反射音時系列として生成する。その結果、1から4の
スピーカに対応した反射音時系列はそれぞれ図3
(a),(b),(c),(d)に示すようになる。
As shown in FIG. 2, when the reflected sound A having a small time delay and a large level comes from between the two speakers 1, 2, the angle between the reflected sound direction and the speaker 1 is α, and the reflected sound direction is α. Assuming that the angle between the sound direction and the speaker 2 is β, among the levels of the reflected sound A, the speaker 1 receives a signal of β / (α + β) times and the speaker 2 receives a signal of α / (α + β) times. Become. In the case where the reflected sounds B and C having a large time delay and having lowered levels also arrive from the directions shown in the figure, similarly to the reflected sound A, the time delay and the levels of the reflected sounds B and C and the respective arrival directions are obtained. Are generated as the reflected sound time series of the four speakers 1 to 4 respectively receiving the signals in consideration of the above. As a result, the reflected sound time series corresponding to speakers 1 to 4 are respectively shown in FIG.
(A), (b), (c), and (d) are obtained.

【0030】5.S10(図1参照)によって受信され
連続的に送られてくる音声信号と以上のようにして生成
した方向別反射音時系列とを畳み込み(S12)、畳み
込まれた信号を増幅器(アンプ)に通して用意されたス
ピーカから音場を再現する(S13)。以上によれば、
シーン毎に、シーンの音場に関わる空間情報が選択され
て送られてくることにより、より高臨場感を有する音響
が得られる。
5. The audio signal received and continuously transmitted in S10 (see FIG. 1) is convolved with the reflected sound time series generated in the above-described direction (S12), and the convolved signal is supplied to an amplifier (amplifier). The sound field is reproduced from a speaker prepared through the speaker (S13). According to the above,
By selecting and sending the spatial information related to the sound field of the scene for each scene, a sound having a higher sense of reality can be obtained.

【0031】以上においては、本発明方法の第1の実施
形態を図1に示すフローチャートで説明したが、送信
側、受信側の各信号処理をハードウエアに置き替えるこ
とにより、本発明音場空間情報送信装置および音場再現
装置を実現することができる。また、このことは、以下
に説明する第2の実施形態についても同じである。
In the above, the first embodiment of the method of the present invention has been described with reference to the flowchart shown in FIG. 1. However, by replacing each signal processing on the transmitting side and the receiving side with hardware, the sound field space of the present invention can be obtained. An information transmitting device and a sound field reproducing device can be realized. This is the same for the second embodiment described below.

【0032】図4(a),(b)〜図7(a),
(b),(c),(d)は、本発明による音場再現のた
めの音場空間情報送受信方法、送信装置および音場再現
装置を適用した第2の実施形態を示している。
FIGS. 4 (a) and 4 (b) to 7 (a),
(B), (c), and (d) show a second embodiment to which a sound field spatial information transmitting / receiving method, a transmitting device, and a sound field reproducing device for reproducing a sound field according to the present invention are applied.

【0033】本実施形態は、図4(a)に示すように、
3つの連続した空間A,B,C内における音源や聴取者
の動きに対応した音場のダイナミックな変化を別の空間
にいる操作者が、あたかもその空間にいるように体感で
きるシステムをネットワークという伝送手段を介して実
現する方法である。また、本実施形態のフローチャート
を図5に示す。ここでは、聴取点は仮想空間内での聞き
手を意味し、操作者は実空間で操作し音を聞く者とし
て、両者を区別する。以下の説明においては、第1の実
施形態の説明と同様、図5に示すフローチャート(図1
と同一機能のブロックには、図1と同一符号を付してあ
る)の流れに基づいて、本実施形態(第2の実施形態)
の特徴的な事項を図4(a),(b)、図6(a),
(b)および図7(a),(b),(c),(d)を参
照しながら行う。
In this embodiment, as shown in FIG.
A network is a system that allows an operator in another space to experience a dynamic change in the sound field corresponding to the movement of a sound source or a listener in three continuous spaces A, B, and C as if they were in that space. This is a method implemented via a transmission unit. FIG. 5 shows a flowchart of this embodiment. Here, the listening point means a listener in the virtual space, and the operator distinguishes the two as a person who operates in the real space and listens to the sound. In the following description, as in the description of the first embodiment, the flowchart shown in FIG.
This embodiment (the second embodiment) is based on the flow of the blocks having the same functions as in FIG. 1).
4 (a), 4 (b), 6 (a),
(B) and FIGS. 7 (a), (b), (c) and (d).

【0034】送信側において、 1.音源信号、音源の位置、聴取点の位置、仮想空間の
音響特性(空間の形、材料など)を入力データとして用
意する。本例では簡単のために図4(a)に示すように
空間の種類を、空間A,B,Cの3種類、音源(●で示
した)の数をA空間では2、B空間では2、C空間では
1、また、音源の位置は固定とし、聴取点を×で示した
7点で代表し、それぞれの聴取点に対応した空間をゾー
ンとして定義する(S1)。なお、図4(a)中、×印
はゾーンの代表点を示している。
On the transmitting side: The sound source signal, the position of the sound source, the position of the listening point, and the acoustic characteristics of the virtual space (space shape, material, etc.) are prepared as input data. In this example, for the sake of simplicity, as shown in FIG. 4A, the types of space are three types of spaces A, B, and C, and the number of sound sources (indicated by ●) is two in A space and two in B space. , C space, the sound source position is fixed, and the listening points are represented by seven points indicated by x, and the space corresponding to each listening point is defined as a zone (S1). Note that, in FIG. 4A, crosses indicate representative points of the zone.

【0035】2.上記の入力データを用いて、なんらか
の音場シミュレーション(例えば、特開平9−1664
82号「高精度音線追跡装置および高精度音線追跡方
法」公報参照)を用いて実行し(S2)、音源から聴取
点までの反射音に関する空間情報を作成する(S3)。
この反射音に関する空間情報は、反射音一本一本の到来
方向情報から音圧レベルの情報まで一群のデータをパラ
メータとしてテーブル化した形態でシミュレーション実
行・記憶装置(サーバマシン)に記憶、保存する(S
4)。空間Aでは、音源2、ゾーン3からシミュレーシ
ョンは6通り、空間Bでは音源2、ゾーン2からシミュ
レーションは4通り、空間Cでは音源1、ゾーン2から
シミュレーションは2通りとなる。
2. Using the above input data, some kind of sound field simulation (for example, Japanese Patent Application Laid-Open No. 9-1664)
No. 82, "High-accuracy ray tracing device and high-accuracy ray tracing method" (S2), and spatial information relating to the reflected sound from the sound source to the listening point is created (S3).
The spatial information related to the reflected sound is stored and stored in a simulation execution / storage device (server machine) in a form in which a group of data from the direction of arrival of each reflected sound to the information of the sound pressure level is tabulated as a group. (S
4). In space A, there are six simulations from sound source 2 and zone 3, in space B there are four simulations from sound source 2 and zone 2, and in space C there are two simulations from sound source 1 and zone 2.

【0036】テーブル化した形態で保存された複数の反
射音に関する空間情報は、受信側から送られてくる聴取
点の位置の情報(図5のS14によって発生される)に
従って選択される(S15)。送信側での送信処理S
7,S8および受信側での受信処理S9,S10は、第
1の実施形態におけるのと同じである。
The spatial information on the plurality of reflected sounds stored in the form of a table is selected according to the information on the position of the listening point (generated at S14 in FIG. 5) sent from the receiving side (S15). . Transmission processing S on the transmission side
7, S8 and the receiving processes S9, S10 on the receiving side are the same as in the first embodiment.

【0037】受信側において、 3.受信端末であるクライアントマシン上で、3つ空間
A,B,Cを聴取点が動き回る。本例では、これらの空
間を3次元的に表現するためにHTMLブラウザ内のV
RML(Virtual Reality Modeling Language)ビューワ
上に表示し(S14)、VRMLビューワにて、マウス
またはジョイスティックにより、上記3つの仮想空間
(空間A,B,C)内で聴取点移動(ウォークスルー)
を実現している。
On the receiving side: The listening point moves around in three spaces A, B and C on the client machine which is the receiving terminal. In this example, in order to express these spaces three-dimensionally, V in the HTML browser is used.
It is displayed on an RML (Virtual Reality Modeling Language) viewer (S14), and the listening point is moved (walk-through) in the above three virtual spaces (spaces A, B, and C) with a VRML viewer using a mouse or a joystick.
Has been realized.

【0038】4.HTMLブラウザは、ウォークスルー
時の仮想空間(VRML)において、聴取者の位置の座
標および向き情報を取得し、これを送信側にテーブル選
択情報として送信する。送信側においてはこの伝送され
た情報をもとに聴取位置のゾーン情報を抽出して用意さ
れた音場の空間情報テーブル群のうちから1つを選択す
る(S15,S4)。具体的には、まず、聴取位置がど
のゾーンに属しているかを判断し、所属したゾーンの代
表点(図4(a)に×で示す)を聴取点とする空間情報
テーブルを選択する(S15)。図4(a)では、ポイ
ント1はゾーンB−1に、ポイント2はゾーンC−2
に、ポイント3はゾーンA−3に属することになる。こ
のゾーンニングを図4(b)に示すように細分化すれ
ば、より正確に位置に対応した音場情報が選択できるこ
とになる。
4. The HTML browser acquires the coordinates and orientation information of the listener's position in the virtual space (VRML) at the time of the walk-through, and transmits this to the transmitting side as table selection information. The transmitting side extracts the zone information of the listening position based on the transmitted information, and selects one from the prepared sound field spatial information table group (S15, S4). Specifically, first, it is determined which zone the listening position belongs to, and a spatial information table having a representative point (indicated by X in FIG. 4A) of the zone to which the listening position belongs as a listening point is selected (S15). ). In FIG. 4A, point 1 is in zone B-1 and point 2 is in zone C-2.
In addition, point 3 belongs to zone A-3. If this zoning is subdivided as shown in FIG. 4B, the sound field information corresponding to the position can be selected more accurately.

【0039】さらに、音源と聴取点の相対位置関係およ
び音源から発せられる直接音の距離減衰値を算出する。
ここで、直接音の減衰は、音源と聴取位置との距離が1
mのときを基準に距離の2乗に反比例して減衰値を決定
する。そして、この距離減衰値を含む選択された空間情
報テーブルを連続した音声信号とともに受信側に向けて
送信する(S7,S8)。
Further, the relative positional relationship between the sound source and the listening point and the distance attenuation value of the direct sound emitted from the sound source are calculated.
Here, the attenuation of the direct sound is determined when the distance between the sound source and the listening position is one.
The attenuation value is determined in inverse proportion to the square of the distance based on the value of m. Then, the selected spatial information table including the distance attenuation value is transmitted to the receiving side together with the continuous audio signal (S7, S8).

【0040】5.なお、HTMLブラウザにおいては、
操作者の操作に基づいて聴取点が移動する毎に受信(S
9)された上述の情報をもとに、再現したいチャンネル
数に対応した数の反射音時系列を生成する(S11)。
5. In HTML browsers,
Each time the listening point moves based on the operation of the operator, it is received (S
9) Based on the above-described information, the number of reflected sound time series corresponding to the number of channels to be reproduced is generated (S11).

【0041】音場の再現空間で操作者自らが方向転換す
る場合は、向きについての処理は必要ない。しかし、仮
想空間内の聴取者がどの方向に向いているかによって、
反射音の到来方向も相対的に変化する。そのため、操作
者が常に正面を向いたまま、聴取者の向いている方向を
転換する場合は、到来する反射音の方向と聴取者の向い
ている方向との相対的な角度を算出して、各スピーカに
出力するレベルのレベル配分を決定する必要がある。
When the operator changes the direction in the reproduction space of the sound field, it is not necessary to perform the processing for the direction. However, depending on which direction the listener in the virtual space is facing,
The direction of arrival of the reflected sound also changes relatively. Therefore, when the operator always faces the front and changes the direction in which the listener is facing, the relative angle between the direction of the incoming reflected sound and the direction in which the listener is facing is calculated, It is necessary to determine the level distribution of the level to be output to each speaker.

【0042】図6(a),(b)および図7(a),
(b),(c),(d)は、4つのスピーカで音場を再
生する場合の方向別反射音時系列の生成方法の一例を示
したものである。ここでは、仮想空間で聴取者が向く方
向を反時計回りにθ、また、音場の再現空間で操作者が
向いている方向をθ=0°とする。
FIGS. 6A and 6B and FIGS.
(B), (c), and (d) show an example of a method for generating a reflected sound time series for each direction when a sound field is reproduced by four speakers. Here, the direction in which the listener faces in the virtual space is counterclockwise θ, and the direction in which the operator faces in the sound field reproduction space is θ = 0 °.

【0043】図6(a),(b)に示す場合は、聴取者
がθの方向に向いているため、再生空間でのスピーカか
らの反射音成分は、反射音が−θ回転した方向から到来
することと等価になる。また、図7(a),(b),
(c),(d)の場合は、反射音が仮想空間を示す図7
(a)および(c)において図上で左上から到来するも
のとした場合に、聴取者がθ=90°の方向(図7
(a),(b))、およびθ=180°の方向(図7
(c),(d))をそれぞれ向いているときの各スピー
カからの出力配分を示したものである。図7(a),
(b)ではスピーカ2はβ/(α+β)倍の信号を、ス
ピーカ3はα/(α+β)倍の信号をそれぞれ受けもつ
ことになる。また、図7(c),(d)ではスピーカ3
はβ/(α+β)倍の信号を、スピーカ4はα/(α+
β)倍の信号をそれぞれ受けもつことになる。
In the cases shown in FIGS. 6A and 6B, since the listener is oriented in the direction of θ, the reflected sound component from the loudspeaker in the reproduction space is calculated from the direction in which the reflected sound is rotated by −θ. It is equivalent to coming. Also, FIGS. 7 (a), (b),
In the cases (c) and (d), the reflected sound represents a virtual space.
In the case of (a) and (c), assuming that the listener arrives from the upper left in the figure, the listener can set the direction of θ = 90 ° (FIG. 7).
(A), (b)) and the direction of θ = 180 ° (FIG. 7)
(C), (d)) shows the output distribution from each speaker when facing each. FIG. 7 (a),
In (b), the speaker 2 receives a signal of β / (α + β) times, and the speaker 3 receives a signal of α / (α + β) times. 7C and 7D, the speaker 3 is used.
Is a signal of β / (α + β) times, and speaker 4 is α / (α +
β) times each signal.

【0044】6.S10(図5参照)によって受信した
連続的に送られてくる音声信号と以上のようにして生成
された方向別反射音時系列とを畳み込み(S12)、畳
み込まれた信号を増幅器(アンプ)に供給してスピーカ
から音場を再現する(S13)。
6. The continuously transmitted audio signal received in S10 (see FIG. 5) is convolved with the reflected sound time series for each direction generated as described above (S12), and the convolved signal is amplified by an amplifier. To reproduce the sound field from the speaker (S13).

【0045】以上説明した本発明の第2の実施形態にお
いては、音源は固定していて移動しないものとしたが、
(1)聴取位置のみが移動する場合、(2)音源のみが
移動する場合、および(3)聴取位置、音源の双方が移
動する場合にも本発明を拡張することができる。
In the above-described second embodiment of the present invention, the sound source is fixed and does not move.
The present invention can be extended to (1) when only the listening position moves, (2) when only the sound source moves, and (3) when both the listening position and the sound source move.

【0046】ここで、本発明の第2の実施形態において
は、再生側の操作者の情報を送信側に送信し、送信側で
は、操作者の意思を反映し、例えば、そのときの映像に
対応した空間の音場シミュレーションで得られた音場の
空間情報を映像および音声情報とともに受信側に送信し
ている。そして、受信側では、受信した音場の空間情報
に基づき受信した音声信号を畳み込み演算して、受信側
の音場再生機器の構成に応じた再生信号を生成し、それ
を複数のスピーカやヘッドホンに供給することにより、
映像に対応した臨場感のある音場をダイナミックに再現
できるようにしている。
Here, in the second embodiment of the present invention, the information of the operator on the reproducing side is transmitted to the transmitting side, and the transmitting side reflects the intention of the operator and, for example, displays the video at that time. The spatial information of the sound field obtained by the sound field simulation of the corresponding space is transmitted to the receiving side together with the video and audio information. Then, on the receiving side, the received audio signal is convoluted based on the spatial information of the received sound field to generate a reproduced signal according to the configuration of the sound field reproducing device on the receiving side, and the reproduced signal is output to a plurality of speakers or headphones. By supplying to
The sound field with a sense of reality corresponding to the video can be reproduced dynamically.

【0047】これによれば、操作者がジョイスティック
などを用いて操作者の意思を反映した立体視を行うバー
チャルリアリティ (VR:Virtual Reality)やコンピュ
ータゲームにおいて、映像と同様に音声についても操作
者の操作に応じたダイナミックな音場再生を実現するこ
とができる。
According to this, in a virtual reality (VR) or a computer game in which the operator performs a stereoscopic vision reflecting the intention of the operator using a joystick or the like, as well as the video, the audio of the operator is also used. Dynamic sound field reproduction according to the operation can be realized.

【0048】また、第1および第2の実施形態のいずれ
においても、音場再現空間のスピーカの数は4個とした
が、これは4個に限られるものではなく、本発明は、音
場シミュレーションを行い、それに基づいて音場の空間
情報テーブルを作成し、受信側において、音場再現空間
のスピーカの数に応じた反射音時系列を生成するように
しているので、水平、垂直面内に任意数のスピーカを配
置して本発明を実施することができる。
In each of the first and second embodiments, the number of speakers in the sound field reproduction space is four. However, the number of speakers is not limited to four. A simulation is performed, a spatial information table of the sound field is created based on the simulation, and the receiving side generates a reflected sound time series corresponding to the number of speakers in the sound field reproduction space. The present invention can be implemented by arranging an arbitrary number of loudspeakers.

【0049】また、第2の実施形態においては、受信側
における音場空間の表示に、VRMLビューワを使用す
るものとしたが、これ以外にも、例えば、XML(eXte
nsible Markup Language)などを任意のネットワーク上
で使用することも可能である。
In the second embodiment, the VRML viewer is used to display the sound field space on the receiving side. However, other than this, for example, XML (eXteX
nsible Markup Language) can be used on any network.

【0050】また、図1、図5にそれぞれ示されるフロ
ーチャートには、映像信号が送信側から受信側に伝送さ
れることは示されていないが、本発明では、本発明によ
る音場再現がテレビジョンや各種画像メディアに付随し
た音声信号に対して適用される場合をも含むものであ
る。
Although the flow charts shown in FIGS. 1 and 5 do not show that the video signal is transmitted from the transmitting side to the receiving side, the present invention does not provide the sound field reproduction according to the present invention. This also includes the case where the present invention is applied to an audio signal attached to an image or various image media.

【0051】また、以上説明した本発明の第1の実施形
態および第2の実施形態においては、受信側で必要とす
る音場の空間情報の選択をともに送信側で行うものとし
たが、これとは反対に、送信側からすべてのシミュレー
ション結果の空間情報を同時または時系列で受信側に送
信し、シーンや聴取者の位置に対応した空間情報の選択
を受信側で行うようにしてもよい。なお、シーンに対応
した空間情報の選択を受信側で行うにあたっては、送信
側からシーンに対応した空間情報切り換え信号を送信す
ることが必要である。
In the first and second embodiments of the present invention described above, the spatial information of the sound field required on the receiving side is both selected on the transmitting side. Conversely, the spatial information of all simulation results may be transmitted from the transmitting side to the receiving side simultaneously or in time series, and the receiving side may select the spatial information corresponding to the scene or the position of the listener. . In order to select spatial information corresponding to a scene on the receiving side, it is necessary to transmit a spatial information switching signal corresponding to the scene from the transmitting side.

【0052】また、本発明は、以上の説明中、送信を記
録に、受信を再生にそれぞれ置き換えて、記録再生系に
適用することもできる。
In the above description, the present invention can be applied to a recording / reproducing system by replacing transmission with recording and receiving with reproduction.

【0053】この場合、記録媒体に記録されたデータに
基づき、コンピュータにより操作者の意思を反映させた
映像を再生するコンピュータでの音声再生の場合には、
再生すべき映像に対応した音場の空間情報の選択を記録
媒体からデータを取り出す再生装置において行うのが好
ましい。
In this case, based on the data recorded on the recording medium, in the case of audio reproduction by a computer in which the computer reproduces an image reflecting the intention of the operator,
It is preferable that the selection of the spatial information of the sound field corresponding to the video to be reproduced is performed by a reproducing device for extracting data from a recording medium.

【0054】[0054]

【発明の効果】本発明によれば、従来の音声信号とは別
に、音源、聴取点の位置情報および音場の空間情報を送
信側から受信側に、また、必要に応じ受信側から送信側
に伝送することにより、受信側においてシーンに対応し
た音場を再現したり、自分の動きに対応した音場空間を
再構成することが可能になる。また、これは、スピーカ
数には関係しない。
According to the present invention, apart from the conventional audio signal, the sound source, the position information of the listening point and the spatial information of the sound field are transmitted from the transmitting side to the receiving side and, if necessary, from the receiving side to the transmitting side. , It is possible to reproduce the sound field corresponding to the scene on the receiving side or to reconstruct the sound field space corresponding to the user's own movement. Also, this has nothing to do with the number of speakers.

【0055】また、本発明は、高臨場感音響が必要とさ
れる下記のような多方面へのアプリケーションが期待で
きる。例えば、 a.共演者が離れた場所にいても、あたかも自分のそば
にいるかの如く演じられる仮想協調スタジオシステム b.大迫力・高臨場感のゲームに代表されるアミューズ
メントシステム c.遠隔会議システム d.視覚障害者など、人にやさしい音情報を提供するシ
ステム e.イメージトレーニングシステム などをあげることができる。
In addition, the present invention can be expected to be applied to the following various fields where high presence sound is required. For example: a. A virtual collaborative studio system in which co-stars can be performed as if by themselves even if they are away from each other b. Amusement system represented by games with great power and high presence c. Teleconferencing system d. System for providing sound information that is easy for people such as visually impaired e. Image training system.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明による音場空間情報送受信方法の第1
の実施形態における処理の流れをフローチャートにて示
している。
FIG. 1 shows a first method of transmitting and receiving sound field spatial information according to the present invention.
Is shown in the form of a flowchart in the embodiment.

【図2】 同じく第1の実施形態において、音場を4つ
のスピーカで再現する場合の一例のスピーカの配置と反
射音の到来方法を示している。
FIG. 2 also shows an example of a speaker arrangement and a method of arriving reflected sounds in the case of reproducing a sound field with four speakers in the first embodiment.

【図3】 同じく第1の実施形態において、音場を4つ
のスピーカで再現する場合の各スピーカ毎の一例の反射
音時系列を示している。
FIG. 3 also shows an example of a reflected sound time series for each speaker when the sound field is reproduced by four speakers in the first embodiment.

【図4】 本発明による音場空間情報送受信方法の第2
の実施形態として、本発明を3つの連続した空間に適用
した場合を示している。
FIG. 4 shows a second embodiment of the sound field spatial information transmitting / receiving method according to the present invention.
1 shows a case where the present invention is applied to three continuous spaces.

【図5】 同じく第2の実施形態において、処理の流れ
をフローチャートにて示している。
FIG. 5 is a flowchart showing a processing flow in the second embodiment.

【図6】 同じく第2の実施形態において、各スピーカ
毎の反射音時系列を生成するにあたって、仮想空間にお
ける聴取者と反射音到来方向の関係、および再生空間に
おける操作者と反射音到来方向の関係を示している。
FIG. 6 is a diagram illustrating a relationship between a listener and a direction of arrival of a reflected sound in a virtual space, and a relationship between an operator and a direction of arrival of a reflected sound in a reproduction space, in generating a reflected sound time series for each speaker in the second embodiment. Shows the relationship.

【図7】 図6において、θが90°と180°の場合
の具体例を示している。
FIG. 7 shows a specific example when θ is 90 ° and 180 °.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大久保 洋幸 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 大谷 眞道 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 小野 一穂 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 小宮山 摂 東京都世田谷区砧1丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 浅山 宏 東京都品川区東中延2丁目4番10号 株式 会社タイムウェア内 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Hiroyuki Okubo 1-10-11 Kinuta, Setagaya-ku, Tokyo Japan Broadcasting Corporation Research Institute (72) Inventor Masamichi Otani 1-10 Kinuta, Setagaya-ku, Tokyo 11 Japan Broadcasting Corporation Broadcasting Research Institute (72) Inventor Kazuho Ono 1-10-1 Kinuta, Setagaya-ku, Tokyo Japan Broadcasting Research Institute (72) Inventor Settsu Komiyama 1-kinuta, Setagaya-ku, Tokyo No. 10-11 Japan Broadcasting Corporation Broadcasting Research Institute (72) Inventor Hiroshi Asayama 2-4-10 Higashinakanobu Shinagawa-ku, Tokyo Timeware Co., Ltd.

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 送信側においては、 シーンまたは聴取者の位置に対応した空間の音場シミュ
レーションを行い、該シミュレーションにより得られた
音場の空間情報を音声信号とともに受信側に送信し、 受信側においては、 受信された音場の空間情報をもとに受信された音声信号
を畳み込み演算して再生信号を生成し、該再生信号をス
ピーカまたはヘッドホンに供給するようにしたことを特
徴とする音場空間情報送受信方法。
1. A transmitting side performs a sound field simulation of a space corresponding to a scene or a position of a listener, and transmits spatial information of the sound field obtained by the simulation to a receiving side together with an audio signal. Wherein a convolution of the received audio signal based on the spatial information of the received sound field generates a reproduced signal, and the reproduced signal is supplied to a speaker or headphones. Space information transmission and reception method.
【請求項2】 音声信号を送信する第1の送信手段、 各シーンに対応した複数の音場の空間情報をテーブル化
した形態で記憶する記憶手段、およびその記憶した複数
の空間情報のうちから特定のシーンに対応した空間情報
を選択して送信する第2の送信手段を少なくとも具えて
なることを特徴とする音場空間情報送信装置。
2. A first transmission unit for transmitting an audio signal, a storage unit for storing spatial information of a plurality of sound fields corresponding to each scene in a tabulated form, and a plurality of spatial information stored in the storage unit. A sound field spatial information transmitting device comprising at least a second transmitting means for selecting and transmitting spatial information corresponding to a specific scene.
【請求項3】 音声信号を受信する第1の受信手段、選
択されて送信された音場の空間情報を受信する第2の受
信手段、 第2の受信手段によって受信された空間情報をもとに生
成した反射音時系列と第1の受信手段によって受信され
た音声信号との畳み込み演算を行う畳み込み演算手段、
および畳み込み演算手段の出力が供給され音場を再現す
るスピーカまたはヘッドホンを少なくとも具えてなるこ
とを特徴とする音場再現装置。
3. A first receiving means for receiving an audio signal; a second receiving means for receiving spatial information of a selected and transmitted sound field; and a spatial information received by the second receiving means. Convolution operation means for performing a convolution operation between the reflected sound time series generated in the above and the audio signal received by the first reception means,
And a speaker or headphone to which the output of the convolution operation means is supplied to reproduce the sound field.
【請求項4】 音声信号を送信する第1の送信手段、 聴取者の各位置に対応した複数の音場の空間情報をテー
ブル化した形態で記憶する記憶手段、およびその記憶し
た複数の空間情報のうちから受信側から送られてくる聴
取者の位置情報に対応した空間情報を選択して送信する
第2の送信手段を少なくとも具えてなることを特徴とす
る音場空間情報送信装置。
4. A first transmitting means for transmitting an audio signal, a storing means for storing spatial information of a plurality of sound fields corresponding to respective positions of a listener in a table form, and a plurality of the stored spatial information A sound field spatial information transmitting device, comprising: at least a second transmitting means for selecting and transmitting spatial information corresponding to the position information of a listener sent from a receiving side from among the above.
【請求項5】 操作者が入力する聴取者の位置情報を送
信側に送信する送信手段、 音声信号を受信する第1の受信手段、 送信側から送られてくる聴取者の位置情報に対応した空
間情報を受信する第2の受信手段、 第2の受信手段によって受信された空間情報をもとに生
成した反射音時系列と第1の受信手段によって受信され
た音声信号との畳み込み演算を行う畳み込み演算手段、
および畳み込み演算手段の出力が供給され音場を再現す
るスピーカまたはヘッドホンを少なくとも具えてなるこ
とを特徴とする音場再現装置。
5. A transmitting means for transmitting position information of a listener input by an operator to a transmitting side, a first receiving means for receiving an audio signal, and a position corresponding to the position information of the listener transmitted from the transmitting side. A second receiving unit that receives the spatial information, and performs a convolution operation on the reflected sound time series generated based on the spatial information received by the second receiving unit and the audio signal received by the first receiving unit. Convolution means,
And a speaker or headphone to which the output of the convolution operation means is supplied to reproduce the sound field.
【請求項6】 音声信号を送信する第1の送信手段、 各シーンに対応した複数の音場の空間情報をテーブル化
した形態で同時または時系列で送信する第2の送信手
段、およびシーンに対応した空間情報切り換え信号を送
信する第3の送信手段を少なくとも具えてなることを特
徴とする音場空間情報送信装置。
6. A first transmission means for transmitting an audio signal, a second transmission means for transmitting spatial information of a plurality of sound fields corresponding to each scene in a tabulated form simultaneously or in time series, and A sound field spatial information transmitting device comprising at least a third transmitting means for transmitting a corresponding spatial information switching signal.
【請求項7】 音声信号を送信する第1の送信手段、お
よび聴取者の位置に対応した複数の音場の空間情報をテ
ーブル化した形態で同時または時系列で送信する第2の
送信手段を少なくとも具えてなることを特徴とする音場
空間情報送信装置。
7. A first transmitting means for transmitting an audio signal and a second transmitting means for transmitting spatial information of a plurality of sound fields corresponding to the positions of listeners in a table form simultaneously or in time series. A sound field spatial information transmitting device characterized by at least comprising:
【請求項8】 音声信号を受信する第1の受信手段、 テーブル化した形態の複数の音場の空間情報を受信する
第2の受信手段、 第2の受信手段によって受信された空間情報を記憶する
記憶手段、 送信側からシーンに対応して送られてくる空間情報切り
換え信号または操作者が入力する聴取者の位置情報をも
とに記憶手段に記憶されている複数の空間情報の中から
所定の空間情報を選択する選択手段、 選択された空間情報をもとに生成した反射音時系列と第
1の受信手段によって受信された音声信号との畳み込み
演算を行う畳み込み演算手段、および畳み込み演算手段
の出力が供給され音場を再現するスピーカまたはヘッド
ホンを少なくとも具えてなることを特徴とする音場再現
装置。
8. A first receiving means for receiving an audio signal, a second receiving means for receiving spatial information of a plurality of sound fields in a tabulated form, and storing spatial information received by the second receiving means. Storage means for performing a predetermined operation from a plurality of pieces of spatial information stored in the storage means based on a spatial information switching signal sent from the transmitting side corresponding to a scene or a position information of a listener input by an operator. Selecting means for selecting spatial information, convolution operation means for performing a convolution operation between a reflected sound time series generated based on the selected spatial information and the audio signal received by the first receiving means, and convolution operation means A sound field reproduction device comprising at least a speaker or headphones that is supplied with the output of (1) and reproduces a sound field.
【請求項9】 音声信号を再生する第1の再生手段、 テーブル化した形態の複数の音場の空間情報を再生する
第2の再生手段、 第2の再生手段によって再生された空間情報を記憶する
記憶手段、 第3の再生手段からシーンに対応して再生される空間情
報切り換え信号または操作者が入力する聴取者の位置情
報をもとに記憶手段に記憶されている複数の空間情報の
中から所定の空間情報を選択する選択手段、 選択された空間情報をもとに生成した反射音時系列と第
1の再生手段によって再生された音声信号との畳み込み
演算を行う畳み込み演算手段、および畳み込み演算手段
の出力が供給され音場を再現するスピーカまたはヘッド
ホンを少なくとも具えてなることを特徴とする音場再現
装置。
9. A first reproducing means for reproducing an audio signal, a second reproducing means for reproducing spatial information of a plurality of sound fields in a tabular form, and storing the spatial information reproduced by the second reproducing means. A spatial information switching signal reproduced from the third reproducing means corresponding to a scene or a plurality of spatial information stored in the storing means based on a listener's position information input by the operator. Means for selecting predetermined spatial information from the information, convolution operation means for performing a convolution operation between the reflected sound time series generated based on the selected spatial information and the audio signal reproduced by the first reproduction means, and convolution A sound field reproduction apparatus comprising at least a speaker or headphones to which an output of a calculation means is supplied to reproduce a sound field.
JP13386899A 1999-05-14 1999-05-14 Sound field space information transmission / reception method, sound field space information transmission device, and sound field reproduction device Expired - Fee Related JP4046891B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13386899A JP4046891B2 (en) 1999-05-14 1999-05-14 Sound field space information transmission / reception method, sound field space information transmission device, and sound field reproduction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13386899A JP4046891B2 (en) 1999-05-14 1999-05-14 Sound field space information transmission / reception method, sound field space information transmission device, and sound field reproduction device

Publications (2)

Publication Number Publication Date
JP2000322069A true JP2000322069A (en) 2000-11-24
JP4046891B2 JP4046891B2 (en) 2008-02-13

Family

ID=15114945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13386899A Expired - Fee Related JP4046891B2 (en) 1999-05-14 1999-05-14 Sound field space information transmission / reception method, sound field space information transmission device, and sound field reproduction device

Country Status (1)

Country Link
JP (1) JP4046891B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094271A (en) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> Virtual space sound reproducing program and device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094271A (en) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> Virtual space sound reproducing program and device

Also Published As

Publication number Publication date
JP4046891B2 (en) 2008-02-13

Similar Documents

Publication Publication Date Title
US8073125B2 (en) Spatial audio conferencing
Algazi et al. Headphone-based spatial sound
US6259795B1 (en) Methods and apparatus for processing spatialized audio
Hacihabiboglu et al. Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics
JP4364326B2 (en) 3D sound reproducing apparatus and method for a plurality of listeners
US8437485B2 (en) Method and device for improved sound field rendering accuracy within a preferred listening area
CN101040565B (en) Improved head related transfer functions for panned stereo audio content
CN104604255A (en) Virtual rendering of object-based audio
JP2002505058A (en) Playing spatially shaped audio
EP3022947B1 (en) Method for processing of sound signals
US6738479B1 (en) Method of audio signal processing for a loudspeaker located close to an ear
Gardner 3D audio and acoustic environment modeling
US20190394596A1 (en) Transaural synthesis method for sound spatialization
Jot et al. Binaural simulation of complex acoustic scenes for interactive audio
JP2000322069A (en) Sound field space information transmission/reception method, sound field space information transmission device and sound field reproduction device
Melchior et al. Emerging technology trends in spatial audio
Travis Virtual reality perspective on headphone audio
CN1253464A (en) 3D sound regeneration equipment and method for many listeners
KR102559015B1 (en) Actual Feeling sound processing system to improve immersion in performances and videos
WO2002025999A2 (en) A method of audio signal processing for a loudspeaker located close to an ear
JPH06282285A (en) Stereophonic voice reproducing device
Storms NPSNET-3D sound server: an effective use of the auditory channel
CN115103293B (en) Target-oriented sound reproduction method and device
Peppmuller An Exploration and Analysis of 3D Audio
Rimell Immersive spatial audio for telepresence applications: system design and implementation

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070611

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees