JP2007235334A

JP2007235334A - Audio apparatus and directive sound generating method

Info

Publication number: JP2007235334A
Application number: JP2006052129A
Authority: JP
Inventors: Yoshihisa Fujinami; 喜久藤浪; Takuma Suzuki; 琢磨鈴木
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-02-28
Filing date: 2006-02-28
Publication date: 2007-09-13
Anticipated expiration: 2026-02-28
Also published as: JP4670682B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an audio apparatus which has a prescribed directivity characteristic and can collect a multichannel audio signal with high fidelity. <P>SOLUTION: The audio apparatus 1 is configured in such a way that three microphones 11 to 13 arranged triangularly are used, a time difference detection means 31a to 31c detect a time difference of the arrival of an external sound to each microphone, a table denoting a relationship between the time difference of the arrival of the external sound to each microphone and the arrival direction of the external sound is stored in an arrival direction difference arithmetic unit 332, the arrival direction difference arithmetic unit 332 estimates a direction of the external sound on the basis of the time difference of the arrival of the external sound to each microphone by using the table, a level variance detection means 32 detects the variance of levels of the external sound arrived in each microphone, and the external sound weighted by directivity emphasis means 24 in a way of providing the directivity depending on the detected variance of the levels of the external sound is collected. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、一箇所に設置されたマイクロホンによりマルチチャンネル収音を行うオーディオ装置及び指向音生成方法に関する。 The present invention relates to an audio apparatus and multi-directional sound generation method that perform multi-channel sound collection using a microphone installed in one place.

最近になり、大画面と共に５．１チャンネルサラウンドオーディオを再生するホームシアターが市場に導入されるようになってきた。
一方、ビデオカメラで撮影、記録した映像を５．１チャンネルサラウンドオーディオと共にホームシアターで再生できることは好ましい。しかし、５．１チャンネルサラウンドオーディオの収音装置を可搬性、小型化が指向されているビデオカメラに組み込むことは難しい。小形でありながら簡易に５．１チャンネルサラウンドオーディオの収音ができるオーディオ装置及び指向音生成方法の実現が望まれている。 Recently, home theaters that play 5.1 channel surround audio along with large screens have been introduced to the market.
On the other hand, it is preferable that video captured and recorded by a video camera can be reproduced in a home theater together with 5.1 channel surround audio. However, it is difficult to incorporate a 5.1 channel surround audio pickup device into a video camera that is designed to be portable and downsized. It is desired to realize an audio device and a directivity sound generation method that can easily collect 5.1 channel surround audio while being small.

特許文献１には、ビデオカメラに搭載可能な、小型で安価、振動や風雑音の少ない３−２方式５チャンネルステレオ用マルチチャンネル収音装置が開示されている。左側に配置される第１の無指向性マイクロホン、右側に配置される第２の無指向性マイクロホン、及び左右のマイクロホンよりも前方に配置される第３の無指向性マイクロホンと、それらのマイクロホンからの出力信号を合成することにより３−２方式５チャンネルステレオ用の収音をできるようにしたマルチチャンネル収音装置が開示されている。
特開２００２−２３２９８８号公報 Patent Document 1 discloses a small-sized, low-cost, 3-2 type 5-channel stereo multi-channel sound pickup apparatus that can be mounted on a video camera and has little vibration and wind noise. A first omnidirectional microphone arranged on the left side, a second omnidirectional microphone arranged on the right side, a third omnidirectional microphone arranged in front of the left and right microphones, and those microphones A multi-channel sound pickup apparatus is disclosed that can pick up sound for 3-2 system 5-channel stereo by synthesizing the output signals.
Japanese Patent Laid-Open No. 2002-2329298

しかしながら、特許文献１に開示されているマルチチャンネル収音装置では、複数のマイクロホンで収音された音響信号を合成して指向特性を有した音響信号として得るようにしているため、特に極性の異なる信号を加算する場合などでは歪成分が生じるなど音質が劣化してしまい、忠実度の高いマルチチャンネルオーディオ信号を得るオーディオ装置及び指向音生成方法を実現することはできなかった。 However, in the multichannel sound pickup device disclosed in Patent Document 1, since the sound signals picked up by a plurality of microphones are synthesized and obtained as sound signals having directional characteristics, the polarities are particularly different. When the signals are added, the sound quality deteriorates due to distortion components and the like, and it has not been possible to realize an audio device and a directional sound generation method for obtaining a high-fidelity multi-channel audio signal.

そこで、本発明は、上記のような問題点を解消するためになされたもので、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音することを可能とするオーディオ装置及び指向音生成方法を提供することを目的とする。 Accordingly, the present invention has been made to solve the above-described problems, and an audio device that has a predetermined directivity and can collect a multi-channel audio signal with high fidelity, and An object is to provide a directional sound generation method.

本願発明における第１の発明は、外部から発せられる音を重み付け処理して外部音として出力するオーディオ装置において、前記外部音を収音するトライアングルに配置された３つのマイクロホンと、前記外部音が各マイクロホンに到来する時間差を検出する時間差検出手段と、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定する外部音方向推定手段と、各マイクロホンに到来した前記外部音のレベルの分散を検出するレベル分散検出手段と、前記レベル分散検出手段で検出された前記外部音のレベルの分散に応じて、前記３つのマイクロホンで収音された前記外部音を前記指向性を有するように重み付けを行う重み付け演算手段と、前記重み付け演算手段で重み付けられた前記外部音を出力する出力手段と、を備えたことを特徴とするオーディオ装置を提供する。
第２の発明は、外部から発せられる外部音を３つのマイクロホンで収音した後、重み付け処理した外部音を出力する指向音生成方法において、前記外部音が各マイクロホンに到来する時間差を検出し、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定し、各マイクロホンに到来した前記外部音のレベルの分散を検出し、前記検出された前記外部音のレベルの分散に応じて、前記外部音が前記指向性を有するように重み付けし、前記重み付けられた前記外部音を出力することを特徴とする指向音生成方法を提供する。 According to a first aspect of the present invention, in an audio device that weights a sound emitted from the outside and outputs the external sound as an external sound, the three microphones arranged in a triangle that collects the external sound, and the external sound each Time difference detecting means for detecting a time difference arriving at the microphone, data indicating a relationship between a time difference at which the external sound arrives at each microphone and the arrival direction of the external sound are stored in a table in advance, and the stored data and the An external sound direction estimating means for estimating the direction of the external sound based on a detected time difference arriving at each microphone, a level dispersion detecting means for detecting a dispersion of the level of the external sound arriving at each microphone, and Sound is picked up by the three microphones according to the level dispersion of the external sound detected by the level dispersion detection means. There is provided an audio apparatus comprising: weighting calculation means for weighting the external sound so as to have the directivity; and output means for outputting the external sound weighted by the weighting calculation means. .
According to a second aspect of the present invention, there is provided a directional sound generating method for outputting a weighted external sound after collecting external sounds emitted from the outside with three microphones, and detecting a time difference when the external sounds arrive at the microphones. Data indicating the relationship between the time difference when the external sound arrives at each microphone and the direction of arrival of the external sound is stored in a table in advance, and based on the stored data and the time difference when the detected sound arrives at each microphone. The direction of the external sound is estimated, the dispersion of the level of the external sound arriving at each microphone is detected, and the external sound has the directivity according to the detected dispersion of the level of the external sound. The directional sound generation method is characterized by outputting the weighted external sound.

本発明によれば、外部音が各マイクロホンに到来する時間差を検出し、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定し、各マイクロホンに到来した前記外部音のレベルの分散を検出し、前記検出された前記外部音のレベルの分散に応じて、前記外部音が指向性を有するように重み付けし、前記重み付けられた前記外部音を出力する格別な構成があるので、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音することを可能とするオーディオ装置及び指向音生成方法を実現できる。 According to the present invention, the time difference when the external sound arrives at each microphone is detected, and data indicating the relationship between the time difference when the external sound arrives at each microphone and the arrival direction of the external sound is stored in advance in the table. Estimating the direction of the external sound based on the stored data and the detected time difference arriving at each microphone, detecting a variance in the level of the external sound arriving at each microphone, and detecting the detected external sound According to the dispersion of the sound level, the external sound is weighted so as to have directivity, and there is a special configuration for outputting the weighted external sound. An audio device and a directional sound generation method that can collect a high multi-channel audio signal can be realized.

以下に本発明の各実施例に係るオーディオ装置について図１〜図２２を用いて説明する。
図１は、本発明の第１の実施に係るオーディオ装置の構成例を示すブロック図である。図２は、本発明の第１の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。図３は、本発明の第１の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。図４は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その１）を示す図である。図５は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その１）である。図６は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その２）を示す図である。図７は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その２）である。図８は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その３）である。図９は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その３）を示す図である。図１０は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その４）である。図１１は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その４）を示す図である。図１２は、本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その５）を示す図である。図１３は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その５）である。図１４は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その６）である。図１５は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その７）である。図１６は、本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その８）である。図１７は、本発明の第２の実施に係るオーディオ装置の構成例を示すブロック図である。図１８は、本発明の第２の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。図１９は、本発明の第２の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。図２０は、本発明の第２の実施に係るオーディオ装置の要部の構成例（その３）を示す図である。図２１は、本発明の第３の実施に係るオーディオ装置の構成例を示すブロック図である。図２２は、本発明の第４の実施に係るオーディオ装置の構成例を示すブロック図である。
そのオーディオ装置は、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音する装置を実現するという目的を、外部音が各マイクロホンに到来する時間差を検出し、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定し、各マイクロホンに到来した前記外部音のレベルの分散を検出し、前記検出された前記外部音のレベルの分散に応じて、前記外部音が指向性を有するように重み付けし、前記重み付けられた前記外部音を出力するようにして実現した。 The audio apparatus according to each embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a block diagram showing a configuration example of an audio apparatus according to the first embodiment of the present invention. FIG. 2 is a diagram showing a configuration example (No. 1) of a main part of the audio apparatus according to the first embodiment of the present invention. FIG. 3 is a diagram showing a configuration example (No. 2) of a main part of the audio apparatus according to the first embodiment of the present invention. FIG. 4 is a diagram showing details (part 1) of the configuration example of the main part of the audio apparatus according to the first embodiment of the present invention. FIG. 5 is a diagram (part 1) for explaining the operation of the audio apparatus according to the first embodiment of the present invention. FIG. 6 is a diagram showing details (part 2) of the configuration example of the main part of the audio apparatus according to the first embodiment of the present invention. FIG. 7 is a diagram (No. 2) for explaining the operation of the audio apparatus according to the first embodiment of the invention. FIG. 8 is a diagram (No. 3) for explaining the operation of the audio apparatus according to the first embodiment of the invention. FIG. 9 is a diagram showing details (part 3) of the configuration example of the main part of the audio apparatus according to the first embodiment of the present invention. FIG. 10 is a diagram (No. 4) for explaining the operation of the audio apparatus according to the first embodiment of the invention. FIG. 11 is a diagram showing details (part 4) of the configuration example of the main part of the audio device according to the first embodiment of the present invention. FIG. 12 is a diagram showing details (part 5) of the configuration example of the main part of the audio device according to the first embodiment of the present invention. FIG. 13 is a diagram (No. 5) for explaining the operation of the audio apparatus according to the first embodiment of the invention. FIG. 14 is a diagram (No. 6) for explaining the operation of the audio apparatus according to the first embodiment of the invention. FIG. 15 is a diagram (No. 7) for explaining the operation of the audio apparatus according to the first embodiment of the invention. FIG. 16 is a diagram (No. 8) for explaining the operation of the audio apparatus according to the first embodiment of the invention. FIG. 17 is a block diagram showing a configuration example of an audio apparatus according to the second embodiment of the present invention. FIG. 18 is a diagram illustrating a configuration example (No. 1) of a main part of the audio apparatus according to the second embodiment of the invention. FIG. 19 is a diagram showing a configuration example (No. 2) of a main part of the audio apparatus according to the second embodiment of the invention. FIG. 20 is a diagram showing a configuration example (No. 3) of a relevant part of the audio apparatus according to the second embodiment of the invention. FIG. 21 is a block diagram showing a configuration example of an audio apparatus according to the third embodiment of the present invention. FIG. 22 is a block diagram showing a configuration example of an audio apparatus according to the fourth embodiment of the present invention.
The audio device has a predetermined directional characteristic and is intended to realize a device that picks up a high-fidelity multi-channel audio signal. The audio device detects a time difference when an external sound arrives at each microphone, and the external sound is detected. Data indicating the relationship between the time difference arriving at each microphone and the direction of arrival of the external sound is stored in a table in advance, and based on the stored data and the time difference arriving at each detected microphone, Estimating the direction, detecting the variance of the level of the external sound that has arrived at each microphone, and weighting the external sound according to the detected variance of the level of the external sound so that the external sound has directivity, This was realized by outputting the weighted external sound.

図１〜図１６を参照して第１の実施例につき説明する。
オーディオ装置の構成について述べる。
図１に示すオーディオ装置１は、マイクロホン１１、１２、１３、合成部２、到来方向推定部３より構成される。マイクロホン１１は前方、マイクロホン１２は左方、マイクロホン１３は右方に配置される。オーディオ装置１からはＬ（左）、Ｒ（右）、ＳＬ（サラウンド左）、ＳＲ（サラウンド右）、Ｃ（中央）、及びＬＦＥ（Low Frequency Effect 低域効果音）の、所謂５．１チャンネルオーディオ信号が出力される。
図２に示す合成部２は、ＨＰＦ２１ａ、２１ｂ、２１ｃ、ＬＰＦ２２ａ、２２ｂ、２２ｃ、３-５変換手段２３、方向性強調手段２４、及び加算器２５より構成される。
図３に示す到来方向推定部３は、時間差検出手段３１ａ、３１ｂ、３１ｃ、レベル分散検出手段３２、及び到来方向推定手段３３より構成される。
図４に示す時間差検出手段３１は、データメモリ３１１ａ、３１１ｂ、無音区間判定器３１２、相互相関算出器３１３、及び平均化器３１４より構成される。
図６に示す到来方向推定手段３３は、到来角推定器３３１ａ、３３１ｂ、３３１ｃ、到来方向差演算器３３２、最小方向差選択器３３３、及び到来方向平均化器３３４より構成される。
図９に示すレベル分散検出手段３２はデータメモリ３２１ａ、３２１ｂ、３２１ｃ、平均電力算出器３２２ａ、３２２ｂ、３２２ｃ、加算器３２３、増幅器３２４、加算器３２５ａ、３２５ｂ、３２５ｃ、２乗器３２６ａ、３２６ｂ、３２６ｃ及び加算器３２７より構成される。
図１０に示す計測装置は、マイクロホン８１、８２、増幅器８３、８４、加算器８５、及びスピーカ８６より構成される。
図１１に示す３−５変換手段２３は、増幅器２３１、２３２、２３３、２３４、加算器２３５、２３６より構成される。
図１２に示す方向性強調手段２４は、重み付け算出器２４１、可変増幅器２４２ａ〜２４２ｅから構成される。 The first embodiment will be described with reference to FIGS.
The configuration of the audio device will be described.
The audio apparatus 1 shown in FIG. 1 includes microphones 11, 12 and 13, a synthesis unit 2, and an arrival direction estimation unit 3. The microphone 11 is disposed on the front side, the microphone 12 is disposed on the left side, and the microphone 13 is disposed on the right side. The audio device 1 has so-called 5.1 channels of L (left), R (right), SL (surround left), SR (surround right), C (center), and LFE (Low Frequency Effect low-frequency effect sound). An audio signal is output.
The combining unit 2 illustrated in FIG. 2 includes HPFs 21 a, 21 b, 21 c, LPFs 22 a, 22 b, 22 c, 3-5 conversion means 23, directionality enhancement means 24, and an adder 25.
The arrival direction estimation unit 3 shown in FIG. 3 includes time difference detection means 31a, 31b, 31c, level dispersion detection means 32, and arrival direction estimation means 33.
The time difference detection means 31 shown in FIG. 4 includes data memories 311a and 311b, a silence interval determination unit 312, a cross-correlation calculator 313, and an averager 314.
6 includes arrival angle estimators 331a, 331b, 331c, an arrival direction difference calculator 332, a minimum direction difference selector 333, and an arrival direction averager 334.
9 includes data memories 321a, 321b, 321c, average power calculators 322a, 322b, 322c, an adder 323, an amplifier 324, adders 325a, 325b, 325c, squarers 326a, 326b, 326c and an adder 327.
The measurement apparatus shown in FIG. 10 includes microphones 81 and 82, amplifiers 83 and 84, an adder 85, and a speaker 86.
11 includes amplifiers 231, 232, 233, and 234, and adders 235 and 236.
The directionality enhancement means 24 shown in FIG. 12 includes a weight calculator 241 and variable amplifiers 242a to 242e.

図１〜図３を参照してオーディオ装置の動作について述べる。
まず、図１に示す到来方向推定部３は、左右に配置されるマイクロホン１２、１３と、前方に配置されるマイクロホン１１とで受音されるオーディオ信号を入力し、受音された外部音の到来方向の推定値を出力する。さらに到来方向推定部３は、マイクロホン１１〜１３から入力されるそれぞれオーディオ信号のレベルの異なり、即ちマイク間レベル分散値を演算して出力する。合成部２は、前方及び左右にトライアングルに配置されるマイクロホン１１〜１３からのオーディオ信号からＬ、Ｃ、Ｒ、ＳＬ、ＳＲ、及びＬＦＥよりなる５．１チャンネルのサラウンドオーディオ信号を生成する。さらに、合成部２は、入力される外部音の到来方向推定値により推定される方向の信号レベルを増強する。Ｌ、Ｃ、Ｒ、ＳＬ、ＳＲよりなるサラウンドオーディオ信号の、到来方向に係るチャンネルの信号レベルを増強する。到来方向の増強のレベルはマイク間レベル分散値に応じて設定され、マイクロホン１１〜１３から出力されるオーディオ信号の間のレベル差が大きい場合には到来方向の増強レベルを大きくする。 The operation of the audio apparatus will be described with reference to FIGS.
First, the arrival direction estimation unit 3 shown in FIG. 1 inputs audio signals received by the microphones 12 and 13 arranged on the left and right sides and the microphone 11 arranged on the front side, and receives the received external sound. Output the estimated direction of arrival. Further, the arrival direction estimation unit 3 calculates and outputs different levels of audio signals input from the microphones 11 to 13, that is, inter-microphone level dispersion values. The synthesizer 2 generates a 5.1 channel surround audio signal composed of L, C, R, SL, SR, and LFE from the audio signals from the microphones 11 to 13 arranged in a triangle on the front and left and right. Furthermore, the synthesis unit 2 enhances the signal level in the direction estimated by the estimated arrival direction value of the external sound. The signal level of the channel related to the arrival direction of the surround audio signal composed of L, C, R, SL, and SR is enhanced. The enhancement level in the arrival direction is set according to the inter-microphone level dispersion value, and when the level difference between the audio signals output from the microphones 11 to 13 is large, the enhancement level in the arrival direction is increased.

図２に示す合成部２のＨＰＦ２１ａ〜２１ｃはマイクロホン１１〜１３から入力されるオーディオ信号のうち中域及び高域の周波数帯の信号を通過させる。ＬＰＦ２２ａ〜２２ｃは低域の周波数帯の信号を通過させる。３-５変換手段２３は中域及び高域の周波数帯の信号を後述の方法で合成してＬ、Ｒ、ＳＬ、ＳＲ、Ｃの５チャンネルのサラウンドオーディオ信号を生成する。方向性強調手段２４は到来方向推定部３から供給される外部音の到来方向の推定値及びマイク間レベル分散値を基に後述のレベル切断面を求め、入力されるＬ、Ｒ、ＳＬ、ＳＲ、Ｃの５チャンネルのサラウンドオーディオ信号を所定の指向性を有するオーディオ信号になるよう外部音の発する方向に対する指向性の強調を行う。 The HPFs 21a to 21c of the synthesizer 2 shown in FIG. 2 pass signals in the middle and high frequency bands among the audio signals input from the microphones 11 to 13. The LPFs 22a to 22c pass signals in a low frequency band. The 3-5 conversion means 23 generates a surround audio signal of 5 channels of L, R, SL, SR, and C by synthesizing the signals in the middle and high frequency bands by a method described later. The direction enhancement means 24 obtains a level cut plane (to be described later) based on the estimated direction of arrival of the external sound and the inter-microphone level dispersion value supplied from the direction of arrival estimation unit 3, and is inputted with L, R, SL, SR. , The directivity is enhanced with respect to the direction in which the external sound is emitted so that the 5-channel surround audio signal of C becomes an audio signal having a predetermined directivity.

図３に示す到来方向推定部３の時間差検出手段３１ａ〜３１ｃは、マイクロホン１１〜１３から供給される３つのオーディオ信号に対して存在する３ペアのオーディオ信号に対する時間差を検出する。時間差検出手段３１ａは前方に対する左方のマイクロホン間の時間差を、時間差検出手段３１ｂは左方に対する右方のマイクロホン間の時間差を、時間差検出手段３１ａは右方に対する前方のマイクロホン間の時間差をそれぞれ検出する。到来方向推定手段３３は時間差検出手段３１ａ〜３１ｃから得られた時間差を基に、後述の方法により、トライアングルに配置されるマイクロホン１１〜１３に対し、到来する外部音の到来方向を推定して到来方向推定値を決定する。レベル分散検出手段３２は、後述の方法により、マイクロホン１１〜１３で受音して得られるオーディオ信号のレベル差を検出し、マイクロホン間レベル分散値を生成する。 The time difference detection means 31a to 31c of the arrival direction estimation unit 3 shown in FIG. 3 detects the time difference with respect to the three pairs of audio signals existing for the three audio signals supplied from the microphones 11 to 13. The time difference detection means 31a detects the time difference between the left and right microphones, the time difference detection means 31b detects the time difference between the left and right microphones, and the time difference detection means 31a detects the time difference between the right and left microphones. To do. Based on the time difference obtained from the time difference detection means 31a to 31c, the arrival direction estimation means 33 estimates the arrival direction of the incoming external sound to the microphones 11 to 13 arranged in the triangle by the method described later. Determine the direction estimate. The level dispersion detection means 32 detects the level difference of the audio signal obtained by receiving the sound with the microphones 11 to 13 by a method to be described later, and generates an inter-microphone level dispersion value.

次に、詳細に説明する。
図４を参照して到来方向推定部３の時間差検出手段３１ａ〜３１ｃについて説明する。
時間差検出手段３１ａ〜３１ｃのそれぞれは時間差検出手段３１と同一である。データメモリ３１１ａには、例えばマイクロホン１１から供給される信号を一時記憶する。相互相関算出器３１３はデータメモリ３１１ａ及び３１１ｂに記憶されたオーディオ信号の相互相関を計算し、相互相関が最大となる時間差を算出する。ここで算出される時間差は瞬時的なオーディオ信号に対する結果であるため、算出結果にばらつきや誤差が多く含まれる。平均化器３１４は算出された時間差の瞬時値を平均化し平均時間差として生成する。ここで、マイクロホン１１〜１３から得られる信号レベルが小さい場合には算出された平均時間差に含まれる誤差が大きくなる。マイクロホン１１〜１３から得られる信号に背景雑音（バックグランドノイズ）が多く含まれる場合は、平均時間差に含まれる誤差がさらに大きくなる。無音区間判定器３１２はデータメモリ３１１ａ、３１１ｂに記憶されるオーディオ信号の信号レベルを検出し、検出された信号レベルが無音であるとして判定される場合には平均化器３１４に対する平均化処理を中止させる。平均化器３１４は直前に得られた平均時間差を保持し、出力する。 Next, this will be described in detail.
The time difference detection means 31a to 31c of the arrival direction estimation unit 3 will be described with reference to FIG.
Each of the time difference detection means 31 a to 31 c is the same as the time difference detection means 31. In the data memory 311a, for example, a signal supplied from the microphone 11 is temporarily stored. The cross-correlation calculator 313 calculates the cross-correlation of the audio signals stored in the data memories 311a and 311b, and calculates the time difference that maximizes the cross-correlation. Since the time difference calculated here is a result for an instantaneous audio signal, the calculation result includes many variations and errors. The averager 314 averages the calculated instantaneous value of the time difference and generates an average time difference. Here, when the signal level obtained from the microphones 11 to 13 is small, the error included in the calculated average time difference becomes large. If the signal obtained from the microphones 11 to 13 includes a lot of background noise (background noise), the error included in the average time difference becomes even larger. The silent section determiner 312 detects the signal level of the audio signal stored in the data memories 311a and 311b, and when it is determined that the detected signal level is silent, the averaging process for the averager 314 is stopped. Let The averager 314 holds and outputs the average time difference obtained immediately before.

図５を参照し、得られた平均時間差を基に行う外部音の到来方向の推定について述べる。
同図（Ａ）において、横軸は推定して求められる到来方向を正面方向からの角度で示し、縦軸は求められた上記の平均時間差である。実線で示される曲線（１）は左、右のマイクロホン間で得られた平均時間差に対する到来方向を示す。同様に曲線（２）は右、前のマイクロホンで得られた平均時間差に対し、曲線（３）は前、左のマイクロホンで得られた平均時間差に対して推定される到来方向である。
ここで、左、右のマイクロホン間で得られた平均時間差がｔｌｒの場合は、ｔｌｒと曲線（１）との交点ｐ１、ｐ２により与えられる角度ｄ１又はｄ２が到来方向であると推定される。同図（Ｂ）に示すように、平均時間差ｔｒｌを与える音源の位置は左、右のマイクロホンの前方に位置する第１音源、及び左、右のマイクロホンの後方に位置する第２音源の両者が該当する。右、前のマイクロホン間で得られた平均時間差がｔｒｆの場合は、同様にして交点ｐ３、ｐ４で与えられるｄ３、ｄ４が到来方向であると推定される。ｄ２とｄ３とは似通った到来方向であるため、ｄ２とｄ３の中間の角度を到来方向と推定する。
同様にして前、左のマイクロホン間で得られた平均時間差を用いて到来方向を推定できる。図示しないｄ５、ｄ６を推定し、似通った到来方向の３者の平均値を得る方法がある。又はｄ５、ｄ６のいずれかがｄ２とｄ３にに通った値である場合はｄ２とｄ３の中間の角度で良かったとする上記結果の確認に用いるようにしても良い。 With reference to FIG. 5, the estimation of the direction of arrival of external sound based on the obtained average time difference will be described.
In FIG. 2A, the horizontal axis indicates the estimated arrival direction by the angle from the front direction, and the vertical axis indicates the obtained average time difference. A curve (1) indicated by a solid line indicates an arrival direction with respect to an average time difference obtained between the left and right microphones. Similarly, curve (2) is the direction of arrival estimated for the average time difference obtained with the right and previous microphones, and curve (3) is the direction of arrival estimated for the average time difference obtained with the previous and left microphones.
Here, when the average time difference obtained between the left and right microphones is tlr, it is estimated that the angle d1 or d2 given by the intersections p1 and p2 between tlr and the curve (1) is the arrival direction. As shown in FIG. 5B, the position of the sound source that gives the average time difference trl is both the first sound source located in front of the left and right microphones and the second sound source located behind the left and right microphones. Applicable. On the right, when the average time difference obtained between the previous microphones is trf, it is estimated that d3 and d4 given by the intersections p3 and p4 are arrival directions in the same manner. Since d2 and d3 are similar arrival directions, an intermediate angle between d2 and d3 is estimated as the arrival direction.
Similarly, the direction of arrival can be estimated using the average time difference obtained between the previous and left microphones. There is a method of estimating d5 and d6 (not shown) and obtaining an average value of three members having similar arrival directions. Alternatively, when either d5 or d6 is a value passing through d2 and d3, it may be used for confirming the above result that an intermediate angle between d2 and d3 is satisfactory.

図５に示した到来方向の推定についてさらに述べる。
２つのマイクロホン間の距離をｄ、音速をｃ、到来方向の角度をθとするとマイク間時間差τｄは式（１）で与えられる。

The estimation of the direction of arrival shown in FIG. 5 will be further described.
If the distance between the two microphones is d, the speed of sound is c, and the angle in the direction of arrival is θ, the inter-microphone time difference τd is given by equation (1).

到来方向θは式（２）で与えられる。

The arrival direction θ is given by equation (2).

ここで、式（２）中のアークサイン（ｓｉｎ^-1（））は±９０度の範囲でしか求めることは出来ない。式（３）で示すように到来方向θは２つの解を有する。

本実施例では正三角形状にマイクロホンを配置し、外部音の到来方向を特定するようにしている。 Here, the arc sine (sin ⁻¹ ()) in the equation (2) can be obtained only within a range of ± 90 degrees. As shown in Equation (3), the direction of arrival θ has two solutions.

In this embodiment, microphones are arranged in an equilateral triangle shape, and the direction of arrival of external sound is specified.

図６を参照して到来方向推定手段３３について述べる。
到来角推定器３３１ａ〜３３１ｃは、時間差検出手段３１ａ〜３１ｃから供給されるそれぞれの平均時間差を基に、図５、乃至は式（３）で示される平均時間差と到来方向との関係を記述したテーブルを図示しない記憶領域に記憶しておき、そのテーブルを参照して到来方向を推定する。到来角推定器３３１ａ〜３３１ｃのそれぞれからは到来方向の候補が２つづつ求められる。到来方向差演算器３３２は、求められた６個の到来方向の候補の、それぞれの組み合わせに対する到来方向同士の差を演算する。到来方向同士の差は６個に対する２個の組み合わせから、同一マイクロホン同士の組み合わせ数３を減じた数だけ存在する。その数は₆Ｃ₂＝１５から３を減じた１２である。最小方向差選択器３３３はその全ての組み合わせの中から最も似通った到来方向の角度を有する２個を選択する。到来方向平均化器３３４は選択された２個の到来方向角度の平均角度を算出する。到来方向推定値が求められる。 The arrival direction estimating means 33 will be described with reference to FIG.
The arrival angle estimators 331a to 331c describe the relationship between the average time difference shown in FIG. 5 or the expression (3) and the arrival direction based on the average time difference supplied from the time difference detection means 31a to 31c. A table is stored in a storage area (not shown), and the arrival direction is estimated with reference to the table. Two arrival direction candidates are obtained from each of the arrival angle estimators 331a to 331c. The arrival direction difference calculator 332 calculates the difference between the arrival directions for each combination of the obtained six arrival direction candidates. The difference between the arrival directions is the number obtained by subtracting the number of combinations 3 of the same microphones from the two combinations of six. The number is 12 obtained by subtracting 3 from ₆ C ₂ = 15. The minimum direction difference selector 333 selects two having the most similar direction-of-arrival angles from all the combinations. The arrival direction averager 334 calculates an average angle of the two selected arrival direction angles. An estimated direction of arrival is obtained.

図７を参照し、音源を移動させた場合に求められた実測された時間差について述べる。
同図において横軸は音源の到来方向（角度）であり、縦軸はマイクロホン間の時間差である。時間差は、間隔が１５ｍｍに設定されている２つのマイクロホンから出力されるオーディオ信号を標本化周波数４８ｋＨｚでサンプリングして得られるディジタルオーディオ信号のサンプル数により示してある。離散値として得られたサンプルの位置の差を平均化したのが平均値である。 With reference to FIG. 7, the actually measured time difference obtained when the sound source is moved will be described.
In the figure, the horizontal axis represents the arrival direction (angle) of the sound source, and the vertical axis represents the time difference between the microphones. The time difference is indicated by the number of samples of a digital audio signal obtained by sampling an audio signal output from two microphones set at an interval of 15 mm at a sampling frequency of 48 kHz. The average value is obtained by averaging the differences in the positions of the samples obtained as discrete values.

図８は、実際に発音される音源の到来方向と、図７に示した結果を用いて得た推定到来方向との関係を示したものである。音源を、トライアングル状マイクロホンを中心として反時計回りに３６０度回転させ、その後時計回りに３６０度回転させたときに得られた結果である。マルチチャンネルオーディ信号の到来方向の推定に使用可能な特性が得られている。 FIG. 8 shows the relationship between the direction of arrival of the sound source that is actually sounded and the estimated direction of arrival obtained using the results shown in FIG. This is a result obtained when the sound source is rotated 360 degrees counterclockwise around the triangular microphone and then rotated 360 degrees clockwise. Characteristics that can be used to estimate the direction of arrival of a multi-channel audio signal have been obtained.

図９を参照し、到来方向推定部３のレベル分散検出手段３２について述べる。
データメモリ３２１ａ〜３２１ｃはマイクロホン１１〜１３から供給されるオーディオ信号を一時記憶する。平均電力算出器３２２ａ〜３２２ｃは入力されるそれぞれのオーディオ信号の電力値を求める。加算器３２３は求められたそれぞれの電力値を加算する。増幅器３２４は加算された電力値を１／３倍に増幅（減衰）する。平均電力算出器３２２ａ〜３２２ｃで得られた電力値の平均値が得られる。加算器３２５ａ〜３２５ｃは平均電力算出器３２２ａ〜３２２ｃで得られたそれぞれの電力値から平均電力値を減じ（極性の異なる平均電力値を加算する。）、電力値の差分値が得られる。２乗器３２６ａ〜３２６ｃはそれぞれの電力値の差分値を２乗し（差分値同士を乗算する。）マイクロホン間レベル分散値が得られる。 The level dispersion detection means 32 of the arrival direction estimation unit 3 will be described with reference to FIG.
The data memories 321a to 321c temporarily store audio signals supplied from the microphones 11 to 13. The average power calculators 322a to 322c determine the power value of each input audio signal. The adder 323 adds the obtained power values. The amplifier 324 amplifies (attenuates) the added power value by 1/3. Average values of the power values obtained by the average power calculators 322a to 322c are obtained. The adders 325a to 325c subtract the average power value from the respective power values obtained by the average power calculators 322a to 322c (add the average power values having different polarities) to obtain a difference value between the power values. The squarers 326a to 326c square the difference values of the respective power values (multiply the difference values) to obtain an inter-microphone level dispersion value.

図１０を参照し、３-５変換について述べる。
３-５変換手段２３はトライアングル状に配置される３個のマイクロホンで収音される信号からＬ、Ｒ、ＳＬ、ＳＲ、Ｃの５チャンネルのサラウンドオーディオ信号を変換により生成する手段である。
同図において、スピーカ８６を所望のターゲット位置に配置される音源とする。マイクロホン８１、８２で受音される信号をＸｍ１、Ｘｍ２とする。点Ｏを中心としてスピーカ８６を回転させる場合に、スピーカの角度をθｔ、マイクロホン８１、８２の角度をθｍ１、θｍ２とする。ここで、所望の角度位置のスピーカ８６から発音された音響信号がマイクロホン８１、８２で受音される。マイクロホン８１、８２で受音される信号は所定の比率で分配されて受音される。２つのマイクロホン８１、８２の出力からそれらのマイクロホンの位置の中間に位置するスピーカ８６から発音される信号との関係を求める。マイクロホン８１、８２の出力信号Ｘｍ１、Ｘｍ２を増幅器８３、８４でそれぞれＫｍ１倍、Ｋｍ２倍に増幅する場合は式（４）の関係が成立する。

The 3-5 conversion will be described with reference to FIG.
The 3-5 conversion means 23 is a means for generating a surround audio signal of 5 channels of L, R, SL, SR, and C by conversion from signals picked up by three microphones arranged in a triangle shape.
In the figure, a speaker 86 is a sound source arranged at a desired target position. The signals received by the microphones 81 and 82 are Xm1 and Xm2. When the speaker 86 is rotated around the point O, the angle of the speaker is θt, and the angles of the microphones 81 and 82 are θm1 and θm2. Here, an acoustic signal generated from the speaker 86 at a desired angular position is received by the microphones 81 and 82. The signals received by the microphones 81 and 82 are distributed and received at a predetermined ratio. The relationship between the output of the two microphones 81 and 82 and the signal produced by the speaker 86 located in the middle of the positions of the microphones is obtained. When the output signals Xm1 and Xm2 of the microphones 81 and 82 are amplified to Km1 times and Km2 times by the amplifiers 83 and 84, respectively, the relationship of Expression (4) is established.

収音時の音場をスピーカ８６で再現するための、スピーカ８６への出力信号Ｙｔは、マイクロホンで収音された信号Ｘｍ１、Ｘｍ２を用い、式（５）により求められる。

An output signal Yt to the speaker 86 for reproducing the sound field at the time of sound collection by the speaker 86 is obtained by Expression (5) using signals Xm1 and Xm2 collected by the microphone.

ここで、左チャンネルのスピーカ位置を３０度の位置、前方マイクロホンは０度、左側マイクロホンは１２０度の位置にある場合には、Ｌチャンネルのスピーカの出力は前方のマイクロホンと左側のマイクロホンの出力から、式（６）によりスピーカ８６への出力信号ＹＬを得ることが出来る。

Here, when the left channel speaker position is 30 degrees, the front microphone is 0 degrees, and the left microphone is 120 degrees, the output of the L channel speaker is derived from the outputs of the front microphone and the left microphone. , The output signal YL to the speaker 86 can be obtained by the equation (6).

同様にして、Ｌ、Ｃ、Ｒ、ＳＲ、ＳＬに配置されるスピーカについてそれぞれの出力信号を求めるようにして３−５変換を行える。正三角形に配置されるマイクロホンで得られた信号を前方ＸＦ、左方ＸＬ、右方ＸＲとする場合のＬ、Ｒ、ＳＬ、ＳＲ、Ｃの各出力信号ＹＬ、ＹＲ、ＹＳＬ、ＹＳＲ、ＹＣは式（７）により得られる。

Similarly, 3-5 conversion can be performed by obtaining respective output signals for the speakers arranged in L, C, R, SR, and SL. The output signals YL, YR, YSL, YSR, and YC of L, R, SL, SR, and C when the signals obtained by the microphones arranged in the equilateral triangle are the forward XF, the left XL, and the right XR are: It is obtained by equation (7).

図１１を参照し、３-５変換手段２３について述べる。式（７）をハードウエアにより実現したものである。
同図において、前方に配置されるマイクロホンで受音された信号Ｃ（中央）の出力が得られる。増幅器２３１でＫＦＬ倍に増幅されたマイクロホン１１の信号と、増幅器２３２でＫＬＬ倍に増幅された左方のマイクロホン１２の信号とが加算器２３５で加算され、信号Ｌ（左）の出力が得られる。増幅器２３２でＫＦＲ倍に増幅されたマイクロホン１１の信号と、増幅器２３４でＫＲＲ倍に増幅された右方のマイクロホン１３の信号とが加算器２３６で加算され、信号Ｒ（右）の出力が得られる。マイクロホン１２の信号はＳＬ（左のサラウンド）出力として得られ、マイクロホン１３の信号はＳＲ（右のサラウンド）出力として得られる。 The 3-5 conversion means 23 will be described with reference to FIG. Expression (7) is realized by hardware.
In the figure, an output of a signal C (center) received by a microphone disposed in front is obtained. The adder 235 adds the signal of the microphone 11 amplified by the amplifier 231 to KFL times and the signal of the left microphone 12 amplified by the amplifier 232 to obtain the output of the signal L (left). . The signal of the microphone 11 amplified KFR times by the amplifier 232 and the signal of the right microphone 13 amplified by KRR times by the amplifier 234 are added by the adder 236 to obtain the output of the signal R (right). . The signal of the microphone 12 is obtained as an SL (left surround) output, and the signal of the microphone 13 is obtained as an SR (right surround) output.

図１２を参照して、方向性強調手段２４について述べる。
重み付け算出器２４１は、到来方向推定部３から供給されるマイク間レベル分散値と到来方向推定値に係る信号を基に、Ｃ、Ｌ、Ｒ、ＳＬ、ＳＲの５チャンネルサラウンドオーディオ信号の増幅度に係る５つの係数信号を生成する。可変増幅器２４２ａ〜２４２ｅは重み付け算出器２４１から供給される、それぞれの増幅度に係る係数信号を基に、３-５変換手段２３から供給されるＣ、Ｌ、Ｒ、ＳＬ、ＳＲの５チャンネルサラウンドオーディオ信号を増幅し、方向性の強調されたＣ、Ｌ、Ｒ、ＳＬ、ＳＲの５チャンネルサラウンドオーディオ信号を得る。 The direction enhancement means 24 will be described with reference to FIG.
The weighting calculator 241 performs amplification of the C, L, R, SL, and SR 5-channel surround audio signals based on the inter-microphone level dispersion value and the arrival direction estimation value supplied from the arrival direction estimation unit 3. 5 coefficient signals are generated. The variable amplifiers 242a to 242e are C, L, R, SL, and SR five-channel surrounds supplied from the 3-5 conversion unit 23 based on the coefficient signals relating to the respective amplification degrees supplied from the weighting calculator 241. The audio signal is amplified to obtain a 5-channel surround audio signal of C, L, R, SL, and SR with enhanced directionality.

図１３〜図１６を参照して方向性強調についてさらに述べる。
図１３において、ｘ軸は視聴者を中心とする水平面内の前方の軸であり、ｙ軸は左右方向の軸である。ｘｙ平面内にＬ、Ｃ、Ｒ、ＳＬ、ＳＲのスピーカを配置する。ｚ軸はそれらのスピーカから発音される信号の強度を示す。Ｌ、Ｃ、Ｒ、ＳＬ、ＳＲのそれぞれのスピーカの配置位置に示す円筒形は、それぞれのスピーカから出力される信号レベルを円柱の高さで示したスピーカ出力円柱である。ここでは、Ｌ、Ｃ、Ｒ、ＳＬ、ＳＲのそれぞれのスピーカから出力（発音）される信号レベルは同じレベルであり、同じ高さで示している。それらのスピーカ出力円柱の上部で接する円をレベル切断面として定義する。この図のレベル切断面は水平に配置される。マイク間レベル分散値が小さい場合のレベル切断面である。 The direction enhancement will be further described with reference to FIGS.
In FIG. 13, the x-axis is the front axis in the horizontal plane centered on the viewer, and the y-axis is the left-right axis. L, C, R, SL, and SR speakers are arranged in the xy plane. The z axis indicates the intensity of the signal produced from those speakers. The cylindrical shape shown at the arrangement position of each of the speakers L, C, R, SL, SR is a speaker output cylinder in which the signal level output from each speaker is indicated by the height of the cylinder. Here, the signal levels outputted (sounded) from the respective speakers of L, C, R, SL, and SR are the same level and are shown at the same height. A circle that touches the upper part of the speaker output cylinder is defined as a level cut plane. The level cut surfaces in this figure are arranged horizontally. It is a level cut surface when the level dispersion value between microphones is small.

図１４は、音源の到来方向が、例えばＳＲに配置されるスピーカの位置よりやや後方からであり、且つマイク間レベル分散値が所定の値で得られている場合について示したものである。音源の到来方向の近傍に配置されるスピーカからは増強された信号が発音され、反対側のＬ、Ｃスピーカからは減衰された信号が発音される。ＳＲのスピーカ出力円柱は高く、Ｌ、Ｃのスピーカ円柱は低い。レベル切断面はＳＲの近傍で高く、Ｌ、Ｃの近傍で低くなっている。従って、レベル切断面の法線ベクトルはｚ軸方向からＬ、Ｃの方向に傾いた法線ベクトルとされる。 FIG. 14 shows a case where the direction of arrival of the sound source is, for example, slightly behind the position of the speaker arranged in the SR, and the inter-microphone level dispersion value is obtained at a predetermined value. An enhanced signal is produced from the speakers arranged in the vicinity of the sound source arrival direction, and an attenuated signal is produced from the L and C speakers on the opposite side. The SR speaker output cylinder is high, and the L and C speaker cylinders are low. The level cut surface is high near SR and low near L and C. Therefore, the normal vector of the level cut surface is a normal vector inclined in the L and C directions from the z-axis direction.

図１５は、レベル切断面法線ベクトルについてさらに説明する図である。
同図において、音源の到来方向を示す到来方向ベクトル、及びｘｙ平面と垂直なｚ軸を含む到来方向面を考える。レベル切断面法線ベクトルは到来方向面内に存在するベクトルである。ｚ軸との間の角度θは、大きなマイク間レベル分散値に対して大きな角度が与えられる。 FIG. 15 is a diagram for further explaining the level cut surface normal vector.
In the figure, consider an arrival direction plane including an arrival direction vector indicating the arrival direction of a sound source and a z-axis perpendicular to the xy plane. The level cut plane normal vector is a vector existing in the direction of arrival plane. The angle θ with respect to the z axis is given a large angle with respect to a large inter-microphone level dispersion value.

図１６は、レベル切断面法線ベクトルに対応した平面を有するレベル切断面について示したものである。レベル切断面は、到来方向ベクトルとの関係に応じ、到来方向で最もレベルが大であり、到来方向と反対の方向で最もレベルが小である。レベル切断面は、図１５に示した到来方向面とは点ｐ１と点ｐ２で交わり、ｐ１の箇所でレベルは最も大きく、ｐ２の箇所でレベルが最も小さい値を取る。
上記の重み付け算出器２４１から出力される増幅度に係る係数信号は、レベル切断面で切断される円柱の高さをデシベル値に換算して得られる値の信号が用いられる。 FIG. 16 shows a level cut surface having a plane corresponding to the level cut surface normal vector. The level cut plane has the highest level in the arrival direction and the lowest level in the direction opposite to the arrival direction according to the relationship with the arrival direction vector. The level cut plane intersects with the arrival direction plane shown in FIG. 15 at points p1 and p2, and the level is the highest at the point p1 and the lowest at the point p2.
As the coefficient signal related to the amplification level output from the weight calculator 241, a signal having a value obtained by converting the height of the cylinder cut by the level cut surface into a decibel value is used.

以上のように、本実施例１で示したオーディオ装置１によれば、外部音を収音するトライアングルに配置された３つのマイクロホン１１〜１３と、前記外部音が各マイクロホンに到来する時間差を検出する時間差検出手段３１ａ〜３１ｃと、前記外部音が各マイクロホンに到来する時間差と前記外部音の到来方向との関係を示すデータが予めテーブルに格納され、この格納されたデータと前記検出された各マイクロホンに到来する時間差とに基づいて前記外部音の方向を推定する外部音方向推定手段３３と、各マイクロホンに到来した前記外部音のレベルの分散を検出するレベル分散検出手段３２と、前記レベル分散検出手段で検出された前記外部音のレベルの分散に応じて、前記３つのマイクロホンで収音された前記外部音を指向性を有するように重み付けを行う重み付け演算手段２４との格別な構成があるので、所定の指向特性を有し、忠実度の高いマルチチャンネルオーディオ信号を収音することを可能とするオーディオ装置を実現できる。Ｌ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号は、マイクロホン１１〜１３の信号を加算合成した信号であるため、マイクロホン１１〜１３の信号を減算してサラウンドオーディオ信号を生成するのと異なり、歪成分を含まないサラウンドオーディオ信号を生成することが出来ている。 As described above, according to the audio apparatus 1 shown in the first embodiment, the three microphones 11 to 13 arranged in the triangle for collecting the external sound and the time difference at which the external sound arrives at each microphone are detected. Time difference detecting means 31a to 31c, and data indicating the relationship between the time difference at which the external sound arrives at each microphone and the direction of arrival of the external sound are stored in a table in advance, and the stored data and each detected External sound direction estimating means 33 for estimating the direction of the external sound based on the time difference arriving at the microphone, level dispersion detecting means 32 for detecting the dispersion of the level of the external sound arriving at each microphone, and the level dispersion The external sound picked up by the three microphones has directivity according to the dispersion of the level of the external sound detected by the detecting means. Since there are special configuration of the weighting calculation means 24 for weighting to have a predetermined directivity characteristics can be realized audio apparatus capable of picking up high multi-channel audio signal fidelity. Since the 5.1 channel surround audio signal of L, R, SL, SR, C, and LFE is a signal obtained by adding and synthesizing the signals of the microphones 11 to 13, the surround audio signal is subtracted from the signals of the microphones 11 to 13. Unlike the above, the surround audio signal not including the distortion component can be generated.

図１７〜図２０を用い、実施例２のオーディオ装置について述べる。なお、実施例１で示したと同一の機能部分については同一の符号を付し説明を省く。
図１７に示すオーディオ装置１ａは、図１に示したオーディオ装置１が３個のマイクロホンを用いるのに比し、左右２個のマイクロホンのみを用い、到来方向の前後の判定は追加回路で行う点で異なっている。 The audio apparatus according to the second embodiment will be described with reference to FIGS. The same functional parts as those shown in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
The audio device 1a shown in FIG. 17 uses only two left and right microphones, and the front and rear of the arrival direction is determined by an additional circuit, as compared with the case where the audio device 1 shown in FIG. 1 uses three microphones. Is different.

オーディオ装置１ａの構成について述べる。
図１７に示すオーディオ装置１ａは２個のマイクロホン１２、１３を有している。合成部２の代わりに合成部２ａを、到来方向推定部３の代わりに到来方向推定部３ａを備え、さらに周波数分析部４及び前後判定部５を多く備えている。合成部２ａは、図１に示した合成部２に比し、マイクロホン１１から入力される信号に係る回路部を削除した構成とされる。
図１８に示す到来方向推定部３ａは時間差検出手段３１ｂ、レベル検出手段３２ａ、及び到来方向推定手段３３ａから構成される。
図１９に示す周波数分析部４は加算器４１、ＬＰＦ４２、ＨＰＦ４３、平均伝録算出器４４ａ、４４ｂ、加算器４５、レベルホールド器４６、及び加算器４７から構成される。
図２０に示す前後判定部５は閾値手段５１、選択手段５２及び加算手段５３より構成される。 The configuration of the audio device 1a will be described.
The audio apparatus 1a shown in FIG. 17 has two microphones 12 and 13. A synthesis unit 2a is provided instead of the synthesis unit 2, an arrival direction estimation unit 3a is provided instead of the arrival direction estimation unit 3, and a frequency analysis unit 4 and a front / rear determination unit 5 are provided. Compared with the combining unit 2 shown in FIG. 1, the combining unit 2 a has a configuration in which a circuit unit related to a signal input from the microphone 11 is deleted.
The arrival direction estimation unit 3a shown in FIG. 18 includes time difference detection means 31b, level detection means 32a, and arrival direction estimation means 33a.
The frequency analysis unit 4 shown in FIG. 19 includes an adder 41, an LPF 42, an HPF 43, average transcript calculators 44 a and 44 b, an adder 45, a level hold unit 46, and an adder 47.
20 includes a threshold means 51, a selection means 52, and an addition means 53.

オーディオ装置１ａの動作について述べる。
図１７において、到来方向推定部３ａはマイクロホン１２、１３から入力される信号に対し音源が前方にある場合を基準とした到来方向の推定値、及びマイクロホン１２、１３の２つの信号に対するマイク間レベル分散値を生成する。周波数分析部４はマイクロホン１２、１３から入力される信号の周波数成分を分析して得る。前後判定部５は、分析された周波数成分から音の到来する方向が前方であるか、又は後方からであるかを判定する。前後判定部５からは、前方であると判定された場合は到来方向推定部３ａで得られた前方の到来方向を、後方であると判定された場合は後方の到来方向に修正した到来方向が得られる。合成部２ａは、マイクロホン１２、１３から供給される信号を加算してＣチャンネルのサラウンドオーディオ信号を生成する一方、実施例１に示した合成部２で、マイクロホン１１の信号を０とした場合に相当する出力信号を得る。前後判定部５で得られた到来方向推定値と、到来方向推定部３ａで得られたマイク間レベル分散値を基に前述の合成部２で生成されたと同様のＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号を生成して出力する。 The operation of the audio device 1a will be described.
In FIG. 17, the arrival direction estimation unit 3 a estimates the arrival direction based on the case where the sound source is ahead of the signals input from the microphones 12 and 13 and the inter-microphone level for the two signals of the microphones 12 and 13. Generate a variance value. The frequency analysis unit 4 analyzes and obtains frequency components of signals input from the microphones 12 and 13. The front-rear determination unit 5 determines whether the direction of sound arrival is forward or backward from the analyzed frequency component. From the front-rear determination unit 5, when it is determined to be forward, the arrival direction obtained by the arrival direction estimation unit 3 a is corrected, and when it is determined to be rearward, the arrival direction is corrected to the rear arrival direction. can get. The synthesizer 2a adds the signals supplied from the microphones 12 and 13 to generate a C channel surround audio signal. On the other hand, when the synthesizer 2 shown in the first embodiment sets the signal of the microphone 11 to 0. The corresponding output signal is obtained. L, R, SL, SR, similar to those generated by the synthesis unit 2 based on the arrival direction estimation value obtained by the front-rear determination unit 5 and the inter-microphone level dispersion value obtained by the arrival direction estimation unit 3a. C and LFE 5.1 channel surround audio signals are generated and output.

詳細に説明する。
図１８において、到来方向推定部３ａは、実施例１の到来方向推定部３に比しマイクロホン１１よりの信号レベルを０とした場合の到来方向推定値とマイク間レベル分散値を生成する。到来方向は前方に音源があるものとしての到来方向が得られる。 This will be described in detail.
In FIG. 18, the arrival direction estimation unit 3 a generates an arrival direction estimation value and an inter-microphone level dispersion value when the signal level from the microphone 11 is 0 as compared with the arrival direction estimation unit 3 of the first embodiment. The direction of arrival is obtained as if the sound source is ahead.

図１９において、加算器４１はマイクロホン１２及び１３の信号を加算する。平均電力算出器４４ａは、ＬＰＦ４２により加算信号のうち通過された低域成分のみの信号の平均電力を算出する。平均電力算出器４４ｂは、ＨＰＦ４２により加算信号のうち通過れた高域成分のみの信号の平均電力を算出する。加算器４５は平均電力算出器４４ａから平均電力算出器４４ｂで算出された平均電力を減算する。レベルホールド４６は加算器４５の出力信号レベルを所定時間保持する。加算器４７は保持されている平均電力値と加算器４５から供給される平均電力値の逆極性の信号とを加算（減算）する。マイクロホン１２、１３に入力される信号レベルが小さい場合、過去の所定の期間に出力された平均電力値が出力される。
ここで、前方から到来してマイクロホン１２、１３で受音される信号には音源の有する同様な高域成分と低域成分とが含まれる。しかし、音源が後方にある場合では、マイクロホン１２、１３は図示しないマイクロホン保持具の前方に配置されているケースが多いこと、及び収音者が音源とマイクロホンの間に配置されるなどにより高音域の平均電力が減衰する。低域成分の平均電力は減衰しない。従って、加算器４７から出力される平均電力のレベルが低下する。 In FIG. 19, an adder 41 adds the signals from the microphones 12 and 13. The average power calculator 44 a calculates the average power of only the low-frequency component signal that has been passed through the addition signal by the LPF 42. The average power calculator 44b calculates the average power of only the high-frequency component signal that has passed through the addition signal by the HPF 42. The adder 45 subtracts the average power calculated by the average power calculator 44b from the average power calculator 44a. The level hold 46 holds the output signal level of the adder 45 for a predetermined time. The adder 47 adds (subtracts) the held average power value and a signal having the opposite polarity of the average power value supplied from the adder 45. When the signal level input to the microphones 12 and 13 is small, the average power value output in the past predetermined period is output.
Here, the signals coming from the front and received by the microphones 12 and 13 include the same high frequency component and low frequency component that the sound source has. However, when the sound source is behind, the microphones 12 and 13 are often placed in front of a microphone holder (not shown) and the sound collector is placed between the sound source and the microphone. The average power of is attenuated. The average power of the low frequency component is not attenuated. Therefore, the level of the average power output from the adder 47 is lowered.

図２０に示す前後判定部５について述べる。
閾値手段５１は周波数分析部４で得られた平均電力が所定値以上であるか否かを判定する。選択手段５２は、閾値手段５１で平均電力値が所定値以上であると判定された場合に前方の０度を選択し、所定値に満たないとして判定された場合には後方、即ち１８０度（又は-１８０度）を選択する。加算器５３は到来方向推定部３ａから得られた角度情報に、選択手段５２で選択された角度情報を加算する。到来方向推定手段３３ａから前方にあるとして求められた到来方向は選択手段５２で選択される方の到来方向に修正されて出力される。 The front / rear determination unit 5 shown in FIG. 20 will be described.
The threshold means 51 determines whether or not the average power obtained by the frequency analysis unit 4 is greater than or equal to a predetermined value. The selection means 52 selects 0 degrees ahead when the threshold means 51 determines that the average power value is equal to or greater than a predetermined value, and selects backward 180 degrees (ie, 180 degrees ( Or -180 degrees). The adder 53 adds the angle information selected by the selection means 52 to the angle information obtained from the arrival direction estimation unit 3a. The arrival direction obtained from the arrival direction estimation means 33a as being ahead is corrected to the arrival direction selected by the selection means 52 and output.

本発明の第３実施例について図２１を用いて説明する。第１実施例に示した回路部と同一機能の回路部には同一の符号を付し説明を省力する。
同図に示すオーディオ装置１ｂはマイクロホン１１〜１３、帯域分割部６１ａ〜６１ｃ、加算器６２ａ、６２ｂ、合成部２ｃ、２ｄ、到来方向推定部３ｃ、３ｄ、及び合成器６３ａ〜６３ｅより構成される。 A third embodiment of the present invention will be described with reference to FIG. Circuit parts having the same functions as those of the circuit part shown in the first embodiment are denoted by the same reference numerals, and the description is saved.
The audio apparatus 1b shown in FIG. 1 includes microphones 11 to 13, band dividing units 61a to 61c, adders 62a and 62b, combining units 2c and 2d, arrival direction estimating units 3c and 3d, and combining units 63a to 63e. .

マイクロホン１１〜１３から入力される信号のそれぞれは帯域分割部６１ａ〜６１ｃで高域、中域、低域の周波数帯域の信号に分割される。帯域分割部６１ａ〜６１ｃで分割して得られた高域周波数成分の信号は到来方向推定部３と同様に動作し、マイク間レベル分散値と到来方向推定値を出力する。合成部２ｃは合成部２と同様の機能を有し、マイク間レベル分散値と到来方向推定値を基に５チャンネルオーディオ信号を生成する。到来方向推定部３ｄと合成部２ｄは、帯域分割部６１ａ〜６１ｃで得られた中域周波数帯域の信号に対して同様に動作し５チャンネルオーディオ信号を生成する。合成器６３ａ〜６３ｅは合成部２ｃ及び２ｄで生成された５チャンネルオーディオ信号を加算合成する。加算器６２ａ、６２ｂは帯域分割部６１ａ〜６１ｃで得られた低域周波数帯域の信号を加算し、ＬＦＥ信号を生成する。 Each of the signals input from the microphones 11 to 13 is divided into high frequency, mid frequency, and low frequency signals in the band dividing units 61a to 61c. The signal of the high frequency component obtained by dividing by the band dividing units 61a to 61c operates in the same manner as the arrival direction estimation unit 3, and outputs the inter-microphone level dispersion value and the arrival direction estimation value. The synthesizer 2c has the same function as the synthesizer 2 and generates a 5-channel audio signal based on the inter-microphone level dispersion value and the arrival direction estimation value. The arrival direction estimation unit 3d and the synthesis unit 2d operate in the same manner with respect to the signals in the mid-frequency band obtained by the band division units 61a to 61c, and generate a 5-channel audio signal. The synthesizers 63a to 63e add and synthesize the 5-channel audio signals generated by the synthesizers 2c and 2d. The adders 62a and 62b add the low frequency band signals obtained by the band dividing units 61a to 61c to generate an LFE signal.

実施例１で示したオーディオ装置１は１方向から到来する音響信号に対して指向性を有したサラウンドオーディオ信号を生成するのに比し、実施例３で示したオーディオ装置１ｂは、高域周波数帯及び中域周波数帯のそれぞれに対して異なる方向から到来する音響信号のそれぞれに対して異なる指向性を有したサラウンドオーディオ信号として生成することが出来る。
周波数帯域をさらに細かく分割する場合には、分割された周波数帯域毎に異なる方向から到来するＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号として生成することが出来る。 Compared with the case where the audio apparatus 1 shown in the first embodiment generates a surround audio signal having directivity with respect to an acoustic signal arriving from one direction, the audio apparatus 1b shown in the third embodiment has a higher frequency range. It can be generated as a surround audio signal having different directivities for acoustic signals arriving from different directions for each of the band and the middle frequency band.
When the frequency band is further divided, it can be generated as a 5.1 channel surround audio signal of L, R, SL, SR, C, and LFE coming from different directions for each divided frequency band.

本発明の第４実施例について図２２を用いて説明する。
第４実施例は、第１実施例におけるマイクロホン１１〜１３をオーディオ装置の記録側に搭載し、再生側で指向性を有するサラウンドオーディオ信号を生成しようとするものである。第１実施例に示した回路部と同一機能の回路部には同一の符号を付し説明を省力する。
同図に示すオーディオ装置１ｃは、マイクロホン１１〜１３、ビデオカメラ１４、記録媒体１５ａからなる記録側と、再生媒体１５ｂ、再生装置１６、及びマルチチャンネル変換装置１７からなる再生側とで構成される。オーディオ装置１ｃにはＤＶＤ再生装置１８が接続されている。 A fourth embodiment of the present invention will be described with reference to FIG.
In the fourth embodiment, the microphones 11 to 13 in the first embodiment are mounted on the recording side of the audio apparatus, and a surround audio signal having directivity on the reproduction side is generated. Circuit parts having the same functions as those of the circuit part shown in the first embodiment are denoted by the same reference numerals, and the description is saved.
The audio device 1c shown in FIG. 1 includes a recording side including a microphone 11 to 13, a video camera 14, and a recording medium 15a, and a reproducing side including a reproduction medium 15b, a reproduction device 16, and a multichannel conversion device 17. . A DVD playback device 18 is connected to the audio device 1c.

まず、マイクロホン１１〜１３はビデオカメラの音声入力端子Ｆ、Ｌ、Ｒに接続すると共に、トライアングル状に配置されるマイクロホンの位置情報をビデオカメラに設定する。ビデオカメラ１４は、図示しないカメラ部で撮影して得られる動画、音声入力端子Ｆ、Ｌ、Ｒに入力される音声信号及びマイクロホンの位置情報を記録媒体１５ａに記録する。
オーディオ装置の再生側では、記録側で記録された再生媒体１５ｂを、再生装置１６で再生する。再生して得られたＦ、Ｌ、Ｒのオーディオ信号及びマイク位置情報はマルチチャンネル変換装置１７に入力される。マルチチャンネル変換装置１７には前述の図１に示した合成部２及び到来方向推定部３が組み込まれている。Ｌ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号が生成される。サラウンドオーディオ信号は、例えばＤＶＤ再生装置１８に入力され、撮像した画像と共に５．１チャンネルサラウンドオーディオ信号が再生される。 First, the microphones 11 to 13 are connected to the audio input terminals F, L, and R of the video camera, and the position information of the microphones arranged in a triangle shape is set in the video camera. The video camera 14 records, on the recording medium 15a, a moving image obtained by photographing with a camera unit (not shown), an audio signal input to the audio input terminals F, L, and R and microphone position information.
On the playback side of the audio device, the playback device 15 plays back the playback medium 15b recorded on the recording side. The F, L, and R audio signals and microphone position information obtained by reproduction are input to the multichannel conversion device 17. The multichannel converter 17 incorporates the combining unit 2 and the arrival direction estimating unit 3 shown in FIG. A surround audio signal of 5.1 channels of L, R, SL, SR, C, and LFE is generated. The surround audio signal is input to, for example, the DVD playback device 18, and a 5.1 channel surround audio signal is played back together with the captured image.

実施例１では、トライアングル状に配置されるマイクロホン同士の距離を１５ｍｍとして述べた。再生媒体１５ｂが１５ｍｍ以外の距離で配置されたマイクロホンにより収音される場合も有りうるため、再生側の到来方向推定部３はマイクロホンの位置情報を得て上述の信号処理を行うようにする。
マイクロホンの位置情報記述例を示す。

In the first embodiment, the distance between the microphones arranged in a triangle shape is 15 mm. Since the reproduction medium 15b may be picked up by a microphone arranged at a distance other than 15 mm, the reproduction direction arrival direction estimation unit 3 obtains the position information of the microphone and performs the above-described signal processing.
An example of description of microphone position information is shown.

同記述例では、使用するマイクロホンの数は３であり、それらのマイクロホンの３次元の位置情報（配置情報）とそれぞれのマイクロホンの指向特性について記述されている。到来方向推定手段３３は３次元の座標を基に図５に示した時間差に対する到来方向のテーブルを作成して図示しないＲＡＭに記憶する。記憶されたテーブルを用い、上述と同様にして再生媒体から再生されたＦ、Ｌ、Ｒの信号をＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号に変換した出力信号を得ることが出来る。
なお、記録媒体１５ａに記録する音声信号はディジタル化された信号とすることにより、再生媒体から時間変動成分が含まれないＦ、Ｌ、Ｒのそれぞれの信号を再生できる。精度の高い到来方向推定値が得られ、所望のＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号を得ることが出来る。
また、実施例４ではマルチチャンネル変換装置１７を再生側に備えるとして述べた。マルチチャンネル変換装置１７は記録側のビデオカメラ１４の内部に備えるようにしても良い。その場合、記録媒体１５ａには、Ｆ、Ｌ、Ｒのオーディオ信号の代わりにＬ、Ｒ、ＳＬ、ＳＲ、Ｃ、ＬＦＥの５．１チャンネルのサラウンドオーディオ信号が記録される。 In this description example, the number of microphones to be used is 3, and the three-dimensional position information (placement information) of these microphones and the directivity characteristics of each microphone are described. The arrival direction estimation means 33 creates a table of arrival directions with respect to the time difference shown in FIG. 5 based on the three-dimensional coordinates and stores it in a RAM (not shown). Using the stored table, the F, L, and R signals reproduced from the reproduction medium in the same manner as described above are converted into 5.1 channel surround audio signals of L, R, SL, SR, C, and LFE. A signal can be obtained.
Note that the audio signal to be recorded on the recording medium 15a is a digitized signal, so that the F, L, and R signals that do not include the time variation component can be reproduced from the reproduction medium. A highly accurate direction-of-arrival estimation value can be obtained, and 5.1 channel surround audio signals of desired L, R, SL, SR, C, and LFE can be obtained.
In the fourth embodiment, the multi-channel conversion device 17 is provided on the playback side. The multi-channel conversion device 17 may be provided inside the video camera 14 on the recording side. In this case, 5.1-channel surround audio signals of L, R, SL, SR, C, and LFE are recorded on the recording medium 15a instead of the F, L, and R audio signals.

本発明の第１の実施に係るオーディオ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the audio apparatus which concerns on the 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。It is a figure which shows the structural example (the 1) of the principal part of the audio apparatus which concerns on the 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。It is a figure which shows the structural example (the 2) of the principal part of the audio apparatus which concerns on the 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その１）を示す図である。It is a figure which shows the detail (the 1) of the structural example of the audio apparatus principal part which concerns on 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その１）である。FIG. 6 is a diagram (No. 1) for explaining the operation of the audio apparatus according to the first embodiment of the invention; 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その２）を示す図である。It is a figure which shows the detail (the 2) of the structural example of the audio apparatus principal part which concerns on 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その２）である。FIG. 6 is a diagram (No. 2) for explaining the operation of the audio apparatus according to the first embodiment of the invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その３）である。FIG. 6 is a diagram (No. 3) for explaining the operation of the audio apparatus according to the first embodiment of the invention. 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その３）を示す図である。It is a figure which shows the detail (the 3) of the structural example of the audio apparatus principal part which concerns on 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その４）である。FIG. 6 is a diagram (No. 4) for explaining the operation of the audio apparatus according to the first embodiment of the invention. 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その４）を示す図である。It is a figure which shows the detail (the 4) of the structural example of the audio apparatus principal part which concerns on 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置要部の構成例の詳細（その５）を示す図である。It is a figure which shows the detail (the 5) of the structural example of the audio apparatus principal part which concerns on 1st implementation of this invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その５）である。FIG. 6 is a diagram (No. 5) for explaining the operation of the audio apparatus according to the first embodiment of the invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その６）である。FIG. 6 is a diagram (No. 6) for explaining the operation of the audio apparatus according to the first embodiment of the invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その７）である。FIG. 7 is a view (No. 7) for explaining the operation of the audio apparatus according to the first embodiment of the invention. 本発明の第１の実施に係るオーディオ装置の動作を説明するための図（その８）である。FIG. 10 is a view (No. 8) for explaining the operation of the audio apparatus according to the first embodiment of the invention. 本発明の第２の実施に係るオーディオ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the audio apparatus which concerns on the 2nd implementation of this invention. 本発明の第２の実施に係るオーディオ装置の要部の構成例（その１）を示す図である。It is a figure which shows the structural example (the 1) of the principal part of the audio apparatus which concerns on the 2nd implementation of this invention. 本発明の第２の実施に係るオーディオ装置の要部の構成例（その２）を示す図である。It is a figure which shows the structural example (the 2) of the principal part of the audio apparatus which concerns on the 2nd implementation of this invention. 本発明の第２の実施に係るオーディオ装置の要部の構成例（その３）を示す図である。It is a figure which shows the structural example (the 3) of the principal part of the audio apparatus which concerns on the 2nd implementation of this invention. 本発明の第３の実施に係るオーディオ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the audio apparatus which concerns on the 3rd implementation of this invention. 本発明の第４の実施に係るオーディオ装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the audio apparatus which concerns on the 4th implementation of this invention.

Explanation of symbols

１、１ａ、１ｂ、オーディオ装置
２、２ｃ、２ｄ合成部
３、３ａ、３ｃ、３ｄ到来方向推定部
４周波数分析部
５前後判定部
１１〜１３マイクロホン
１４ビデオカメラ
１５ａ記録媒体
１５ｂ再生媒体
１６再生装置
１７マルチチャンネル変換装置
１８ＤＶＤ再生装置
２１ａ〜２１ｃＨＰＦ
２２ａ〜２２ｃＬＰＦ
２３３-５変換手段
２４方向性強調手段
２５加算器
３１ａ〜３１ｃ時間差検出手段
３２、３２ａレベル分散検出手段
３３、３３ａ到来方向推定手段
４１加算器
４２ＬＰＦ
４３ＨＰＦ
４４ａ、４４ｂ平均伝録算出器
４５加算器
４６レベルホールド器
４７加算器
５１閾値手段
５２選択手段
５３加算手段
６１ａ〜６１ｃ帯域分割部
６２ａ、６２ｂ加算器
６３ａ〜６３ｅ合成器
８１、８２マイクロホン
８３、８４増幅器
８５加算器
８６スピーカ
２３１〜２３４増幅器
２３５、２３６加算器
２４１重み付け算出器
２４２ａ〜２４２ｅ可変増幅器
３１１ａ、３１１ｂデータメモリ
３１２無音区間判定器
３１３相互相関算出器
３１４平均化器
３２１ａ〜３２１ｃデータメモリ
３２２ａ〜３２２ｃ平均電力算出器
３２３加算器
３２４増幅器
３２５ａ〜３２５ｃ加算器
３２６ａ〜３２６ｃ２乗器
３２７加算器
３３１ａ〜３３１ｃ到来角推定器
３３２到来方向差演算器
３３３最小方向差選択器
３３４到来方向平均化器 DESCRIPTION OF SYMBOLS 1, 1a, 1b, Audio apparatus 2, 2c, 2d Synthesis | combination part 3, 3a, 3c, 3d Arrival direction estimation part 4 Frequency analysis part 5 Before and after determination part 11-13 Microphone 14 Video camera 15a Recording medium 15b Reproduction medium 16 Reproduction apparatus 17 Multi-channel conversion device 18 DVD playback devices 21a to 21c HPF
22a-22c LPF
23 3-5 conversion means 24 direction enhancement means 25 adders 31a to 31c time difference detection means 32, 32a level dispersion detection means 33, 33a arrival direction estimation means 41 adder 42 LPF
43 HPF
44a, 44b Average transfer calculator 45 Adder 46 Level hold unit 47 Adder 51 Threshold means 52 Selection means 53 Addition means 61a-61c Band division units 62a, 62b Adders 63a-63e Synthesizers 81, 82 Microphones 83, 84 Amplifier 85 Adder 86 Speakers 231 to 234 Amplifiers 235 and 236 Adder 241 Weighted calculators 242a to 242e Variable amplifiers 311a and 311b Data memory 312 Silent section determiner 313 Cross correlation calculator 314 Averagers 321a to 321c Data memories 322a to 322 322c Average power calculator 323 Adder 324 Amplifier 325a-325c Adder 326a-326c Squarer 327 Adder 331a-331c Arrival angle estimator 332 Arrival direction difference calculator 333 Minimum direction difference selector 334 Arrival direction averager

Claims

In an audio device that outputs external sound by weighting sound emitted from the outside,
Three microphones arranged in a triangle for collecting the external sound;
A time difference detecting means for detecting a time difference when the external sound arrives at each microphone;
Data indicating the relationship between the time difference when the external sound arrives at each microphone and the direction of arrival of the external sound is stored in a table in advance, and based on the stored data and the time difference when the detected sound arrives at each microphone. External sound direction estimating means for estimating the direction of the external sound;
Level dispersion detecting means for detecting the dispersion of the level of the external sound arriving at each microphone;
Weighting calculating means for weighting the external sound picked up by the three microphones so as to have the directivity according to the dispersion of the level of the external sound detected by the level dispersion detecting means;
Output means for outputting the external sound weighted by the weight calculation means;
An audio device comprising:

In a directional sound generating method for outputting external sounds weighted after collecting external sounds emitted from the outside with three microphones,
Detect the time difference when the external sound arrives at each microphone,
Data indicating the relationship between the time difference when the external sound arrives at each microphone and the direction of arrival of the external sound is stored in a table in advance, and based on the stored data and the time difference when the detected sound arrives at each microphone. Estimating the direction of the external sound,
Detecting the dispersion of the level of the external sound that has arrived at each microphone;
In accordance with the detected variance of the level of the external sound, the external sound is weighted so as to have the directivity,
A directional sound generating method, wherein the weighted external sound is output.