JP2015161659A - Sound source direction estimation device and display device of image for sound source estimation - Google Patents
Sound source direction estimation device and display device of image for sound source estimation Download PDFInfo
- Publication number
- JP2015161659A JP2015161659A JP2014038648A JP2014038648A JP2015161659A JP 2015161659 A JP2015161659 A JP 2015161659A JP 2014038648 A JP2014038648 A JP 2014038648A JP 2014038648 A JP2014038648 A JP 2014038648A JP 2015161659 A JP2015161659 A JP 2015161659A
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sound
- microphone
- microphones
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、複数のマイクロフォンで採取した音の情報から音源の方向を推定する装置と、マイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を作成して表示する装置とに関する。 The present invention relates to an apparatus for estimating the direction of a sound source from sound information collected by a plurality of microphones, and to estimate a sound source using sound information collected by a microphone and video information photographed by a photographing means. The present invention relates to an apparatus for creating and displaying an image.
従来、図１５に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置し、第５のマイクロフォンＭ５をマイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置して成る音採取手段１１Ｚにより、音源から伝播する音の音圧信号を検出し、対となる２つのマイクロフォン（Ｍi, Ｍj）間の位相差に相当する到達時間差Ｄijから音源の方向である水平角θと仰角φとを推定するとともに、ＣＣＤカメラ等の映像採取手段を設けて推定された音源方向の画像を撮影し、この画像データと音源方向のデータとを合成して、画像中に推定した音源方向（θ，φ）と音圧レベルとを図形で表示した音源推定用画像を作成する装置が知られている（例えば、特許文献１参照）。 Conventionally, as shown in FIG. 15, four microphones M1 to M4 are arranged at predetermined intervals on two straight lines orthogonal to each other, and the fifth microphone M5 is a square formed by the microphones M1 to M4. The sound collecting means 11Z arranged at the apex of the quadrangular pyramid detects the sound pressure signal of the sound propagating from the sound source, and corresponds to the phase difference between the two microphones (M i , M j ) paired. The horizontal angle θ and the elevation angle φ, which are directions of the sound source, are estimated from the arrival time difference D ij, and an image of the estimated sound source direction is captured by providing a video sampling means such as a CCD camera. An apparatus for synthesizing data and creating a sound source estimation image in which a sound source direction (θ, φ) and a sound pressure level estimated in the image are displayed as a graphic is known (for example, see Patent Document 1). .
前記従来の方法では音源方向と到来した音の大きさを周波数毎に計測できるので、音源の情報を確実に把握することができるが、室内などの狭い空間では壁などからの反射音の影響が大きいので、直接音と反射音とを区別するための演算処理が必要であった。
また、音源推定用画像を作成する装置では、マイクロフォンとカメラとを一体化した音・映像採取手段を用いているが、マイクロフォンとカメラとを一体化するためには、カメラを立体配置されたマイクロフォンの外部に配置しなければならないため、音・映像採取手段が大型化してしまうと行った問題点があった。
In the conventional method, the direction of the sound source and the magnitude of the incoming sound can be measured for each frequency, so that the information of the sound source can be reliably grasped. Since it is large, an arithmetic process for distinguishing the direct sound from the reflected sound is necessary.
In addition, in the device for creating the sound source estimation image, the sound and video sampling means in which the microphone and the camera are integrated is used, but in order to integrate the microphone and the camera, the microphone in which the camera is arranged in three dimensions is used. Therefore, there is a problem that is caused when the sound / video sampling means becomes large.
本発明は、従来の問題点に鑑みてなされたもので、狭い空間であっても、音源の方向を精度よく推定できる音源方向推定装置と、音・映像採取手段を小型化した音源推定用画像の表示装置とを提供することを目的とする。 The present invention has been made in view of the conventional problems, and is a sound source direction estimation device that can accurately estimate the direction of a sound source even in a narrow space, and a sound source estimation image in which sound / video sampling means is downsized. It is an object to provide a display device.
本願発明者らは、鋭意検討の結果、マイクロフォンに入力する音圧信号をカメラの撮影方向である前方の１８０°のみに限定することで、後方あるいは側方の壁などからの反射音の影響を大幅に低減できるとともに、マイクロフォンとカメラとを同一平面内に配置することで音・映像採取手段を小型化できることを見出し、本発明に到ったものである。
すなわち、本発明は、音源から伝播される音の音圧信号を採取する複数のマイクロフォンと、前記各マイクロフォンで採取された音圧信号から音源の方向を推定する音源方向推定手段とを備えた音源方向推定装置であって、前記複数のマイクロフォンは、平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォン（Ｍ１，Ｍ２，Ｍ３）を備え、前記音源方向推定手段は、前記各マイクロフォンに入力する音圧信号の到達時間差Ｄijと、前記マイクロフォンの位置座標と音速ｃとから前記音源の方向を推定することを特徴とする。
このように、互いに一直線上にない少なくとも３個のマイクロフォンＭ１，Ｍ２，Ｍ３を含む複数のマイクロフォンを平面板に設置して、平面板の前方から伝播される音の音圧信号のみを採取するようにしたので、少なくとも３個のマイクロフォンにて３次元の音源方向を推定できるとともに、反射音の影響を少なくできるので、音源方向の推定精度を向上させることができる。
As a result of diligent study, the inventors of the present application limited the sound pressure signal input to the microphone to the front 180 °, which is the shooting direction of the camera, to reduce the influence of the reflected sound from the rear or side walls. It has been found that the sound and video sampling means can be reduced in size by significantly reducing the microphone and the camera in the same plane.
That is, the present invention provides a sound source comprising a plurality of microphones that collect sound pressure signals of sound propagated from a sound source, and sound source direction estimating means that estimates the direction of the sound source from the sound pressure signals collected by each of the microphones. The direction estimation device, wherein the plurality of microphones are placed on a plane plate and collect only sound pressure signals of sound propagated from the front side on one side of the plane including the plane plate. At least three microphones (M1, M2, M3), and the sound source direction estimating means is configured to determine the arrival time difference D ij between the sound pressure signals input to the microphones, the position coordinates of the microphones, and the sound velocity c. It is characterized by estimating the direction of the sound source.
In this way, a plurality of microphones including at least three microphones M1, M2, and M3 that are not in line with each other are installed on the plane plate, and only the sound pressure signal of the sound propagated from the front of the plane plate is collected. As a result, the three-dimensional sound source direction can be estimated with at least three microphones, and the influence of the reflected sound can be reduced, so that the sound source direction estimation accuracy can be improved.
また、本発明は、第４のマイクロフォンＭ４を追加し、例えば、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対（Ｍ１，Ｍ３）及び（Ｍ２，Ｍ４）を構成するとともに、前記音源方向推定手段が、前記第１のマイクロフォン対を構成する各マイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記第２のマイクロフォン対を構成する各マイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24と、前記マイクロフォンの位置座標と音速ｃとから音源の方向を推定することを特徴とする。
このように、マイクロフォンを４個とすれば、同じマイクロフォン（例えば、マイクロフォンＭ２）の音圧信号を、到達時間差の計算に重複して用いる必要がないので、音源方向の推定精度を更に向上させることができる。
In the present invention, a fourth microphone M4 is added. For example, first and second microphone pairs (M1, M3) and (M2, M4) arranged at predetermined intervals on two straight lines that intersect each other, for example. ) with constituting, each said sound source direction estimating means, constitutes a first arrival time difference D 13 of sound pressure signals to be input to each of the microphones M1, M3 constituting the microphone pair, said second microphone pairs The direction of the sound source is estimated from the arrival time difference D 24 of the sound pressure signals input to the microphones M2 and M4, the position coordinates of the microphone, and the sound speed c.
In this way, if the number of microphones is four, it is not necessary to use the sound pressure signal of the same microphone (for example, microphone M2) redundantly for the calculation of the arrival time difference, thereby further improving the estimation accuracy of the sound source direction. Can do.
また、本発明は、音源を推定するための音源推定用画像を作成する音源推定用画像の表示装置であって、平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンを備えた音採取手段と、前記音源の方向である前記平面板の前方の映像を撮影する撮影手段と、前記各マイクロフォンに入力する音圧信号の到達時間差と前記マイクロフォンの位置座標と音速とから前記音源の方向を推定する音源方向推定手段と、前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、前記音源推定用画像を表示する表示手段とを備えたことを特徴とする。
このような構成を採ることにより、反射音の影響が少ない音源推定用画像を作成することができるので、音源の推定精度を向上させることができる。
Further, the present invention is a sound source estimation image display device for creating a sound source estimation image for estimating a sound source, and is installed on a plane plate from the front side on one side of the plane including the plane plate. Sound collecting means for collecting only the sound pressure signal of the propagated sound and having at least three microphones that are not in line with each other; and photographing means for photographing an image in front of the plane plate that is the direction of the sound source; , Sound source direction estimation means for estimating the direction of the sound source from the arrival time difference of the sound pressure signals input to the microphones, the position coordinates of the microphone and the sound speed, and data of the direction of the sound source estimated by the sound source direction estimation means And image data that is a video signal in the direction of the sound source captured by the image capturing means are combined to create a sound source estimation image that is an image in which a graphic showing the estimated direction of the sound source is drawn. A sound source estimation image generating means, characterized by comprising a display means for displaying the sound source estimation image.
By adopting such a configuration, it is possible to create a sound source estimation image that is less affected by reflected sound, so that the accuracy of sound source estimation can be improved.
また、本発明は、前記撮影手段が、前記複数のマイクロフォンが配置された平面板に、撮影方向が前記平面板に対して垂直でかつ前記平面板の前方を向くように取付けられていることを特徴とする。
これにより、音圧信号を採取する音採取手段と音源方向の映像を撮影する撮影手段とを一つの平面板に配置できる。したがって、音圧信号を採取する音採取手段と音源方向の映像を撮影する撮影手段とを一体化した小型の音・映像採取手段を備えた音源推定用画像の表示装置を得ることができる。
また、本発明は、前記音採取手段が、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を備え、前記音源方向推定手段は、前記第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから音源の方向を推定することを特徴とする。
これにより、音源の方向を精度よく推定できるので、音源の推定精度を更に向上させることができる。
In the invention, it is preferable that the photographing unit is attached to a flat plate on which the plurality of microphones are arranged so that a photographing direction is perpendicular to the flat plate and faces the front of the flat plate. Features.
Thereby, the sound collecting means for collecting the sound pressure signal and the photographing means for photographing the image in the direction of the sound source can be arranged on one flat plate. Accordingly, it is possible to obtain a sound source estimation image display device including a small sound / video sampling unit in which a sound sampling unit that collects a sound pressure signal and a photographing unit that captures a video in a sound source direction are integrated.
In the present invention, the sound sampling means includes first and second microphone pairs arranged at predetermined intervals on two straight lines intersecting each other, and the sound source direction estimating means includes the first microphone. From the arrival time difference between the sound pressure signals input to the microphones constituting the pair, the arrival time difference between the sound pressure signals input to the microphones constituting the second microphone pair, the position coordinates of the microphones, and the sound speed, The direction is estimated.
Thereby, since the direction of the sound source can be estimated with high accuracy, the estimation accuracy of the sound source can be further improved.
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。 The summary of the invention does not list all necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
図１は、音源方向推定用画像表示装置１の構成を示す図で、音源方向推定用画像表示装置１は、音・映像採取ユニット１０と、音データ入出力手段２１と、映像入出力手段２２と、記憶手段２３と、音源方向推定手段２４と、音源推定用画像作成手段２５と、表示手段２６とを備える。
記憶手段２３〜音源推定用画像作成手段２５の各手段は、例えば、パーソナルコンピュータのソフトウェアとメモリーとにより構成され、表示手段２６は、例えば、液晶ディスプレイなどの表示装置により構成される。
音・映像採取ユニット１０は、音採取手段１１と、撮影手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とが装着される平面板１３と、平面板１３を支持する支持台１４と、支持台１４を支持する支持脚（三脚）１５と、温度センサー１６とを備える。
音採取手段１１は、３個のマイクロフォンＭ１，Ｍ２，Ｍ３を備える。
マイクロフォンＭ１，Ｍ２，Ｍ３と、平面板１３と、温度センサー１６と、音データ入出力手段２１と、記憶手段２３と、音源方向推定手段２４とにより、本発明の音源方向推定装置を構成する。
FIG. 1 is a diagram showing a configuration of a sound source direction estimating image display device 1. The sound source direction estimating image display device 1 includes a sound / video sampling unit 10, sound data input / output means 21, and video input / output means 22. Storage means 23, sound source direction estimation means 24, sound source estimation image creation means 25, and display means 26.
Each unit of the storage unit 23 to the sound source estimation image creating unit 25 is configured by, for example, software of a personal computer and a memory, and the display unit 26 is configured by a display device such as a liquid crystal display.
The sound / image collection unit 10 includes a sound collection unit 11, a CCD camera (hereinafter referred to as a camera) 12 as a photographing unit, a plane plate 13 on which microphones M1, M2, M3 and the camera 12 are mounted, and a plane plate. 13, a support base 14 that supports the support base 14, a support leg (tripod) 15 that supports the support base 14, and a temperature sensor 16.
The sound collection means 11 includes three microphones M1, M2, and M3.
The microphones M1, M2, M3, the flat plate 13, the temperature sensor 16, the sound data input / output means 21, the storage means 23, and the sound source direction estimating means 24 constitute a sound source direction estimating apparatus of the present invention.
本例では、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを平面板１３に設置するとともに、温度センサー１６を、平面板１３を支持する支持台１４に取付けて、音源から伝播される音の音圧信号と、音・映像採取ユニット１０の設置されている箇所の温度を測定する。
図２（ａ），（ｂ）は音・映像採取ユニット１０の構成を示す図で、（ａ）図は正面図、（ｂ）図は（ａ）図のＡ−Ａ断面図である。マイクロフォンＭ１，Ｍ２，Ｍ３は、平面板１３に形成されたマイク取付孔１３１，１３２，１３３に、振動膜面が平面板１３の一方の面（以下、前面という）１３ａとほぼ同じ位置になるように装着される。マイク取付孔１３１，１３２，１３３は、（ａ）図に示すように、各孔の中心が、１辺の長さがＬの正三角形状に形成されている。以下、平面板１３の他方の面を後面１３ｂ、（ｂ）図の矢印で示す、平面板１３の後面１３ｂから前面１３ａに向かう方向を前方向という。
マイクロフォンＭ１，Ｍ２，Ｍ３としては、無指向性、単一指向性のいずれでもよい。また、マイクロフォンＭ１，Ｍ２，Ｍ３は、一般に使用されている小型のマイクロフォンでもよいし、サーフェイスマイクロフォンのような薄型のマイクロフォンでもよい。
カメラ１２は、平面板１３に、中心がマイク取付孔１３１と１３３との中点になるように形成されたカメラ取付孔１３４に、撮影方向が前方向となるように装着される。
なお、平面板１３としては、剛性が高く、音を全反射する材料を用いることが好ましい。また、前面１３ａを、凹凸をなくした平坦な面とすることが好ましい。
In this example, the microphones M1, M2, M3 and the camera 12 are installed on the flat plate 13, and the temperature sensor 16 is attached to the support base 14 that supports the flat plate 13, so that the sound pressure of the sound propagated from the sound source is obtained. The signal and the temperature of the place where the sound / video sampling unit 10 is installed are measured.
2A and 2B are diagrams showing the configuration of the sound / video sampling unit 10, where FIG. 2A is a front view, and FIG. 2B is a cross-sectional view taken along line AA of FIG. The microphones M1, M2, and M3 are placed in microphone mounting holes 131, 132, and 133 formed in the flat plate 13 so that the vibration film surface is substantially at the same position as one surface (hereinafter referred to as the front surface) 13a of the flat plate 13. It is attached to. As shown in FIG. 5A, the microphone mounting holes 131, 132, 133 are formed in the shape of an equilateral triangle with the length of one side being L at the center of each hole. Hereinafter, the other surface of the flat plate 13 is referred to as a rear surface 13b, and the direction from the rear surface 13b of the flat plate 13 toward the front surface 13a, which is indicated by an arrow in FIG.
The microphones M1, M2, and M3 may be omnidirectional or unidirectional. The microphones M1, M2, and M3 may be small microphones that are generally used or thin microphones such as surface microphones.
The camera 12 is mounted on the plane plate 13 in a camera mounting hole 134 formed so that the center is the midpoint between the microphone mounting holes 131 and 133 so that the shooting direction is the front direction.
As the flat plate 13, it is preferable to use a material having high rigidity and totally reflecting sound. Moreover, it is preferable that the front surface 13a be a flat surface with no irregularities.
このように、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを同一平面上に配置することで、音響中心（音源方向を計算するときの原点）と映像中心とを容易に一致させることができる。また、従来はカメラ１２からの反射音の影響をなくすため、マイクロフォンとカメラとを離して設置していたが、本発明のように、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを同一平面上に配置すれば、カメラ１２からの反射音や、他のマイクロフォンからの反射音を大幅に低減することができるので、音源方向の推定精度を向上させることができる。 Thus, by arranging the microphones M1, M2, M3 and the camera 12 on the same plane, the acoustic center (the origin when calculating the sound source direction) and the image center can be easily matched. Conventionally, in order to eliminate the influence of reflected sound from the camera 12, the microphone and the camera are separated from each other. However, as in the present invention, the microphones M1, M2, M3 and the camera 12 are placed on the same plane. If it arrange | positions, since the reflected sound from the camera 12 and the reflected sound from another microphone can be reduced significantly, the estimation precision of a sound source direction can be improved.
音データ入出力手段２１は、増幅器２１ａと、Ａ／Ｄ変換器２１ｂとを備える。
増幅器２１ａは、ローパスフィルタを備え、マイクロフォンＭ１〜Ｍ３で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号を増幅してＡ／Ｄ変換器２１ｂに出力する。
Ａ／Ｄ変換器２１ｂは、音圧信号をＡ／Ｄ変換するとともに、Ａ／Ｄ変換された音圧信号を音圧波形データとして記憶手段２３に送る。
映像入出力手段２２は、カメラ１２で連続的に撮影された映像信号を入力してＡ／Ｄ変換するとともに、Ａ／Ｄ変換された映像信号を画像データとして記憶手段２３に送る。
記憶手段２３は、音圧波形データと画像データとを保存する。
音源方向推定手段２４は、記憶手段２３に保存された音圧信号を用いて、平面板１３から見た時の音源方向、すなわち、平面板１３の前面１３ａを水平面とし、カメラ１２の映像中心でもあるマイクロフォンＭ１とマイクロフォンＭ３との中点を音響中心Ｏとしたときの水平角θpと仰角φpとを周波数毎に算出するとともに、音源から伝播される音の音圧レベルを計測する。
なお、水平角θpと仰角φpの算出方法については後述する。
The sound data input / output means 21 includes an amplifier 21a and an A / D converter 21b.
The amplifier 21a includes a low-pass filter, removes high-frequency noise components from the sound pressure signals of the sounds collected by the microphones M1 to M3, amplifies each sound pressure signal, and outputs the amplified signal to the A / D converter 21b.
The A / D converter 21b performs A / D conversion on the sound pressure signal and sends the A / D converted sound pressure signal to the storage means 23 as sound pressure waveform data.
The video input / output unit 22 inputs video signals continuously captured by the camera 12 and performs A / D conversion, and sends the A / D converted video signals to the storage unit 23 as image data.
The storage unit 23 stores sound pressure waveform data and image data.
The sound source direction estimation means 24 uses the sound pressure signal stored in the storage means 23 to make the sound source direction when viewed from the plane plate 13, that is, the front surface 13 a of the plane plate 13 a horizontal plane, and also at the center of the image of the camera 12. The horizontal angle θ p and the elevation angle φ p when the midpoint of a certain microphone M1 and microphone M3 is the acoustic center O are calculated for each frequency, and the sound pressure level of the sound propagated from the sound source is measured.
A method for calculating the horizontal angle θ p and the elevation angle φ p will be described later.
音源推定用画像作成手段２５は、音源方向推定手段２４で算出された周波数毎の音源データである音源方向のデータ（水平角θpと仰角φp）及び音圧レベルと、記憶手段２３に記憶された画像データとを合成し、図３に示すような、画像中に音源の方向を示す複数の図形（ここでは、丸とした）Ｃ1，Ｃ2，Ｃ3，……，Ｃk，……が描画された音源推定用画像Ｇを作成して表示手段２６に出力する。音源推定用画像Ｇは表示手段２６の表示画面２６Ｍに表示させる。図３において、丸Ｃkの中心座標は、（θpk，φpk）で、丸Ｃkの大きさが音圧レベル、模様が周波数を表す。
表示手段２６は、表示画面２６Ｍを備え、音源推定用画像作成手段２５で作成された音源推定用画像Ｇを表示する。
The sound source estimation image creating means 25 stores the sound source direction data (horizontal angle θ p and elevation angle φ p ) and sound pressure level, which are sound source data for each frequency calculated by the sound source direction estimating means 24, and the storage means 23. 3, and a plurality of figures (here, circles) C 1 , C 2 , C 3 ,..., C k , indicating the direction of the sound source in the image, as shown in FIG. Is generated and output to the display means 26. The sound source estimation image G is displayed on the display screen 26M of the display means 26. In FIG. 3, the center coordinates of the circle C k are (θ pk , φ pk ), the size of the circle C k represents the sound pressure level, and the pattern represents the frequency.
The display means 26 includes a display screen 26M and displays the sound source estimation image G created by the sound source estimation image creation means 25.
次に、音源方向推定用画像の表示方法について、図４のフローチャートを参照して説明する。
まず、図５に示すように、周囲が壁３で囲まれた居室２内に音源としてのスピーカー４を設置するとともに、音・映像採取ユニット１０をスピーカー４の正面の計測点にセットし（ステップＳ１０）、マイクロフォンＭ１〜Ｍ３にてスピーカー４の発生する音の音圧信号を採取すると同時に、カメラ１２にてスピーカー４を中心とした居室２内の画像を採取する（ステップＳ１１）。
次に、マイクロフォンＭ１，Ｍ２，Ｍ３の出力信号である音圧信号を増幅してＡ／Ｄ変換して得られた音圧波形データと、カメラ１２の映像信号をＡ／Ｄ変換して得られた画像データとを記憶手段２３に保存する（ステップＳ１２）。
そして、音源方向推定手段２４にて、音圧波形データを用いて音源データである音源方向と音圧レベルとを算出する（ステップＳ１３）。
Next, the display method of the sound source direction estimation image will be described with reference to the flowchart of FIG.
First, as shown in FIG. 5, a speaker 4 as a sound source is installed in a living room 2 surrounded by a wall 3, and a sound / video sampling unit 10 is set at a measurement point in front of the speaker 4 (steps). S10) The sound pressure signal of the sound generated by the speaker 4 is collected by the microphones M1 to M3, and at the same time, the image in the room 2 centered on the speaker 4 is collected by the camera 12 (step S11).
Next, the sound pressure waveform data obtained by amplifying the sound pressure signal, which is the output signal of the microphones M1, M2, and M3, and A / D conversion, and the video signal of the camera 12 are obtained by A / D conversion. The stored image data is stored in the storage means 23 (step S12).
Then, the sound source direction estimating means 24 calculates the sound source direction and the sound pressure level, which are sound source data, using the sound pressure waveform data (step S13).
図６は、マイクロフォンＭ１とマイクロフォンＭ３との中点である音響中心Ｏを原点、マイクロフォンＭ３からマイクロフォンＭ１に向かう方向をＸ軸方向、原点からマイクロフォンＭ２に向かう方向をＹ軸方向、カメラ１２の撮影方向をＺ軸とした座標系におけるマイクロフォンＭ１，Ｍ２，Ｍ３の位置と、音の入射方向とを示す図で、マイクロフォンＭ１，Ｍ２，Ｍ３は、１辺がＬの正三角形の各頂点に配置される。このようなマイクロフォンＭ１，Ｍ２，Ｍ３の作る平面をＸＹ平面とし、カメラ１２の撮影方向をＺ軸としたＸＹＺ座標系を、以下、音響座標系という。
音源方向の計算は、マイクロフォンＭ１，Ｍ２，Ｍ３には、ＸＹ平面の前方（＋Ｚ方向）から伝播される音の音圧信号のみが入力されるものとし、マイクロフォンＭ１，Ｍ２，Ｍ３の音圧波形データをＦＦＴにて周波数解析し、周波数毎にマイクロフォンＭ１〜Ｍ３間の位相差を求め、この求められた位相差と、温度センサー１６により計測された温度を用いて算出した音速ｃとから音源の方向を周波数毎に算出する。
水平角θp及び仰角φpは以下の式［数１］で表わせる。
なお、音圧信号の大きさとしては、マイクロフォンＭ１，Ｍ２，Ｍ３のうちのいずれかに入力される信号の大きさとしてもよいし、マイクロフォンＭ１，Ｍ２，Ｍ３に入力される信号の大きさの平均値を用いてもよい。
FIG. 6 shows the sound center O, which is the midpoint between the microphones M1 and M3, the origin, the direction from the microphone M3 to the microphone M1 is the X-axis direction, the direction from the origin to the microphone M2 is the Y-axis direction, FIG. 2 is a diagram showing the positions of microphones M1, M2, and M3 in the coordinate system with the direction as the Z-axis and the sound incident direction. The microphones M1, M2, and M3 are arranged at the vertices of an equilateral triangle with one side L. The Such an XYZ coordinate system in which the plane formed by the microphones M1, M2, and M3 is the XY plane and the shooting direction of the camera 12 is the Z axis is hereinafter referred to as an acoustic coordinate system.
In the calculation of the sound source direction, it is assumed that only the sound pressure signal of the sound propagated from the front (+ Z direction) of the XY plane is input to the microphones M1, M2, and M3, and the sound pressure waveforms of the microphones M1, M2, and M3 The frequency of the data is analyzed by FFT, the phase difference between the microphones M1 to M3 is obtained for each frequency, and the sound source of the sound source is calculated from the obtained phase difference and the sound velocity c calculated using the temperature measured by the temperature sensor 16. The direction is calculated for each frequency.
The horizontal angle θ p and the elevation angle φ p can be expressed by the following equation [Equation 1].
The magnitude of the sound pressure signal may be the magnitude of a signal input to any of the microphones M1, M2, M3, or the magnitude of the signal input to the microphones M1, M2, M3. An average value may be used.
次に、音源方向のデータと音圧レベルと、カメラ１２で撮影して得られた画像データとを合成し、図３に示すような、音源方向（θpk，φpk）と音圧信号の大きさａf（θpk，φpk）と周波数とを表示した円Ｃkが表示された音源推定用画像Ｇを作成し（ステップＳ１４）、作成された音源推定用画像Ｇを、表示手段２６の表示画面２６Ｍに表示する（ステップＳ１５）。
円Ｃkの位置が音源方向（θpk，φpk）を表し、円Ｃkの径が音圧レベルａf（θpk，φpk）を表し、円Ｃkの模様もしくは色が音圧信号の周波数を表す。
図７（ａ），（ｂ）は、音源推定用画像の具体例を示す図で、（ａ）図は、スピーカー４から出力されるピンクノイズを、本発明による３個のマイクロフォンを平面板に配置した構成の音・映像採取ユニット１０を用いて作成した音源推定用画像Ｇ0で、（ｂ）図は従来のマイクロフォンを５個立体配置した構成の音・映像採取ユニット１０Ｚを用いた場合の音源推定用画像Ｇz0である。なお、ピンクノイズは、スピーカーの音響特性測定に使用される、パワーが周波数に反比例する雑音である。スピーカー４は、四方が壁３に囲まれた居室２内に設置されている。
各図において、楕円で囲った箇所が音源であるスピーカー４の位置である。
（ａ）図と（ｂ）図とを比較して分かるように、従来法による音源推定用画像Ｇz0に比較して、本発明による音源推定用画像Ｇ0の方が、スピーカー４の位置のバラつきが少ないことが分かる。
また、図８（ａ），（ｂ）は、スピーカー４と音・映像採取ユニット１０，１０Ｚの側面に反射板５を設置して計測したときの音源推定用画像Ｇ1，Ｇz1を示す図で、図９（ａ），（ｂ）は、音・映像採取ユニット１０，１０Ｚの後方４５°の位置に反射板５を設置して計測したときの音源推定用画像Ｇ2，Ｇz2を示す図である。また、図１０（ａ），（ｂ）は、音・映像採取ユニット１０，１０Ｚの背面に反射板５を設置して計測したときの音源推定用画像Ｇ3，Ｇz3 を示す図である。
いずれの場合も、本発明による音源推定用画像Ｇkの方が、スピーカー４の位置のバラつきが少ないことが分かる。
このように、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを平面板１３に配置して、マイクロフォンＭ１，Ｍ２，Ｍ３に入力する音圧信号をカメラ１２の撮影方向である前方の１８０°のみに限定すれば、後方あるいは側方の壁などからの反射音の影響を大幅に低減できることが分かる。
Next, the sound source direction data, the sound pressure level, and the image data obtained by photographing with the camera 12 are synthesized, and the sound source direction (θ pk , φ pk ) and the sound pressure signal as shown in FIG. A sound source estimation image G on which a circle C k displaying the size a f (θ pk , φ pk ) and frequency is displayed is created (step S14), and the created sound source estimation image G is displayed on the display means 26. Is displayed on the display screen 26M (step S15).
Circle C k position is a sound source direction (θ pk, φ pk) of represents a circle C k diameter sound pressure level a f (θ pk, φ pk ) of represents a circle C k pattern or color the sound pressure signal Represents the frequency of.
7A and 7B are diagrams showing specific examples of sound source estimation images. FIG. 7A shows pink noise output from the speaker 4 and three microphones according to the present invention on a flat plate. A sound source estimation image G 0 created using the arranged sound / video sampling unit 10, (b) shows a case where a conventional sound / video sampling unit 10 Z having a configuration in which five microphones are three-dimensionally arranged is used. This is a sound source estimation image G z0 . Pink noise is noise that is used for measuring the acoustic characteristics of a speaker and whose power is inversely proportional to the frequency. The speaker 4 is installed in a living room 2 surrounded by walls 3 on all sides.
In each figure, the position enclosed by the ellipse is the position of the speaker 4 which is a sound source.
As can be seen by comparing FIGS. (A) and (b), the sound source estimation image G 0 according to the present invention has a position of the speaker 4 in comparison with the sound source estimation image G z0 according to the conventional method. It can be seen that there is little variation.
8A and 8B are diagrams showing sound source estimation images G 1 and G z1 when the reflector 4 is installed on the side surfaces of the speaker 4 and the sound / video sampling units 10 and 10Z and measured. 9 (a) and 9 (b) show sound source estimation images G 2 and G z2 when the reflector 5 is installed and measured at a position 45 ° behind the sound / video sampling units 10 and 10Z. FIG. FIGS. 10A and 10B are diagrams showing sound source estimation images G 3 and G z3 when the reflection plate 5 is installed and measured on the back of the sound / video sampling units 10 and 10Z.
In any case, it can be seen that the sound source estimation image G k according to the present invention has less variation in the position of the speaker 4.
As described above, the microphones M1, M2, and M3 and the camera 12 are arranged on the plane plate 13, and the sound pressure signal input to the microphones M1, M2, and M3 is limited to only 180 ° in front of the shooting direction of the camera 12. As a result, it can be seen that the influence of the reflected sound from the rear or side wall can be greatly reduced.
ところで、音響座標系（ＸＹＺ座標系）は、従来の５本のマイクロフォンを四角錐状に配置したときの座標系とは異なるので、水平角θpと仰角φpとは、画像上、すなわち、カメラ１２が水平面上にあるとしたときの水平角θと仰角φとは異なる。具体的には、図１１（ａ）に示すように、水平角θpと仰角φpとを画像上に表示すると、水平角θpは同図の一点鎖線で示す円上にあり、仰角φpは前記円の半径に相当する。音源を推定するには、画像上に前記の音源方向と周波数と音の大きさを表示した円Ｃが表示されていればよいので、図１１（ｂ）に示すように、音源方向（θp，φp）をカメラ１２が水平面（ｘｙ平面）上にあるとしたときの座標系である光学座標系における音源方向（θ，φ）に座標変換する必要はない。
しかし、水平角θに対する音圧レベルの分布を調べるときなどは、音源方向（θp，φp）を音源方向（θ，φ）に座標変換した方が、視覚的に分かりやすい。そこで、本例では、前記の図７〜図１０に示した音源推定用画像Ｇ，Ｇzについても、横軸を水平角θ、縦軸を仰角φとした画像として表示した。
By the way, since the acoustic coordinate system (XYZ coordinate system) is different from the coordinate system when five conventional microphones are arranged in a quadrangular pyramid shape, the horizontal angle θ p and the elevation angle φ p are on the image, that is, The horizontal angle θ and the elevation angle φ when the camera 12 is on a horizontal plane are different. Specifically, as shown in FIG. 11A, when the horizontal angle θ p and the elevation angle φ p are displayed on the image, the horizontal angle θ p is on the circle indicated by the alternate long and short dash line in FIG. p corresponds to the radius of the circle. In order to estimate the sound source, it is only necessary to display the circle C displaying the sound source direction, frequency, and sound volume on the image. Therefore, as shown in FIG. 11B, the sound source direction (θ p , Φ p ) need not be coordinate-transformed into the sound source direction (θ, φ) in the optical coordinate system, which is the coordinate system when the camera 12 is on the horizontal plane (xy plane).
However, when examining the distribution of the sound pressure level with respect to the horizontal angle θ, it is easier to visually understand if the sound source direction (θ p , φ p ) is transformed into the sound source direction (θ, φ). Therefore, in this embodiment, the above 7 to 10 sound estimation image G shown in, for the G z, the horizontal axis horizontal angle theta, and the vertical axis displays the image with elevation angle phi.
図１１（ｂ）に示すように、光学座標系を、カメラ１２がｘｙ平面上にあり、かつ、ｘ軸をカメラ１２の撮影方向（白い矢印）とすると、光学座標系のｘ軸は音響座標系のＺ軸、光学座標系のｙ軸は音響座標系の−Ｘ軸、光学座標系ｚ軸は音響座標系のＹ軸となる。
したがって、光学座標系における水平角θ及び仰角φは、音響座標系の水平角θp及び仰角φpを用いて、以下の式［数３］のように表せる。
なお、音響座標系の音源方向（θp，φp）を光学座標系の音源方向（θ，φ）に座標変換した音源推定用画像Ｇを作成し、これを表示画面２６Ｍに表示してもよい。
As shown in FIG. 11B, when the optical coordinate system is such that the camera 12 is on the xy plane and the x axis is the shooting direction of the camera 12 (white arrow), the x axis of the optical coordinate system is the acoustic coordinate. The Z axis of the system, the y axis of the optical coordinate system are the -X axis of the acoustic coordinate system, and the z axis of the optical coordinate system is the Y axis of the acoustic coordinate system.
Therefore, the horizontal angle θ and the elevation angle φ in the optical coordinate system can be expressed by the following formula [Equation 3] using the horizontal angle θ p and the elevation angle φ p in the acoustic coordinate system.
Note that a sound source estimation image G in which the sound source direction (θ p , φ p ) in the acoustic coordinate system is coordinate-converted to the sound source direction (θ, φ) in the optical coordinate system is generated and displayed on the display screen 26M. Good.
このように、本実施の形態では、音源から伝播される音の音圧信号を採取するマイクロフォンＭ１，Ｍ２，Ｍ３を平面板１３に三角形状に設置して、平面板１３の前方であるカメラ１２の撮影方向から伝播される音の音圧信号のみを採取するとともに、音源方向推定手段２４にて、マイクロフォンに入力する音圧信号の到達時間差とマイクロフォンの位置座標と音速とから音源の方向を推定し、音源推定用画像作成手段２５にて、推定された音源の方向のデータとカメラ１２で撮影された音源の方向の映像信号である画像データとを合成して、推定された音源方向を示す図形が描画された画像である音源推定用画像Ｇを作成するようにしたので、反射音の影響を大幅に低減することができる。したがって、狭い空間であっても、音源の方向を精度よく推定することのできる音源推定用画像Ｇを作成することができる。 Thus, in the present embodiment, the microphones M1, M2, and M3 that collect the sound pressure signal of the sound propagated from the sound source are installed in a triangular shape on the plane plate 13, and the camera 12 that is in front of the plane plate 13 is placed. Only the sound pressure signal of the sound propagated from the shooting direction is estimated, and the sound source direction estimating means 24 estimates the direction of the sound source from the arrival time difference of the sound pressure signal input to the microphone, the position coordinates of the microphone, and the sound speed. Then, the sound source estimation image creating means 25 synthesizes the estimated sound source direction data and the image data which is the video signal of the sound source direction photographed by the camera 12 to indicate the estimated sound source direction. Since the sound source estimation image G, which is an image in which a graphic is drawn, is created, the influence of reflected sound can be greatly reduced. Therefore, it is possible to create the sound source estimation image G that can accurately estimate the direction of the sound source even in a narrow space.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the embodiment. It is apparent from the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
例えば、前記実施の形態では、マイクロフォンＭ１，Ｍ２，Ｍ３を、１辺の長さがＬの正三角形の各頂点に配置したが、本発明はこれに限るものではなく、互いに一直線上にない３点、すなわち、三角形の各頂点に配置してもよい。
図１２は、３個のマイクロフォンＭ０，Ｍ１，Ｍ２を二等辺三角形の各頂点に配置した例で、マイクロフォンＭ０の座標を（０，０，０）、マイクロフォンＭ１の座標を（Ｌ/２，０，０）、マイクロフォンＭ２の座標を（０，Ｌ/２，０）とし、音響中心をマイクロフォンＭ０の位置とし、映像中心を（Ｌ/３，Ｌ/３，０）とした。なお、Ｌは、音源と音・映像採取ユニット１０との距離に比べて十分小さいので、映像中心と音響中心とが一致しているとして音源推定用画像Ｇを作成しても問題はない。すなわち、映像中心は音響中心の近くに設定することが好ましく、例えば、（Ｌ/４，Ｌ/４，０）などのように、三角形の内部もしくは辺上にあれば更に好ましい。
マイクロフォンＭ０，Ｍ１，Ｍ２を、図１２のように配置したときの水平角θp及び仰角φpは以下の式［数４］で表わせる。
FIG. 12 shows an example in which three microphones M0, M1, and M2 are arranged at the vertices of an isosceles triangle. The coordinates of the microphone M0 are (0, 0, 0), and the coordinates of the microphone M1 are (L / 2, 0). , 0), the coordinates of the microphone M2 are (0, L / 2, 0), the acoustic center is the position of the microphone M0, and the video center is (L / 3, L / 3, 0). Note that L is sufficiently smaller than the distance between the sound source and the sound / video sampling unit 10, so that there is no problem even if the sound source estimation image G is created assuming that the video center and the sound center match. That is, it is preferable to set the video center near the acoustic center, and it is more preferable if it is inside or on the side of a triangle, such as (L / 4, L / 4, 0).
When the microphones M0, M1, and M2 are arranged as shown in FIG. 12, the horizontal angle θ p and the elevation angle φ p can be expressed by the following equation [Equation 4].
また、前記実施の形態では、マイクロフォンを３個としたが、平面板１３に第４のマイクロフォンＭ４を追加するとともに、図１３に示すように、４個のマイクロフォンＭ１〜Ｍ４から、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対（Ｍ１，Ｍ３）及び（Ｍ２，Ｍ４）を構成し、第１のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、第２のマイクロフォン対を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24と、マイクロフォンＭ１〜Ｍ４の位置座標と、音速ｃとから音源方向を推定するようにしてもよい。
マイクロフォンＭ１〜Ｍ４を、図１３のように配置したときの水平角θp及び仰角φpは以下の式［数５］で表わせる。
When the microphones M1 to M4 are arranged as shown in FIG. 13, the horizontal angle θ p and the elevation angle φ p can be expressed by the following equation [Equation 5].
また、前記実施の形態では、マイクロフォンＭ１，Ｍ２，Ｍ３とカメラ１２とを同一平面上に配置することで、計算対象となる音源を前方１８０°の方向のみとしたが、図１４に示すように、後方用の平面板１３’を設け、この平面板１３’にマイクロフォンＭ’１，Ｍ’２，Ｍ’３とカメラ１２’とを装着して、後方の音と映像とを採取する構成とすれば、後方１８０°にある音源についても計測対象とすることができる。 Further, in the above embodiment, the microphones M1, M2, M3 and the camera 12 are arranged on the same plane, so that the sound source to be calculated is only in the direction of 180 ° forward, but as shown in FIG. A rear flat plate 13 ′, and microphones M′1, M′2, M′3 and a camera 12 ′ are mounted on the flat plate 13 ′ to collect the rear sound and video. By doing so, the sound source located 180 ° behind can be measured.
１ 音源方向推定用画像表示装置、２ 居室、３ 壁、４ スピーカー、５ 反射板、
１０ 音・映像採取ユニット、１１ 音採取手段、１２ 撮影手段（カメラ）、
１３ 平面板、１３ａ 平面板の前面、１３ｂ 平面板の後面、
１３１，１３２，１３３ マイク取付孔、１３４ カメラ取付孔、１４ 支持台、
１５ 支持脚、１６ 温度センサー、
２１ 音データ入出力手段、２１ａ 増幅器、２１ｂ Ａ／Ｄ変換器、
２２ 映像入出力手段、２３ 記憶手段、２４ 音源方向推定手段、
２５ 音源推定用画像作成手段、２６ 表示手段、２６Ｍ 表示画面、
Ｍ１，Ｍ２，Ｍ３ マイクロフォン。
1. Image display device for sound source direction estimation, 2 living rooms, 3 walls, 4 speakers, 5 reflectors,
10 sound / video sampling unit, 11 sound sampling means, 12 photographing means (camera),
13 plane plate, 13a front surface of the plane plate, 13b rear surface of the plane plate,
131, 132, 133 Microphone mounting hole, 134 Camera mounting hole, 14 Support base,
15 support legs, 16 temperature sensors,
21 sound data input / output means, 21a amplifier, 21b A / D converter,
22 video input / output means, 23 storage means, 24 sound source direction estimation means,
25 sound source estimation image creation means, 26 display means, 26M display screen,
M1, M2, M3 microphones.
Claims (5)
前記複数のマイクロフォンは、平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンを備え、
前記音源方向推定手段は、前記各マイクロフォンに入力する音圧信号の到達時間差と前記マイクロフォンの位置座標と音速とから前記音源の方向を推定することを特徴とする音源方向推定装置。 A sound source direction estimation device comprising a plurality of microphones for collecting sound pressure signals of sound propagated from a sound source, and sound source direction estimating means for estimating the direction of the sound source from the sound pressure signals collected by each microphone. ,
The plurality of microphones includes at least three microphones that are installed on a flat plate and collect only sound pressure signals of sound propagated from the front side on one side of the plane including the flat plate, which are not in line with each other. Prepared,
The sound source direction estimating device estimates the direction of the sound source from a difference in arrival time of sound pressure signals input to the microphones, a position coordinate of the microphone, and a sound speed.
前記音源方向推定手段は、前記第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから音源の方向を推定することを特徴とする請求項１に記載の音源方向推定装置。 The plurality of microphones include first and second microphone pairs disposed at predetermined intervals on two straight lines that intersect each other,
The sound source direction estimating means includes an arrival time difference between sound pressure signals input to each microphone constituting the first microphone pair, and an arrival time difference between sound pressure signals input to each microphone constituting the second microphone pair. The sound source direction estimating apparatus according to claim 1, wherein the direction of the sound source is estimated from a position coordinate of the microphone and a sound speed.
平面板に設置されて前記平面板を含む平面の一方の側である前方から伝播される音の音圧信号のみを採取する、互いに一直線上にない少なくとも３個のマイクロフォンを備えた音採取手段と、
前記音源の方向である前記平面板の前方の映像を撮影する撮影手段と、
前記各マイクロフォンに入力する音圧信号の到達時間差と前記マイクロフォンの位置座標と音速とから前記音源の方向を推定する音源方向推定手段と、
前記音源方向推定手段で推定された音源の方向のデータと前記撮影手段で撮影された音源の方向の映像信号である画像データとを合成して、前記推定された音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、
前記音源推定用画像を表示する表示手段と、
を備えたことを特徴とする音源推定用画像の表示装置。 A sound source estimation image display device for creating a sound source estimation image for estimating a sound source,
A sound collecting means provided with at least three microphones that are not aligned with each other, and that collects only the sound pressure signal of the sound that is installed on the flat plate and propagates from the front side of the plane including the flat plate; ,
Photographing means for photographing an image in front of the plane plate which is the direction of the sound source;
Sound source direction estimation means for estimating the direction of the sound source from the arrival time difference between the sound pressure signals input to each microphone, the position coordinates of the microphone, and the sound speed;
The sound source direction data estimated by the sound source direction estimating means and the image data which is the video signal of the sound source direction photographed by the photographing means are combined to draw a figure indicating the estimated sound source direction. Sound source estimation image creating means for creating a sound source estimation image which is a generated image;
Display means for displaying the sound source estimation image;
A sound source estimation image display device characterized by comprising:
前記音源方向推定手段は、前記第１のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記第２のマイクロフォン対を構成する各マイクロフォンに入力する音圧信号の到達時間差と、前記マイクロフォンの位置座標と音速とから音源の方向を推定することを特徴とする請求項３または請求項４に記載の音源推定用画像の表示装置。 The sound sampling means includes first and second microphone pairs arranged at predetermined intervals on two straight lines intersecting each other,
The sound source direction estimating means includes an arrival time difference between sound pressure signals input to each microphone constituting the first microphone pair, and an arrival time difference between sound pressure signals input to each microphone constituting the second microphone pair. The sound source estimation image display apparatus according to claim 3 or 4, wherein a direction of a sound source is estimated from a position coordinate of the microphone and a sound velocity.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014038648A JP2015161659A (en) | 2014-02-28 | 2014-02-28 | Sound source direction estimation device and display device of image for sound source estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014038648A JP2015161659A (en) | 2014-02-28 | 2014-02-28 | Sound source direction estimation device and display device of image for sound source estimation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015161659A true JP2015161659A (en) | 2015-09-07 |
Family
ID=54184827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014038648A Pending JP2015161659A (en) | 2014-02-28 | 2014-02-28 | Sound source direction estimation device and display device of image for sound source estimation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015161659A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017161223A (en) * | 2016-03-07 | 2017-09-14 | 株式会社大林組 | Noise source searching system |
| JP2019103011A (en) * | 2017-12-05 | 2019-06-24 | 日本電信電話株式会社 | Converter, conversion method, and program |
| CN112466323A (en) * | 2020-11-24 | 2021-03-09 | 中核检修有限公司 | Optical image and acoustic image fusion method and system |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07140527A (en) * | 1993-11-16 | 1995-06-02 | Matsushita Electric Ind Co Ltd | Photographing controller for camera |
| JPH10227849A (en) * | 1997-02-14 | 1998-08-25 | Fuji Xerox Co Ltd | Sound source position measuring device, camera image pick-up controller, sound source position recording device, and sound source position measurement method |
| JPH1183975A (en) * | 1997-09-03 | 1999-03-26 | Tech Res & Dev Inst Of Japan Def Agency | Method and device for measuring water surface sound source position |
| JP2004128707A (en) * | 2002-08-02 | 2004-04-22 | Sony Corp | Voice receiver provided with directivity and its method |
| JP2008203474A (en) * | 2007-02-20 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | Multi-signal emphasizing device, method, program, and recording medium thereof |
| JP2009118318A (en) * | 2007-11-08 | 2009-05-28 | Ikegami Tsushinki Co Ltd | Sound monitoring apparatus |
| JP2010213091A (en) * | 2009-03-11 | 2010-09-24 | Ikegami Tsushinki Co Ltd | Sound-source position estimating apparatus |
| JP2011242244A (en) * | 2010-05-18 | 2011-12-01 | Mitsui Eng & Shipbuild Co Ltd | Partial discharge locator and partial discharge location method |
-
2014
- 2014-02-28 JP JP2014038648A patent/JP2015161659A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07140527A (en) * | 1993-11-16 | 1995-06-02 | Matsushita Electric Ind Co Ltd | Photographing controller for camera |
| JPH10227849A (en) * | 1997-02-14 | 1998-08-25 | Fuji Xerox Co Ltd | Sound source position measuring device, camera image pick-up controller, sound source position recording device, and sound source position measurement method |
| JPH1183975A (en) * | 1997-09-03 | 1999-03-26 | Tech Res & Dev Inst Of Japan Def Agency | Method and device for measuring water surface sound source position |
| JP2004128707A (en) * | 2002-08-02 | 2004-04-22 | Sony Corp | Voice receiver provided with directivity and its method |
| JP2008203474A (en) * | 2007-02-20 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | Multi-signal emphasizing device, method, program, and recording medium thereof |
| JP2009118318A (en) * | 2007-11-08 | 2009-05-28 | Ikegami Tsushinki Co Ltd | Sound monitoring apparatus |
| JP2010213091A (en) * | 2009-03-11 | 2010-09-24 | Ikegami Tsushinki Co Ltd | Sound-source position estimating apparatus |
| JP2011242244A (en) * | 2010-05-18 | 2011-12-01 | Mitsui Eng & Shipbuild Co Ltd | Partial discharge locator and partial discharge location method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017161223A (en) * | 2016-03-07 | 2017-09-14 | 株式会社大林組 | Noise source searching system |
| JP2019103011A (en) * | 2017-12-05 | 2019-06-24 | 日本電信電話株式会社 | Converter, conversion method, and program |
| CN112466323A (en) * | 2020-11-24 | 2021-03-09 | 中核检修有限公司 | Optical image and acoustic image fusion method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5702160B2 (en) | Sound source estimation method and sound source estimation apparatus | |
| US10353198B2 (en) | Head-mounted display with sound source detection | |
| Tiete et al. | SoundCompass: a distributed MEMS microphone array-based sensor for sound source localization | |
| JP5693201B2 (en) | Method and apparatus for reproducing propagation sound from specified area | |
| JP5089198B2 (en) | Sound source position estimation system | |
| JP4368798B2 (en) | Sound source exploration system | |
| JP5253268B2 (en) | Sound source / vibration source search system | |
| JP6392656B2 (en) | Sound source direction estimation method | |
| JP2014523679A (en) | Signal-enhanced beamforming in an augmented reality environment | |
| JP2004163292A (en) | Survey system and electronic storage medium | |
| JP6511319B2 (en) | Structure inspection device | |
| JP2011015050A (en) | Array for beam forming, and sound source exploration/measurement system using the same | |
| JP2015161659A (en) | Sound source direction estimation device and display device of image for sound source estimation | |
| JP2010236939A (en) | Method and apparatus for estimating sound source | |
| JP2006214740A (en) | Acoustic measurement system | |
| Torras-Rosell et al. | An acousto-optic beamformer | |
| JP6491863B2 (en) | Sound source direction estimation device and sound source estimation image creation device | |
| JP2010206419A (en) | Method and device for estimating sound source | |
| JP5462667B2 (en) | Surveillance camera device with sound source direction estimation function | |
| JP6415975B2 (en) | Sound source direction estimation device | |
| JP2011122854A (en) | System and program for determining incoming direction of sound | |
| KR101403372B1 (en) | Regular polyhedron microphone array system and sound source localization in three-dimensional space with the microphone array | |
| Turqueti et al. | Smart acoustic sensor array system for real-time sound processing applications | |
| WO2019189424A1 (en) | Acoustic analysis device and acoustic analysis method | |
| JP5859272B2 (en) | Image display device and microphone adjustment method in image display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180501 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180629 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180807 |