JP2011188016A - Monitoring camera device with sound source direction estimating function - Google Patents

Monitoring camera device with sound source direction estimating function Download PDF

Info

Publication number
JP2011188016A
JP2011188016A JP2010047968A JP2010047968A JP2011188016A JP 2011188016 A JP2011188016 A JP 2011188016A JP 2010047968 A JP2010047968 A JP 2010047968A JP 2010047968 A JP2010047968 A JP 2010047968A JP 2011188016 A JP2011188016 A JP 2011188016A
Authority
JP
Japan
Prior art keywords
sound source
camera
microphones
source direction
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010047968A
Other languages
Japanese (ja)
Other versions
JP5462667B2 (en
Inventor
Yasuo Sugimoto
靖夫 杉本
Susumu Yamada
享 山田
Masanao Owaki
雅直 大脇
Takeshi Zaima
健史 財満
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chubu Electric Power Co Inc
Kumagai Gumi Co Ltd
Original Assignee
Chubu Electric Power Co Inc
Kumagai Gumi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chubu Electric Power Co Inc, Kumagai Gumi Co Ltd filed Critical Chubu Electric Power Co Inc
Priority to JP2010047968A priority Critical patent/JP5462667B2/en
Publication of JP2011188016A publication Critical patent/JP2011188016A/en
Application granted granted Critical
Publication of JP5462667B2 publication Critical patent/JP5462667B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a monitoring camera device with a sound source direction estimating function, capable of directly and unfailingly capturing a video image in which the direction of a sound source is indicated. <P>SOLUTION: Microphones M1-M5 are attached to a frame 15, and a monitoring camera 12 and a transparent display 13 are attached to a camera attaching member 14. The camera attaching member 14 is attached to the frame 15 via a stepping motor 16. The sound source direction is estimated by using sound pressure signals outputted from the microphones M1-M5. Then, if the magnitude of a horizontal angle θ' of the estimated sound source direction is within the view field of the monitoring camera 12, a figure indicating the sound source direction θ' is displayed on the transparent display 13, and if the magnitude of the horizontal angle θ' is larger than the maximum view field, the camera attaching member 14 is rotated so that the image pickup direction of the monitoring camera 12 can be the estimated sound source direction before displaying the figure indicating the estimated sound source direction θ' on the transparent display 13. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、音源の方向が表示された映像を撮影することのできる音源方向推定機能付き監視カメラ装置に関するものである。   The present invention relates to a monitoring camera device with a sound source direction estimating function capable of shooting an image in which the direction of a sound source is displayed.

従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている(例えば、非特許文献1参照)。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる2つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる2つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている(例えば、特許文献1〜3参照)。
Conventionally, as a method of estimating the direction of sound arrival, a microphone array in which a large number of microphones are arranged at equal intervals is constructed, and the direction of the sound source, which is the direction of sound wave arrival, is estimated from the phase difference of each microphone relative to the reference microphone. A so-called acoustic technique has been devised (see, for example, Non-Patent Document 1).
On the other hand, not a phase difference between output signals of a plurality of microphones arranged at a measurement point, but a plurality of microphone pairs arranged in a straight line intersecting each other from the plurality of microphones, and the position between the two microphones constituting the pair There has been proposed a method for estimating the direction of a sound source from a ratio between an arrival time difference corresponding to a phase difference and an arrival time difference between two pairs of other microphones (see, for example, Patent Documents 1 to 3).

具体的には、図6に示すように、4個のマイクロフォンM1〜M4を、互いに直交する2直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対(M1,M3)及びマイクロフォン対(M2,M4)を構成するように配置し、前記マイクロフォン対(M1,M3)を構成するマイクロフォンM1,M3に入力する音圧信号の到達時間差と、前記マイクロフォン対(M2,M4)を構成するマイクロフォンM2,M4に入力する音圧信号の到達時間差との比から、計測点と音源の位置との水平角θを推定するとともに、第5のマイクロフォンM5を前記マイクロフォンM1〜M4の作る平面上にない位置に配置して、更に4組のマイクロフォン対(M5, M1),(M5, M2),(M5, M3),(M5, M4)を構成し、各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源の位置との成す仰角φを推定する。   Specifically, as shown in FIG. 6, two microphone pairs (M1, M3) and microphone pairs (four microphones M1 to M4) are arranged at predetermined intervals on two straight lines orthogonal to each other. M2, M4) are arranged so as to constitute the microphone pair (M1, M3) and the microphones constituting the microphone pair (M2, M4) and the arrival time difference of the sound pressure signals input to the microphones M1, M3. The horizontal angle θ between the measurement point and the position of the sound source is estimated from the ratio with the arrival time difference between the sound pressure signals input to M2 and M4, and the fifth microphone M5 is not on the plane formed by the microphones M1 to M4. Further, four microphone pairs (M5, M1), (M5, M2), (M5, M3), (M5, M4) are configured and arranged in the positions. The elevation angle φ formed by the measurement point and the position of the sound source is estimated from the arrival time difference between the microphones constituting the phone pair.

これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源の方向を正確に推定することができる。
また、このとき、CCDカメラ等の映像採取手段により推定された音源方向の映像を撮影し、この映像のデータと音源の方向のデータとを合成して、映像中に推定した音源方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。
As a result, the direction of the sound source can be accurately estimated with a smaller number of microphones as compared with the case where the direction of the sound source is estimated using the microphone array.
Also, at this time, a video of the sound source direction estimated by the video sampling means such as a CCD camera is taken, and this video data and the sound source direction data are synthesized to generate the sound source direction and sound pressure estimated in the video. If the level is displayed as a graphic, the sound source can be visually grasped.

特開2002−181913号公報Japanese Patent Laid-Open No. 2002-181913 特開2006−324895号公報JP 2006-324895 A 特開2008−224259号公報JP 2008-224259 A

大賀寿郎,山崎芳男,金田豊;音響システムとディジタル処理,コロナ社,1995Toshiro Oga, Yoshio Yamazaki, Yutaka Kaneda; Acoustic system and digital processing, Corona, 1995

しかしながら、前記従来の方法では、撮影された映像の画像データと音源方向のデータとを合成した画像データを作成し、この画像データをディスプレイ上に表示して音源を推定するようにしているため、この方法を、連続して現場の映像を撮影する監視カメラに適用しようとすると、撮影後に画像処理をする必要があった。
また、監視カメラは視野が狭いため、撮影された監視カメラの視野に推定された音源方向が入らない場合があった。このとき、監視カメラとして広角レンズ付きのカメラを用いることも考えられるが、広角レンズを用いると、画像の歪みが大きくなることから、音源の推定が困難であるといった問題点が生じてしまう。
However, in the above-described conventional method, image data obtained by combining image data of captured video and sound source direction data is created, and this image data is displayed on a display to estimate a sound source. When this method is applied to a surveillance camera that continuously captures on-site images, it is necessary to perform image processing after the capturing.
In addition, since the surveillance camera has a narrow field of view, the estimated sound source direction may not be included in the field of view of the photographed surveillance camera. At this time, it is conceivable to use a camera with a wide-angle lens as the surveillance camera. However, when a wide-angle lens is used, the distortion of the image increases, which causes a problem that it is difficult to estimate the sound source.

本発明は、従来の問題点に鑑みてなされたもので、音源の方向が表示された映像を直接にかつ確実に撮影することのできる音源方向推定機能付き監視カメラ装置を提供することを目的とする。   The present invention has been made in view of conventional problems, and an object of the present invention is to provide a monitoring camera device with a sound source direction estimation function that can directly and reliably capture an image in which the direction of a sound source is displayed. To do.

本願発明は、音源の方向を推定し、この推定された音源の方向が表示された映像を撮影する音源方向推定機能付き監視カメラ装置であって、音源から伝搬される音の情報を採取する複数のマイクロフォンと、これら複数のマイクロフォンを取付けるマイクロフォン取付部材と、室内もしくは室外の映像を撮影する監視カメラと、非表示状態において透明な透明ディスプレイと、前記監視カメラと前記透明ディスプレイとを、透明ディスプレイを監視カメラのレンズの前方に位置するように取付けるカメラ取付部材と、前記各マイクロフォンが出力する音圧信号を用いて音源方向を推定する音源方向推定手段と、前記カメラ取付部材を回転させるカメラ回転手段とを備え、前記カメラ回転手段は、前記推定された音源方向に基づいて、監視カメラの撮影方向が前記推定された音源方向になるように、前記カメラ取付部材を回転させ、前記透明ディスプレイは、前記推定された音源方向を示す図形を表示することを特徴とする。
これにより、音源方向の水平角θや仰角φが大きな場合でも、再度音の情報の採取と音源方向の推定とを行うことなく、音源推定方向の鮮明な映像を撮影することができる。
The present invention is a surveillance camera device with a sound source direction estimation function that estimates the direction of a sound source and shoots a video in which the estimated direction of the sound source is displayed. A microphone, a microphone mounting member for attaching the plurality of microphones, a surveillance camera that captures indoor or outdoor images, a transparent display that is transparent in a non-display state, the surveillance camera and the transparent display, and a transparent display. A camera mounting member that is mounted so as to be positioned in front of the lens of the surveillance camera, a sound source direction estimating unit that estimates a sound source direction using a sound pressure signal output from each microphone, and a camera rotating unit that rotates the camera mounting member The camera rotation means based on the estimated sound source direction. As photographing direction becomes the estimated sound source direction, the camera mounting member is rotated, the transparent display, and displaying a figure indicating the estimated sound source direction.
As a result, even when the horizontal angle θ and the elevation angle φ of the sound source direction are large, it is possible to capture a clear image of the sound source estimation direction without collecting sound information and estimating the sound source direction again.

また、本願発明は、前記カメラ取付部材は前記カメラ回転手段を介して前記マイクロフォン取付部材に取付けられていることを特徴とする。
これにより、ステッピングモーターなどの回転手段が1個という簡単な構成で、音源推定方向の鮮明な映像を撮影することができる。
Further, the present invention is characterized in that the camera attachment member is attached to the microphone attachment member via the camera rotation means.
As a result, a clear image of the sound source estimation direction can be taken with a simple configuration of one rotating means such as a stepping motor.

また、本願発明は、前記マイクロフォン取付部材はマイクロフォン回転手段を介して前記カメラ取付部材に取付けられており、前記マイクロフォン回転手段は、前記マイクロフォン取付部材を、前記カメラ取付部材とは逆方向に、かつ、前記カメラ取付部材と同じ角度だけ回転させることを特徴とする。
これにより、マイクロフォン取付部材を小さくしても、マイクロフォン取付部材が監視カメラの視野に入ることがないので、装置を小型化できる。
In the present invention, the microphone attachment member is attached to the camera attachment member via a microphone rotation means, and the microphone rotation means moves the microphone attachment member in a direction opposite to the camera attachment member, and The camera mounting member is rotated by the same angle.
Thereby, even if the microphone mounting member is made small, the microphone mounting member does not enter the field of view of the surveillance camera, and thus the apparatus can be miniaturized.

また、本願発明は、前記複数のマイクロフォンを、互いに交わる2つの直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対を構成する第1〜第4のマイクロフォンと、前記2組のマイクロフォン対の作る平面上にない第5のマイクロフォンとから構成するとともに、前記音源方向推定手段にて、前記2組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第5のマイクロフォンと前記2組のマイクロフォン対を構成する4個のマイクロフォンのそれぞれとで構成される4組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源方向(水平角θと仰角φ)を推定することを特徴とする。
これにより、音源方向の水平角θや仰角φを、少ないマイクロフォン数で、効率よくかつ正確に推定することができる。
The present invention also provides the first to fourth microphones constituting the two microphone pairs in which the plurality of microphones are arranged on the two straight lines intersecting each other at predetermined intervals, and the two microphone pairs. And a phase difference ratio between the microphones constituting the two pairs of microphones, the fifth microphone, and the second microphone. Estimating the sound source direction (horizontal angle θ and elevation angle φ) using the phase difference between the microphones constituting the four microphone pairs configured with each of the four microphones constituting the pair of microphone pairs. It is characterized by.
As a result, the horizontal angle θ and the elevation angle φ in the sound source direction can be estimated efficiently and accurately with a small number of microphones.

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。   The summary of the invention does not list all necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明の実施の形態に係る音源方向推定機能付き監視カメラ装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the monitoring camera apparatus with a sound source direction estimation function which concerns on embodiment of this invention. マイクロフォンと透明ディスプレイと監視カメラの位置関係を説明するための図である。It is a figure for demonstrating the positional relationship of a microphone, a transparent display, and a surveillance camera. 監視カメラの映像の一例を示す図である。It is a figure which shows an example of the image | video of a surveillance camera. 音源方向推定機能付き監視カメラ装置の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the monitoring camera apparatus with a sound source direction estimation function. 音源方向推定機能付き監視カメラ装置の他の構成を示す図である。It is a figure which shows the other structure of the monitoring camera apparatus with a sound source direction estimation function. 従来の音源推定方法におけるマイクロフォンの配列を示す図である。It is a figure which shows the arrangement | sequence of the microphone in the conventional sound source estimation method.

以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described in detail through embodiments, but the following embodiments do not limit the invention according to the claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.

図1は、音源方向推定機能付き監視カメラ装置10の構成を示す機能ブロック図である。
同図において、11は複数のマイクロフォンM1〜M5を有する音採取ユニット、12は監視カメラ、13は透明ディスプレイ、14はカメラ取付部材、15はマイクロフォン取付部材としての枠体、16はカメラ回転手段としてのステッピングモーター、17はモーター制御手段、20は演算装置である。
音採取ユニット11は、5本のマイクロフォンM1〜M5と、これらのマイクロフォンM1〜M5を以下のように配置して固定する固定台11Dとを備える。
マイクロフォンM1〜M5の配置は、図6に示したものと同様で、4個のマイクロフォンM1〜M4を、互いに直交する2直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対(M1,M3)及びマイクロフォン対(M2,M4)を構成するように配置するとともに、第5のマイクロフォンM5を前記マイクロフォンM1〜M4の作る平面上にない位置、詳細には、マイクロフォンM1〜M4の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に4組のマイクロフォン対(M5, M1)〜(M5, M4)が構成される。
FIG. 1 is a functional block diagram illustrating a configuration of a monitoring camera device 10 with a sound source direction estimation function.
In the figure, 11 is a sound collection unit having a plurality of microphones M1 to M5, 12 is a surveillance camera, 13 is a transparent display, 14 is a camera mounting member, 15 is a frame as a microphone mounting member, and 16 is a camera rotating means. Stepping motor 17, 17 is a motor control means, and 20 is an arithmetic unit.
The sound collection unit 11 includes five microphones M1 to M5 and a fixing base 11D for arranging and fixing these microphones M1 to M5 as follows.
The arrangement of the microphones M1 to M5 is the same as that shown in FIG. 6, and two microphone pairs (M1, M1) are arranged with four microphones M1 to M4 arranged at predetermined intervals on two straight lines orthogonal to each other. M5) and the microphone pair (M2, M4) are arranged so that the fifth microphone M5 is not on the plane formed by the microphones M1 to M4, specifically, the square formed by the microphones M1 to M4 It arranges at the position of the apex of the quadrangular pyramid as the bottom. Thereby, four pairs of microphones (M5, M1) to (M5, M4) are further configured.

監視カメラ12としては、長時間の映像を記憶できる記憶装置を備えたカメラであればよい。本例では、カラーCCDカメラを用いた。
透明ディスプレイ13は非表示状態においては透明であり、表示データが入力された場合には、表示部分が不透明となるディスプレイで、例えば、透過率の高い薄膜から成るエレクトロルミネッセンス素子(EL素子)と透明電極とをガラス基板で挟んだELディスプレイや、液晶表示素子と偏光板とを組み合わせた単色ディスプレイなどの公知の透明ディスプレイを用いることができる。
The surveillance camera 12 may be any camera provided with a storage device capable of storing a long-time video. In this example, a color CCD camera was used.
The transparent display 13 is transparent in a non-display state, and when display data is input, the display portion becomes opaque. For example, the transparent display 13 is transparent with an electroluminescent element (EL element) made of a thin film with high transmittance. A known transparent display such as an EL display in which an electrode is sandwiched between glass substrates or a monochromatic display in which a liquid crystal display element and a polarizing plate are combined can be used.

カメラ取付部材14は、監視カメラ12を支持するカメラ支持部材14aと透明ディスプレイ13を支持するディスプレイ支持部材14bと、これらの支持部材14a,14bを連結する連結部材14cとから成り、監視カメラ12と透明ディスプレイ13とを、透明ディスプレイ13が監視カメラ12のレンズの前方に位置するように、かつ、レンズの光軸が透明ディスプレイ13の中心を通るように取付ける。なお、透明ディスプレイ13の表示面13mは、同図の一点鎖線で示すレンズ光軸kと直交している。
ここで、監視カメラ12の視野の大きさは、透明ディスプレイ13の表示部の大きさとなる。すなわち、図2(a)〜(c)に示すように、監視カメラ12の焦点Oと透明ディスプレイ13の幅方向(後述するx方向)の両端A,A’を結ぶラインの成す角αが水平角方向の視野であり、焦点Oと透明ディスプレイ13の高さ方向(後述するz方向)の両端を結ぶラインの成す角βが仰角方向の視野である。なお、同図のDは、監視カメラ12と透明ディスプレイ13との距離で、zmは透明ディスプレイ13の中心とマイクロフォンM1〜M5の中心との距離である。
ここで、監視カメラ12の初期位置における焦点の位置を原点O(0,0,0)とすると、透明ディスプレイ13の中心ODの位置座標は(0,D,0)となり、マイクロフォンM1〜M4の中心Omの位置座標は(0,D,zm)となる。
The camera mounting member 14 includes a camera support member 14a that supports the monitoring camera 12, a display support member 14b that supports the transparent display 13, and a connecting member 14c that connects these support members 14a and 14b. The transparent display 13 is attached so that the transparent display 13 is positioned in front of the lens of the monitoring camera 12 and the optical axis of the lens passes through the center of the transparent display 13. The display surface 13m of the transparent display 13 is orthogonal to the lens optical axis k indicated by the alternate long and short dash line in FIG.
Here, the size of the visual field of the monitoring camera 12 is the size of the display unit of the transparent display 13. That is, as shown in FIGS. 2A to 2C, the angle α formed by the line connecting the focal point O of the surveillance camera 12 and both ends A and A ′ in the width direction (the x direction described later) of the transparent display 13 is horizontal. The angle β is a visual field in the elevation direction, and an angle β formed by a line connecting both ends of the focal point O and the height direction (z direction described later) of the transparent display 13 is the visual field in the elevation direction. Note that D in the figure is the distance between the surveillance camera 12 and the transparent display 13, and z m is the distance between the center of the transparent display 13 and the centers of the microphones M1 to M5.
Here, assuming that the focus position at the initial position of the monitoring camera 12 is the origin O (0, 0, 0), the position coordinates of the center O D of the transparent display 13 are (0, D, 0), and the microphones M1 to M4. The position coordinates of the center O m of (0, D, z m ).

枠体15は、底面を構成するビーム状の底板15aと、この底板15aの両端からそれぞれ底板15aに直交する方向に延長する側板15bと、底板15aに対向するように配置されて2枚の側板15bを連結する天板15cとを備えた枠状の部材である。
以下、底板15aが延在する面をx−y平面、側板15bの延長方向をz方向とする。なお、x−y平面は必ずしも水平面を指すものではないが、本例では、説明を簡単にするため、水平面をx−y平面とし、z方向を上下方向とする。また、底板15aの延長方向をx方向とする。
The frame 15 includes a beam-shaped bottom plate 15a constituting the bottom surface, a side plate 15b extending from both ends of the bottom plate 15a in a direction orthogonal to the bottom plate 15a, and two side plates arranged to face the bottom plate 15a. It is a frame-shaped member provided with the top plate 15c which connects 15b.
Hereinafter, the surface on which the bottom plate 15a extends is defined as the xy plane, and the extending direction of the side plate 15b is defined as the z direction. In addition, although an xy plane does not necessarily indicate a horizontal plane, in this example, in order to simplify the description, the horizontal plane is an xy plane and the z direction is an up-down direction. Moreover, let the extending direction of the baseplate 15a be an x direction.

ステッピングモーター16は、モーター制御手段17からの制御パルス信号により駆動される。モーター制御手段17は、後述する指定回転角Θの情報をパルス信号に変換してステッピングモーター16に出力する。
音採取ユニット11と演算装置20とは枠体15の天板15cに取付けられ、カメラ取付部材14はステッピングモーター16を介して底板15aに取付けられる。また、モーター制御手段17は底板15aに取付けられる。このとき、透明ディスプレイ13の中心位置がステッピングモーター16の回転軸上にあり、かつ、ステッピングモーター16の回転軸とマイクロフォンM1〜M5の中心線とが一致するように、音採取ユニット11とカメラ取付部材14とを枠体15に取付けることが好ましい。
なお、取付時(以下、初期位置という)においては、監視カメラ12のレンズ光軸が枠体15に垂直になるように、カメラ取付部材14を枠体15に取付ける。
モーター制御手段17は、演算装置20とともに、天板15c上に取付けてもよいし、演算装置20に組み込んでもよい。
演算装置20は、音採取ユニット11、透明ディスプレイ13、及び、モーター制御手段17と図示しないケーブルによって接続されている。
The stepping motor 16 is driven by a control pulse signal from the motor control means 17. The motor control means 17 converts information on a designated rotation angle Θ described later into a pulse signal and outputs it to the stepping motor 16.
The sound collection unit 11 and the arithmetic unit 20 are attached to the top plate 15 c of the frame 15, and the camera attachment member 14 is attached to the bottom plate 15 a via the stepping motor 16. The motor control means 17 is attached to the bottom plate 15a. At this time, the sound collection unit 11 and the camera are mounted so that the center position of the transparent display 13 is on the rotation axis of the stepping motor 16 and the rotation axis of the stepping motor 16 coincides with the center lines of the microphones M1 to M5. It is preferable to attach the member 14 to the frame 15.
At the time of attachment (hereinafter referred to as the initial position), the camera attachment member 14 is attached to the frame 15 so that the lens optical axis of the monitoring camera 12 is perpendicular to the frame 15.
The motor control means 17 may be mounted on the top plate 15 c together with the arithmetic device 20 or may be incorporated in the arithmetic device 20.
The computing device 20 is connected to the sound collection unit 11, the transparent display 13, and the motor control means 17 by a cable (not shown).

演算装置20は、増幅器21と、A/D変換器22と、記憶手段23と、音源方向推定手段24と、座標変換手段25と、回転判定手段26と、ディスプレイ制御手段27とを備える。
増幅器21はローパスフィルタを備え、マイクロフォンM1〜M5で採取した各音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号をそれぞれ増幅してA/D変換器22に出力する。A/D変換器22は、各音圧信号をA/D変換した音圧波形データを作成し、これを、記憶手段23に出力する。
記憶手段23は、A/D変換された音圧波形データと、監視カメラ12の初期位置における焦点の位置座標を原点としたときの、マイクロフォンM1〜M4の中心位置の座標データOm(0,D,zm)を記憶する。なお、図2(a)に示すように、Dは透明ディスプレイ13の中心と監視カメラ12の焦点位置との距離で、zmは透明ディスプレイ13の中心とマイクロフォンM1〜M4の中心との距離である。透明ディスプレイ13の中心は、監視カメラ12の撮影方向であるレンズ光軸z上にある。
The arithmetic unit 20 includes an amplifier 21, an A / D converter 22, a storage unit 23, a sound source direction estimation unit 24, a coordinate conversion unit 25, a rotation determination unit 26, and a display control unit 27.
The amplifier 21 includes a low-pass filter, removes high-frequency noise components from the sound pressure signals of the sounds collected by the microphones M1 to M5, amplifies the sound pressure signals, and outputs them to the A / D converter 22. The A / D converter 22 creates sound pressure waveform data obtained by A / D converting each sound pressure signal, and outputs the sound pressure waveform data to the storage means 23.
The storage means 23 is coordinate data O m (0, 0) of the center positions of the microphones M1 to M4 when the sound pressure waveform data subjected to A / D conversion and the position coordinates of the focus at the initial position of the monitoring camera 12 are used as the origin. D, z m ) is stored. 2A, D is the distance between the center of the transparent display 13 and the focus position of the surveillance camera 12, and z m is the distance between the center of the transparent display 13 and the centers of the microphones M1 to M4. is there. The center of the transparent display 13 is on the lens optical axis z that is the photographing direction of the monitoring camera 12.

音源方向推定手段24は、記憶手段23から音圧波形データを取出し、この取出された音圧波形データから各マイクロフォンM1〜M5間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定し、座標変換手段25とに出力する。
なお、水平角θと仰角φとは、所定の周波数帯域毎に推定する。また、音源方向の推定の詳細については、後述する。
The sound source direction estimating means 24 takes out the sound pressure waveform data from the storage means 23, obtains the phase difference between the microphones M1 to M5 from the extracted sound pressure waveform data, and determines the sound source direction from the obtained phase difference. The horizontal angle θ and the elevation angle φ are estimated and output to the coordinate conversion means 25.
The horizontal angle θ and the elevation angle φ are estimated for each predetermined frequency band. Details of the estimation of the sound source direction will be described later.

座標変換手段25では、記憶手段23に記憶されたマイクロフォンM1〜M4の中心位置の座標データの座標データOm(0,D,zm)を用いて、音源方向推定手段24で推定されたマイクロフォンM1〜M4の中心位置と音源とのなす水平角θと仰角φとを、監視カメラ12から見たときの水平角θ’と仰角φ’とに変換してディスプレイ制御手段27に出力するとともに、前記水平角θ’を回転判定手段26に出力する。なお、座標変換の詳細については省略する。 In the coordinate conversion unit 25, the microphone estimated by the sound source direction estimation unit 24 using the coordinate data O m (0, D, z m ) of the coordinate data of the center position of the microphones M <b> 1 to M <b> 4 stored in the storage unit 23. The horizontal angle θ and the elevation angle φ formed by the central positions of M1 to M4 and the sound source are converted into the horizontal angle θ ′ and the elevation angle φ ′ when viewed from the monitoring camera 12 and output to the display control means 27. The horizontal angle θ ′ is output to the rotation determination means 26. Details of coordinate conversion are omitted.

回転判定手段26では、監視カメラ12から見たときの水平角θ’と水平角方向の視野αとを比較し、水平角θ’の大きさがα/2−γ(γは10°程度)を超えた場合には、水平角θ’と仰角φ’とをディスプレイ制御手段27に出力するとともに、水平角θ’を指定回転角Θとしてモーター制御手段17とディスプレイ制御手段27とに出力する。
水平角θ’の大きさがα/2−γ以下の場合には、水平角θ’と仰角φ’とをそのままディスプレイ制御手段27に出力する。
The rotation determination unit 26 compares the horizontal angle θ ′ when viewed from the monitoring camera 12 with the visual field α in the horizontal angle direction, and the magnitude of the horizontal angle θ ′ is α / 2−γ (γ is about 10 °). Is exceeded, the horizontal angle θ ′ and the elevation angle φ ′ are output to the display control means 27, and the horizontal angle θ ′ is output to the motor control means 17 and the display control means 27 as the designated rotation angle Θ.
When the horizontal angle θ ′ is equal to or smaller than α / 2−γ, the horizontal angle θ ′ and the elevation angle φ ′ are output to the display control means 27 as they are.

透明ディスプレイ13の表示面13mでは、x軸がθ’を表し、y軸がφ’を表す。本例では、表示面13mの中心位置を原点とした。
ディスプレイ制御手段27は、音源の方向のデータを変換した座標データ(θ’,φ’)上に音源方向を示す図形を作成する。図3(a)はその一例を示す図で、本例では、音源方向を示す図形を網目模様の丸印Rとした。丸の中心は、前記座標データ(θ’,φ’)を表す点であり、半径は、各マイクロフォンM1〜M5で採取した音圧信号の大きさである。なお、予め設定した周波数帯域の音源方向を表示する場合や、周波数帯域毎の音源方向を表示する場合には、周波数帯域により丸印Rの色をそれぞれ設定すればよい。
これにより、監視カメラ12により撮影された映像に音源50が映っている場合には、音源50は網目模様の丸印Rがついて撮影される。
なお、水平角θ’の大きさθ’Mがα/2−γを超えていると判定された場合には、図3(b)に示すように、ディスプレイ制御手段27は、表示面13mの中心位置を、(θ’=0,φ’=0)から(θ’=θ’M=Θ,φ’=0)に変更して、網目模様の丸印Rを表示する。
On the display surface 13m of the transparent display 13, the x axis represents θ ′, and the y axis represents φ ′. In this example, the center position of the display surface 13m is the origin.
The display control means 27 creates a graphic indicating the sound source direction on the coordinate data (θ ′, φ ′) obtained by converting the sound source direction data. FIG. 3A is a diagram showing an example thereof. In this example, the graphic indicating the direction of the sound source is a round mark R with a mesh pattern. The center of the circle is a point representing the coordinate data (θ ′, φ ′), and the radius is the magnitude of the sound pressure signal collected by each of the microphones M1 to M5. When displaying the sound source direction of a preset frequency band, or when displaying the sound source direction for each frequency band, the color of the circle R may be set according to the frequency band.
As a result, when the sound source 50 is reflected in the video imaged by the monitoring camera 12, the sound source 50 is imaged with a round mark R having a mesh pattern.
When it is determined that the magnitude θ ′ M of the horizontal angle θ ′ exceeds α / 2−γ, the display control means 27 displays the display surface 13m on the display surface 13m as shown in FIG. The center position is changed from (θ ′ = 0, φ ′ = 0) to (θ ′ = θ ′ M = Θ, φ ′ = 0), and a mesh pattern circle R is displayed.

水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対(Mi, Mj)のマイクロフォンMiとマイクロフォンMjとの間の到達時間差をDijとすると、音の入射方向である水平角θと仰角φとは以下の式(1),(2)で表わせるので、各マイクロフォンM1〜M5の出力信号をFFTを用いて周波数分析し、対象となる周波数fにおける各マイクロフォンM,M間の到達時間差Dijを算出することにより、前記水平角θ及び仰角φを求めることができる。

Figure 2011188016
すなわち、互いに直交する2直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対(M1,M3)及びマイクロフォン対(M2,M4)を構成するマイクロフォンM1,M3に入力する音圧信号の到達時間差D13と、前記マイクロフォン対(M2,M4)を構成するマイクロフォンM2,M4に入力する音圧信号の到達時間差D24との比から、計測点と音源位置との水平角θを推定し、前記到達時間差D13,D24と、前記第5のマイクロフォンM5と他のマイクロフォンM1〜M4との到達時間差D5j(j=1〜4)とから計測点と音源位置との成す仰角φを推定する。 The calculation method of the horizontal angle θ and the elevation angle φ is as follows.
When the arrival time difference between the microphone Mi and the microphone Mj of each microphone pair (Mi, Mj) is D ij , the horizontal angle θ and the elevation angle φ, which are the sound incident directions, are expressed by the following equations (1) and (2). Therefore, by analyzing the frequency of the output signals of the microphones M1 to M5 using an FFT and calculating the arrival time difference D ij between the microphones M i and M j at the target frequency f, the horizontal angle is calculated. θ and elevation angle φ can be obtained.
Figure 2011188016
That is, arrival of sound pressure signals input to the microphones M1 and M3 constituting the two microphone pairs (M1, M3) and the microphone pairs (M2, M4) arranged at predetermined intervals on two orthogonal lines. The horizontal angle θ between the measurement point and the sound source position is estimated from the ratio between the time difference D 13 and the arrival time difference D 24 of the sound pressure signals input to the microphones M2 and M4 constituting the microphone pair (M2, M4). The elevation angle φ between the measurement point and the sound source position is estimated from the arrival time differences D 13 and D 24 and the arrival time differences D 5j (j = 1 to 4) between the fifth microphone M5 and the other microphones M1 to M4. To do.

なお、前記到達時間差Dijは、2つのマイクロフォン対(M,M)に入力される信号のクロススペクトルPij(f)を求め、更に、対象とする前記周波数fの位相角情報Ψ(rad)を用いて、以下の式(3)を用いて算出される。

Figure 2011188016
水平角θと仰角φとは、fを中心周波数とする所定の帯域幅を有する周波数帯域毎に求めることができる。 The arrival time difference D ij is obtained as a cross spectrum P ij (f) of signals input to the two microphone pairs (M i , M j ), and further, the phase angle information ψ ( rad) and is calculated using the following equation (3).
Figure 2011188016
The horizontal angle θ and the elevation angle φ can be obtained for each frequency band having a predetermined bandwidth with f as the center frequency.

本発明による音源方向推定機能付き監視カメラ装置10の動作について、図4のフローチャートを用いて説明する。なお、監視カメラ12の作動開始時には、カメラ取付部材14は初期位置、すなわち、枠体15とレンズ光軸kと直交しているとする。
まず、監視カメラ12で監視対象を撮影しながら、マイクロフォンM1〜M5にて音の情報を採取する(ステップS10)。そして、音の情報を増幅器21で増幅した後、A/D変換器22によりA/D変換して、音圧波形データとして記憶手段23に保存する(ステップS11)。
次に、音源方向推定手段24により、記憶手段23に保存された音圧波形から各マイクロフォンM1〜M5間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定する(ステップS12)。
The operation of the monitoring camera apparatus 10 with the sound source direction estimating function according to the present invention will be described with reference to the flowchart of FIG. At the start of the operation of the monitoring camera 12, it is assumed that the camera mounting member 14 is orthogonal to the initial position, that is, the frame 15 and the lens optical axis k.
First, sound information is collected by the microphones M1 to M5 while the monitoring camera 12 captures the monitoring target (step S10). Then, after the sound information is amplified by the amplifier 21, it is A / D converted by the A / D converter 22 and stored in the storage means 23 as sound pressure waveform data (step S11).
Next, the sound source direction estimation means 24 obtains the phase difference between the microphones M1 to M5 from the sound pressure waveform stored in the storage means 23, and the horizontal angle θ and the elevation angle φ, which are the sound source directions, are determined from the obtained phase difference. Is estimated (step S12).

音源方向の推定が終了した後は、推定された水平角θと仰角φとを、座標変換手段25にて、監視カメラから見た水平角θ’と仰角φ’とに変換する(ステップS13)。
そして、回転判定手段26にて、水平角θ’と水平角方向の視野αとを比較する(ステップS14)。水平角θ’の大きさがα/2−γ以下の場合には、水平角θ’と仰角φ’とをそのままディスプレイ制御手段27に出力し、透明ディスプレイ13の表示面13mに中心が座標データ(θ’,φ’)を表す点であり、半径が各マイクロフォンで採取した音圧信号の大きさである網目状の丸印Rを描画する(ステップS15)。監視カメラ12は、この網目状の丸印Rが映った映像を撮影する。
After the estimation of the sound source direction is completed, the estimated horizontal angle θ and elevation angle φ are converted into the horizontal angle θ ′ and elevation angle φ ′ viewed from the monitoring camera by the coordinate conversion means 25 (step S13). .
Then, the rotation determination means 26 compares the horizontal angle θ ′ with the visual field α in the horizontal angle direction (step S14). When the size of the horizontal angle θ ′ is α / 2−γ or less, the horizontal angle θ ′ and the elevation angle φ ′ are output to the display control means 27 as they are, and the coordinate data is centered on the display surface 13 m of the transparent display 13. A mesh-shaped circle R, which is a point representing (θ ′, φ ′) and whose radius is the size of the sound pressure signal collected by each microphone, is drawn (step S15). The surveillance camera 12 captures an image in which the mesh-shaped circle R is reflected.

ステップS14において、水平角θ’の大きさがα/2−γを超えた場合には、ステップS16に進んで、水平角θ’をディスプレイ制御手段27に出力するとともに、水平角θ’を指定回転角Θとしてモーター制御手段17に出力して、ステッピングモーター16を回転させ、監視カメラ12と透明ディスプレイ13とを指定回転角Θだけ回転させる(ステップS16)。
透明ディスプレイ13は、原点の座標を(0,0)から(Θ,0)に変更するとともに、前記網目状の丸印Rを、原点が変更された表示面13mに描画する(ステップS17)。監視カメラ12は、この網目状の丸印Rが映った映像を撮影する。
If the magnitude of the horizontal angle θ ′ exceeds α / 2−γ in step S14, the process proceeds to step S16, where the horizontal angle θ ′ is output to the display control means 27 and the horizontal angle θ ′ is designated. The rotation angle Θ is output to the motor control means 17, the stepping motor 16 is rotated, and the surveillance camera 12 and the transparent display 13 are rotated by the designated rotation angle Θ (step S16).
The transparent display 13 changes the coordinate of the origin from (0, 0) to (Θ, 0), and draws the mesh-shaped circle R on the display surface 13m with the origin changed (step S17). The surveillance camera 12 captures an image in which the mesh-shaped circle R is reflected.

これにより、監視カメラ12は、常に、音源の推定位置が映った画像を撮影することができる。なお、音の大きさが一定レベル以下になった場合には、カメラ取付部材14を初期位置に戻す。また、更に、一定レベルより大きな音が発生した場合には、カメラ取付部材14を回転させて、監視カメラ12のレンズ光軸が新たな音源方向を向くように、カメラ取付部材14を回転させるようにしてもよいし、そのまま測定中の音の方向を撮影してもよい。   Thereby, the surveillance camera 12 can always take an image showing the estimated position of the sound source. Note that when the volume of the sound falls below a certain level, the camera mounting member 14 is returned to the initial position. Furthermore, when a sound larger than a certain level is generated, the camera mounting member 14 is rotated so that the camera mounting member 14 is rotated so that the lens optical axis of the surveillance camera 12 faces a new sound source direction. Alternatively, the direction of the sound being measured may be photographed as it is.

このように、本実施の形態では、枠体15の天板15cにマイクロフォンM1〜M5が取付けられた固定台11Dを取付け、カメラ取付部材14に、監視カメラ12と透明ディスプレイ13とを、透明ディスプレイ13が監視カメラ12のレンズの前方に位置するように取付け、このカメラ取付部材14をステッピングモーター16を介して枠体15の底板15aに取付け、マイクロフォンM1〜M5の出力する音圧信号を用いて音源方向を推定した後、推定された音源方向の水平角θ’の大きさが監視カメラ12の視野内にある場合には、透明ディスプレイ13に推定された音源方向θ’を示す図形を表示するとともに、推定された音源方向の水平角θ’の大きさが監視カメラ12の最大視野を超えている場合には、監視カメラ12の撮影方向が前記推定された音源方向になるようにカメラ取付部材14を回転させてから透明ディスプレイ13に推定された音源方向θ’を示す図形を表示するようにしたので、簡単な構成で、音源の推定位置が映った画像を撮影することができる。
なお、推定された水平角θ’は、マイクロフォンM1〜M5の中心位置を原点としたときの水平角θを、監視カメラ12から見たときの水平角に変換したものである。
As described above, in the present embodiment, the fixed base 11D having the microphones M1 to M5 attached to the top plate 15c of the frame 15 is attached, the surveillance camera 12 and the transparent display 13 are attached to the camera attachment member 14, and the transparent display is provided. 13 is mounted so as to be positioned in front of the lens of the monitoring camera 12, and the camera mounting member 14 is mounted on the bottom plate 15a of the frame body 15 via the stepping motor 16, and the sound pressure signals output from the microphones M1 to M5 are used. After estimating the sound source direction, if the estimated horizontal angle θ ′ of the sound source direction is within the field of view of the monitoring camera 12, a graphic indicating the estimated sound source direction θ ′ is displayed on the transparent display 13. At the same time, when the estimated horizontal angle θ ′ of the sound source direction exceeds the maximum field of view of the monitoring camera 12, the shooting direction of the monitoring camera 12 is changed. Since the figure indicating the estimated sound source direction θ ′ is displayed on the transparent display 13 after the camera mounting member 14 is rotated so as to be the estimated sound source direction, the estimated position of the sound source can be obtained with a simple configuration. You can shoot images with
The estimated horizontal angle θ ′ is obtained by converting the horizontal angle θ when the center position of the microphones M1 to M5 is the origin to the horizontal angle when viewed from the monitoring camera 12.

なお、前記実施の形態では、カメラ取付部材14を枠体15に対して回転させる構成としたが、枠体15が小さい場合には、カメラ取付部材14を回転させたときに、枠体15が監視カメラ12の視野に入ってしまい、映像が見にくくなることがある。
そこで、図5に示すように、第1のステッピングモーター16Aを用いてカメラ取付部材14を枠体15とともに固定部材である枠体支持台19に対して回転させるとともに、第2のステッピングモーター16Bを用いて音採取ユニット11を枠体15と逆方向に同角度だけ回転させる構成とすれば、枠体15を小さくしても、枠体15が監視カメラ12の視野に入ることがない。なお、第2のステッピングモーター16Bの回転軸と第1のステッピングモーター16Aの回転軸とは同一直線状にあることはいうまでもない。
この構成では、図1の構成に比べてステッピングモーターが1台多いが、枠体15が監視カメラ12の視野に入らないように枠体15を大きくする必要がないので、装置を小型化できる。なお、映像中に枠体15があっても問題ない場合には、図1の構成を用いる方が安価であるので好ましい。
In the above embodiment, the camera mounting member 14 is rotated with respect to the frame 15. However, when the frame 15 is small, the frame 15 is not rotated when the camera mounting member 14 is rotated. The surveillance camera 12 may enter the field of view, making it difficult to see the video.
Therefore, as shown in FIG. 5, the camera mounting member 14 is rotated together with the frame 15 with respect to the frame support 19 which is a fixed member using the first stepping motor 16A, and the second stepping motor 16B is rotated. If the sound sampling unit 11 is rotated by the same angle in the opposite direction to the frame 15, the frame 15 will not enter the field of view of the monitoring camera 12 even if the frame 15 is made smaller. Needless to say, the rotation axis of the second stepping motor 16B and the rotation axis of the first stepping motor 16A are collinear.
In this configuration, the number of stepping motors is one more than that of the configuration of FIG. If there is no problem even if the frame 15 is present in the video, it is preferable to use the configuration of FIG.

また、前記例では、マイクロフォンM1〜M5を枠体15の天板15cに設置したが、側面15bに設置してもよい。
また、前記例では、推定された水平角θ及び仰角φを座標変換して水平角θ’及び仰角φ’を求めたが、音源50が遠い場合には、推定された水平角θ及び仰角φをそのまま音源の座標としてもよい。
また、前記例では、監視カメラ12を水平角方向のみに回転させたが、ステッピングモーターを追加して、水平角方向と仰角方向の両方に回転させてもよい。これにより、音源推定方向の更に鮮明な映像を撮影することができる。
Moreover, in the said example, although microphone M1-M5 was installed in the top plate 15c of the frame 15, you may install in the side 15b.
In the above example, the estimated horizontal angle θ and elevation angle φ are coordinate-transformed to obtain the horizontal angle θ ′ and elevation angle φ ′. However, when the sound source 50 is far, the estimated horizontal angle θ and elevation angle φ are calculated. May be used as the coordinates of the sound source.
In the above example, the monitoring camera 12 is rotated only in the horizontal angle direction. However, a stepping motor may be added to rotate both in the horizontal angle direction and the elevation angle direction. As a result, a clearer image in the sound source estimation direction can be taken.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the embodiment. It is apparent from the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

以上説明したように、本発明によれば、音源の方向が表示された映像を直接にかつ確実に撮影することのできる音源方向推定機能付き監視カメラ装置を提供することができるので、監視カメラの性能を飛躍的に向上させることができる。   As described above, according to the present invention, it is possible to provide a monitoring camera device with a sound source direction estimating function capable of directly and reliably shooting a video in which the direction of a sound source is displayed. Performance can be improved dramatically.

10 音源方向推定機能付き監視カメラ装置、11 音採取ユニット、
11D 固定台、12 監視カメラ、13 透明ディスプレイ、13m 表示面、
14 カメラ取付部材、14a カメラ支持部材、14b ディスプレイ支持部材、
14c 連結部材、15 枠体、15a 底板、15b 側板、15c 天板、
16 ステッピングモーター、17 モーター制御手段、20 演算装置、
21 増幅器、22 A/D変換器、23 記憶手段、24 音源方向推定手段、
25 座標変換手段、26 回転判定手段、27 ディスプレイ制御手段、
50 音源、M1〜M5 マイクロフォン、k レンズ光軸。
10 surveillance camera device with sound source direction estimation function, 11 sound sampling unit,
11D fixed base, 12 surveillance camera, 13 transparent display, 13m display surface,
14 camera mounting member, 14a camera support member, 14b display support member,
14c connecting member, 15 frame, 15a bottom plate, 15b side plate, 15c top plate,
16 stepping motors, 17 motor control means, 20 arithmetic units,
21 amplifier, 22 A / D converter, 23 storage means, 24 sound source direction estimation means,
25 coordinate conversion means, 26 rotation determination means, 27 display control means,
50 sound source, M1-M5 microphone, k lens optical axis.

Claims (4)

音源から伝搬される音の情報を採取する複数のマイクロフォンと、
これら複数のマイクロフォンを取付けるマイクロフォン取付部材と、
室内もしくは室外の映像を撮影する監視カメラと、
非表示状態において透明な透明ディスプレイと、
前記監視カメラと前記透明ディスプレイとを、透明ディスプレイを監視カメラのレンズの前方に位置するように取付けるカメラ取付部材と、
前記各マイクロフォンが出力する音圧信号を用いて音源方向を推定する音源方向推定手段と、
前記カメラ取付部材を回転させるカメラ回転手段とを備え、
前記カメラ回転手段は、前記推定された音源方向に基づいて、監視カメラの撮影方向が前記推定された音源方向になるように、前記カメラ取付部材を回転させ、
前記透明ディスプレイは、前記推定された音源方向を示す図形を表示することを特徴とする音源方向推定機能付き監視カメラ装置。
A plurality of microphones for collecting information of sound propagated from the sound source;
A microphone mounting member for mounting the plurality of microphones;
A surveillance camera that captures indoor or outdoor video,
A transparent display that is transparent in a non-display state;
A camera mounting member for mounting the surveillance camera and the transparent display so that the transparent display is positioned in front of the lens of the surveillance camera;
Sound source direction estimating means for estimating a sound source direction using a sound pressure signal output from each microphone;
Camera rotating means for rotating the camera mounting member,
The camera rotating means rotates the camera mounting member based on the estimated sound source direction so that the shooting direction of the surveillance camera becomes the estimated sound source direction,
The surveillance camera device with a sound source direction estimating function, wherein the transparent display displays a graphic indicating the estimated sound source direction.
前記カメラ取付部材は前記カメラ回転手段を介して前記マイクロフォン取付部材に取付けられていることを特徴とする請求項1に記載の音源方向推定機能付き監視カメラ装置。   The monitoring camera device with a sound source direction estimating function according to claim 1, wherein the camera attachment member is attached to the microphone attachment member via the camera rotation means. 前記マイクロフォン取付部材はマイクロフォン回転手段を介して前記カメラ取付部材に取付けられており、
前記マイクロフォン回転手段は、前記マイクロフォン取付部材を、前記カメラ取付部材とは逆方向に、かつ、前記カメラ取付部材と同じ角度だけ回転させることを特徴とする請求項1に記載の音源方向推定機能付き監視カメラ装置。
The microphone attachment member is attached to the camera attachment member via a microphone rotation means,
2. The sound source direction estimating function according to claim 1, wherein the microphone rotating unit rotates the microphone mounting member in a direction opposite to the camera mounting member and by the same angle as the camera mounting member. Surveillance camera device.
前記複数のマイクロフォンは、
互いに交わる2つの直線上にそれぞれ所定の間隔で配置された2組のマイクロフォン対を構成する第1〜第4のマイクロフォンと、前記2組のマイクロフォン対の作る平面上にない第5のマイクロフォンとを有し、
前記音源方向推定手段は、
前記2組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第5のマイクロフォンと前記2組のマイクロフォン対を構成する4個のマイクロフォンのそれぞれとで構成される4組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源方向の水平角と仰角とを推定することを特徴とする請求項1〜請求項3のいずれかに記載の音源方向推定機能付き監視カメラ装置。
The plurality of microphones are:
First to fourth microphones constituting two pairs of microphones arranged at predetermined intervals on two straight lines intersecting each other, and a fifth microphone not on a plane formed by the two pairs of microphones Have
The sound source direction estimating means includes
The ratio of the phase difference between the microphones constituting the two pairs of microphones, and the four pairs of microphones constituted by the fifth microphone and the four microphones constituting the two pairs of microphones, respectively. 4. The surveillance camera device with a sound source direction estimating function according to claim 1, wherein a horizontal angle and an elevation angle of the sound source direction are estimated using a phase difference between the microphones constituting the microphone.
JP2010047968A 2010-03-04 2010-03-04 Surveillance camera device with sound source direction estimation function Active JP5462667B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010047968A JP5462667B2 (en) 2010-03-04 2010-03-04 Surveillance camera device with sound source direction estimation function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010047968A JP5462667B2 (en) 2010-03-04 2010-03-04 Surveillance camera device with sound source direction estimation function

Publications (2)

Publication Number Publication Date
JP2011188016A true JP2011188016A (en) 2011-09-22
JP5462667B2 JP5462667B2 (en) 2014-04-02

Family

ID=44793823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010047968A Active JP5462667B2 (en) 2010-03-04 2010-03-04 Surveillance camera device with sound source direction estimation function

Country Status (1)

Country Link
JP (1) JP5462667B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014088136A1 (en) * 2012-12-07 2014-06-12 (주)대도기계 Location estimation system for surveillance camera using microphones, and location estimation method using same
JP2014131218A (en) * 2012-12-28 2014-07-10 Canon Inc Imaging apparatus and imaging method
JP2016189570A (en) * 2015-03-30 2016-11-04 アイホン株式会社 Intercom device
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62259072A (en) * 1986-05-06 1987-11-11 Teru Hayashi Sound source investigating device
JP2008224259A (en) * 2007-03-09 2008-09-25 Chubu Electric Power Co Inc System for estimating acoustic source location

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62259072A (en) * 1986-05-06 1987-11-11 Teru Hayashi Sound source investigating device
JP2008224259A (en) * 2007-03-09 2008-09-25 Chubu Electric Power Co Inc System for estimating acoustic source location

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014088136A1 (en) * 2012-12-07 2014-06-12 (주)대도기계 Location estimation system for surveillance camera using microphones, and location estimation method using same
JP2014131218A (en) * 2012-12-28 2014-07-10 Canon Inc Imaging apparatus and imaging method
JP2016189570A (en) * 2015-03-30 2016-11-04 アイホン株式会社 Intercom device
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method

Also Published As

Publication number Publication date
JP5462667B2 (en) 2014-04-02

Similar Documents

Publication Publication Date Title
JP5702160B2 (en) Sound source estimation method and sound source estimation apparatus
JP5089198B2 (en) Sound source position estimation system
JP5693201B2 (en) Method and apparatus for reproducing propagation sound from specified area
JP5462667B2 (en) Surveillance camera device with sound source direction estimation function
JP2007282188A5 (en)
JP4476870B2 (en) Correction method of microphone output for sound source search, low frequency generator, sound source search system, and microphone frame
JP2011259090A5 (en)
JP2015050610A (en) Sound processing device, sound processing method and sound processing program
JP6392656B2 (en) Sound source direction estimation method
JP2009118318A5 (en)
JP6511319B2 (en) Structure inspection device
JP2010236939A (en) Method and apparatus for estimating sound source
JP5456563B2 (en) Method and apparatus for displaying sound source estimation image
JP5294925B2 (en) Sound source estimation method and apparatus
JP2010213249A (en) Video camera imaging apparatus
JP5534870B2 (en) Sound source estimation image creation device
JP2006174128A5 (en)
JP6491863B2 (en) Sound source direction estimation device and sound source estimation image creation device
JP2008090071A5 (en)
JP2015161659A (en) Sound source direction estimation device and display device of image for sound source estimation
JP2011188374A5 (en)
JP2010203800A (en) Method and apparatus for estimating sound source
JP2011122854A (en) System and program for determining incoming direction of sound
WO2019113737A1 (en) Manual focus assist
CN115046490A (en) Device and method for monitoring structural interlayer deformation based on data fusion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140117

R150 Certificate of patent or registration of utility model

Ref document number: 5462667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350