JP2011166608A - 音源位置特定方法 - Google Patents

Abstract

【課題】 ネットワーク配線に加えて、マイクロホン接続のための追加配線を不要する、音源位置特定方法を提供する。また複数個あるマイクロホンで２種類以上のクロックを用いても音源位置特定を可能にした、音源位置特定方法を提供する。
【解決手段】 監視カメラ１、１１は、マイクロホン２、３、１２、１３を有し、マイクロホン２、３、１２、１３により受音したオーディオ信号を元に音源方向情報を求め、サーバー２０は、監視カメラ１、１１で求められた音源方向情報に基づき、音源位置情報を特定する。
【選択図】 図１

Description

本発明は、複数のマイクロホンを用いた音源位置特定方法に関し、たとえばマイクロホンを具備したのカメラシステムで、音源位置を特定するシステムでは好適なものである。

従来音源を求める方法として、３つ以上のマイクロホンを用い、音源からの音波の到達時間に基づき音源位置を求める、さまざまな方法が開示されている。

そのひとつとして、三角形の合同条件のひとつである２角挟辺相当法を用いて、音源位置の推定方法がある。２角挟辺相当法とは、二つの角と二つの角にはさまれる一辺の距離がわかれば、２次元上の三角形は一意に決まる方法であり、音源である、三角形の頂点を求めることができる。

図９（Ａ）は２角挟辺相当法により、音源位置を推定する方法を示すイメージ図である。

図９（Ａ）において、１０１は音源。１０２，１０３，１０４はマイクロホン。１０８はマイクロホン１０２と１０３の中点。１０９はマイクロホン１０３と１０４の中点。１０５は中点１０８と中点１０９間の距離。１０６はマイクロホン１０２と１０３に到達する、音波の到達時間に基づき、求めることができる音源１０１方向の角度。１０７はマイクロホン１０３と１０４に到達する、音波の到達時間に基づき、求めることができる音源１０１方向の角度。

２角挟辺相当法によれば、二つの角１０６，１０７と二つの角にはさまれる距離１０５により図９に示すように三角形１１０が一意で決まり、音源位置１０１を決定できる。

図９（Ａ）示の角度１０６，１０７を求める方法について、図９（Ｂ）とともに説明する。

よく知られているように、音速Ｃは秒速３４０ｍである。したがって音源の音発生時間をｔ１、マイクロホンの音波の受信時間をｔ２とすると、音源から、マイクロホンまでの距離をＬは下記式で表される。
Ｌ＝（ｔ２−ｔ１）／Ｃ・・・・式１

図９（Ｂ）において、１２１，１２２はマイクロホンである。マイクロホン１２１に音源１２８からの音波が入ってくる時間をｔ３とすると、音源１２８とマイクロホン１２１間の距離１２６は、下記式で表される。
距離１２６＝（ｔ３−ｔ１）／Ｃ・・・式２

同様にマイクロホン１２２に音源１２８からの音波が入ってくる時間をｔ４とすると、音源１２８とマイクロホン１２２間の距離１２７は、下記式で表される。
距離１２７＝（ｔ４−ｔ１）／Ｃ・・・式３
上記式２および式３から、距離１２６と距離１２７の差である距離１２３は、下記式で表される。
距離１２３＝距離１２７−距離１２６＝（ｔ４−ｔ３）／Ｃ・・・式４
距離１２３を求めることにより、マイクロホン１２１，１２２の間隔１２４がわかっていれば、三角関数の公式により、下記式で音源の方向を示す角度１２５を求めることができる。
距離１２３＝間隔１２４ ｘ ｃｏｓ（角度１２５）
したがって
角度１２５＝ａｒｃｃｏｓ（距離１２３／間隔１２４）・・・式５
図９（Ｂ）とともに説明したように、音波のマイクロホン到達時間ｔ３、ｔ４の差（ｔ４−ｔ３）がわかれば、式４および式５により音源方向の角度１２５を求めることができる。

また、図９（Ａ）とともに説明したように、３つのマイクロホンを用いて、音源方向の二つの角度を求めることができ、音源を一意に特定できる。

複数マイクロホンへの到達時間の差である、式４での（ｔ４−ｔ３）を求める方法として、遅延和法と相互相関法などがある。

遅延和法は複数マイクロホンの内のひとつを基準マイクロホンとし、基準マイクロホンに入ってくる受音信号と、他のマイクロホンに入ってくる受音信号を徐々に遅らせて、加算する。加算した受音信号のパワーが最大になったときの遅らせた時間を複数マイクロホンへの到達時間の差（ｔ４−ｔ３）とする方法である。

相互相関法は、複数マイクロホンへの到達時間の差（ｔ４−ｔ３）を、相互相関関数が最大値になったときの時間差とみなす方法である。

たとえば、特許文献１においては、まず、基準マイクロホンとほかのマイクロホンとの間の相互相関関数の最大値を与える予備推定時間差を求める。そして遅延和法によりすべてのマイクロホンの遅延和を最大にする時間差を、相互相関関数で求めた予備推定時間差の近傍で探索して、音源位置を推定する方法を開示している。

相互相関関数で推定時間差を求める方法は、ノイズに弱い欠点があるものの、処理時間が早い。遅延和法は、徐々に受音信号を遅らせる処理を繰り返し行う必要が有り、処理時間がかかるものの、ノイズに強い長所がある。このため、特許文献１では相互相関係数および遅延和法の、お互いの長所を引き出す技術を開示している。

また、特許文献２において、複数マイクロホンの受音信号の音圧レベルをもとに、音源位置を特定する方法を開示している。

特開平１１−３０４９０６号公報 特開２００６−２５４２７７号公報

しかしながら、上述の特許文献に開示された従来技術では、３個以上のマイクロホンを使用し、遅延回路などにより、個々のマイクロホンが受音した受音信号の遅延量を求め、求めた遅延量を用いて音源位置を特定している。

第１の課題として、個々の受音信号の遅延量を求めるためには、受音信号が同期している必要がある。たとえば受音信号をネットワーク経由で送信すると、送信するため処理により遅れが生じて、同期していない受音信号同士の遅延量を計算することになり、計算結果に誤差が発生してしまう。

また、受音信号をデジタル化する場合、同一クロックを用いて、ＡＤ変換器でデジタル化する必要がある。異なるクロックでＡＤ変換すると、デジタル化した受音信号にずれが生じ、遅延量を計算する際に誤差が生じてしまう。

第２の課題として、３個以上のマイクロホン間は一定以上の距離を離して配置する必要がある。たとえば最大１０ｍ先の音源を特定する場合、マイクロホン間は最低２ｍ程度あける必要がある。背景技術で述べたように音源を求める際、２角挟辺相等法でもとめることができる。しかし、二つの角にはさまれる１辺の距離が短いと、音源位置変化に応じて、二つの角度の変化が小さくなってしまい、音源特定が難しくなるためである。

このため、従来技術では、３個以上のマイクロホンの出力を、長い電線を使って単一の制御手段へ接続し、音源特定している。しかしながら複数のネットワークカメラをネットワークケーブルで接続しているようなネットワークシステムだと、すでに、ネットワークケーブルの配線が存在し、加えて、マイクロホン接続のための配線を追加しなければならず煩雑な配線になってしまう。

本発明の目的は、複数個あるマイクロホンで２種類以上のクロックを用いても音源位置特定を可能とした音源位置特定方法を提供することである。

また、ネットワーク配線に加えて、マイクロホン接続のための追加配線を不要とした音源位置特定方法を提供することである。

上記目的を達成するために、本発明は、複数マイクロホンにより受音したオーディオ信号を元に、音源方向を計算する音源方向処理部と、前記音源方向処理部は、複数装置に具備され複数音源方向情報として計算し、前記複数装置からの複数音源方向情報に基づき、音源位置情報を計算することを特徴とする。

本発明によれば、ネットワーク配線網とは別に、複数マイクロホンから、音源位置を特定する装置への配線を不要にする、監視カメラシステム提供することができる。

また、本発明によれば、複数装置それぞれに音源方向処理部を持ち、複数装置それぞれが発生するクロック信号の制御により、複数音源方向情報を処理できるので、装置の設置場所の自由度を向上したシステムを提供することができる。

実施例１における監視カメラシステムのブロック図 実施例１における監視カメラシステムのイメージ図 実施例１における監視カメラの処理流れ図 実施例１におけるサーバーの処理流れ図 実施例１におけるオーディオ信号処理部のブロック図 実施例１における音源位置計算のためのイメージ図 実施例２におけるカメラシステムのイメージ図 実施例２におけるカメラシステムのブロック図 従来技術での音源位置特定方法を説明するためのイメージ図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１〜図６を参照して、本発明の第１の実施例による、監視カメラシステムについて説明する。本実施例では、犯罪者によりガラスが割られたり、シャッターを棒のようなものでたたいたりなどの犯罪行為が行われた際に、警備室に設置されたサーバーにより、警備員が認知し正確に監視できるようにした監視システムである。

図２は商店街における監視カメラシステムを示すイメージ図である。

１は１台目の監視カメラ、２および３は監視カメラ１に内蔵されているマイクロホンを示す。４はインターネットなどのネットワーク、５はネットワーク４に１台目の監視カメラ１を接続するケーブルを示す。また、６は商店街、７は商店街６の一店舗Ｃ店、８は異常音の音源、９は監視カメラ１から音源８への方向を示す。

１１は２台目の監視カメラ、１２および１３は監視カメラ１１に内蔵されているマイクロホン、１４は監視カメラ１１から音源８への方向を示す。１５はネットワーク４に２台目の監視カメラ１１を接続するケーブルを示す。２０はサーバー２０はネットワーク４にサーバー２０を接続するケーブルを示す。監視カメラ１、１１は、それぞれ、複数のマイクロホンを有する装置である。

なお、音源位置を特定する際、従来技術ではマイクロホン間を最低２ｍ程度あける必要があった。詳細は図１とともに説明するが、本実施例では、監視カメラ１と監視カメラ１１の間隔を１０ｍ離して設置することにより、音源位置の特定を正確に行えるようにしている。また、マイクロホンは監視カメラ１および監視カメラ１１に内蔵されており、課題のひとつであった、マイクロホン接続のための配線を本実施例では不要にしている。

図２において、異常音が音源８から発生すると、監視カメラ１および監視カメラ１１で、音圧が一定以上であることを検出し、検出した結果、音圧が一定以上である場合、異常音処理を行う。異常音処理として、本実施例では映像および音声信号をサーバー２０に伝達する。

マイクロホン２，３，１２，１３により検出した受音信号を元に、音源８の方向である、方向９および方向１４を監視カメラ１および監視カメラ１１で求める。求めた方向データをネットワーク４経由で、サーバー２０に伝達する。サーバーでは方向データに基づき、音源位置８を特定する。サーバー２０は、音源位置を特定する音源位置特定装置である。特定した音源位置８に基づき、異常音に近いカメラを指定して、撮像方向が音源を向き、また、音源までの距離に応じたズーム倍率になるように、ＰＴＺ処理（パン処理、チルト処理、ズーム処理）を行う。

上記のように行うことにより、音源８に近い監視カメラ１１で異常発生位置をズームし、高解像度映像を得ることができる。

図１とともに詳細説明するが、マイクロホン２，３からの受音信号は監視カメラ１で、受音信号同士を、同期させて遅延量を計算し、方向９を求めている。またマイクロホン１２，１３からの受音信号は監視カメラ１１で、受音信号同士を、同期させて遅延量を計算し、方向１４を求めている。

マイクロホン２，３からの受音信号は監視カメラ１で、同一クロックでＡＤ変換している。マイクロホン１２，１３からの受音信号は監視カメラ１１で、同一クロックでＡＤ変換している。課題であった遅延量の計算時、計算結果に誤差が出ることを本実施例では防止している。

なお、パン処理は、カメラ内部に具備されているモータおよびメカ機構により、撮像部を水平方向に回転処理である。チルト処理は、カメラ内部に具備されているモータおよびメカ機構により、撮像部を垂直方向に上下移動処理である。ズーム処理は、カメラの撮像部に具備されているモータおよびズーム機構により、撮影映像を拡大、縮小する処理である。上記のパン処理、チルト処理、ズーム処理をあわせて、以下の説明ではＰＴＺ処理と略して説明する。パン処理、チルト処理により、撮像方向を、所望の方向に向けることができる。

図１は監視カメラ１およびサーバーのブロック図を示す。図２と同一ブロックについては同一番号を付している。

図１において、１は図２で示した１台目の監視カメラである。１１は図２で示した２台目の監視カメラである。内部ブロックについて記載していないが、監視カメラ１と基本的に同じブロック構成である。２，３は図２で示した監視カメラ１に内蔵しているマイクロホンである。２，３のマイクロホンは後述のＰＴＺ駆動部３６により、監視カメラ１の撮影方向が変化しても位置が変化しないところに具備されている。撮影方向により、後述の音源方向処理部３２の出力である、音源方向情報が変化しないようにするためである。

本実施例では、マイクロホン２，３は１０ｃｍの間隔でカメラ内部に設置されている。後述の音源方向処理部３２で音源方向を計算する際に、マイクロホン２，３の間隔を用いる。

３１はオーディオ信号処理部であり、２個のマイクロホンから入ってきた受音信号を、増幅、ＡＤ変換し、デジタルオーディオ信号を出力する。また、受音信号の音圧が閾値以上であるかの検出し、異常音検出信号を出力する。また、２個のマイクロホン間の遅延時間を決定し、遅延時間情報を出力する。なお、オーディオ信号処理部３１については、詳細を図５とともに後述する。

３２は音源方向生成部である。オーディオ信号処理部３１から送られてきた、遅延時間情報を受け取り、音源方向を計算した後、音源方向情報を出力する。

背景技術の項で図９（Ｂ）とともに説明したように、二つのマイクロホン間の遅延時間（ｔ４−ｔ３）がわかれば、式４により、距離１２３が計算できる。また、マイクロホン間隔１２４と距離１２３がわかれば、式５により音源方向である、図９（Ｂ）示の角度１２５が計算できる。式４および、式５の計算を、音源方向処理部３２で行う。

具体例を下記する。

例として遅延時間情報が２５０ｕｓの場合を下記する。２５０ｕｓは秒に直すと０．０００２５秒である音速が１秒間に３４０ｍとすると、図９（Ｂ）に示す距離１２３は、０．０００２５ｘ３４０＝０．０８５ｍ すなわち８．５ｃｍとなる。

マイクロホンの間隔は本実施例では、１０ｃｍであり、図９（Ｂ）に示す距離１２４は１０ｃｍである。式５より図９（Ｂ）示の角度１２５は下記計算となる。
角度１２５＝ａｒｃｃｏｓ（８．５ｃｍ／１０ｃｍ）＝３１．３°
音源方向処理部３２は音源方向情報として上記角度３１．３°を出力する。
３３は撮像部であり、ＣＣＤやＣＭＯＳセンサーなどの光電変換素子により、映像を撮影し、アナログ映像信号を出力する。３４は映像信号処理部であり、撮像部３３から受け取ったアナログ映像信号をデジタル化するとともに、ホワイトバランスなどの映像最適化を行い、デジタル映像信号を出力する。

３５は第一ネットワーク処理部である。オーディオ信号処理部３１からの異常音検出信号をトリガーとして、オーディオ信号処理部３１からのデジタルオーディオ信号および、映像信号処理部３４からのデジタル映像信号をネットワーク４に送出する。また、音源方向処理部３２から音源方向情報を受け取り、ネットワーク４に送出する。

上述した例では３１．３°の音源方向情報を受け取り、ネットワーク４に送出する。加えて、ネットワーク４からパン処理指令、チルト処理指令、ズーム処理指令を、ネットワーク４を介して受け取り、ＰＴＺ処理指令として出力する。

３６はＰＴＺ駆動部であり、第一ネットワーク処理部３５から受け取ったＰＴＺ処理指令に基づき、モータおよびメカ機構を用いてＰＴＺ処理を行う。

次にサーバー２０の内部ブロックに付き説明する。

４１は第２ネットワーク処理部である。ネットワーク４を介して、第一ネットワーク処理部３５から、デジタルオーディオ信号、デジタル映像信号を受信する。受信したデジタルオーディオ信号およびデジタル映像信号は、後述の制御部４３に出力される。また、音源方向処理部３２で求めた音源方向情報を、第一ネットワーク処理部３５経由で受信する。

音源方向処理部３２のところで、説明した例では角度３１．３°を、監視カメラ１から受信する。音源方向情報は、監視カメラ１１からも受信する。以下の説明では角度２０°を監視カメラ１１から受信した例で説明する。

４２は音源位置計算部である。音源位置計算部４２の処理内容を図６とともに説明する。

１は一台目の監視カメラ、１１は２台目の監視カメラ、８は音源である。８０は監視カメラ１と監視カメラ１１間の直線（装置間の距離）であり、設置時あらかじめ、測定しておき、サーバー２０の音源位置計算部４２に記憶しておく。

以下の説明で、直線８０の距離は１０ｍとした例で説明する。
８１は監視カメラ１と音源間の直線
８２は監視カメラ１１と音源間の直線
７８は直線８０から直角に音源に向かって引いた直線である。
７９は直線８０と直線７８が交わる交点である。
７６は監視カメラ１と交点７９間の距離
７７は監視カメラ１１と交点７９間の距離を示す
７１は監視カメラ１から入手した音源方向情報である。
上述した例では角度３１．３°である。
７２は監視カメラ１１から入手した音源方向情報である。角度２０°として、以下に述べる例では説明する。

さて、まず直線７８の距離を計算する。補助線８３と直線７８の距離は同じである。また、補助線８４と７６の距離は同じである。したがって、下記式１０および式１１が成り立つ。
ｔａｎ（角度７１）＝距離７６／距離７８・・・・式１０
ｔａｎ（角度７２）＝距離７７／距離７８・・・・式１１
式１０と式１１の両辺を加算すると、
ｔａｎ（角度７１）＋ｔａｎ（角度７２）＝（距離７６＋距離７７）／距離７８・・・・式１２
距離７６＋距離７７は直線８０の距離なので式１２は式１３となる。
ｔａｎ（角度７１）＋ｔａｎ（角度７２）＝距離８０／距離７８・・・式１３
式１３から距離７８を求める式にすると
距離７８＝距離８０／（ｔａｎ（角度７１）＋ｔａｎ（角度７２））・・・式１４
例として距離８０＝１０ｍ 角度７１＝３１．３° 角度７２＝２０°として計算すると
距離７８＝１０／（０．６０８＋０．３６４）＝１０／０．９７２＝１０．２９ｍ・・・・式１５
となる。

次に直線８１の距離を求める。
距離７８＝距離８１ｘｃｏｓ（角度７１）・・・・式１６
したがって、距離８１＝距離７８／ｃｏｓ（角度７１）・・・・式１７
例題の数値を当てはめると、角度７１＝３１．３°
距離７８＝式１５から１０．２９ｍ
式１７から、距離８１＝１０．２９／０．８５＝１２．１ｍとなる。
同様に直線８２の距離を求める。
距離７８＝距離８２ｘｃｏｓ（角度７２）・・・・式１８
したがって、距離８２＝距離７８／ｃｏｓ（角度７２）・・・・式１９
例題の数値を当てはめると、角度７２＝２０°
距離７８＝式１５から１０．２９ｍ
式１９から、距離８２＝１０．２９／０．９４＝１０．９５ｍとなる。

以上のように、式１７および式１９から直線８１および直線８２の距離を求めることができ、音源８の位置を音源位置計算部４２で計算できる。計算した直線８１および直線８２の距離は後述の制御部４３に出力する。

式１４に記載した距離７８は下記式２０のように表わすことができる。
Ｙ＝Ｘ／（ｔａｎθ１＋ｔａｎθ２）・・・・・式２０
ただし、Ｙ＝距離７８、Ｘ＝距離８０ θ１＝角度７１ θ２＝角度７２
なお、ｔａｎθ１およびｔａｎθ２は角度が９０度のとき、すなわち音源が監視カメラ１と監視カメラ１１のちょうど直線８０上にあるとき、ｔａｎ計算の結果が∞になってしまう。音源位置計算部４２では、ｔａｎ計算の結果が∞場合は、例外処理として距離８１＝距離８２＝距離８０／２として制御部４３に出力する。

図１の説明に戻って、制御部４３では音源位置計算部４２から入手した距離情報を元に、監視カメラ１または監視カメラ１１に、ＰＴＺ指令を生成する。本実施例では、音源に近いほうの監視カメラに対して、撮像方向が音源に向き、ズーム倍率が音源までの距離に応じたズーム倍率になるようにＰＴＺ指令を送信するようにしている。上記、音源位置計算部４２で説明した例では、監視カメラ１１の方が音源に近いので、監視カメラ１１に対し、ＰＴＺ指令を出力する。

また、制御部４３では第２ネットワーク処理部４１から受け取ったデジタルオーディオ信号およびデジタル映像信号を元に、アナログ変換し、スピーカー４５にオーディオ出力および表示部４４に映像表示する。また、制御部４３では、図示していないがキーボードなどの操作により終了操作を行い、第２ネットワーク処理部４１を経由して終了指令を送信する。

図５はオーディオ信号処理部３１の内部ブロックを示す。図において、２，３は第１の監視カメラ１に装着されているマイクロホンである。５１，５２は電圧増幅アンプである。５３，５４は電圧増幅されたオーディオ信号をアナログからデジタルに変換するＡＤ変換器である。５５はＡＤ変換するクロックを生成するＣＰＧ（クロックパルスジェネレータ）である。ＡＤ変換器５３、５４は、単一のＣＰＧ５５からのクロック信号で、それぞれ、オーディオ信号をＡＤ変換する。本実施例ではＡＤ変換用クロックは１ＭＨｚ（周期１ｕｓ）で生成している。

音速を３４０ｍ／秒とすると、１ｕｓで音波が進む距離は０．３４ｍｍとなる。これは図９（Ｂ）示したイメージ図で、距離１２３の分解能が０．３４ｍｍであり、マイクロホン１２１，１２２間の距離１２４である１０ｃｍと比較して、実用上十分な分解能である。計算によると、音源８の位置が監視カメラ１から１０ｍ離れた位置で、１０ｃｍまで音源が変化したことを、上記分解能は検出可能である。そのときの角度の変化は０．２８°である。ズーム機能を有した本実施例の監視カメラ１および監視カメラ１１の、水平画角は１．５°〜５５．８°である。水平画角に比べ、上記分解能は５倍以上の精度であり、最大に拡大しても、音源位置を含んだ映像を取得可能である。

ＣＰＧ５５で生成するクロックは、後述の遅延回路５８にもシフトクロックとして供給される。本実施例において重要なことは、監視カメラ１と監視カメラ１１それぞれ異なるクロックパルスジェネレータを具備している。このように、本実施例では、２種類のクロックを用いて音源位置を特定することができる。

５６は音圧レベル検出部である。ＡＤ変換器５３でＡＤ変換された、マイクロホン２からのオーディオ信号のレベルを検出し、一定レベル以上の場合、異常音が発生したことを、図１図示の第１ネットワーク処理部３５に伝達する。５８は遅延回路である。５７は加算器である。また５９は遅延時間決定部である。

背景技術で述べたように、複数マイクロホンへの到達時間の差を求める方法として、遅延和法と相互相関法などがある。本実施例では遅延和法を用い、到達時間の差を求めている。遅延時間決定部５９の指令により、遅延回路５８の遅延時間を徐々に延ばして、加算器５７で繰り返し加算する。加算した結果が最大値になる時間を遅延時間決定部５９でもとめ、到達時間の差として、図１図示の音源方向処理部３２に出力する。

なお、本実施例では、遅延回路５８の遅延時間を徐々に延ばして、加算器５７で繰り返し加算しているが、たとえば１０ｕｓごとに遅延時間を延ばして、荒く最大値を検出した後、細かく最大値を検出するようにしても良い。また、ＡＤ変換器５３および、５４のあとにメモリを具備し、一定期間のオーディオ信号を記憶しておき、記憶したオーディオ信号に対して、遅延時間を求める処理をしても良い。

図３は監視カメラ１の処理流れを示すフローチャートである。図１、図５で示したブロック図と対比しながら、処理流れを説明する。

流れ２０１は図５に図示したＡＤ変換器５３，５４の処理を示す。流れ２０２はＡＤ変換した音圧が一定レベルＫ１以上かどうか、図５図示の音圧レベル検出部５６で検出する処理を示す。音圧がＫ１のレベル以上の場合流れ２０３に進み、Ｋ１以下のレベルの場合は、流れ２０１に戻りＡＤ変換を繰り返す。流れ２０２は異常音が発生したかどうかの判別である。流れ２０３は、図５図示の遅延時間決定部５９の制御により遅延時間を求める処理を示す。流れ２０４は図１図示の音源方向処理部３２で音源方向情報を計算する処理を示す。流れ２０５は図１図示の第１ネットワーク処理部３５で音源方向情報を送信する処理を示す。

流れ２０６は第１ネットワーク処理部３５経由で、ＰＴＺ指令が来たかどうかの判別である。ＰＴＺ指令が来た場合は、流れ２０７に進み、図１図示のＰＴＺ駆動部３６で監視カメラ１のＰＴＺ処理を行う。ＰＴＺ指令がこなかった場合は、流れ２０８へ進む流れ２０８は、オーディオ信号処理部３１でＡＤ変換したオーディオ信号、映像信号処理部３４でＡＤ変換した映像信号を、第１ネットワーク処理部３５経由でネットワークに送出する処理を示す。映像信号は一般的には、一秒間に３０フレーム程度の速度で、ネットワークから送信する。

流れ２０９はサーバー２０から終了指令が送られてきたかどうかの判別であり、終了指令が送られてきていないときは、流れ２０６から２０９を繰り返す。流れ２１０は映像・音声信号送信終了処理を示す。第１ネットワーク処理部３５を経由してネットワークに配信していた映像・音声の配信を中止する処理である。
以上図３とともに、監視カメラ１の処理流れを説明した。
なお、図２図示の監視カメラ１１の処理流れも基本的には同じである。

図４はサーバー２０の処理流れを示すフローチャートである。図１で示したブロック図と対比しながら、処理流れを説明する。

流れ２５１は第２ネットワーク処理部４１で音源方向情報を受信する処理を示す。音源方向情報を受信すると、流れ２５２に進む。流れ２５２は図１図示の音源位置計算部４２で音源位置を計算する処理を示す。具体的には図６の直線８１の距離と直線８２の距離を計算する。

なお、監視カメラ１、１１で遅延時間から音源方向情報を計算してから、サーバー２０で音源方向情報を計算した。また、監視カメラ１、１１から音源方向情報として遅延時間をサーバー２０に送って、監視カメラ１、１１で、遅延時間から音源方向情報を計算し、さらに、音源位置情報（監視カメラ１、１１から音源までの距離）を計算してもよい。監視カメラ１、１１のマイクロホン間の距離は、サーバー２０に既知としてもよいし、監視カメラ１、１１から遅延時間と共にサーバー２０に送ってもよい。

流れ２５３は、図１図示の制御部４３の処理により、音源位置の計算結果から、複数カメラのうちの一台にＰＴＺ指令を送信する処理を示す。ここでは、撮像方向が音源を向き、ズーム倍率が音源までの距離に応じたズーム倍率になるように指令する。流れ２５４は映像・音声信号を受信したかどうかの判別である。受信していない場合は、流れ２５４の判別を繰り返す。受信した場合は、流れ２５５に進む。流れ２５５は、制御部４３の処理により、受信した映像信号を表示部４４に表示する処理である。流れ２５６は、制御部４３の処理により、受信したオーディオ信号をスピーカー４５からオーディオ出力する処理を示す。

流れ２５７は、制御部４３の処理により、終了操作が行われたかどうかの判別である。終了操作が行われなかった場合、流れ２５４から２５７を繰り返し、第２ネットワーク処理部４１で受信した映像信号、オーディオ信号を、繰り返し表示部４４に表示およびスピーカー４５への出力処理を行う。終了操作が行われた場合は、流れ２５８に進み終了指示を第２ネットワーク処理部４１経由で送信する。
以上本発明の第１の実施例を説明した。

本実施例では、図１図示の監視カメラ１および監視カメラ１１の、音源方向処理部３２で音源方向情報をそれぞれ計算し、サーバー２０の音源位置計算部で音源位置する計算を行うことで、目的を実現している。

すなわち、マイクロホン間の遅延量の計算が必要な、音源方向情報を計算するときは、同一クロックを使用している。図２図示のマイクロホン２，３で音源方向９を計算する際は、監視カメラ１のクロックを用い、マイクロホン１２，１３で音源方向１４を計算する際は、監視カメラ１１のクロックを用いている。このため、上述した、異なるクロックによる誤差の影響を排除している。

また、従来例では、図９図示の距離１０５を用いて、音源位置の計算を行っていた。
従来技術の課題のひとつであった、最大１０ｍ先の音源を特定する場合、マイクロホン間は最低２ｍ程度あける必要があった。しかし、本実施例では、マイクロホン間の距離の変わりに、図６図示した、監視カメラ１と監視カメラ１１の距離８０用いて音源位置の計算を行うようにし、距離８０を１０ｍ離すとともに、マイクロホン接続のための追加配線を不要とした。

なお、本実施例では、２台の監視カメラでの実施例で説明したが、むろん３台以上の監視カメラシステムでもよい。

本実施例では、方向情報のみをサーバーに送信していたが、３台以上のカメラシステムで、音圧レベルもサーバーに送るようにして、音圧レベルが高い２台のカメラを選択した後、選択した２台のカメラだけで図３に示した処理を行うようにしてもよい。

また、音源の方向を生成する際、本実施例では、遅延和法を用いて処理したが、相互相関法を用いて処理してもよい。

本実施例では異常音の検出を音圧レベルで検出していたが、受音信号の周波数により異常音検出しても良い。異常音を検出した際に、本実施例では、映像および音声信号を、ネットワーク経由でサーバーに送るようにしているが、常時映像および音声信号を送るようにしてもよく、また異常音が発生したときに異常通知を送るようにしてもよい。また、映像および音声信号をサーバーで録画録音するようにしても良い。サーバーが異常通知を受け取った際に音源を特定し、特定された店舗に異常事態を、たとえば携帯電話に自動的にメール連絡するようにしてもよい。

以下、図７，８を参照して、本発明の第２の実施例による、カメラシステムについて説明する。

図７は電池駆動のカメラ３０１と、電池駆動の外部ユニット３１１で構成されたカメラシステムである。音源３２１の位置を特定し、カメラ３０１に具備されているＰＴＺ駆動部を用いて、ＰＴＺ駆動し、音源付近の被写体を撮影する。たとえば、鳥の鳴き声から音源位置を特定して撮影するのに好適なカメラシステムである。

図において３０２，３０３はカメラ３０１に具備されているマイクロホンである。３０４は着脱可能な記憶素子であるＳＤカードなどのメモリカードである。３０５は外部ユニット３１１からの情報を赤外線で受信する赤外線受信部である。３１２，３１３は外部ユニット３１１に具備されているマイクロホンである。３１４は外部ユニットで生成した情報を赤外線で送信する赤外線送信部である。

カメラ３０１、外部ユニット３１１は、それぞれ、複数のマイクロホンを有する装置である。また、カメラ３０１は、音源位置情報を特定する音源位置特定装置である。

音源３２１で音が鳴ったとき、たとえば小鳥の鳴き声が鳴ったとき、カメラ３０１で音源の方向３２２を計算する。また外部ユニットでも、音源の方向３２３を計算し、計算した音源方向情報を、赤外線送信部３１４を用いて送信する。音源の方向３２３を赤外線受信部で受信したカメラ３０１は、音源の方向３２２と３２３を用いて、音源位置を計算し、ＰＴＺ駆動部を用いてカメラの水平方向の角度、垂直方向の角度、ズーム倍率を変更し、音源近くの被写体を撮影可能にしている。

図８は外部ユニット３１１およびカメラ３０１の内部ブロックを示したブロック図である。図において外部ユニット３１１のオーディオ信号処理部３１５は、マイクロホン３１２，３１３からのアナログ信号を増幅し、ＡＤ変換する。また、第１の実施例と同様、図９（Ｂ）の１２３にしめす、二つのマイクロホンが受けた、受音信号の遅延時間を遅延和法により求め、出力する。

３１６は音源方向処理部である。オーディオ信号処理部３１５から受け取った遅延時間を元に、第１の実施例と同様、背景技術で記載した式５により、音源方向情報をもとめる。音源方向処理部３１６で求めた音源方向情報は、赤外線送信部３１４に伝達され、赤外線をもちいて、外部ユニット３１１からカメラ３０１に送信される。

カメラ３０１のオーディオ信号処理部３２０は、マイクロホン３０２，３０３からのアナログ信号を増幅し、ＡＤ変換する。また、外部ユニット３１１と同様、図９（Ｂ）の１２３にしめす、二つのマイクロホンが受けた受音信号の遅延時間を、遅延和法により求め、出力する。３２１は音源方向処理部である。オーディオ信号処理部３２０から受け取った遅延時間を元に、外部ユニット３１１と同様、背景技術で記載した式５により、音源方向情報をもとめる。

３２６は音源位置計算部である。カメラ３０１の音源方向処理部３２１からの音源方向情報と、外部ユニット３１１の音源方向処理部３１６からの音源方向情報を用い、音源位置を特定する。第１の実施例と同様、式１７および式１９を使って、図７図示の距離３２２および距離３２３を求めることにより音源位置を特定している。

なお、外部ユニット３１１で遅延時間から音源方向情報を計算してから、カメラ３０１で音源方向情報を計算した。また、外部ユニット３１１から音源方向情報として遅延時間をカメラ３０１に送って、カメラ３０１で、遅延時間から音源方向情報を計算し、さらに、音源位置情報（カメラ３０１から音源までの距離）を計算してもよい。外部ユニット３１１のマイクロホン間の距離は、カメラ３０１に既知としてもよいし、外部ユニット３１１から遅延時間と共にカメラ３０１に送ってもよい。

３２２は撮像部であり、ＣＣＤやＣＭＯＳセンサーなどの光電変換素子により、映像を撮影し、アナログ映像信号を出力する。３２３は映像信号処理部であり、撮像部３２２から受け取ったアナログ映像信号をデジタル化するとともに、ホワイトバランスなどの映像最適化を行い、デジタル映像信号を出力する。

３２４は制御部であり、音源位置計算部３２６から入手した距離情報を元に、カメラ３０１内部のＰＴＺ駆動部３２５に、ＰＴＺ制御命令を送信する。また、制御部３２４は一定以上の音圧を検知すると、映像信号処理部３２３からのデジタル映像信号およびオーディオ信号処理部３２０からのデジタルオーディオ信号を入手する。入手したデジタル映像信号および、デジタルオーディオ信号は、ＳＤカード３０４に送信し記憶する。

３２５はＰＴＺ駆動部であり、制御部３２４から受け取ったＰＴＺ処理指令に基づき、モータおよびメカ機構を用いてＰＴＺ処理を行う。

以上本発明の第２の実施例に付き説明した。本実施例では、図８図示の外部ユニット３１１およびカメラ３０１で音源方向情報を計算し、カメラ３０１内部の音源位置計算部で音源を特定する計算を行うことで、本発明の目的を実現している。

なお、本実施例では、外部ユニット３１１が一台しかない場合の実施例を説明したが、外部ユニットを２台用意し、一台は水平方向での音源位置を特定し、もう一台は垂直方向での音源位置を特定するようにしても良い。

音源の方向を生成する際、本実施例では、遅延和法を用いて処理したが、相互相関法を用いて処理してもよい。

本実施例では、一台のカメラに外部ユニットを赤外線接続する場合を示したが、複数台のカメラ間を赤外線接続するようにしても良い。また赤外線通信でなく、無線による通信を用いても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ １台目の監視カメラ
１１ ２台目の監視カメラ
２，３，１２，１３ マイクロホン
４ ネットワーク
８ 音源

Claims (7)

1. 複数の装置のそれぞれは、複数のマイクロホンを有し、前記複数のマイクロホンのそれぞれにより受音したオーディオ信号を元に音源方向情報を求め、
   音源位置特定装置は、前記複数の装置で求められた音源方向情報に基づき、音源位置情報を特定することを特徴とする音源位置特定方法。
2. 前記複数のマイクロホンで受音したオーディオ信号は、単一のクロックパルスジェネレータからのクロック信号で、ＡＤ変換されることを特徴とする請求項１に記載の音源位置特定方法。
3. 前記音源位置特定装置は、前記複数の装置で求められた音源方向情報と、前記複数の装置間の距離を元に、前記音源位置情報を特定することを特徴とする請求項１又は２に記載の音源位置特定方法。
4. 前記複数の装置の少なくともひとつは撮像手段を備えており、前記特定された音源位置に応じて前記撮像手段の撮像方向またはズーム倍率を変更することを特徴とする請求項１から３のいずれか１項に記載の音源位置特定方法。
5. 前記複数の装置の少なくともふたつは撮像手段を備えており、前記特定された音源位置に応じて前記音源に近い方の前記撮像手段の撮像方向またはズーム倍率を変更することを特徴とする請求項１から４のいずれか１項に記載の音源位置特定方法。
6. 前記複数の装置のひとつが前記音源位置特定装置であることを特徴とする請求項１から３のいずれか１項に記載の音源位置特定方法。
7. 複数の装置のそれぞれは、複数のマイクロホンを有し、前記複数のマイクロホンのそれぞれにより受音したオーディオ信号を元に音源方向情報を求め、
   前記複数の装置のひとつは、前記複数の装置で求められた音源方向情報に基づき、音源位置を特定することを特徴とする音源位置特定方法。

Images