JP2007104546A - 安全管理装置 - Google Patents
安全管理装置 Download PDFInfo
- Publication number
- JP2007104546A JP2007104546A JP2005294745A JP2005294745A JP2007104546A JP 2007104546 A JP2007104546 A JP 2007104546A JP 2005294745 A JP2005294745 A JP 2005294745A JP 2005294745 A JP2005294745 A JP 2005294745A JP 2007104546 A JP2007104546 A JP 2007104546A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- sound
- data
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】観察者が公共施設等に設置したマイクロホンアレーを通して得られた3次元の音響情報をモニタリングすることにより、少ない人員で広い空間における安全を効率的に管理することのできる安全管理装置を提供すること。
【解決手段】安全管理装置は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部1と、マイクロホンアレー部1から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部2と、マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部3と、信号処理部3に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェース7と、信号処理部3から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部4とから構成される。
【選択図】図1
【解決手段】安全管理装置は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部1と、マイクロホンアレー部1から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部2と、マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部3と、信号処理部3に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェース7と、信号処理部3から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部4とから構成される。
【選択図】図1
Description
本発明は、情報通信機器を用いた危機管理乃至安全管理に適用される安全管理装置に係り、より詳細には、3次元音響技術、音源分離、3次元映像処理技術などを利用して、空間における防犯、犯罪捜査、事故原因究明、危機管理、テロ対策などに適用される安全管理装置に関する。
近年、凶悪犯罪、特に無差別テロ攻撃に対する対策が国際的な重要課題となっている。空港など一部の施設では、X線や金属探知機による検査が行われているが、それ以外では、警備員による巡回と防犯カメラに頼っているのが現状である。
一方、音を利用した防犯、安全技術としては、音を発生させることによって危険を知らせる非常ベルや警報音、モーターやエンジンの異常を音で検出する技術が実用化されているにすぎない。
マイクロホンアレーを用いた3次元音響技術は、音源分離や移動音源の追跡に有効な手段であり、主に雑音環境下や、またはビデオ会議システムなどにおいて、複数話者の中から特定の話者の声だけを抽出する方法として(特許文献1)、音声認識装置やロボットの要素技術として研究が進められている(非特許文献1、2)。また、マイクロホンアレー近傍の音を選択的に収音する技術も提案されている(非特許文献3、4)。さらに、音源の種類とその発生方向を識別する技術や特定の周波数の音を監視する防犯装置も提案されている(特許文献2)。
特表2004−528766
特願2005−25632
J.-M. Valin、 F. Michaud、J. Rouat、 and D. L´etourneau、 "Robustsound source localization using a microphone array on a mobile robot、" in Proc. IROS、 2003
Yasuaki Ohashi、 Tsuyoki Nishikawa、 Hiroshi Saruwatari、 Akinobu Lee、 Kiyohiro Shikano、 ``Noise Robust Speech Recognition Based on Spatial Subtraction Array、'' Proceedingsof International Workshop on Nonlinear Signal and Image Processing (NSIP2005)、 pp324−327、 May 2005
榎本成悟、伊勢史郎、"多重極展開を用いた急峻な距離減衰特性を持つマイクロホンシステムの提案、"日本音響学会誌、58、261-270、2002
榎本成悟、伊勢史郎、"境界音場制御の原理を用いた収音範囲の局所化を実現するマイクロホンシステムの提案、"日本音響学会誌、61、516-523、2005
防犯カメラは、ATMやコンビニエンスストアなど比較的狭い空間ではきわめて有効に機能するが、カメラで監視できる範囲が限定されており、障害物によって視野が遮られる場合もあるため、空港、駅など広い空間を常時監視するためには難点がある。
また、大都市部においては、鉄道および地下鉄の駅だけでもかなりの数があり、これを巡回しようとすると警備員の数が膨大となる。一度発生すれば甚大な被害をもたらす可能性がある反面、発生するかどうかもわからない犯罪や事故のために常時配備できる警備員の数は限られる。
一般に、音は、画像に比べてデータサイズが圧倒的に小さく、方向や障害物の影響も受けにくい。また、3次元音響技術は、音源分離や話者識別方法、雑音除去方法に関して、実験室レベルではかなり研究が進められている。しかし、音の種類を機械に自動識別させるのは技術的に困難であり、特に実環境下では識別率が低くなると考えられる。識別率を上げるために、周波数範囲を限定しようとすると、対象とする音が絞られることになり、用途が制限される。これに対して、ヒトの聴覚はかなり雑音の多い環境下でも特定の音を選択的に聞き分ける能力を備えている。
本研究の目的は、上記の問題点に鑑み、観察者が公共施設等に設置したマイクロホンアレーを通して得られた3次元の音響情報をモニタリングすることにより、少ない人員で広い空間における安全を効率的に管理することのできる安全管理装置を提供することにある。
本発明は、上記の問題を解決するため、下記の手段を採用した。
第1の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、該マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部と、前記マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部と、該信号処理部に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェースと、前記信号処理部から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部とを備えることを特徴とする安全管理装置である。
第2の手段は、第1の手段において、前記データ変換部におけるデジタル信号をデータ圧縮する機能を備える前記データ変換部と、前記データ圧縮されたデータを保存するデータ記録部と、前記データ記録部から読み出されたデータを復号化し、復号化されたデジタル信号を前記信号処理部へ送出するデータ復号化部とを備えることを特徴とする安全管理装置である。
第3の手段は、第1の手段または第2の手段において、前記信号処理部は、ステレオまたは3チャネル以上のマルチチャネル立体音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第4の手段は、第1の手段または第2の手段において、前記信号処理部は、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第5の手段は、第1の手段乃至第4の手段のいずれか1つの手段において、 観測空間の3次元形状データを記憶する3次元形状データ保存部と、前記マンマシンインタフェースから入力される観測区間内の任意の位置情報に応じて前記3次元形状データ保存部に記憶されている3次元形状データから仮想3次元画像を形成する3次元画像処理部と、前記仮想3次元画像を表示する3次元画像表示部とを備え、前記マンマシンインタフェースから前記信号処理部に入力される観測区間内の任意の位置情報と連動して前記3次元画像表示部に前記仮想3次元画像を表示させることを特徴とする安全管理装置である。
第6の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、参照危険音データが記憶された危険音データベースと、前記マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、前記デジタル信号と前記危険音データベースに記録された参照危険音データとを比較して危険音を検出する危険音検出部と、該危険音検出部から入力される各チャンネル間の前記危険音の音圧差および/または伝達時間差から危険音の発生位置を推定する音源位置推定部とを備えることを特徴とする安全管理装置である。
第7の手段は、第6の手段において、前記危険音データベースに記憶される参照危険音データは、学習により更新されることを特徴とする安全管理装置である。
第1の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、該マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部と、前記マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部と、該信号処理部に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェースと、前記信号処理部から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部とを備えることを特徴とする安全管理装置である。
第2の手段は、第1の手段において、前記データ変換部におけるデジタル信号をデータ圧縮する機能を備える前記データ変換部と、前記データ圧縮されたデータを保存するデータ記録部と、前記データ記録部から読み出されたデータを復号化し、復号化されたデジタル信号を前記信号処理部へ送出するデータ復号化部とを備えることを特徴とする安全管理装置である。
第3の手段は、第1の手段または第2の手段において、前記信号処理部は、ステレオまたは3チャネル以上のマルチチャネル立体音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第4の手段は、第1の手段または第2の手段において、前記信号処理部は、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成し、前記音響出力部に出力することを特徴とする安全管理装置である。
第5の手段は、第1の手段乃至第4の手段のいずれか1つの手段において、 観測空間の3次元形状データを記憶する3次元形状データ保存部と、前記マンマシンインタフェースから入力される観測区間内の任意の位置情報に応じて前記3次元形状データ保存部に記憶されている3次元形状データから仮想3次元画像を形成する3次元画像処理部と、前記仮想3次元画像を表示する3次元画像表示部とを備え、前記マンマシンインタフェースから前記信号処理部に入力される観測区間内の任意の位置情報と連動して前記3次元画像表示部に前記仮想3次元画像を表示させることを特徴とする安全管理装置である。
第6の手段は、観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、参照危険音データが記憶された危険音データベースと、前記マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、前記デジタル信号と前記危険音データベースに記録された参照危険音データとを比較して危険音を検出する危険音検出部と、該危険音検出部から入力される各チャンネル間の前記危険音の音圧差および/または伝達時間差から危険音の発生位置を推定する音源位置推定部とを備えることを特徴とする安全管理装置である。
第7の手段は、第6の手段において、前記危険音データベースに記憶される参照危険音データは、学習により更新されることを特徴とする安全管理装置である。
上述のとおり本発明では、優れた音の識別能力をもつヒトの聴覚と3次元音響情報を利用することにより、防犯カメラが監視できる範囲では、映像と音の併用によってより詳細な3次元空間情報を得ることが可能となり、防犯カメラの監視区域外でも音によって空間的な情報を得ることが可能となる。よって従来よりも広い空間の情報を効率的にモニタリングすることが可能となる。
また、悲鳴や爆音など認識が容易な音については自動検出機能を備えることにより、事故や犯罪の発生および発生場所の迅速な把握が可能となる。危険音データベースが学習によって更新されることにより、危険音、異常音の検出精度を向上させることが可能である。
観測者は、マルチチャネル立体音響信号あるいはバイノーラル音響信号を聞くことによって観測空間内の音響情報を感覚的に把握できる。さらに3次元映像技術との連携によって遠隔地にいる観測者が仮想3次元空間内にて音源を探索、追跡することが可能である。
マイクロホンアレー部からのマルチチャネルデータは、圧縮し、一定期間保存しておくことができ、保存中のデータは必要に応じて呼び出すことができるので、犯罪捜査や事故原因の究明に利用することができる。データの保存期間は、データ記録部の容量に依存する。
本発明は、空港や駅、バスターミナル、その他の公共施設やビル、商店街のアーケード、踏み切りや交差点など広範な場所に設置が可能であり、用途も防犯、犯罪捜査、交通事故の状況確認、原因究明、不審者や不審車両の追跡など多岐にわたる。
本発明の第1の実施形態例を図1を用いて説明する。
図1は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、1は観測空間内に設置された複数のマイクロホンと増幅器からなるマイクロホンアレー部、2はマイクロホンアレー部1から入力されるマルチチャネルのアナログ電気信号をデジタル信号に変換し、必要に応じて変換されたデジタル信号をデータ圧縮する機能を備えるデータ変換部、3はマルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部、4は信号処理部3から出力されるデジタル信号をアナログ信号に変換し音響信号として出力する音響出力部、5はデータ変換部2でデータ圧縮されたデータを保存するデータ記録部、6はデータ記録部5から読み出されたデータを復号化し、復号化された信号を信号処理部3へ送出するデータ復号化部、7は観測希望位置の座標データを信号処理部3に入力するマンマシンインタフェースである。
同図において、この安全管理装置は以下のように動作する。マイクロホンアレー部1にて入力された音響信号がマルチチャネルのアナログ電気信号に変換され、アナログ電気信号はデータ変換部2にてデジタル信号に変換される。デジタル信号に変換されたマルチチャネルの信号は信号処理部3へ送出される。また、データ変換部2において、デジタル信号は必要に応じて圧縮され、データ記録部5へ送られる。データ記録部5では、一定期間にわたる過去のデータが保存される。データ記録部5に保存されたデータは必要なときに呼び出され、データ復号化部6にてマルチチャネルのデジタル信号に復号化され、信号処理部3へ送られる。ユーザーは、マンマシンインタフェース7を介して観測したい位置(仮にXと置く)の座標情報(x、y、z)を信号処理部3に入力する。このとき、Xの座標情報(x、y、z)をキーボード等から数値として入力するのでは時間もかかり実用性に欠ける。そこで、より簡便かつ直感的な操作で座標情報を入力できるよう、マウス、トラックボール、タッチパネルのような操作性に優れたコントローラを備えたマンマシンインタフェース7が必要となる。信号処理部3では、チャネル間の伝達時間差(遅延時間△t0、△t1、・・・△tN−1)の補正が行われ、観測希望位置Xにおける音響信号または観測者または汎用の頭部伝達関数(頭部や耳朶等の影響)が畳み込まれたバイノーラル音響信号(3次元情報を含んだヘッドホン用信号)が合成され、音響出力部4から出力される。
図1は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、1は観測空間内に設置された複数のマイクロホンと増幅器からなるマイクロホンアレー部、2はマイクロホンアレー部1から入力されるマルチチャネルのアナログ電気信号をデジタル信号に変換し、必要に応じて変換されたデジタル信号をデータ圧縮する機能を備えるデータ変換部、3はマルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部、4は信号処理部3から出力されるデジタル信号をアナログ信号に変換し音響信号として出力する音響出力部、5はデータ変換部2でデータ圧縮されたデータを保存するデータ記録部、6はデータ記録部5から読み出されたデータを復号化し、復号化された信号を信号処理部3へ送出するデータ復号化部、7は観測希望位置の座標データを信号処理部3に入力するマンマシンインタフェースである。
同図において、この安全管理装置は以下のように動作する。マイクロホンアレー部1にて入力された音響信号がマルチチャネルのアナログ電気信号に変換され、アナログ電気信号はデータ変換部2にてデジタル信号に変換される。デジタル信号に変換されたマルチチャネルの信号は信号処理部3へ送出される。また、データ変換部2において、デジタル信号は必要に応じて圧縮され、データ記録部5へ送られる。データ記録部5では、一定期間にわたる過去のデータが保存される。データ記録部5に保存されたデータは必要なときに呼び出され、データ復号化部6にてマルチチャネルのデジタル信号に復号化され、信号処理部3へ送られる。ユーザーは、マンマシンインタフェース7を介して観測したい位置(仮にXと置く)の座標情報(x、y、z)を信号処理部3に入力する。このとき、Xの座標情報(x、y、z)をキーボード等から数値として入力するのでは時間もかかり実用性に欠ける。そこで、より簡便かつ直感的な操作で座標情報を入力できるよう、マウス、トラックボール、タッチパネルのような操作性に優れたコントローラを備えたマンマシンインタフェース7が必要となる。信号処理部3では、チャネル間の伝達時間差(遅延時間△t0、△t1、・・・△tN−1)の補正が行われ、観測希望位置Xにおける音響信号または観測者または汎用の頭部伝達関数(頭部や耳朶等の影響)が畳み込まれたバイノーラル音響信号(3次元情報を含んだヘッドホン用信号)が合成され、音響出力部4から出力される。
信号処理部3にて行われる処理について式1から式3を用いて説明する。
音波がt(秒)間に進む距離l(m)は音速c(m)と伝達時間t(秒)の積で求まる(式1)。よって、距離lが既知の場合、距離lから伝達時間tを求めることができる(式2)。
観測希望位置をXとする。Xを時刻tに通過した音が各マイクロホンに到達するのに要する遅延時間△t0、△t1、△t2、・・・△tN-1は、個々のマイクロホンとXとの距離(l0、l1、l2、・・・lN-1)を音速c(m)で除することによって求められる。時刻tにおける各マイクロホンからの出力信号をS0(t)、S1(t)、S2(t)、・・・、SN-1(t)とすると、式3にてXを時刻tに通過した信号の和SX(t)を推測できる。
式3において、Xを時刻tに通過した音は同位相で加算されるために増幅されるが、他の音は位相が揃っていないために増幅されない。このようにして任意の位置で生じた音だけを選択的に増幅することが可能となる。
また、観測空間内の任意の2点において観測される音圧を推定すれば、ステレオ音響信号を合成することができる。仮想観測点を3点あるいはそれ以上とするマルチチャネル立体音響信号を合成してもよい。さらには、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成してもよい。合成された信号をステレオ再生、マルチチャネル再生またはバイノーラル(ヘッドホン)再生することにより、実際には遠隔地にいても観測者は仮想的にX点で音を聞いている状態を体験できる。
ここで、観測希望位置Xは任意に決められ、時間とともに移動(更新)することもできるので、観測者は仮想空間内を移動しながら周囲の音情報を観測することができる。この点は、従来のビデオ会議システムなどと大きく異なり、これにより音源を動的に探索、追跡することが可能となる。
音波がt(秒)間に進む距離l(m)は音速c(m)と伝達時間t(秒)の積で求まる(式1)。よって、距離lが既知の場合、距離lから伝達時間tを求めることができる(式2)。
観測希望位置をXとする。Xを時刻tに通過した音が各マイクロホンに到達するのに要する遅延時間△t0、△t1、△t2、・・・△tN-1は、個々のマイクロホンとXとの距離(l0、l1、l2、・・・lN-1)を音速c(m)で除することによって求められる。時刻tにおける各マイクロホンからの出力信号をS0(t)、S1(t)、S2(t)、・・・、SN-1(t)とすると、式3にてXを時刻tに通過した信号の和SX(t)を推測できる。
式3において、Xを時刻tに通過した音は同位相で加算されるために増幅されるが、他の音は位相が揃っていないために増幅されない。このようにして任意の位置で生じた音だけを選択的に増幅することが可能となる。
また、観測空間内の任意の2点において観測される音圧を推定すれば、ステレオ音響信号を合成することができる。仮想観測点を3点あるいはそれ以上とするマルチチャネル立体音響信号を合成してもよい。さらには、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成してもよい。合成された信号をステレオ再生、マルチチャネル再生またはバイノーラル(ヘッドホン)再生することにより、実際には遠隔地にいても観測者は仮想的にX点で音を聞いている状態を体験できる。
ここで、観測希望位置Xは任意に決められ、時間とともに移動(更新)することもできるので、観測者は仮想空間内を移動しながら周囲の音情報を観測することができる。この点は、従来のビデオ会議システムなどと大きく異なり、これにより音源を動的に探索、追跡することが可能となる。
次に、本発明の第2の実施形態を図2を用いて説明する。
図2は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、8は観測空間の3次元形状データを記憶する3次元形状データ保存部、9はマンマシンインタフェース7から入力される観測区間内の任意の位置情報に応じて3次元形状データ保存部8に記憶されている3次元形状データから仮想3次元画像を形成する3次元画像処理部、10は、プロジェクタやディスプレイなどから構成され、仮想3次元画像を表示する3次元画像表示部である。なお、その他の構成は図1に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。マンマシンインタフェース7から信号処理部3と3次元画像処理部9に観測希望位置の情報が入力されると、3次元画像処理部9において3次元形状データ保存部8に記録されている観測空間の3次元形状データに基づいた仮想3次元画像が合成される。合成された仮想3次元画像は3次元画像表示部10によって表示される。これと同期して、信号処理部3にて合成された立体音響信号が音響出力部4から出力される。その結果、観測者は、表示された仮想3次元空間内を移動するのに連動して仮想の観測位置を移動させることが可能となる。したがって、観測者は仮想3次元空間内にて音源の分離、探索、追跡を行うことが可能となり、将来、機械による音源分離、識別、探索、追跡の技術が実用化レベルに達した場合には、さらに効率的な安全管理を実現することができる
図2は、本実施形態の発明に係る安全管理装置の構成を示す図である。
同図において、8は観測空間の3次元形状データを記憶する3次元形状データ保存部、9はマンマシンインタフェース7から入力される観測区間内の任意の位置情報に応じて3次元形状データ保存部8に記憶されている3次元形状データから仮想3次元画像を形成する3次元画像処理部、10は、プロジェクタやディスプレイなどから構成され、仮想3次元画像を表示する3次元画像表示部である。なお、その他の構成は図1に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。マンマシンインタフェース7から信号処理部3と3次元画像処理部9に観測希望位置の情報が入力されると、3次元画像処理部9において3次元形状データ保存部8に記録されている観測空間の3次元形状データに基づいた仮想3次元画像が合成される。合成された仮想3次元画像は3次元画像表示部10によって表示される。これと同期して、信号処理部3にて合成された立体音響信号が音響出力部4から出力される。その結果、観測者は、表示された仮想3次元空間内を移動するのに連動して仮想の観測位置を移動させることが可能となる。したがって、観測者は仮想3次元空間内にて音源の分離、探索、追跡を行うことが可能となり、将来、機械による音源分離、識別、探索、追跡の技術が実用化レベルに達した場合には、さらに効率的な安全管理を実現することができる
次に、本発明の第3の実施形態例を図3を用いて説明する。
図3は、本実施形態の発明に係る安全管理装置の構成を示す図である。
11はマイクロホンアレー部1から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、各チャネルのデジタル信号の波形分析および/またはスペクトル解析を行い、波形分析および/またはスペクトル解析の結果得られた波形データおよび/またはスペクトルデータと危険音データベース12に記録されている参照危険音の波形データおよび/またはスペクトルデータとを比較して危険音の有無を判定する危険音検出部、12は波形データおよび/またはスペクトルデータからなる参照危険音データを記憶する危険音データベース、13は危険音検出部11から入力される各チャンネル間の危険音の音圧差および/または伝達時間差から危険音の発生位置を推定する危険音音源位置推定部である。なお、その他の構成は図1に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。複数個配置されたマイクロホンによって検出された音響信号はマイクロホンアレー部1でマルチチャネルのアナログ電気信号に変換され、危険音検出部11に入力される。危険音検出部11に入力されたアナログ信号はマルチチャネルのデジタル信号に変換され、各デジタル信号は波形分析および/またはスペクトル解析が行われる。波形分析および/またはスペクトル解析の結果得られた波形データおよび/またはスペクトルデータは、危険音データベース12に登録されている衝突音、爆音、悲鳴、各種機器の故障や誤動作による異常音などからなる参照危険音の波形データおよび/またはスペクトルデータと比較され、危険音と類似した音が存在するかどうか判定される。検出された危険音は危険音音源位置推定部13に入力され、各チャネル間の危険音の音圧差および/または伝達時間差から危険音の音源位置が推定され、推定された危険音音源位置情報は警報音やアラームと共に観測者に知らされる。
ここで、危険音音源位置推定部13における危険音音源位置の推定を図4、図5および式4から式9を用いて説明する。図4は危険音音源位置とマイクロホンの位置関係を示す図である。ここで、危険音音源とマイクロホン0、マイクロホン1、マイクロホン2までの距離をそれぞれl0、l0+△l1、l0+△l2とする。危険音音源の位置は不明なので、マイクロホン0までの距離l0は未知だが、△l1、△l2は危険音がマイクロホン0に到達してからマイクロホン1、マイクロホン2に到達するまでの遅延時間から、式1の関係により求められる。また、マイクロホン間の距離dは既知である。危険音音源からマイクロホン0までの距離l0は、垂直成分をyと水平成分をxとすると、
とあらわせる。危険音音源からマイクロホン2、マイクロホン3までの距離も同様に、
とそれぞれあらわせる。式5、式6の両辺を二乗し、式4を代入すると、
が得られる。式7と式8から、
となる。ここで、前述のとおりdは既知であり、△l1、△l2は遅延時間から求められるので、危険音音源とマイクロホン0の距離l0が求められる。このように、危険音が各マイクロホンに到達する時間の差から、危険音音源と各マイクロホンの距離が求められる。複数のマイクロホンからの距離がわかれば危険音音源位置を特定できる。
また、危険音音源を点音源と仮定すると、観測される音圧は、危険音音源からの距離の2乗に反比例する。2つのマイクロホンマイクロホン0、マイクロホン1にて観測される音圧をそれぞれP0、P1、危険音音源からそれぞれのマイクロホンまでの距離をl0、l1とすると、
の関係となる。P0、P1は観測によって得られるので、式9よりl0とl1の比が求められる。マイクロホン1の音圧がマイクロホン0の音圧のn分の1、すなわち、
のとき、音源は、式9より、
を満たす位置にあると考えられる。例えば、図5に示すようにマイクロホン間の距離がdで、マイクロホン1の音圧がマイクロホン0の音圧の4分の1、すなわち、
なら、距離の比は、
となり、危険音音源は、図5に破線で示す球面上にあることが推定できる。マイクロホンの数を増やせばさらに危険音音源位置を絞り込むことができる。
このように、危険音音源位置推定部13では、チャネル間の到達時間差(遅延)や音圧差を元に危険音の音源位置を推定することができる。
危険音音源位置推定部13からは推定された危険音音源の位置情報が出力される。これを監視カメラと連動させることにより、事故や犯罪の発生場所の映像を効率的にモニタできる。
図3は、本実施形態の発明に係る安全管理装置の構成を示す図である。
11はマイクロホンアレー部1から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、各チャネルのデジタル信号の波形分析および/またはスペクトル解析を行い、波形分析および/またはスペクトル解析の結果得られた波形データおよび/またはスペクトルデータと危険音データベース12に記録されている参照危険音の波形データおよび/またはスペクトルデータとを比較して危険音の有無を判定する危険音検出部、12は波形データおよび/またはスペクトルデータからなる参照危険音データを記憶する危険音データベース、13は危険音検出部11から入力される各チャンネル間の危険音の音圧差および/または伝達時間差から危険音の発生位置を推定する危険音音源位置推定部である。なお、その他の構成は図1に示す同符号の構成に対応するので説明を省略する。
同図において、この安全管理装置は以下のように動作する。複数個配置されたマイクロホンによって検出された音響信号はマイクロホンアレー部1でマルチチャネルのアナログ電気信号に変換され、危険音検出部11に入力される。危険音検出部11に入力されたアナログ信号はマルチチャネルのデジタル信号に変換され、各デジタル信号は波形分析および/またはスペクトル解析が行われる。波形分析および/またはスペクトル解析の結果得られた波形データおよび/またはスペクトルデータは、危険音データベース12に登録されている衝突音、爆音、悲鳴、各種機器の故障や誤動作による異常音などからなる参照危険音の波形データおよび/またはスペクトルデータと比較され、危険音と類似した音が存在するかどうか判定される。検出された危険音は危険音音源位置推定部13に入力され、各チャネル間の危険音の音圧差および/または伝達時間差から危険音の音源位置が推定され、推定された危険音音源位置情報は警報音やアラームと共に観測者に知らされる。
ここで、危険音音源位置推定部13における危険音音源位置の推定を図4、図5および式4から式9を用いて説明する。図4は危険音音源位置とマイクロホンの位置関係を示す図である。ここで、危険音音源とマイクロホン0、マイクロホン1、マイクロホン2までの距離をそれぞれl0、l0+△l1、l0+△l2とする。危険音音源の位置は不明なので、マイクロホン0までの距離l0は未知だが、△l1、△l2は危険音がマイクロホン0に到達してからマイクロホン1、マイクロホン2に到達するまでの遅延時間から、式1の関係により求められる。また、マイクロホン間の距離dは既知である。危険音音源からマイクロホン0までの距離l0は、垂直成分をyと水平成分をxとすると、
とあらわせる。危険音音源からマイクロホン2、マイクロホン3までの距離も同様に、
とそれぞれあらわせる。式5、式6の両辺を二乗し、式4を代入すると、
が得られる。式7と式8から、
となる。ここで、前述のとおりdは既知であり、△l1、△l2は遅延時間から求められるので、危険音音源とマイクロホン0の距離l0が求められる。このように、危険音が各マイクロホンに到達する時間の差から、危険音音源と各マイクロホンの距離が求められる。複数のマイクロホンからの距離がわかれば危険音音源位置を特定できる。
また、危険音音源を点音源と仮定すると、観測される音圧は、危険音音源からの距離の2乗に反比例する。2つのマイクロホンマイクロホン0、マイクロホン1にて観測される音圧をそれぞれP0、P1、危険音音源からそれぞれのマイクロホンまでの距離をl0、l1とすると、
の関係となる。P0、P1は観測によって得られるので、式9よりl0とl1の比が求められる。マイクロホン1の音圧がマイクロホン0の音圧のn分の1、すなわち、
のとき、音源は、式9より、
を満たす位置にあると考えられる。例えば、図5に示すようにマイクロホン間の距離がdで、マイクロホン1の音圧がマイクロホン0の音圧の4分の1、すなわち、
なら、距離の比は、
となり、危険音音源は、図5に破線で示す球面上にあることが推定できる。マイクロホンの数を増やせばさらに危険音音源位置を絞り込むことができる。
このように、危険音音源位置推定部13では、チャネル間の到達時間差(遅延)や音圧差を元に危険音の音源位置を推定することができる。
危険音音源位置推定部13からは推定された危険音音源の位置情報が出力される。これを監視カメラと連動させることにより、事故や犯罪の発生場所の映像を効率的にモニタできる。
危険音検出部11が危険音でない音を危険音と判定した場合、次回から同じ誤りが生じないように危険音データベース12を更新する。必要に応じて危険音データベース12が更新されることにより、危険音検出精度の向上が期待できる。
以上、本発明の基本的な実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。本発明の要旨を逸脱しない範囲内において、適宜の変更が可能なものである。
1 マイクロホンアレー部
2 データ変換部
3 信号処理部
4 音響出力部
5 データ記録部
6 データ復号化部
7 マンマシンインタフェース
8 3次元形状データ保存部
9 3次元映像処理部
10 映像提示部
11 危険音検出部
12 危険音データベース
13 危険音音源位置推定部
2 データ変換部
3 信号処理部
4 音響出力部
5 データ記録部
6 データ復号化部
7 マンマシンインタフェース
8 3次元形状データ保存部
9 3次元映像処理部
10 映像提示部
11 危険音検出部
12 危険音データベース
13 危険音音源位置推定部
Claims (7)
- 観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、該マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換するデータ変換部と、前記マルチチャネルのデジタル信号から観測区間内の任意の位置における音響信号を合成する信号処理部と、該信号処理部に前記観測区間内の任意の位置情報を入力するためのマンマシンインタフェースと、前記信号処理部から出力されるデジタル信号をアナログ信号に変換し、音響信号として出力する音響出力部とを備えることを特徴とする安全管理装置。
- 前記データ変換部におけるデジタル信号をデータ圧縮する機能を備える前記データ変換部と、前記データ圧縮されたデータを保存するデータ記録部と、前記データ記録部から読み出されたデータを復号化し、復号化されたデジタル信号を前記信号処理部へ送出するデータ復号化部とを備えることを特徴とする請求項1に記載の安全管理装置。
- 前記信号処理部は、ステレオまたは3チャネル以上のマルチチャネル立体音響信号を合成し、前記音響出力部に出力することを特徴とする請求項1または請求項2に記載の安全管理装置。
- 前記信号処理部は、観測者または汎用の頭部伝達関数を畳み込んだバイノーラル音響信号を合成し、前記音響出力部に出力することを特徴とする請求項1または請求項2に記載の安全管理装置。
- 観測空間の3次元形状データを記憶する3次元形状データ保存部と、前記マンマシンインタフェースから入力される観測区間内の任意の位置情報に応じて前記3次元形状データ保存部に記憶されている3次元形状データから仮想3次元画像を形成する3次元画像処理部と、前記仮想3次元画像を表示する3次元画像表示部とを備え、前記マンマシンインタフェースから前記信号処理部に入力される観測区間内の任意の位置情報と連動して前記3次元画像表示部に前記仮想3次元画像を表示させることを特徴とする請求項1乃至請求項4のいずれか1つの請求項に記載の安全管理装置。
- 観測空間内に設置された複数のマイクロホンからなるマイクロホンアレー部と、参照危険音データが記憶された危険音データベースと、前記マイクロホンアレー部から入力されるマルチチャネルのアナログ信号をデジタル信号に変換し、前記デジタル信号と前記危険音データベースに記録された参照危険音データとを比較して危険音を検出する危険音検出部と、該危険音検出部から入力される各チャンネル間の前記危険音の音圧差および/または伝達時間差から危険音の発生位置を推定する音源位置推定部とを備えることを特徴とする安全管理装置。
- 前記危険音データベースに記憶される参照危険音データは、学習により更新されることを特徴とする請求項6に記載の安全管理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005294745A JP2007104546A (ja) | 2005-10-07 | 2005-10-07 | 安全管理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005294745A JP2007104546A (ja) | 2005-10-07 | 2005-10-07 | 安全管理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007104546A true JP2007104546A (ja) | 2007-04-19 |
Family
ID=38031002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005294745A Pending JP2007104546A (ja) | 2005-10-07 | 2005-10-07 | 安全管理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007104546A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101595706B1 (ko) * | 2015-09-30 | 2016-02-18 | 서울대학교산학협력단 | 소리 수집 단말, 소리 제공 단말, 소리 데이터 처리 서버 및 이들을 이용한 소리 데이터 처리 시스템 |
KR20160096007A (ko) * | 2015-09-30 | 2016-08-12 | 서울대학교산학협력단 | 소리 수집 단말, 소리 제공 단말, 소리 데이터 처리 서버 및 이들을 이용한 소리 데이터 처리 시스템 |
WO2023148796A1 (ja) * | 2022-02-01 | 2023-08-10 | 日本電気株式会社 | 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ可読媒体 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0884392A (ja) * | 1994-09-14 | 1996-03-26 | Nippon Telegr & Teleph Corp <Ntt> | 受音方法及びその装置 |
JPH10191498A (ja) * | 1996-12-27 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 音信号処理装置 |
JPH11341592A (ja) * | 1998-05-28 | 1999-12-10 | Mitsubishi Electric Corp | 撮像装置に同調する録音装置 |
JP2001236093A (ja) * | 2000-02-24 | 2001-08-31 | Omron Corp | 電子機器制御装置および電子機器 |
JP2002062895A (ja) * | 2000-08-21 | 2002-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法およびその装置 |
JP2002223493A (ja) * | 2001-01-26 | 2002-08-09 | Matsushita Electric Ind Co Ltd | マルチチャンネル収音装置 |
JP2003189139A (ja) * | 2001-12-20 | 2003-07-04 | Matsushita Electric Ind Co Ltd | 音響変動検出によるカメラ制御装置 |
JP2005252660A (ja) * | 2004-03-04 | 2005-09-15 | Matsushita Electric Ind Co Ltd | 撮影システム及び撮影制御方法 |
-
2005
- 2005-10-07 JP JP2005294745A patent/JP2007104546A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0884392A (ja) * | 1994-09-14 | 1996-03-26 | Nippon Telegr & Teleph Corp <Ntt> | 受音方法及びその装置 |
JPH10191498A (ja) * | 1996-12-27 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 音信号処理装置 |
JPH11341592A (ja) * | 1998-05-28 | 1999-12-10 | Mitsubishi Electric Corp | 撮像装置に同調する録音装置 |
JP2001236093A (ja) * | 2000-02-24 | 2001-08-31 | Omron Corp | 電子機器制御装置および電子機器 |
JP2002062895A (ja) * | 2000-08-21 | 2002-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 収音方法およびその装置 |
JP2002223493A (ja) * | 2001-01-26 | 2002-08-09 | Matsushita Electric Ind Co Ltd | マルチチャンネル収音装置 |
JP2003189139A (ja) * | 2001-12-20 | 2003-07-04 | Matsushita Electric Ind Co Ltd | 音響変動検出によるカメラ制御装置 |
JP2005252660A (ja) * | 2004-03-04 | 2005-09-15 | Matsushita Electric Ind Co Ltd | 撮影システム及び撮影制御方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101595706B1 (ko) * | 2015-09-30 | 2016-02-18 | 서울대학교산학협력단 | 소리 수집 단말, 소리 제공 단말, 소리 데이터 처리 서버 및 이들을 이용한 소리 데이터 처리 시스템 |
KR20160096007A (ko) * | 2015-09-30 | 2016-08-12 | 서울대학교산학협력단 | 소리 수집 단말, 소리 제공 단말, 소리 데이터 처리 서버 및 이들을 이용한 소리 데이터 처리 시스템 |
KR101673812B1 (ko) | 2015-09-30 | 2016-11-07 | 서울대학교산학협력단 | 소리 수집 단말, 소리 제공 단말, 소리 데이터 처리 서버 및 이들을 이용한 소리 데이터 처리 시스템 |
WO2023148796A1 (ja) * | 2022-02-01 | 2023-08-10 | 日本電気株式会社 | 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ可読媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5043940B2 (ja) | ビデオおよびオーディオ認識を組み合わせたビデオ監視システムおよび方法 | |
JP6135880B2 (ja) | 音声処理方法、音声処理システム、及び記憶媒体 | |
US20150281832A1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
US20210158828A1 (en) | Audio processing device, image processing device, microphone array system, and audio processing method | |
US10497356B2 (en) | Directionality control system and sound output control method | |
US20150312662A1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
US8860812B2 (en) | Ambient presentation of surveillance data | |
CN102737480A (zh) | 一种基于智能视频的异常语音监控系统及方法 | |
US20190272830A1 (en) | Voice monitoring system and voice monitoring method | |
KR101281129B1 (ko) | 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법 | |
KR101321447B1 (ko) | 네트워크를 통한 현장 모니터링 방법, 및 이에 사용되는 관리 서버 | |
JP2007104546A (ja) | 安全管理装置 | |
JP2004198656A (ja) | ロボット視聴覚システム | |
JP2007034238A (ja) | 現場作業支援システム | |
JP6447976B2 (ja) | 指向性制御システム及び音声出力制御方法 | |
CN109903530A (zh) | 一种声光联动的突发事件监控系统及方法 | |
CN105474665A (zh) | 声音处理装置、声音处理系统及声音处理方法 | |
JP4175180B2 (ja) | 監視通報システム | |
EP2927885A1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
KR100470437B1 (ko) | 감시시스템에서의 음원 탐지 및 위치 제어방법 | |
KR102319687B1 (ko) | 무선 음향 센서들을 채용한 감시 시스템 | |
EP2938097B1 (en) | Sound processing apparatus, sound processing system and sound processing method | |
US20230410784A1 (en) | Event detections for noise cancelling headphones | |
Komatsu et al. | An acoustic monitoring system and its field trials | |
KR101476762B1 (ko) | 네트워크를 통한 현장 모니터링 방법, 및 이에 사용되는 관리 서버 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110201 |