JP2008299677A - 音源接近検知装置及びパルスニューラルネットワーク演算装置 - Google Patents

Abstract

【課題】本発明は、音源接近検知装置及びパルスニューラルネットワーク演算装置に関し、予め音データを格納することなく様々な音源の接近／離脱を検知することにある。
【解決手段】単一の集音手段と、複数に分割された周波数チャンネルごとに、集音手段にて集音される音の音圧の時間変化を検知する音圧時間変化検知手段と、音圧時間変化検出手段により検知される音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位を判定する接近／離脱判定手段と、を備える。
【選択図】図３

Description

本発明は、音源の接近／離脱を検知する技術に係り、特に、単一の集音手段にて集音される音を発する音源の接近／離脱を検知するうえで好適な音源接近検知装置及びパルスニューラルネットワーク演算装置に関する。

従来、接近車両の有無を判断するシステムが知られている（例えば、特許文献１参照）。このシステムにおいては、まず、周囲に発生する音が集音されてその音の音圧レベルが検出される。そして、特定周波数帯域において、その検出された音の音圧レベルの波形形状が、予め格納されている一般的な車両の発する音圧レベルの波形形状と比較される。その結果、その特定周波数帯域における両音圧レベルの波形形状が近似する場合に接近車両が存在すると判定される。
特開２０００−１２３２６７号公報

しかし、上記した特許文献１記載のシステムにおいては、接近する音源の有無を判断するために、その音源が一般的に発する音の音圧レベルの波形形状を予め記憶装置に格納させておくことが必要である。このため、特定の音源についてのみしかその接近有無を判断することができず、また、その特定音源の接近有無を判断するうえでその音源特有の音データを格納するための記憶装置を用意する必要があった。

本発明は、上述の点に鑑みてなされたものであり、予め音データを格納することなく、単一の集音手段を用いて様々な音源の接近／離脱を検知することが可能な音源接近検知装置及びパルスニューラルネットワーク演算装置を提供することを目的とする。

上記の目的は、単一の集音手段と、前記集音手段にて集音される音の音圧の時間変化を検知する音圧時間変化検知手段と、前記音圧時間変化検出手段により検知される前記音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位を判定する接近／離脱判定手段と、を備える音源接近検知装置により達成される。

この態様の発明においては、単一の集音手段にて集音される音の音圧の時間変化が検知される。後に集音された音の音圧が先に集音された音の音圧よりも大きくなっていれば、音源が接近していると判断でき、一方、後の音の音圧が先の音の音圧よりも小さくなっていれば、音源が離脱していると判断できる。本発明においては、上記の如く検知された音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位が判定される。従って、本発明によれば、単一の集音手段を用いて音源の発する音の音圧の時間変化を検知することで、予め音データを格納することなく様々な音源の接近／離脱を検知することができる。

尚、上記した音源接近検知装置において、前記音圧時間変化検知手段は、複数に分割された周波数チャンネルごとに、前記集音手段にて集音される音の音圧の時間変化を検知することとすれば、周波数チャンネルごとに様々な音源の接近／離脱を検知することができる。

また、上記した音源接近検知装置において、前記音圧時間変化検知手段は、電子回路として構成されたパルスニューラルネットワークを用いて、前記集音手段にて集音される音の音圧の時間変化を検知することとすれば、音源の接近／離脱の検知を複雑な演算を伴うことなく簡易な構成で実現することができる。

また、上記した音源接近検知装置において、前記接近／離脱判定手段は、周囲に存在してエンジン音を発する移動体又はサイレン音を発する緊急車両との相対的位置の変位を判定することとすればよい。

更に、上記した音源接近検知装置において、前記集音手段にて集音される音の周波数特性を抽出する周波数特性抽出手段と、前記周波数特性抽出手段により抽出される前記周波数特性に基づいて、前記音源の種類を特定する音源種類特定手段と、を備えることとすれば、接近／離脱の検知を行う音源の種類を具体的に特定することができる。

ところで、上記の目的は、独立かつ非同期に並列動作可能な複数のパルスニューロンを組み合わせたパルスニューラルネットワーク演算装置であって、各パルスニューロンはそれぞれ、所定時間差を空けて単一の集音手段にて集音されるそれぞれの音の音圧のパルスデータが入力される２つの入力端子と、前記２つの入力端子に入力されるパルスデータに基づく音圧の前記所定時間での差が、パルスニューロンごとに異なる所定値を超えるか否かを判別する音圧差判別手段と、前記音圧差判別手段により音圧の前記所定時間での差が前記所定値を超える場合に、パルス信号を出力する出力端子と、により構成されるパルスニューラルネットワーク演算装置により達成される。

この態様の発明において、各パルスニューロンはそれぞれ、２つの入力端子に入力されるパルスデータに基づく音圧の所定時間での差がパルスニューロンごとに異なる所定値を超える場合に、出力端子からパルス信号を出力する。後に集音された音の音圧が先に集音された音の音圧よりも大きくなっていれば、音源が接近していると判断でき、一方、後の音の音圧が先の音の音圧よりも小さくなっていれば、音源が離脱していると判断できる。この点、パルスニューロンのパルス信号の出力有無を判断すれば、周囲に存在する音源との相対的位置の変位が判定される。従って、本発明によれば、予め音データを格納することなく様々な音源の接近／離脱を検知させることができる。

尚、上記したパルスニューラルネットワーク演算装置において、前記出力端子がパルス信号を出力するすべての前記パルスニューロンのうちからエッジ部分のパルスニューロンを抽出する特徴抽出手段を備えることとすれば、音源の接近／離脱を検知させるうえでその音の音圧差を示す特徴を明確化することができる。

本発明によれば、予め音データを格納することなく様々な音源の接近／離脱を検知することができる。

以下、図面を用いて、本発明の具体的な実施の形態について説明する。

図１は、本発明の一実施例である音源接近検知装置１０の構成図を示す。本実施例の音源接近検知装置１０は、車両などの移動体に設置されるシステムであり、音を発する対象物が自車両に接近し或いは離脱するのを検知するシステムである。図１に示す如く、音源接近検知装置１０は、電子制御ユニット（以下、ＥＣＵと称す）１２を備えている。ＥＣＵ１２は、電子回路を主体に構成されており、自車両への入力音に基づいて自車両の周囲に存在する対象物の接近・離脱を検知する。

ＥＣＵ１２には、マイクロフォン（以下、マイクと称す）１４が電気的に接続されている。マイク１４は、周辺で発生する音を集音する装置であり、音源接近検知装置１０に唯一つ設けられている。マイク１４は、例えばフロントドア上方のルーフ部分に取り付けられており、自車両の略全周に亘る指向性を有している。マイク１４に集音された音は、電気信号に変換されてＥＣＵ１２に供給される。ＥＣＵ１２は、マイク１４から供給された入力音の電気信号を処理することにより、音源である対象物の接近・離脱を検知すると共に、その対象物の種類を具体的に特定する処理を行う。

ＥＣＵ１２には、また、警報装置１６が電気的に接続されている。警報装置１６は、車両運転者に対して対象物の接近やその対象物の種類を知らせる注意喚起を行うべく、警報音や音声を出力するスピーカ装置又は警報表示を行うディスプレイである。ＥＣＵ１２は、上記の如く対象物の接近が検知された場合に、警報装置１６に対して駆動指令を行う。警報装置１６は、ＥＣＵ１２からの駆動指令に従って警報音等を出力し或いは警報表示を行う。

以下、図２及び図３を参照して、本実施例の音源接近検知装置１０における具体的な処理の内容について説明する。図２は、本実施例の音源接近検知装置１０のＥＣＵ１２における各処理部を表した図を示す。また、図３は、本実施例の音源接近検知装置１０においてＥＣＵ１２が実行するメインルーチンの一例のフローチャートを示す。

本実施例において、ＥＣＵ１２には、マイク１４に集音された周囲の音が電気信号に変換されて入力される（ステップ１００）。マイク１４に集音された周囲音の音量が大きいほど電圧値の大きな電気信号が入力される。ＥＣＵ１２に入力されるマイク１４からの音圧を示す電気信号は、所定時間ごとにＡＤ変換される（ステップ１０２）。

ＥＣＵ１２は、周波数分解部２０と、非線形変換部２２と、パルス変換部２４と、を有している。周波数分解部２０は、聴覚系の蝸牛に相当する部位であり、バンドパスフィルタ群により構成され、ＡＤ変換された入力信号を所定の周波数範囲（例えば１００Ｈｚ〜２１ｋＨｚ）について対数スケールで複数Ｎ（例えば７２チャンネル）の周波数帯域に分割する（ステップ１０２）。周波数分解部２０による各周波数チャンネルごとの信号はそれぞれ、非線形変換部２２に供給される。

非線形変換部２２は、聴覚系の有毛細胞に相当する部位であり、各周波数チャンネルにそれぞれ対応して設けられており、上記の周波数分解部２０で周波数チャンネルごとに分割された信号に対して非線形変換を行う（ステップ１０４）。各非線形変換部２２による結果はそれぞれ、パルス変換部２４に供給される。また、パルス変換部２４は、聴覚系の蝸牛神経に相当する部位であり、各周波数チャンネルにそれぞれ対応して設けられており、上記の非線形変換部２２で非線形変換された信号をインパルス列に変換する（ステップ１０６）。パルス変換部２４におけるインパルス列への生成・変換は、非線形変換部２２における出力に比例した値で行われる。

ＥＣＵ１２は、また、各周波数チャンネルにそれぞれ対応して設けられた音圧差抽出部２６を有している。音圧差抽出部２６には、パルス変換部２４から出力される当該周波数チャンネルのパルスデータが入力される。音圧差抽出部２６は、マイク１４に集音された音のデータを所定時間Ｔ（例えば０．４秒など）だけ遅らせる遅延生成機能を有している。音圧差抽出部２６は、パルス変換部２４から供給される現時点ｔでのパルスデータと、遅延生成機能により生成される現時点ｔから所定時間Ｔ過去の時点（ｔ−Ｔ）でのパルスデータ（ステップ１０８において生成される。）と、を比較することにより、マイク１４に集音される音の音圧の現在値と過去値との差（音圧の時間変化；以下、音圧差と称す）を抽出する（ステップ１１０）。音圧差抽出部２６は、抽出した音圧差に応じたパルス出力を行う。ＥＣＵ１２は、各周波数チャンネルごとに音圧差抽出部２６から音圧差を抽出する（ステップ１１２）。

ここで、自車両の周囲に自車両に接近する対象物（他車両など）が存在する場合は、その対象物が発する音（例えば二輪車や四輪車のエンジン音やロードノイズ，消防車やパトカーなどの緊急車両のサイレン音など）が自車両に入力する際の音量すなわち音圧が時間に伴って増加するものとなる。一方、自車両の周囲に自車両から離脱する対象物が存在する場合は、その対象物が発する音が自車両に入力する際の音量や音量が時間に伴って減少するものとなる。従って、マイク１４に集音される音の音圧の時間変化（音圧差）を検知することで、自車両周辺の対象物と自車両との相対的な位置の変位が何れの方向であるか、すなわち、その対象物が自車両に接近しているか或いは離脱しているかを判定することが可能となる。

また、マイク１４に集音される音の音圧の単位時間当たりの時間変化が大きいほど、音源が接近し若しくは離脱する速度が高いものとなり、又は、同じ速度であるときは自車両に接近し若しくは離脱する音源の位置が自車両により近いものとなる。例えば、音圧が大きくなる速度が大きいほど、音源の接近する速度が高く、又は、音源の位置が自車両により近いものとなる。従って、マイク１４に集音される音の音圧の時間変化（音圧差）を検知することで、自車両周辺の対象物と自車両との相対的な位置の変位速度（すなわちその対象物が自車両に接近し若しくは離脱する速度）を検知すること、又は、同じ相対速度であるときはその対象物が自車両に接近し若しくは離脱する位置を検知することが可能となる。

更に、車両が発するエンジン音や緊急車両が発するサイレン音などは、予め定められた既知の周波数特性を有する。従って、音源としての対象物が発し得る音の周波数特性を予め記憶装置に格納したうえで、マイク１４に集音された音の周波数特性を抽出して、その抽出周波数特性を、記憶装置の対象物ごとの周波数特性と比較することで、そのマイク１４に集音された音を発した音源としての対象物の種類を特定することが可能となる。

ＥＣＵ１２は、また、判定・識別部２８を有している。判定・識別部２８には、上記した各音圧差抽出部２６から出力される音圧差に応じたパルス出力が入力される。判定・識別部２８は、対象物の発する音の周波数特性を対象物ごと及び音源の種類ごとに格納した記憶装置を有している。判定・識別部２８は、各周波数チャンネルごとに音圧差抽出部２６から供給される音圧差に応じたパルス出力に基づいて、自車両周辺の対象物が接近するか離脱するかを判定すると共に、また、周波数ごとの音圧差に応じたパルスの出力パターンに基づいて、その自車両に接近し或いは自車両から離脱する対象物の種類を特定する（ステップ１１４）。

ＥＣＵ１２は、判定・識別部２８において自車両周辺の対象物が接近することを検知した場合、その接近の旨を示す情報及びその接近する対象物の種類を示す情報を、警報を行うべきことを指令する情報と共に警報装置１６に対して供給出力する（ステップ１１６）。警報装置１６は、ＥＣＵ１２から警報を行うべきことが指令された場合、その対象物が接近することをその対象物の種類を特定したうえで自車両の運転者に知らせるべく、警報音の出力や警報表示を行う。

従って、本実施例の音源接近検知装置１０によれば、自車両周辺に音を発する音源としての対象物が存在する場合、単一のマイク１４に集音される音の音圧の時間変化（音圧差）を検知することで、その対象物が自車両に接近しているのか或いは自車両から離脱しているのかを判定することが可能となっている。この点、対象物の接近／離脱は音圧の時間変化さえ検知することができれば判定可能であるので、本実施例によれば、音圧レベルの波形形状などの特徴的な音データを予め格納してその格納データと検出される音データとの間を比較することなく、様々な対象物の接近／離脱の判定を行うことが可能となっている。

また、音を利用して対象物の検知有無を判定するため、その検知有無を判定するうえで少ないセンサで自車両から全方位を容易に検知エリアとすることが可能であり、また、視覚確認が困難となる夜間や見通しの悪い交差点や路地などで、自車両に接近し或いは直前を通過する車両などを容易に検知することが可能である。

尚、上記した音の音圧の時間変化の検知は、複数の周波数チャンネルごとに行われる。従って、対象物である複数の音源が発する音の周波数が互いに異なるものであるときにも、周波数チャンネルごとにそれら複数の対象物の接近／離脱を同時に判定することが可能となっている。

また、自車両周辺に音を発する対象物が存在する場合、単一のマイク１４に集音される音の音圧の時間変化の大きさを検知することで、自車両に接近し或いは離脱する対象物の接近速度や離脱速度若しくはその対象物の自車両に対する接近／離脱位置を検知することが可能となっている。更に、単一のマイク１４に集音される音の周波数特性を抽出することで、その自車両に接近し或いは離脱する対象物の種類を具体的に特定することが可能となっている。

そして、音を発する対象物が自車両に接近する場合、その対象物の接近とその対象物の種類とを自車両の運転者に知らせることが可能である。このため、自車両の安全走行を確保することが可能となっている。

次に、図４乃至図９を参照して、本実施例のＥＣＵ１２において対象物の接近／離脱を判定し更に対象物の種類を特定する具体的な実現手法について説明する。

図４は、本実施例の音源接近検知装置１０においてＥＣＵ１２が実行するサブルーチンの一例のフローチャートを示す。図５及び図６はそれぞれ、本実施例のＥＣＵ１２の有する音圧差抽出部２６において音圧の時間変化（音圧差）を抽出するためのモデル（ＬＳＯモデル又はＬＭモデル）を表した図を示す。図７及び図８はそれぞれ、本実施例のＬＳＯモデル又はＬＭモデルの構成図を示す。また、図９は、本実施例において音を発するある対象物が自車両に接近しかつその後に離脱する状況で音圧が時間と共に変化する様子（同図（Ａ））と、その過程での入力音の周波数ごとの音圧差（同図（Ｂ））とを表した図を示す。

本実施例の音源接近検知装置１０において、ＥＣＵ１２は、上記の如く、マイク１４に集音される音の音圧の時間変化（音圧差）を抽出する音圧差抽出部２６を有している。音圧差抽出部２６における音圧差の抽出は、人間の脳細胞をモデル化したパルスニューロンを複数組み合わせることにより構築されたパルスニューラルネットワークを用いて行われる。このパルスニューラルネットワークは、独立かつ非同期に並列動作可能な複数のパルスニューロンを電子回路として実装することにより高速処理が可能なシステムとなっている。この各パルスニューロンは、入出力信号が人間の神経細胞と同様のパルス列である点に特徴を有しており、生体の神経細胞により近いものとなっている。

具体的には、音圧差抽出部２６は、現時点ｔと所定時間Ｔ過去の時点（ｔ−Ｔ）との音圧が特定の音圧差以上になったときにパルス出力を行うモデル（以下、ＬＳＯモデルと称す）と、ＬＳＯモデルによりパルス出力を行う際のエッジ点を検出するモデル（以下、ＬＭモデルと称す）と、を有している。

ＬＳＯモデルは、複数個のパルスニューロン（以下、ＬＳＯニューロンと称す）３０を有している。ＬＳＯニューロン３０は一周波数チャンネル当たりに複数個（例えば５１個）一列に並べて配置されており（図５における横軸方向）、また、その配置はＮ個の周波数チャンネルごとになされている（図５における縦軸方向）。

各ＬＳＯニューロン３０には、パルス変換部２４から音圧差抽出部２６へ供給されるパルスデータが入力される２つの入力端子３０ａ，３０ｂと、演算結果を出力する一つの出力端子３０ｃと、が設けられている。入力端子３０ａには、対応の周波数チャンネルについて、パルス変換部２４からの現時点ｔでのパルスデータｘ_ｉ（ｔ）が供給され、一方、入力端子３０ｂには、対応の周波数チャンネルについて、現時点ｔから所定時間Ｔ過去の時点（ｔ−Ｔ）でのパルスデータｘ_ｉ（ｔ−Ｔ）が供給される（ステップ１５０）。尚、ｉはｉ＝１〜Ｎ（Ｎ；周波数チャンネルの数）である。

各ＬＳＯニューロン３０はそれぞれ、現時点での音圧が所定時間過去の時点での音圧よりも所定値以上増加したときに出力端子３０ｃからパルス出力を行い発火する。周波数チャンネルごとに一列に並んだ各ＬＳＯニューロン３０の発火条件（上記した所定値）は、互いに異なり徐々に変化するものとなっている。具体的には、マイク１４に集音される音の音圧の時間変化（音圧差）がほとんどないときは各ＬＳＯニューロン３０はほとんど発火しないが、音圧差が生じて現時点での音圧が過去の音圧よりも大きくなったときは中心よりも一方側（例えば図５において右側）のＬＳＯニューロン３０が発火し、また、現時点での音圧が過去の音圧よりも小さくなったときは中心よりも他方側（例えば図５において左側）のＬＳＯニューロン３０が発火することとなる。尚、図５において、発火しないＬＳＯニューロン３０を白抜きで、また、発火するＬＳＯニューロン３０を黒塗りで、それぞれ示す。

各ＬＳＯニューロン３０における演算は、図７に示す如く、入力されたパルスデータｘ_ｉ（ｔ），ｘ_ｉ（ｔ−Ｔ）に基づいて次式（１）に従って行われる。尚、ｋは一周波数チャンネルごとに一列に並んだ全ＬＳＯニューロン３０のうちの番号であり、−Ｋ〜＋Ｋの整数値をとる。ｗは各ＬＳＯニューロン３０における結合重みであり、また、Ｉ^ＬＳＯはＬＳＯニューロン３０の内部電圧である。更に、τは時定数であり、α，βはそれぞれ定数である。

各ＬＳＯニューロン３０はそれぞれ、入力されたパルスデータｘ_ｉ（ｔ），ｘ_ｉ（ｔ−Ｔ）に基づいて上記（１）式に従って内部電圧Ｉ^ＬＳＯ _ｋｉ（ｔ）を演算する（ステップ１５２）。その結果、その演算した内部電圧Ｉ^ＬＳＯ _ｋｉ（ｔ）が予め定められた閾値θ^ＬＳＯを超えた場合には、ｙ_ｋｉ（ｔ）＝１を出力し（すなわち発火し）、一方、その演算した内部電圧Ｉ^ＬＳＯ _ｋｉ（ｔ）がその閾値θ^ＬＳＯ以下である場合には、ｙ_ｋｉ（ｔ）＝０を出力する（ステップ１５４）。尚、閾値θ^ＬＳＯは、各ＬＳＯニューロン３０に共通した閾値である。

ＬＳＯモデルにおいて、各ＬＳＯニューロン３０が上記の処理を行うと、ｙ_ｋｉ（ｔ）（ｋ＝−Ｋ〜＋Ｋ）を纏めたパルス列ＬＤ_ｉが出力されることとなる（ステップ１５６）。かかるパルス列ＬＤ_ｉの出力は、周波数チャンネルごとに行われる（尚、ｉ＝１〜Ｎ）。尚、この際、図５に示す如く、各周波数チャンネルにおける中心のＬＳＯニューロン３０は全く発火しないようにしてもよく、また、その中心のＬＳＯニューロン３０の両隣の幾つかのＬＳＯニューロンは常に発火するようにしてもよい。

かかるＬＳＯモデルによれば、マイク１４に集音される音の音圧の時間変化（音圧差）がほとんどないときは各ＬＳＯニューロン３０をほとんど発火させず、一方、現時点での音圧が過去の音圧よりも大きくなったときは中心よりも一方側（例えば図５において右側）のＬＳＯニューロン３０を発火させ、また、現時点での音圧が過去の音圧よりも小さくなったときは中心よりも他方側（例えば図５において左側）のＬＳＯニューロン３０を発火させることが可能となる。そして、その音圧差が大きくなるほど中心よりも離れたＬＳＯニューロン３０まで発火させることが可能となる。

また、ＬＭモデルは、複数個のパルスニューロン（以下、ＬＭニューロンと称す）３２を有している。ＬＭニューロン３２は一周波数チャンネル当たりに複数個（上記のＬＳＯニューロン３０よりも２個少なく、例えば４９個）一列に並べて配置されており、また、その配置はＮ個の周波数チャンネルごとになされている。

各ＬＭニューロン３２（各周波数チャンネルにおける中心のＬＭニューロン３２を除く。）には、中心のＬＳＯニューロン３０を除いた連続した２つの番号のＬＳＯニューロン３０の出力ｙ_ｋｉ（ｔ），ｙ_{（ｋ±１）ｉ}（ｔ）が入力される２つの入力端子３２ａ，３２ｂと、演算結果を出力する一つの出力端子３２ｃと、が設けられている。入力端子３２ａには、対応の周波数チャンネルについて、自己の番号と同じ番号のＬＳＯニューロン３０の出力ｙ_ｋｉ（ｔ）が供給され、一方、入力端子３２ｂには、対応の周波数チャンネルについて、自己の番号から一つずれた隣接番号のＬＳＯニューロン３０の出力ｙ_{（ｋ±１）ｉ}（ｔ）が供給される。

上記したＬＳＯモデルでは、中心よりも最も離れて発火したＬＳＯニューロン３０の番号よりも番号が小さい（中心寄りの）すべてのＬＳＯニューロン３０も同時に発火するが、この場合には、音圧差を示す特徴が不明確になるおそれがある。これに対して、ＬＭモデルは、音圧差を示す特徴を明確化すべく、発火したＬＳＯニューロン３０のエッジを検出するモデルである。

すなわち、各ＬＭニューロン３２はそれぞれ、自己の番号と同じ番号のＬＳＯニューロン３０が発火しかつその自己の番号から一つずれた隣接する番号のＬＳＯニューロン３０が発火しないときに出力端子３２ｃからパルス出力を行い発火する。尚、図６に示すＬＭモデルにおいて、発火しないＬＭニューロン３２を白抜きで、また、発火するＬＭニューロン３２を黒塗りで、それぞれ示す。

各ＬＭニューロン３２における演算は、図８に示す如く、入力されたパルスデータｙ_ｉ（ｔ），ｙ_ｉ（ｔ−Ｔ）に基づいて次式（２）に従って行われる。尚、ｌは一周波数チャンネルごとに一列に並んだ全ＬＭニューロン３２のうちの番号であり、−Ｌ（＝−Ｋ＋１）〜＋Ｌ（＝Ｋ−１）の整数値をとる。ｗは各ＬＭニューロン３２における結合重みであり、また、Ｉ^ＬＭはＬＭニューロン３２の内部電圧である。更に、τは時定数である。

各ＬＭニューロン３２はそれぞれ、入力されたパルスデータｙ_ｉ（ｔ），ｙ_ｉ（ｔ−Ｔ）に基づいて次式（２）に従って内部電圧Ｉ^ＬＭ _ｌｉ（ｔ）を演算する（ステップ１５８）。その結果、その演算した内部電圧Ｉ^ＬＭ _ｌｉ（ｔ）が予め定められた閾値θ^ＬＭを超えた場合には、ｏ_ｌｉ（ｔ）＝１を出力し（すなわち発火し）、一方、その演算した内部電圧Ｉ^ＬＭ _ｌｉ（ｔ）がその閾値θ^ＬＭ以下である場合には、ｏ_ｌｉ（ｔ）＝０を出力する（ステップ１６０）。尚、閾値θ^ＬＭは、各ＬＭニューロン３２に共通した閾値である。

ＬＭモデルにおいて、各ＬＭニューロン３２が上記の処理を行うと、ｏ_ｌｉ（ｔ）（ｌ＝−Ｌ〜＋Ｌ）を纏めたパルス列ＰＤ_ｉが出力されることとなる（ステップ１６２）。かかるパルス列ＰＤ_ｉの出力は、周波数チャンネルごとに行われる（尚、ｉ＝１〜Ｎ）。

かかるＬＭモデルによれば、ＬＭニューロン３２について、自己の番号と同じ番号のＬＳＯニューロン３０が発火せず或いは自己の番号から一つずれた隣接番号のＬＳＯニューロン３０が発火するときは自ＬＭニューロン３２を発火させず、一方、自己と同じ番号のＬＳＯニューロン３０が発火しかつ隣接番号のＬＳＯニューロン３０が発火しないときに自ＬＭニューロン３２を発火させることが可能となる。

この場合、現時点での音圧が過去の音圧よりも大きくなったときは中心よりも一方側（例えば図６において右側）の一つのＬＭニューロン３２を発火させ、また、現時点での音圧が過去の音圧よりも小さくなったときは中心よりも他方側（例えば図６において左側）の一つのＬＭニューロン３２を発火させることが可能となる。そして、その音圧差が大きくなるほど中心よりも離れたＬＭニューロン３２一つを発火させることが可能となる。

例えば、音を発する音源としての対象物が自車両に接近して離脱する状況を想定すると、図９に示す如く、音圧は当初小さく、ほとんど時間の進行に従って変化しない。この場合、ＬＭモデルは周波数チャンネルごとに中心付近の一つのＬＭニューロン３２しか発火しない。

かかる状態から、対象物が自車両の近傍で接近するものとなると、音圧が増加する傾向となり、少なくとも対象物の接近を示す側のＬＭニューロン３２一つが周波数チャンネルごとに発火することとなる。この際、対象物が自車両に近い位置にいるほど或いは対象物の接近速度が高いほど、音圧の増加度が大きくなり、中心から離れたＬＭニューロン３２が発火する。そして、対象物が自車両の横を通過して離脱するものとなると、音圧が減少する傾向となり、少なくとも対象物の離脱を示す側のＬＭニューロン３２一つが周波数チャンネルごとに発火することとなる。この際、対象物が自車両に近い位置にいるほど或いは対象物の離脱速度が高いほど、音圧の減少度が大きくなり、中心から離れたＬＭニューロン３２が発火する。

尚、かかる状況において、発火するＬＭニューロン３２は、音源としての対象物が発する音の周波数特性を示すこととなり、音源としての対象物が発する音が有する周波数近傍で、発火するＬＭニューロン３２（の中心に対する位置）が大きく変化することとなる。

このように、音圧差抽出部２６は、各周波数チャンネルごとに、電子回路として構成されたパルスニューラルネットワークを用いて、マイク１４に集音される音の音圧の時間変化（音圧差）を抽出すること、具体的には、中心に対する位置がマイク１４に集音される音の音圧の時間変化の大きさを表した一つのＬＭニューロン３２を発火させることができる。

この音圧差抽出部２６において、パルスニューラルネットワークは、独立かつ非同期に並列で動作する複数のパルスニューロン３０，３２により構成されると共に、この演算は本質的に時系列処理である。この点、このパルスニューラルネットワークは、加算器、シフト演算、コンパレータなどの基本的な論理回路のみで実現可能であって、高速処理が可能であるので、乗算器などの複雑な構成を不要とし、高速演算を安価に実現することが可能となっている。

上記の如く各音圧差抽出部２６において音圧差が抽出されると、その情報（具体的には、周波数チャンネルごとに発火したＬＭニューロン３２の位置情報）は、判定・抽出部２８に供給される。判定・抽出部２８は、発火したＬＭニューロン３２の位置を周波数チャンネルごとに検知して、自車両周辺に音を発する対象物が接近するか離脱するかを判定し、更に、対象物の発する音の周波数特性を抽出し、記憶装置に格納された対象物ごと及び音源の種類ごとの周波数特性と照合して、その接近し或いは離脱する対象物の種類を特定する。

従って、本実施例の音源接近検知装置１０によれば、自車両周辺に音を発する音源としての対象物が存在する場合、単一のマイク１４に集音される音の音圧の時間変化（音圧差）を検知することで、その対象物が自車両に接近しているのか或いは自車両から離脱しているのかを判定することができると共に、単一のマイク１４に集音される音の周波数特性を抽出することで、その自車両に接近し或いは離脱する対象物の種類を具体的に特定することができる。そして、かかる対象物の接近／離脱の検知やその種類の特定を行ううえで、複数のパルスニューロン３０，３２により電子回路として構成されたパルスニューラルネットワークを用いるので、その検知や特定を複雑な演算を伴うことなく簡易な構成で実現することが可能となっている。

尚、上記の実施例においては、マイク１４が特許請求の範囲に記載した「集音手段」に、ＥＣＵ１２の音圧差抽出部２６がマイク１４に集音される音の音圧の時間変化を抽出することが特許請求の範囲に記載した「音圧時間変化検知手段」に、判定・識別部２８が各音圧差抽出部２６から供給される音圧差に応じたパルス出力に基づいて自車両周辺の対象物が接近するか離脱するかを判定することが特許請求の範囲に記載した「接近／離脱判定手段」に、判定・識別部２８がマイク１４に集音された音の周波数特性を抽出することが特許請求の範囲に記載した「周波数特性抽出手段」に、判定・識別部２８がマイク１４に集音された音を発した音源としての対象物の種類を特定することが特許請求の範囲に記載した「音源種類特定手段」に、それぞれ相当している。

また、上記の実施例においては、ＬＳＯモデルの有するＬＳＯニューロン３０が特許請求の範囲に記載した「パルスニューロン」に、ＬＳＯニューロン３０の入力端子３０ａ，３０ｂが特許請求の範囲に記載した「入力端子」に、ＬＳＯニューロン３０が演算した内部電圧Ｉ^ＬＭ _ｌｉ（ｔ）が閾値θ^ＬＭを超えるか否かを判別することが特許請求の範囲に記載した「音圧差判別手段」に、ＬＳＯニューロン３０の出力端子３０ｃが特許請求の範囲に記載した「出力端子」に、ＬＭモデルが特許請求の範囲に記載した「特徴抽出手段」に、それぞれ相当している。

ところで、上記の実施例においては、音源接近検知装置１０を車両などの移動体に搭載し、対象物が自車両に接近することが検知された場合に、音声や表示で運転者に注意喚起を行う警報装置１６を駆動することとしているが、本発明はこれに限定されるものではなく、その接近検知を、ブレーキ制御やアクセル制御，エンジン制御，シートベルトなどの乗員保護装置の制御に利用するものであってもよい。

また、上記の実施例においては、音源接近検知装置１０を車両などの移動体に搭載するものとしたが、本発明はこれに限定されるものではなく、信号機制御のため信号機のある交差点や道路照明灯などの制御のため道路上の固定物に設置することとしてもよい。

本発明の一実施例である音源接近検知装置の構成図である。 本実施例の音源接近検知装置における各処理部を表した図である。 本実施例の音源接近検知装置において実行されるメインルーチンの一例のフローチャートである。 本実施例の音源接近検知装置において実行されるサブルーチンの一例のフローチャートである。 本実施例において音圧の時間変化（音圧差）を抽出するためのＬＳＯモデルを表した図である。 本実施例において音圧の時間変化（音圧差）を抽出するためのＬＭモデルを表した図である。 本実施例のＬＳＯモデルの構成図である。 本実施例のＬＭモデルの構成図である。 本実施例において音源が自車両に接近しかつその後に離脱する状況で音圧が時間と共に変化する様子（同図（Ａ））と、その過程での入力音の周波数ごとの音圧差（同図（Ｂ））とを表した図である。

符号の説明

１０ 音源接近検知装置
１２ 電子制御ユニット（ＥＣＵ）
１４ マイクロフォン（マイク）
２６ 音圧差抽出部
２８ エッジ検出部

Claims (7)

1. 単一の集音手段と、
   前記集音手段にて集音される音の音圧の時間変化を検知する音圧時間変化検知手段と、
   前記音圧時間変化検出手段により検知される前記音圧の時間変化に基づいて、周囲に存在する音源との相対的位置の変位を判定する接近／離脱判定手段と、
   を備えることを特徴とする音源接近検知装置。
2. 前記音圧時間変化検知手段は、複数に分割された周波数チャンネルごとに、前記集音手段にて集音される音の音圧の時間変化を検知することを特徴とする請求項１記載の音源接近検知装置。
3. 前記音圧時間変化検知手段は、電子回路として構成されたパルスニューラルネットワークを用いて、前記集音手段にて集音される音の音圧の時間変化を検知することを特徴とする請求項１又は２記載の音源接近検知装置。
4. 前記接近／離脱判定手段は、周囲に存在してエンジン音を発する移動体又はサイレン音を発する緊急車両との相対的位置の変位を判定することを特徴とする請求項１乃至３の何れか一項記載の音源接近検知装置。
5. 前記集音手段にて集音される音の周波数特性を抽出する周波数特性抽出手段と、
   前記周波数特性抽出手段により抽出される前記周波数特性に基づいて、前記音源の種類を特定する音源種類特定手段と、
   を備えることを特徴とする請求項１乃至４の何れか一項記載の音源接近検知装置。
6. 独立かつ非同期に並列動作可能な複数のパルスニューロンを組み合わせたパルスニューラルネットワーク演算装置であって、
   各パルスニューロンはそれぞれ、
   所定時間差を空けて単一の集音手段にて集音されるそれぞれの音の音圧のパルスデータが入力される２つの入力端子と、
   前記２つの入力端子に入力されるパルスデータに基づく音圧の前記所定時間での差が、パルスニューロンごとに異なる所定値を超えるか否かを判別する音圧差判別手段と、
   前記音圧差判別手段により音圧の前記所定時間での差が前記所定値を超える場合に、パルス信号を出力する出力端子と、
   により構成されることを特徴とするパルスニューラルネットワーク演算装置。
7. 前記出力端子がパルス信号を出力するすべての前記パルスニューロンのうちからエッジ部分のパルスニューロンを抽出する特徴抽出手段を備えることを特徴とする請求項６記載のパルスニューラルネットワーク演算装置。

Images