【０００１】
【発明の属する技術分野】
本発明は、複数のセンサの観測信号を統合的に処理するセンサ情報処理分野に属する。
【０００２】
【従来の技術】
従来、複数のセンサ情報を用いて目標を検出する方法としては、（１）特開２０００−４１１１３記載の遠隔監視装置、遠隔監視システム、遠隔監視方法および記憶媒体や、（２）特開２００２−３２８７９記載の監視システムなどがある。
【０００３】
（１）では、カメラなどを使用して、監視対象の事象が発生するのを監視する。
【０００４】
何らかの事象が発生すると、あらかじめ決められた条件に従って事象の判定を行う。注目事象であると判定された場合、事象の通知や事象の保存などを行う。その結果、不要な事象の通知による人的負担の低減や、様々な事象への対応の改善が期待される。
【０００５】
（２）では、画像による監視を行う際に、異常発生箇所の特定に使用する検出画像、異常発生箇所の追尾時に記録される証拠画像、異常通知に使用する伝送画像の３種類の画像を生成する。
【０００６】
証拠画像としては高解像度の画像、伝送画像としては低解像度の画像などと設定することにより、伝送速度、安定性の向上、および証拠力の高い画像情報の取得、保存が期待される。
【０００７】
【発明が解決しようとする課題】
上記従来技術（１）では、不要な事象の通知を減少させることはできるが、事象の通知後はカメラ等の制御を行うまでにとどまっている。そのため、事象を誤検出していたとしても、その判定はオペレータに任されるため、事象の誤検出率が増加することもある。
【０００８】
上記従来技術（２）についても、検出した異常だけを迅速に通知することはできるが、その異常の検出率の向上や誤検出率の低減に関する特別な処理は行っていない。
【０００９】
そこで、本発明では、計算処理能力および通信能力の限られた複数センサ信号の統合処理装置に関して、目標検出率を低減することなく、統合処理装置へのデータ伝送量を低減し、統合処理装置の処理負荷を低減することができるセンサ情報処理装置を提供する。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明では以下の手段を設ける。
単一もしくは複数のセンサの観測信号を解析して、センサの観測領域内の各位置における観測信号値を求める観測部と、得られた観測信号値に基づいて、目標の信号である可能性のある信号（以下、目標信号候補）を検出するセンサ情報処理部と、目標信号候補の観測情報（観測位置、信号強度など）を統合する統合処理部により、センサ情報統合装置を構成する。複数のセンサ、および複数のセンサ情報処理部、統合処理部を階層的に接続し、センサの観測信号を階層的に統合する。
【００１１】
統合処理部では、複数のセンサ情報処理部や他の複数の統合処理部から出力される観測情報の同一性を判定し、同一であると判定された目標信号候補の観測情報だけを統合する。
【００１２】
上記センサ情報統合装置にセンサ管理部を設ける。センサ管理部では、管理しているセンサ間の関連度を算出し、他のセンサとの関連度が小さいセンサを選択する。選択したセンサの観測信号から検出される目標信号候補を破棄し、他のセンサとの関連度が大きいセンサの観測信号から得られる目標信号候補だけを統合処理部で処理する。
【００１３】
上記センサ管理部を設けたセンサ情報統合装置に統合センサ管理部を設ける。統合センサ管理部では、各センサ管理部において選択されたセンサと、異なるセンサ管理部の管理するセンサとの関連度を算出し、算出した関連度に基づいてセンサの再グループ化を行う。同一のグループに属するセンサを一つのセンサ管理部に割り当てる。
【００１４】
【発明の実施の形態】
本発明は、分散配置された一つ以上のセンサの観測情報を統合して、目標を検出する装置に関する。具体的には、下記の方法を実施するソフトウェア、またはハードウェアを作成することにより実現できる。
【００１５】
（第１の実施形態）
第１の実施形態は、複数のセンサの観測信号を解析して目標信号候補を検出後、各目標信号候補の同一性を判定して統合することにより目標を検出する装置に関する。
【００１６】
図１は、本実施例における複数センサを用いた目標の観測例である。
【００１７】
以降、センサとしては音響センサを仮定するが、画像センサ、レーダなど位置に対する観測値が得られる各種センサを使用することが可能である。また、図１ではセンサ数を３としているが、任意の数とすることができる。図１において、音響センサＣ１０１ｃでは音波１０３を発信し、音響センサＡ１０１ａ、Ｂ１０１ｂにより静止もしくは移動している目標１０４での反射波を受信する。領域１０２ａ、１０２ｂは、音響センサＡ１０１ａ、Ｂ１０１ｂの観測領域を示す。本実施例では、音響センサＡ１０１ａ、Ｂ１０１ｂは受波器、音響センサＣ１０１ｃは送波器としているが、音響センサＡ１０１ａからＣ１０１ｃは送波器、受波器、および送受波器のどの形式でも良い。ただし、送波器か送受波器、および受波器か送受波器は、それぞれ一つ以上必要である。
【００１８】
図２は、本実施例におけるセンサ情報統合装置の構成図である。
【００１９】
装置はサブ装置２１０ａ、２１０ｂ、２１０ｃから構成され、それらは有線もしくは無線のネットワークで接続される。各サブ装置は、センサ１０１とのインタフェース２０１、一連の処理を行うＣＰＵ２０２、プログラムやデータを格納するメモリ２０３、外部機器とのインタフェース２０４、外部のサブ装置との通信インタフェース２０６、およびこれらを結合するバス２０７と、センサ１０１、データベース２０５、通信機器２０８から構成される。図２ではサブ装置数２１０は３であるが、サブ装置２１０をさらに追加してより多段の構成とすることが可能である。
【００２０】
図３は、センサ情報統合装置における処理のブロック図である。
【００２１】
観測部３０１では、各音響センサ１０１の観測信号を解析して、音響センサ１０１の観測領域１０２内の各位置における観測信号値（反射波の信号強度）を求める。センサ情報処理部３０２では、各音響センサ１０１により得られた各位置における観測信号値に基づいて、目標の信号である可能性のある信号（以下、目標信号候補）を検出し、検出した目標信号候補に関する観測情報を統合処理部３０３へ送信する。
【００２２】
ここで、観測情報とは、信号を観測した位置や信号強度を意味する。観測情報としては、過去の観測位置や速度なども使用することができる。統合処理部３０３では、複数のセンサ情報処理部３０２や他の複数の統合処理部３０３から出力される目標信号候補の観測情報の同一性を判定し、同一であると判定された目標信号候補の観測情報を統合する。図３では各観測部に対して一つのセンサを接続しているが、複数のセンサを接続することもできる。また、サブ装置数に応じて各処理部の構成も変化する。
【００２３】
以下、観測部３０１、センサ情報処理部３０２、統合処理部３０３における処理の具体例を示す。本処理はサブ装置２１０のメモリ２０３内に格納され、ＣＰＵ２０２により実行される。以下の具体例では、観測情報として、現時点における信号の観測位置、および信号強度を使用する。
【００２４】
観測部３０１では、音響センサ１０１の観測信号を相関処理などの信号解析法を用いて解析する。図４は観測部３０１の解析結果例である。画像４０１ａ、４０１ｂは、それぞれ音響センサＡ１０１ａ、Ｂ１０１ｂの各位置における観測信号値を輝度値とした画像である。点４０３は観測信号、領域４０２ａ、４０２ｂは音響センサＡ１０１ａ、Ｂ１０１ｂの観測領域、点４０４ａ、４０４ｂはセンサ位置である。信号解析方法としては、文献１（Ｒｉｃｈａｒｄ Ｏ．Ｎｉｅｌｓｅｎ、“Ｓｏｎａｒ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ”、Ａｒｔｅｃｈ Ｈｏｕｓｅ、１９９１）に記載されているような各種信号解析方法を使用することができる。
【００２５】
図５はセンサ情報処理部３０２における具体的な処理手順である。以下、図５の番号をステップ番号として、センサ情報処理部３０２における処理手順を示す。
【００２６】
ステップ５０１（観測信号格納）では、観測部３０１で得られた観測画像をセンサ情報処理部のデータベース２０５に格納する。
【００２７】
ステップ５０２（目標信号候補検出）では、データベース内の過去の観測画像、および新たに観測された観測画像について以下の処理を実行する。目標の運動を仮定して各時刻における画像上の位置を算出し、その位置における画素値を累加する。累加した輝度値に対してしきい値Ｔｄのしきい値処理を行い、目標信号候補を検出する。
【００２８】
ステップ５０３（信頼度算出）では、検出した目標信号候補の信頼度ｒｂを算出する。信頼度としては、同一の目標信号候補を観測している継続時間を使用する。そのほか、目標信号候補以外の信号を雑音と仮定したときの信号対雑音比、目標信号候補の観測位置におけるセンサの探知確率などを信頼度として使用することができる。
【００２９】
ステップ５０４（信頼度判定）では、信頼度ｒｂに対してしきい値Ｔｂのしきい値処理を実行する。具体的には、信頼度ｒｂ≧Ｔｂである場合、以下のステップ５０５の処理を実行する。信頼度ｒｂ＜Ｔｂである場合、処理を終了する。
【００３０】
ステップ５０５（観測情報送信）では、ステップ５０２で検出した目標信号候補の観測情報を統合処理部３０３に出力する。
【００３１】
図６は統合処理部３０３における具体的な処理手順を示す。
【００３２】
図７は、その相関値の説明図である。
【００３３】
図７において、点ｚ１（ｋ）６０１、ｚ２（ｋ）６０２、ｚ３（ｋ）６０３は時刻ｔ（ｋ）において新たに検出された目標信号候補、軌跡｛ｚ（ｋ−３）、ｚ（ｋ−２）、ｚ（ｋ−１）｝６０４は時刻ｔ（ｋ−１）までに検出された目標の軌跡である。以下、図６の番号をステップ番号として、統合処理部３０３における処理手順を示す。
【００３４】
ステップ６０１（観測情報取得）では、時刻ｔ（ｋ）および時刻ｔ（ｋ）以前に検出された目標信号候補の観測情報をデータベース２０５より取得する。
【００３５】
ステップ６０２（相関値算出）では、センサ情報処理部より出力された目標信号候補の観測情報と検索した目標信号候補の観測情報の相関値ｒを算出する。
【００３６】
具体的には、カルマンフィルタにより、過去の観測情報から時刻ｔ（ｋ）における目標の存在分布を推定し、目標信号候補の観測位置誤差分布とのマハラノビス距離ｍｄを算出する。この距離ｍｄの逆数を相関値ｒとする。同じ時刻に観測された目標信号候補については、目標信号候補の観測位置誤差分布間のマハラノビス距離ｍｄの逆数を相関値ｒとする。ただし、同一の目標信号候補間の相関値ｒはｒ＝−∞とする。カルマンフィルタ、およびマハラノビス距離については、文献２（中野道雄、西山清、“カルマンフィルタ”、丸善、１９９３）、３（鳥脇順一郎、“認識工学”、コロナ社、１９９３）に記載されている。
【００３７】
ステップ６０３（相関値判定）では、相関値ｒについて、しきい値Ｔｒのしきい値処理を実行する。ｒ≧Ｔｒの場合、以下のステップ５０４を実行する。ｒ＜Ｔｒの場合、処理を終了する。
【００３８】
ステップ６０２、６０３からなる相関処理としては、上記以外に文献４（Ｄａｖｉｄ Ｌ． Ｈａｌｌ、“Ｍａｔｈｅｍａｔｉｃａｌ Ｔｅｃｈｉｑｕｅｓ ｉｎ Ｍｕｌｔｓｅｎｓｏｒ Ｄａｔａ Ｆｕｓｉｏｎ”、Ａｒｔｅｃｈ Ｈｏｕｓｅ、１９９２）に記載されている各種相関処理を使用することができる。
【００３９】
ステップ６０４（目標位置算出）では、センサ情報処理部より出力された目標信号候補の観測情報と、検索した目標候補の観測情報を用いて目標位置を推定する。具体的には、カルマンフィルタを使用する。
【００４０】
ステップ６０５（目標信号強度算出）では、静止している目標など、目標の過去の観測位置が不変の場合、その目標の信号強度を更新する。具体的には、重み付き平均値を算出し、目標の信号強度とする。そのほか、目標の信号強度の算出方法としては上記文献４などに記載の種々の方法を使用することができる。
【００４１】
ステップ６０６（統合観測情報格納）では、統合した観測情報、すなわち統合した目標信号候補の位置、および信号強度をデータベース２０５に格納する。
【００４２】
ステップ６０７（統合観測情報送信）では、統合して得られた目標信号候補の観測情報をより上位の統合処理部３０３ｂに出力する。
【００４３】
以上のように、誤検出の次段の処理への出力を減少させ、信頼度の高い情報だけを階層的に統合、出力することにより、目標の検出率を低減することなく、統合処理装置における処理負荷を低減することが期待できる。
【００４４】
（第２の実施形態）
第２の実施形態は、センサの管理部を備えたセンサ情報統合装置に関する。上記の実施例との相違点は、使用するセンサを選択するセンサ管理部が加わった点である。
【００４５】
図８は、本実施例におけるセンサ情報統合装置のブロック図である。
【００４６】
矢印８１０は各装置からのデータフローを示す。センサ管理部８０１では、センサの観測領域間の関連度に基づいて、統合処理部に出力する観測情報の取捨選択を行う。観測情報の選択は、センサ情報処理部３０２より目標信号候補が検出され、次段の処理部に出力された時に行う。また、所定の時刻にセンサ間の関連度を算出し、あらかじめ目標の観測に使用するセンサを選択することも可能である。センサ数については、２以上の任意の数とすることが可能であり、各観測部に対して複数のセンサを接続することができる。
【００４７】
図９は、センサ管理部８０１における具体的な処理手順であり、
図１０は、センサ管理部８０１における処理の説明図である。
【００４８】
図１０において、領域１００２は音響センサＤ１００１の観測領域、領域１００３は音響センサＡ１０１ａおよびＢ１０１ｂの観測領域が重なる領域である。以下、図９の番号をステップ番号として、センサ管理部８０１における処理手順を示す。
【００４９】
ステップ９０１（センサパラメータ取得）では、各センサ１０１のパラメータをデータベース２０５より取得する。ここで、パラメータとは、センサの姿勢、位置、およびセンサ自身のスペックを意味する。
【００５０】
ステップ９０２（関連度算出）では、全ての異なるセンサのペアに対して、二つのセンサの関連の度合いを表す関連度ｒｄを算出する。関連度としては、センサのパラメータより算出される各センサの観測領域の重なり面積やセンサ間の距離、種類などを使用する。関連度ｒｄはその値が大きいほどセンサ間の関連性が高いとする。図１０の例では、関連度ｒｄを領域の重なり面積Ｓで定義する。音響センサＡ１０１ａとＢ１０１ｂの観測領域の重なり領域１００２の面積Ｓが、音響センサＡ１０１ａとＤ９０１、および音響センサＢ１０１ａとＤ９０１の重なり領域の面積（＝０）より大きいため、二つの音響センサＡ１０１ａ、Ｂ１０１ｂの関連性はそれ以外のセンサのペアに比べて高くなる。
【００５１】
ステップ９０３（センサのグループ化）では、各センサ間の関連度ｒｄについて、しきい値Ｔｄのしきい値処理を実行し、他のすべてのセンサとの関連度ｒｄに関してｒｄ≧Ｔｄの関係が成立するセンサのグループを形成する。
【００５２】
ステップ８０４（観測情報送信）では、センサ情報処理部３０２より出力された目標信号候補が、グループのメンバとして選択されたセンサの観測信号である場合、その目標信号候補を出力し、統合処理部３０３の処理対象とする。
【００５３】
以上のように、関連性の高いセンサの観測信号だけを統合処理部３０３で処理することにより、目標の検出率を低減することなく、統合処理装置における処理負荷を低減することが期待できる。
【００５４】
（第３の実施形態）
第３の実施形態は、統合センサ管理部を備えたセンサ情報統合装置に関する。上記の実施例との相違点は、センサ情報処理部や統合処理部の出力送信先を変更する統合センサ管理部を設けた点である。
【００５５】
図１１は、本実施例におけるセンサ情報統合装置のブロック図である。
【００５６】
矢印１１１０はサブ装置２１０ｄ、２１０ｅとサブ装置１１０２間のデータフローを示す。サブ装置１１０２は、サブ装置２１０のメモリ２０３内のプログラムを変更することにより実現する。統合センサ管理部１１０１では各センサ管理部８０１の管理、およびセンサ管理部８０１とセンサ１０１の組合せの変更を行う。なお、センサ数は２以上の任意の数とすることが可能であり、観測部に対しては複数のセンサを接続することができる。また、各処理部をさらに追加してより多段の構成とすることが可能である。
【００５７】
図１２は、統合センサ管理部１１０１における具体的な処理手順である。以下、図１２の番号をステップ番号として、統合センサ管理部１１０１における処理手順を示す。
【００５８】
ステップ１２０１（センサのサブグループ化）では、センサ管理部８０１ごとに、ステップ９０１から９０３と同様の方法によりセンサ１０１をグループ化する。
【００５９】
ステップ１２０２（センサ選択）では、各センサ管理部８０１で生成したセンサ１０１のサブグループに属さないセンサを選択し、そのパラメータをデータベース２０５より取得する。
【００６０】
ステップ１３０３（他グループとの関連度算出）では、選択したセンサと各サブグループ内のセンサとの関連度ｒｄをステップ９０２と同様の方法により算出する。
【００６１】
ステップ１３０４（再グループ化）では、関連度ｒｄについてしきい値Ｔｄのしきい値処理を実行し、選択したセンサとサブグループ内のすべてのセンサについてｒｄ≧Ｔｄの関係が成立するサブグループを選択する。サブグループが複数存在する場合には、関連度ｒｄが最大となるサブグループを選択する。選択したセンサとサブグループにより新たにグループを形成し、一つのセンサ管理部８０１にその管理を割り当てる。
【００６２】
以上のように、有効なセンサを再グループ化して関連性の高いセンサの観測信号だけを統合処理部３０３で処理することにより、目標の検出率を低減することなく、統合処理装置における処理負荷を低減することが期待できる。
【００６３】
【発明の効果】
本発明によれば、複数センサの観測信号を階層的に統合することにより、目標検出率を低減することなく、統合処理装置へのデータ伝送量を低減し、統合処理装置の処理負荷を低減できるセンサ情報処理装置を提供することができる。
【図面の簡単な説明】
【図１】複数の音響センサを用いた目標の観測例。
【図２】センサ情報統合装置の構成図。
【図３】センサ情報統合装置における処理のブロック図。
【図４】観測部の解析結果例。
【図５】センサ情報処理部における処理手順。
【図６】統合処理部における処理手順。
【図７】相関値の説明図。
【図８】センサ管理部を設けたセンサ情報統合装置における処理のブロック図。
【図９】センサ管理部における処理手順。
【図１０】センサ管理部における処理の説明図。
【図１１】統合センサ管理部を設けたセンサ情報統合装置における処理のブロック図。
【図１２】センサ管理部における処理手順。
【符号の説明】
１０１ａ、１０１ｂ、１０１ｃ：音響センサ
１０２ａ、１０２ｂ：音響センサの観測領域
２０１ａ、２０１ｂ、２０１ｃ：センサ用インタフェース
２０２ａ、２０２ｂ、２０２ｃ：ＣＰＵ
２０３ａ、２０３ｂ、２０３ｃ：メモリ
２０４ａ、２０４ｂ、２０４ｃ：外部機器用インタフェース
２０６ａ、２０６ｂ、２０６ｃ：通信用インタフェース
３０１ａ、３０１ｂ、３０１ｃ：観測部
３０２ａ、３０２ｂ、３０２ｃ：センサ情報処理部
３０３ａ、３０３ｂ：統合処理部
４０１ａ、４０１ｂ：反射波の信号強度を輝度値とする画像
７０１、７０２、７０３：新たに観測された目標信号候補
７０４：過去に検出された目標信号候補の軌跡
８０１ａ、８０１ｂ：センサ管理部
１００３：二つの音響センサに共通の観測領域
１１０１：統合センサ管理部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to the field of sensor information processing for integrally processing observation signals of a plurality of sensors.
[0002]
[Prior art]
Conventionally, methods for detecting a target using a plurality of pieces of sensor information include: (1) a remote monitoring device, a remote monitoring system, a remote monitoring method, and a storage medium described in JP-A-2000-41113; 32879.
[0003]
In (1), the occurrence of an event to be monitored is monitored using a camera or the like.
[0004]
When an event occurs, the event is determined according to a predetermined condition. When it is determined that the event is the event of interest, notification of the event, storage of the event, and the like are performed. As a result, reduction of human burden by notification of unnecessary events and improvement of response to various events are expected.
[0005]
In (2), when performing monitoring using images, three types of images are generated: a detected image used to identify an abnormal location, an evidence image recorded when tracking the abnormal location, and a transmission image used for anomaly notification. I do.
[0006]
By setting a high-resolution image as a proof image and a low-resolution image as a transmission image, it is expected to improve transmission speed, stability, and acquire and store image information with high proof.
[0007]
[Problems to be solved by the invention]
In the above-mentioned prior art (1), the notification of an unnecessary event can be reduced, but after the notification of the event, only the control of the camera or the like is performed. Therefore, even if an event is erroneously detected, the determination is left to the operator, and the erroneous event detection rate may increase.
[0008]
Also in the above-mentioned prior art (2), it is possible to promptly notify only the detected abnormality, but no special processing is performed for improving the abnormality detection rate or reducing the erroneous detection rate.
[0009]
Therefore, in the present invention, for an integrated processing device of a plurality of sensor signals having limited calculation processing capability and communication capability, the data transmission amount to the integrated processing device is reduced without reducing the target detection rate, and Provided is a sensor information processing device capable of reducing a processing load.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides the following means.
An observation unit that analyzes the observation signals of one or more sensors and obtains the observation signal value at each position in the observation area of the sensor. Based on the obtained observation signal value, the possibility of the target signal A sensor information integration device is configured by a sensor information processing unit that detects a certain signal (hereinafter, a target signal candidate) and an integration processing unit that integrates observation information (observation position, signal strength, and the like) of the target signal candidate. A plurality of sensors, a plurality of sensor information processing units, and an integration processing unit are hierarchically connected, and the observation signals of the sensors are integrated hierarchically.
[0011]
The integration processing unit determines the identity of the observation information output from the plurality of sensor information processing units and the other plurality of integration processing units, and integrates only the observation information of the target signal candidate determined to be the same.
[0012]
A sensor management unit is provided in the sensor information integration device. The sensor management unit calculates the degree of association between the managed sensors and selects a sensor having a small degree of association with another sensor. The target signal candidate detected from the observation signal of the selected sensor is discarded, and only the target signal candidate obtained from the observation signal of the sensor having a high degree of association with another sensor is processed by the integration processing unit.
[0013]
An integrated sensor management unit is provided in the sensor information integration device provided with the sensor management unit. The integrated sensor management unit calculates the degree of association between the sensor selected by each sensor management unit and the sensor managed by a different sensor management unit, and regroups the sensors based on the calculated degree of association. Sensors belonging to the same group are assigned to one sensor management unit.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
The present invention relates to an apparatus for detecting a target by integrating observation information of one or more distributed sensors. Specifically, it can be realized by creating software or hardware for implementing the following method.
[0015]
(1st Embodiment)
The first embodiment relates to an apparatus for detecting targets by analyzing observation signals of a plurality of sensors to detect target signal candidates, determining the identity of each target signal candidate, and integrating them.
[0016]
FIG. 1 is an example of target observation using a plurality of sensors in the present embodiment.
[0017]
Hereinafter, an acoustic sensor is assumed as a sensor, but various sensors such as an image sensor and a radar that can obtain an observation value with respect to a position can be used. Further, in FIG. 1, the number of sensors is three, but may be any number. In FIG. 1, the acoustic sensor C101c transmits a sound wave 103, and the acoustic sensors A101a and B101b receive a reflected wave from a stationary or moving target 104. The areas 102a and 102b indicate the observation areas of the acoustic sensors A101a and B101b. In the present embodiment, the acoustic sensors A101a and B101b are receivers, and the acoustic sensor C101c is a transmitter. However, the acoustic sensors A101a to C101c may be transmitters, receivers, and transmitters / receivers. However, one or more transmitters or transmitters and receivers or receivers are required.
[0018]
FIG. 2 is a configuration diagram of the sensor information integration device in the present embodiment.
[0019]
The device is composed of sub-devices 210a, 210b, 210c, which are connected by a wired or wireless network. Each sub-device includes an interface 201 with the sensor 101, a CPU 202 for performing a series of processes, a memory 203 for storing programs and data, an interface 204 with an external device, a communication interface 206 with an external sub-device, and coupling these. It comprises a bus 207, a sensor 101, a database 205, and a communication device 208. In FIG. 2, the number of sub-devices 210 is three, but the number of sub-devices 210 can be further increased to provide a multi-stage configuration.
[0020]
FIG. 3 is a block diagram of a process in the sensor information integration device.
[0021]
The observation unit 301 analyzes the observation signal of each acoustic sensor 101 and obtains an observation signal value (reflected wave signal intensity) at each position in the observation area 102 of the acoustic sensor 101. The sensor information processing unit 302 detects a signal that may be a target signal (hereinafter, a target signal candidate) based on the observed signal value at each position obtained by each acoustic sensor 101, and detects the detected target signal. The observation information on the candidate is transmitted to the integration processing unit 303.
[0022]
Here, the observation information means the position at which the signal is observed and the signal strength. As the observation information, past observation positions and velocities can also be used. The integration processing unit 303 determines the identity of the observation information of the target signal candidates output from the plurality of sensor information processing units 302 and the other plurality of integration processing units 303, and determines whether the target signal candidates determined to be the same are the same. Integrate observation information. In FIG. 3, one sensor is connected to each observation unit, but a plurality of sensors can be connected. Also, the configuration of each processing unit changes according to the number of sub devices.
[0023]
Hereinafter, specific examples of processing in the observation unit 301, the sensor information processing unit 302, and the integration processing unit 303 will be described. This processing is stored in the memory 203 of the sub device 210 and executed by the CPU 202. In the following specific example, the observation position of the signal and the signal strength at the current time are used as the observation information.
[0024]
The observation unit 301 analyzes the observation signal of the acoustic sensor 101 using a signal analysis method such as a correlation process. FIG. 4 is an example of an analysis result of the observation unit 301. The images 401a and 401b are images in which the observed signal values at the respective positions of the acoustic sensors A101a and B101b are luminance values. A point 403 is an observation signal, areas 402a and 402b are observation areas of the acoustic sensors A101a and B101b, and points 404a and 404b are sensor positions. As a signal analysis method, various signal analysis methods as described in Document 1 (Richard O. Nielsen, "Sonar Signal Processing", Arttech House, 1991) can be used.
[0025]
FIG. 5 shows a specific processing procedure in the sensor information processing unit 302. Hereinafter, a processing procedure in the sensor information processing unit 302 will be described using the numbers in FIG. 5 as step numbers.
[0026]
In step 501 (storage signal storage), the observation image obtained by the observation unit 301 is stored in the database 205 of the sensor information processing unit.
[0027]
In step 502 (target signal candidate detection), the following processing is performed on the past observed image and the newly observed image in the database. The position on the image at each time is calculated assuming the target motion, and the pixel value at that position is added. Threshold processing of the threshold value Td is performed on the accumulated luminance value, and a target signal candidate is detected.
[0028]
In step 503 (reliability calculation), the reliability rb of the detected target signal candidate is calculated. As the reliability, the duration of observing the same target signal candidate is used. In addition, a signal-to-noise ratio when a signal other than the target signal candidate is assumed to be noise, a detection probability of a sensor at an observation position of the target signal candidate, and the like can be used as reliability.
[0029]
In step 504 (reliability determination), threshold value processing of the threshold value Tb is performed on the reliability rb. Specifically, when the reliability rb ≧ Tb, the following step 505 is executed. If the reliability rb <Tb, the process ends.
[0030]
In step 505 (transmission of observation information), the observation information of the target signal candidate detected in step 502 is output to the integration processing unit 303.
[0031]
FIG. 6 shows a specific processing procedure in the integration processing unit 303.
[0032]
FIG. 7 is an explanatory diagram of the correlation value.
[0033]
In FIG. 7, points z1 (k) 601, z2 (k) 602, and z3 (k) 603 are target signal candidates newly detected at time t (k), trajectories ｛z (k−3), z (k). −2), z (k−1)｝ 604 is the trajectory of the target detected until time t (k−1). Hereinafter, the processing procedure in the integration processing unit 303 will be described using the numbers in FIG. 6 as step numbers.
[0034]
In step 601 (obtain observation information), the observation information of the target signal candidates detected at time t (k) and before time t (k) is obtained from the database 205.
[0035]
In step 602 (correlation value calculation), a correlation value r between the target signal candidate observation information output from the sensor information processing unit and the retrieved target signal candidate observation information is calculated.
[0036]
Specifically, the Kalman filter estimates the target existence distribution at time t (k) from past observation information, and calculates the Mahalanobis distance md from the observation position error distribution of the target signal candidate. The reciprocal of the distance md is defined as a correlation value r. For a target signal candidate observed at the same time, the reciprocal of the Mahalanobis distance md between the observed position error distributions of the target signal candidate is defined as the correlation value r. However, the correlation value r between the same target signal candidates is r = −∞. The Kalman filter and the Mahalanobis distance are described in Literature 2 (Michio Nakano, Kiyoshi Nishiyama, "Kalman Filter", Maruzen, 1993), and 3 (Junichiro Towaki, "Recognition Engineering", Corona Co., 1993).
[0037]
In step 603 (correlation value determination), threshold value processing of a threshold value Tr is performed on the correlation value r. If r ≧ Tr, the following step 504 is executed. If r <Tr, the process ends.
[0038]
In addition to the above, various correlation processes described in Reference 4 (David L. Hall, "Material Technologies in Multisensor Data Fusion", Art House, 1992) can be used as the correlation process including steps 602 and 603. .
[0039]
In step 604 (target position calculation), the target position is estimated using the observation information of the target signal candidate output from the sensor information processing unit and the retrieved target candidate observation information. Specifically, a Kalman filter is used.
[0040]
In step 605 (target signal strength calculation), if the past observation position of the target is unchanged, such as a stationary target, the signal strength of the target is updated. Specifically, a weighted average value is calculated and used as a target signal strength. In addition, as a method of calculating a target signal strength, various methods described in the above-mentioned reference 4 and the like can be used.
[0041]
In step 606 (integrated observation information storage), the integrated observation information, that is, the position of the integrated target signal candidate and the signal strength are stored in the database 205.
[0042]
In step 607 (integrated observation information transmission), the observation information of the target signal candidate obtained by integration is output to the higher-level integration processing unit 303b.
[0043]
As described above, the output to the processing at the next stage of erroneous detection is reduced, and only highly reliable information is hierarchically integrated and output, thereby reducing the target detection rate. It can be expected that the processing load will be reduced.
[0044]
(Second embodiment)
The second embodiment relates to a sensor information integration device including a sensor management unit. The difference from the above embodiment is that a sensor management unit for selecting a sensor to be used is added.
[0045]
FIG. 8 is a block diagram of the sensor information integration device in the present embodiment.
[0046]
Arrow 810 indicates the data flow from each device. The sensor management unit 801 selects observation information to be output to the integration processing unit based on the degree of association between sensor observation areas. The selection of the observation information is performed when a target signal candidate is detected by the sensor information processing unit 302 and output to the next processing unit. It is also possible to calculate the degree of association between sensors at a predetermined time and select a sensor to be used for target observation in advance. The number of sensors can be an arbitrary number of 2 or more, and a plurality of sensors can be connected to each observation unit.
[0047]
FIG. 9 shows a specific processing procedure in the sensor management unit 801.
FIG. 10 is an explanatory diagram of processing in the sensor management unit 801.
[0048]
In FIG. 10, an area 1002 is an observation area of the acoustic sensor D1001, and an area 1003 is an area where the observation areas of the acoustic sensors A101a and B101b overlap. Hereinafter, the processing procedure in the sensor management unit 801 will be described using the numbers in FIG. 9 as step numbers.
[0049]
In step 901 (obtain sensor parameters), the parameters of each sensor 101 are obtained from the database 205. Here, the parameters mean the orientation and position of the sensor and the specifications of the sensor itself.
[0050]
In step 902 (calculation of the degree of association), the degree of association rd indicating the degree of association between the two sensors is calculated for all pairs of different sensors. As the degree of association, the overlapping area of the observation area of each sensor, the distance between the sensors, the type, and the like, which are calculated from the parameters of the sensors, are used. It is assumed that the greater the value of the degree of association rd, the higher the degree of association between sensors. In the example of FIG. 10, the degree of association rd is defined by the overlapping area S of the regions. Since the area S of the overlap area 1002 of the observation area of the acoustic sensors A101a and B101b is larger than the area (= 0) of the overlap area of the acoustic sensors A101a and D901 and the acoustic sensor B101a and D901, the two acoustic sensors A101a and B101b The relevance is higher than for the other sensor pairs.
[0051]
In step 903 (sensor grouping), a threshold value process of a threshold value Td is executed for the degree of association rd between the sensors, and a relationship of rd ≧ Td is established for the degrees of association rd with all other sensors. To form a group of sensors.
[0052]
In step 804 (transmission of observation information), when the target signal candidate output from the sensor information processing unit 302 is an observation signal of the sensor selected as a member of the group, the target signal candidate is output, and the integration processing unit 303 To be processed.
[0053]
As described above, by processing only the observation signals of highly relevant sensors by the integration processing unit 303, it is expected that the processing load on the integrated processing apparatus can be reduced without reducing the target detection rate.
[0054]
(Third embodiment)
The third embodiment relates to a sensor information integration device including an integrated sensor management unit. The difference from the above embodiment is that an integrated sensor management unit that changes the output destination of the sensor information processing unit and the integrated processing unit is provided.
[0055]
FIG. 11 is a block diagram of the sensor information integration device in the present embodiment.
[0056]
Arrow 1110 indicates the data flow between sub-devices 210d, 210e and sub-device 1102. The sub device 1102 is realized by changing a program in the memory 203 of the sub device 210. The integrated sensor management unit 1101 manages each sensor management unit 801 and changes the combination of the sensor management unit 801 and the sensor 101. Note that the number of sensors can be an arbitrary number of 2 or more, and a plurality of sensors can be connected to the observation unit. Further, each processing unit can be further added to form a multi-stage configuration.
[0057]
FIG. 12 shows a specific processing procedure in the integrated sensor management unit 1101. Hereinafter, the processing procedure in the integrated sensor management unit 1101 will be described using the numbers in FIG. 12 as step numbers.
[0058]
In step 1201 (subgrouping of sensors), the sensors 101 are grouped by the same method as in steps 901 to 903 for each sensor management unit 801.
[0059]
In step 1202 (sensor selection), a sensor that does not belong to the subgroup of the sensor 101 generated by each sensor management unit 801 is selected, and its parameters are acquired from the database 205.
[0060]
In step 1303 (calculation of the degree of association with another group), the degree of association rd between the selected sensor and the sensor in each subgroup is calculated by the same method as in step 902.
[0061]
In step 1304 (regrouping), a threshold value process of a threshold value Td is performed on the degree of association rd, and a subgroup that satisfies the relationship of rd ≧ Td is selected for all sensors in the subgroup with the selected sensor. I do. If there are a plurality of subgroups, the subgroup with the highest relevance rd is selected. A new group is formed by the selected sensors and subgroups, and the management is assigned to one sensor management unit 801.
[0062]
As described above, by regrouping valid sensors and processing only observation signals of highly relevant sensors in the integration processing unit 303, the processing load on the integrated processing apparatus can be reduced without reducing the target detection rate. It can be expected to be reduced.
[0063]
【The invention's effect】
According to the present invention, by hierarchically integrating observation signals of a plurality of sensors, the amount of data transmitted to the integrated processing device can be reduced without reducing the target detection rate, and the processing load on the integrated processing device can be reduced. A sensor information processing device can be provided.
[Brief description of the drawings]
FIG. 1 is a target observation example using a plurality of acoustic sensors.
FIG. 2 is a configuration diagram of a sensor information integration device.
FIG. 3 is a block diagram of processing in the sensor information integration device.
FIG. 4 is an example of an analysis result of an observation unit.
FIG. 5 is a processing procedure in a sensor information processing unit.
FIG. 6 is a processing procedure in an integrated processing unit.
FIG. 7 is an explanatory diagram of a correlation value.
FIG. 8 is a block diagram of processing in a sensor information integration device provided with a sensor management unit.
FIG. 9 is a processing procedure in a sensor management unit.
FIG. 10 is an explanatory diagram of processing in a sensor management unit.
FIG. 11 is a block diagram of processing in a sensor information integration device provided with an integrated sensor management unit.
FIG. 12 shows a processing procedure in a sensor management unit.
[Explanation of symbols]
101a, 101b, 101c: Acoustic sensor 102a, 102b: Observation area 201a, 201b, 201c of acoustic sensor: Sensor interface 202a, 202b, 202c: CPU
203a, 203b, 203c: memories 204a, 204b, 204c: external device interfaces 206a, 206b, 206c: communication interfaces 301a, 301b, 301c: observation units 302a, 302b, 302c: sensor information processing units 303a, 303b: integration processing Units 401a and 401b: Images 701, 702, and 703 in which the intensity of the reflected wave signal is a luminance value: Newly observed target signal candidates 704: Trajectories 801a and 801b of target signal candidates detected in the past: Sensor management unit 1003 : Observation area common to two acoustic sensors 1101: Integrated sensor management unit
