JP2018101987A - 監視エリアの音源表示システム及び音源表示方法 - Google Patents

Abstract

【課題】撮像画像から無人飛行体の存在及びその位置を容易に判断する。【解決手段】無人飛行体検知システム５では、全方位カメラＣＡは監視エリア８を撮像する。マイクアレイＭＡは監視エリアの音声を収音する。監視装置１０は、マイクアレイＭＡにより収音された音声データを用いて、監視エリアに現れる無人飛行体を検知する。監視装置１０内の信号処理部は、全方位カメラＣＡにより撮像された監視エリアの画像データをモニタ５０に表示する際、無人飛行体を視覚情報に変換した識別マークを監視エリアの画像データに重畳させる。【選択図】図１

Description

本発明は、監視エリアの音源表示システム及び音源表示方法に関する。

従来、監視領域内に生じる音を方向毎に検知する複数の音検知部を用いて、物体の存在の検知と、物体の飛来方向の検知とが可能な飛来飛行物体監視装置が知られている（例えば特許文献１参照）。この飛来飛行物体監視装置の処理装置は、マイクによる音検知によって飛行物体の飛来及びその飛来方向を検知すると、その飛行物体が飛来した方向に監視カメラを向ける。更に、処理装置は、この監視カメラで撮影された映像を表示装置に表示する。

特開２００６−１６８４２１号公報

しかしながら、特許文献１の構成では、表示装置に表示される画像は、飛行物体を捉えた撮像画像そのものであり、ユーザが表示装置に表示された飛行物体を見ても、この飛行物体がユーザの目的とする無人飛行体であるか否かを容易に判断することはできなかった。例えば、監視カメラで撮像される映像には、ユーザの目的とする無人飛行体以外に様々な飛行物体が映っていることがある。この場合、ユーザの目的とする無人飛行体が存在するか、また存在したとしても周辺の状況からその無人飛行体の位置を容易に把握することは難しかった。

本発明は、上述した従来の状況に鑑みて案出され、カメラによる撮像画像を利用して、監視エリアの音源を表示する監視エリアの音源表示システム及び音源表示方法を提供することを目的とする。

本発明は、監視エリアを撮像するカメラと、前記監視エリアの音声を収音するマイクアレイと、前記カメラにより撮像された前記監視エリアの画像データを表示する表示部と、前記マイクアレイにより収音された音声データを用いて、前記監視エリアの音の大きさを特定する音パラメータを、前記監視エリアの画像データを構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記監視エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示する、音源の表示動作を行う信号処理部と、を備える、監視エリアの音源表示システムを提供する。

また、本発明は、カメラとマイクアレイとを含む監視エリアの音源表示システムにおける音源表示方法であって、前記カメラにおいて前記監視エリアを撮像し、前記マイクアレイにおいて前記監視エリアの音声を収音し、前記マイクアレイにより収音された音声データを用いて、前記監視エリアの音の大きさを特定する音パラメータを、前記監視エリアの画像データを構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記監視エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示する、音源の表示動作を行う、音源表示方法を提供する。

本発明によれば、カメラによる撮像画像を利用して、監視エリアの音源を表示することができる。

本実施形態の無人飛行体検知システムの概略構成の一例を示す図 音源検知ユニットの外観の一例を示す図 マイクアレイの内部構成の一例を詳細に示すブロック図 全方位カメラの内部構成の一例を詳細に示すブロック図 ＰＴＺカメラの内部構成の一例を詳細に示すブロック図 監視装置の内部構成の一例を詳細に示すブロック図 メモリに登録されている無人飛行体の検知音信号のパターンの一例を示すタイミングチャート 周波数分析処理の結果として得られた検知音信号の周波数変化の一例を示すタイミングチャート 本実施形態の無人飛行体検知システムにおける無人飛行体の検知動作の一例を示すシーケンス図 図９の手順Ｔ１５の無人飛行体検知判定手順の詳細の一例を示すフローチャート 監視エリア内で指向方向が順に走査され、無人飛行体が検知される様子の一例を示す図 無人飛行体が検知されていないときのモニタの表示画面例を示す図 無人飛行体が検知されたときのモニタの表示画面例を示す図 無人飛行体が検知されかつＰＴＺカメラが検知に連動して光軸方向を変更したときのモニタの表示画面の一例を示す図 無人飛行体が検知されかつＰＴＺカメラが検知に連動して光軸方向を変更したときのモニタの表示画面の他の一例を示す図

以下、適宜図面を参照しながら、本発明に係る無人飛行体検知システム及び無人飛行体検知方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、本実施形態の無人飛行体検知システム５の概略構成の一例を示す図である。無人飛行体検知システム５は、検知対象としてユーザの目的とする無人飛行体ｄｎ（例えば図１４参照）を検知する。無人飛行体ｄｎは、例えばＧＰＳ（Global Positioning System）機能を利用して自律的に飛行するドローン、第三者によって無線操縦されるラジコンヘリコプタ等である。このような無人飛行体ｄｎは、例えばターゲットの空撮、物資の運搬等に利用される。

本実施形態では、無人飛行体ｄｎとして、複数のロータ（言い換えると、回転翼）を搭載したマルチコプタ型のドローンを例示する。マルチコプタ型のドローンでは、一般にロータの羽の枚数が２枚の場合、特定周波数に対し２倍の周波数の高調波、更にはその逓倍の周波数の高調波が発生する。同様に、ロータの羽の枚数が３枚の場合、特定周波数に対し３倍の周波数の高調波、更にはその逓倍の周波数の高調波が発生する。ロータの羽の枚数が４枚以上の場合も同様である。

無人飛行体検知システム５は、複数の音源検知ユニットＵＤと、監視装置１０と、モニタ５０とを含む構成である。複数の音源検知ユニットＵＤは、ネットワークＮＷを介して監視装置１０と相互に接続される。それぞれの音源検知ユニットＵＤは、マイクアレイＭＡ、全方位カメラＣＡ、及びＰＴＺカメラＣＺを有する。なお、個々の音源検知ユニットを特に区別する必要がある場合を除き、音源検知ユニットＵＤと称する。同様に、個々のマイクアレイ、全方位カメラ、ＰＴＺカメラを特に区別する必要がある場合を除き、マイクアレイＭＡ、全方位カメラＣＡ、ＰＴＺカメラＣＺと称する。

音源検知ユニットＵＤでは、マイクアレイＭＡは、自装置が設置された収音エリアにおける全方位の音を無指向状態で収音する。マイクアレイＭＡは、中央に所定幅の円筒形状の開口部が形成された筐体１５（図２参照）を有する。マイクアレイＭＡが収音対象とする音は、例えばドローンのような機械的な動作音、人間等が発する音声、その他の音を広く含み、可聴周波数（つまり、２０Ｈｚ〜２３ｋｈＨｚ）域の音に限らず、可聴周波数より低い低周波音や可聴周波数を超える超音波音が含まれてもよい。

マイクアレイＭＡは、複数の無指向性のマイクロホンＭ１〜Ｍｎ（図３参照）を含む。マイクロホンＭ１〜Ｍｎは、筐体１５に設けられた上記開口部の周囲に円周方向に沿って、同心円状に予め決められた間隔（例えば均一な間隔）で配置されている。マイクロホンは、例えばエレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。マイクアレイＭＡは、それぞれのマイクロホンＭ１〜Ｍｎの収音により得られた音（後述参照）の音データを、ネットワークＮＷを介して監視装置１０に送信する。なお、上記の各マイクロホンＭ１〜Ｍｎの配列は、一例であり、他の配列であってもよい。

また、マイクアレイＭＡは、複数のマイクロホンＭ１〜Ｍｎ（例えばｎ＝３２）、及び複数のマイクロホンＭ１〜Ｍｎの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｎ（図３参照）を有する。各増幅器から出力されるアナログ信号は、後述するＡ／Ｄ変換器Ａ１〜Ａｎ（図３参照）でそれぞれデジタル信号に変換される。なお、マイクアレイにおけるマイクロホンの数は、３２個に限られず、他の数（例えば１６個、６４個、１２８個）であってもよい。

マイクアレイＭＡの筐体１５（図２参照）の中央に形成された開口部の内側には、開口部の容積と略一致する全方位カメラＣＡが収容される。つまり、マイクアレイＭＡと全方位カメラＣＡとは一体的に配置される（図２参照）。全方位カメラＣＡは、上記収音空間である撮像エリアの全方位画像を撮像可能な魚眼レンズを搭載したカメラである。本実施形態において、収音エリアと撮像エリアとはともに共通の監視エリアとして説明するが、収音エリアと撮像エリアの空間的な大きさ（例えば体積）は同一でなくてもよい。例えば収音エリアの体積が撮像エリアの体積より大きくても良いし、小さくてもよい。要は、収音エリアと撮像エリアとは共通する体積部分があればよい。全方位カメラＣＡは、例えば音源検知ユニットＵＤが設置された撮像エリアを撮像可能な監視カメラとして機能する。つまり、全方位カメラＣＡは、例えば垂直方向：１８０°、水平方向：３６０°の画角を有し、例えば半天球である監視エリア８（図１１参照）を撮像エリアとして撮像する。

それぞれの音源検知ユニットＵＤでは、全方位カメラＣＡが筐体１５の開口部の内側に嵌め込まれることで、全方位カメラＣＡとマイクアレイＭＡとが同軸上に配置される。このように、全方位カメラＣＡの光軸とマイクアレイＭＡの筐体の中心軸とが一致することで、軸周方向（つまり、水平方向）における撮像エリアと収音エリアとが略同一となり、画像中の被写体の位置と収音対象の音源の位置とが同じ座標系（例えば（水平角，垂直角）で示される座標）で表現可能となる。なお、それぞれの音源検知ユニットＵＤは、上空から飛来する無人飛行体ｄｎを検知するために、例えば天地方向の上向きが収音面及び撮像面となるように、取り付けられる（図２参照）。

監視装置１０は、マイクアレイＭＡにより収音された全方位の音に対して、ユーザの操作に基づいて任意の方向を主ビーム方向とする指向性を形成（つまり、ビームフォーミング）し、その指向方向の音を強調することができる。なお、マイクアレイＭＡによって収音された音をビームフォーミングするための音データの指向性制御処理に関する技術は、例えば参考特許文献１，２に示されるように、公知の技術である。

（参考特許文献１）特開２０１４−１４３６７８号公報
（参考特許文献２）特開２０１５−０２９２４１号公報

監視装置１０は、全方位カメラＣＡにより撮像された画像（以下、「撮像画像」と略記することがある）を用いて、撮像画像を処理して全方位画像を生成する。なお、全方位画像は、監視装置１０ではなく、全方位カメラＣＡにより生成されてもよい。

監視装置１０は、マイクアレイＭＡにより収音された音の音圧の算出値に基づく画像（図１５参照）と、全方位カメラＣＡにより撮像された撮像画像に基づく画像とを用いて、各種の画像をモニタ５０等へ出力して表示する。例えば監視装置１０は、全方位画像ＧＺ１や、検知された無人飛行体ｄｎを全方位画像ＧＺ１中における視覚情報に変換した識別マークｍｋ１（図１３参照）をモニタ５０に表示する。監視装置１０は、例えばＰＣ（Personal Computer）又はサーバを用いて構成される。視覚情報とは、例えば全方位画像ＧＺ１において、ユーザが全方位画像ＧＺを見た時に他の被写体とは明確に識別可能な程度に表された情報であることを意味し、以下同様とする。

モニタ５０は、全方位カメラＣＡで撮像された全方位画像ＧＺ１を表示する。また、モニタ５０は、全方位画像ＧＺ１に識別マークｍｋを重畳した合成画像を生成して表示する。なお、モニタ５０は、監視装置１０と一体の装置として構成されてもよい。

図１では、複数の音源検知ユニットＵＤ及び監視装置１０は、通信インタフェースを有し、ネットワークＮＷを介して相互にデータ通信可能に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット、有線ＬＡＮ（Local Area Network）でもよいし、無線ネットワーク（例えば無線ＬＡＮ）でもよい。なお、音源検知ユニットＵＤ及び監視装置１０は、ネットワークＮＷを介することなく、直接に接続されてもよい。また、監視装置１０及びモニタ５０は、監視員等のユーザが常駐する監視室ＲＭに設置される。

図２は、音源検知ユニットＵＤの外観を示す図である。音源検知ユニットＵＤは、前述したマイクアレイＭＡ、全方位カメラＣＡ、ＰＴＺカメラＣＺの他、これらを機械的に支持する支持台７０を有する。支持台７０は、三脚７１と、三脚７１の天板７１ａに固定された２本のレール７２と、２本のレール７２の両端部にそれぞれ取り付けられた第１取付板７３及び第２取付板７４とが組み合わされた構造を有する。

第１取付板７３と第２取付板７４は、２本のレール７２を跨るように取り付けられており、略同一の平面を有する。また、第１取付板７３及び第２取付板７４は、２本のレール７２上を摺動自在であり、互いに離間もしくは接近した位置に調節されて固定される。

第１取付板７３は円盤状の板材である。第１取付板７３の中央には、開口部７３ａが形成されている。開口部７３ａには、マイクアレイＭＡの筐体１５が収容されて固定される。一方、第２取付板７４は略長方形の板材である。第２取付板７４の外側に近い部分には、開口部７４ａが形成されている。開口部７４ａには、ＰＴＺカメラＣＺが収容されて固定される。

図２に示すように、マイクアレイＭＡの筐体１５に収容される全方位カメラＣＡの光軸Ｌ１と、第２取付板７４に取り付けられたＰＴＺカメラＣＺの光軸Ｌ２とは、初期設置状態においてそれぞれ平行になるように設定される。

三脚７１は、３本の脚７１ｂで接地面に支えられており、手動操作により、接地面に対して垂直方向に天板７１ａの位置を移動自在であり、かつ、パン方向及びチルト方向に天板７１ａの向きを調節可能である。これにより、マイクアレイＭＡの収音エリア（言い換えると、全方位カメラＣＡの撮像エリア）を任意の向きに設定することができる。

図３は、マイクアレイＭＡの内部構成の一例を詳細に示すブロック図である。図３に示すマイクアレイＭＡは、複数のマイクロホンＭ１〜Ｍｎ（例えばｎ＝３２）、複数のマイクロホンＭ１〜Ｍｎの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｎ、各増幅器ＰＡ１〜ＰＡｎから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のＡ／Ｄ変換器Ａ１〜Ａｎ、圧縮処理部２５及び送信部２６を含む構成である。

圧縮処理部２５は、Ａ／Ｄ変換器Ａ１〜Ａｎから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部２６は、圧縮処理部２５で生成された音声データのパケットを、ネットワークＮＷを介して監視装置１０に送信する。

このように、マイクアレイＭＡは、マイクロホンＭ１〜Ｍｎの出力信号を増幅器ＰＡ１〜ＰＡｎで増幅し、Ａ／Ｄ変換器Ａ１〜Ａｎでデジタル音声信号に変換する。その後、マイクアレイＭＡは、圧縮処理部２５で音声データのパケットを生成し、この音声データのパケットを、ネットワークＮＷを介して監視装置１０に送信する。

図４は、全方位カメラＣＡの内部構成の一例を詳細に示すブロック図である。図４に示す全方位カメラＣＡは、ＣＰＵ４１、通信部４２、電源管理部４４、イメージセンサ４５、メモリ４６及びネットワークコネクタ４７を含む構成である。なお、図４では、イメージセンサ４５の前段（つまり、図４の右側）に設けられている魚眼レンズの図示が省略されている。

ＣＰＵ４１は、全方位カメラＣＡの各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。ＣＰＵ４１の代わりに、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサが設けられてもよい。

例えばＣＰＵ４１は、監視装置１０を操作するユーザの指定により、全方位画像データのうち特定の範囲（方向）の画像を切り出した切り出し画像データを生成してメモリ４６に保存する。

イメージセンサ４５は、例えばＣＭＯＳ（相補性金属酸化膜半導体）センサ、又はＣＣＤ（電荷結合素子）センサを用いて構成され、不図示の魚眼レンズにより集光された撮像エリアからの反射光の光学像を受光面において撮像処理することで全方位画像データを取得する。

メモリ４６は、全方位カメラＣＡの動作を規定するためのプログラムや設定値のデータが格納されたＲＯＭ４６ｚと、全方位画像データ又はその一部の範囲が切り出された切り出し画像データやワークデータを記憶するＲＡＭ４６ｙと、全方位カメラＣＡに挿抜自在に接続され、各種データが記憶されるメモリカード４６ｘとを有する。

通信部４２は、ネットワークコネクタ４７を介して接続されるネットワークＮＷとの間のデータ通信を制御するネットワークインタフェース（Ｉ／Ｆ）である。

電源管理部４４は、全方位カメラＣＡの各部に直流電源を供給する。また、電源管理部４４は、ネットワークコネクタ４７を介してネットワークＮＷに接続される機器に直流電源を供給してもよい。

ネットワークコネクタ４７は、全方位画像データ又は２次元パノラマ画像データを、ネットワークＮＷを介して監視装置１０に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。

図５は、ＰＴＺカメラＣＺの内部構成の一例を詳細に示すブロック図である。全方位カメラＣＡと同様の各部については、図４の各部に対応する符号を付すことでその説明を省略する。ＰＴＺカメラＣＺは、監視装置１０からの画角変更指示により、光軸方向（撮像方向ともいうことがある）を調整可能なカメラである。

ＰＴＺカメラＣＺは、全方位カメラＣＡと同様、ＣＰＵ５１、通信部５２、電源管理部５４、イメージセンサ５５、メモリ５６及びネットワークコネクタ５７を有する他、撮像方向制御部５８及びレンズ駆動モータ５９を有する。ＣＰＵ５１は、監視装置１０の画角変更指示があると、撮像方向制御部５８に画角変更指示を通知する。

撮像方向制御部５８は、ＣＰＵ５１から通知された画角変更指示に従い、ＰＴＺカメラＣＺの撮像方向をパン方向及びチルト方向のうち少なくとも１つに制御し、更に必要に応じて、ズーム倍率を変更するための制御信号をレンズ駆動モータ５９に出力する。レンズ駆動モータ５９は、この制御信号に従って、撮像レンズを駆動し、その撮像方向（光軸Ｌ２の方向）を変更するとともに、撮像レンズの焦点距離を調節してズーム倍率を変更する。

図６は、監視装置１０の内部構成の一例を詳細に示すブロック図である。図６に示す監視装置１０は、通信部３１と、操作部３２と、信号処理部３３と、スピーカ装置３７と、メモリ３８と、設定管理部３９とを少なくとも含む構成を有する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、監視装置１０の各部の動作を統括して制御するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。信号処理部３３は、指向性処理部６３、周波数分析部６４、対象物検知部６５、検知結果判定部６６、走査制御部６７、検知方向制御部６８、音源方向検知部３４及び出力制御部３５を含む。また、監視装置１０はモニタ５０に接続される。

音源方向検知部３４は、例えば公知の白色化相互相関法（ＣＳＰ（Cross-power Spectrum Phase analysis）法）に従って、マイクアレイＭＡにより収音された監視エリア８の音声の音声データを用いて音源位置を推定する。ＣＳＰ法では、音源方向検知部３４は、図１１に示す監視エリア８を複数のブロックに分割し、マイクアレイＭＡで音が収音されると、ブロック毎に音圧又は音量等の閾値を超える音があるか否かを判定することで、監視エリア８内の音源位置をおおまかに推定することができる。

設定管理部３９は、全方位カメラＣＡで撮像された全方位画像データが表示されたモニタ５０の画面に対してユーザにより指定された位置の座標に関する座標変換式を予め有している。この座標変換式は、例えば全方位カメラＣＡの設置位置（図２参照）とＰＴＺカメラＣＺの設置位置（図２参照）との物理的な距離差に基づき、全方位画像データ上のユーザの指定位置の座標（つまり、（水平角，垂直角））を、ＰＴＺカメラＣＺから見た方向の座標に変換するための数式である。

信号処理部３３は、設定管理部３９が保持する上記座標変換式を用いて、ＰＴＺカメラＣＺの設置位置（図２参照）を基準として、ＰＴＺカメラＣＺの設置位置から、ユーザによって指定された位置に対応する実際の音源位置に向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。θＭＡｈは、ＰＴＺカメラＣＺの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の水平角である。θＭＡｖは、ＰＴＺカメラＣＺの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の垂直角である。図２に示すように、全方位カメラＣＡとＰＴＺカメラＣＺとの距離は既知であり、かつそれぞれの光軸Ｌ１，Ｌ２は平行であるため、上記の座標変換式の算出処理は、例えば公知の幾何学計算により実現可能である。音源位置は、モニタ５０に表示された映像データに対し、ユーザの指又はスタイラスペンの操作によって操作部３２から指定された位置に対応する実際の音源位置である。

なお、図２に示すように、本実施形態において全方位カメラＣＡの光軸方向とマイクアレイＭＡの筐体の中心軸とは同軸上となるように全方位カメラＣＡ及びマイクアレイＭＡはそれぞれ配置されている。このため、全方位画像データが表示されたモニタ５０に対するユーザの指定に応じて全方位カメラＣＡが導出する指定位置の座標は、マイクアレイＭＡから見た音の強調方向（指向方向ともいう）と同一にみなすことができる。言い換えると、監視装置１０は、全方位画像データが表示されたモニタ５０に対するユーザの指定があると、全方位画像データ上の指定位置の座標を全方位カメラＣＡに送信する。これにより、全方位カメラＣＡは、監視装置１０から送信された指定位置の座標を用いて、全方位カメラＣＡから見た、指定位置に対応する音源位置の方向を示す座標（水平角，垂直角）を算出する。全方位カメラＣＡにおける算出処理は、公知技術であるため、説明は割愛する。全方位カメラＣＡは、音源位置の方向を示す座標の算出結果を監視装置１０に送信する。監視装置１０は、全方位カメラＣＡにより算出された座標（水平角，垂直角）を、マイクアレイＭＡから見た音源位置の方向を示す座標（水平角，垂直角）として使用することができる。

但し、全方位カメラＣＡとマイクアレイＭＡとが同軸上に配置されていない場合には、設定管理部３９は、例えば特開２０１５−０２９２４１号に記載されている方法に従って、全方位カメラＣＡが導出した座標を、マイクアレイＭＡから見た方向の座標に変換する必要がある。

また、設定管理部３９は、信号処理部３３で算出された画素毎の音圧ｐと比較される第１閾値ｔｈ１及び第２閾値ｔｈ２を保持する。ここで、音圧ｐは、音源に関する音パラメータの一例として使用されており、マイクアレイＭＡで収音される音の大きさを表しており、スピーカ装置３７から出力される音の大きさを表す音量とは区別している。第１閾値ｔｈ１及び第２閾値ｔｈ２は、監視エリア８内で発生した音の音圧と比較される値であり、例えば無人飛行体ｄｎが発する音を判断するための所定値に設定される。また、閾値は複数設定可能であり、本実施形態では、例えば第１閾値ｔｈ１と、これより大きな値である第２閾値ｔｈ２との２つが設定される（第１閾値ｔｈ１＜第２閾値ｔｈ２）。なお、本実施形態において、３つ以上の閾値が設定されてもよい。

また、後述するように、第２閾値ｔｈ２より大きな音圧が得られた画素の領域Ｒ１（図１５参照）は、全方位画像データが表示されたモニタ５０上で、例えば赤色で描画される。また、第１閾値ｔｈ１より大きく第２閾値ｔｈ２以下の音圧が得られた画素の領域Ｂ１は、全方位画像データが表示されたモニタ５０上で、例えば青色で描画される。また、第１閾値ｔｈ１以下の画素の音圧の領域Ｎ１は、全方位画像データが表示されたモニタ５０で、例えば無色で描画され、つまり、全方位画像データの表示色と何ら変わらない。

通信部３１は、全方位カメラＣＡが送信した全方位画像データ又は切り出し映像データと、マイクアレイＭＡが送信した音声データとを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えばモニタ５０の画面に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

操作部３２は、モニタ５０に表示された音圧ヒートマップＭＰ（図１５参照）の赤い領域Ｒ１がユーザにより指定されると、指定された位置を示す座標データを取得して信号処理部３３に出力する。信号処理部３３は、指定された位置の座標データに対応する音データをメモリ３８から読み出し、マイクアレイＭＡから、指定された位置に対応する音源位置に向かう方向に指向性を形成した上でスピーカ装置３７から出力する。これにより、ユーザは、無人飛行体ｄｎに限らず、他の指定された位置における音が強調された状態で鮮明に確認することができる。

メモリ３８は、ＲＯＭやＲＡＭにより構成される。メモリ３８は、例えば一定区間の音データを含む各種データ、設定情報、プログラム等を保持する。また、メモリ３８は、個々の無人飛行体ｄｎに固有な音パターンが登録されたパターンメモリを有する。更に、メモリ３８は、音圧ヒートマップＭＰのデータを記憶する。また、メモリ３８には、無人飛行体ｄｎの位置を模式的に表す識別マークｍｋ（図１３参照）が登録されている。ここで用いられる識別マークｍｋは、一例として、星形の記号である。なお、識別マークｍｋとしては、星形に限らず、円形や四角形、更には、無人飛行体を連想させる「卍」形等の記号や文字であってもよい。また、昼間と夜間とで、識別マークｍｋの表示態様を変えてもよく、例えば、昼間には星形で、夜間には星と見間違わないような四角形としてもよい。また、識別マークｍｋを動的に変化させてよい。例えば、星形の記号を点滅表示したり、回転させたりしてもよく、より一層、ユーザに注意を喚起できる。

図７は、メモリ３８に登録されている無人飛行体ｄｎの検知音のパターンの一例を示すタイミングチャートである。図７に示す検知音のパターンは、周波数パターンの組み合わせであり、マルチコプタ型の無人飛行体ｄｎに搭載された４つのロータの回転等によって発生する４つの周波数ｆ１，ｆ２，ｆ３，ｆ４の音を含む。それぞれの周波数の信号は、例えば各ロータに軸支された複数枚の羽の回転に伴って発生する、異なる音の周波数の信号である。

図７では、斜線で示された周波数の領域が、音圧の高い領域である。なお、検知音のパターンは、複数の周波数の音の数や音圧だけでなく、その他の音情報を含んでもよい。例えば各周波数の音圧の比率を表す音圧比等が挙げられる。ここでは、一例として無人飛行体ｄｎの検知は、検知音のパターンに含まれる、それぞれの周波数の音圧が閾値を超えているか否かによって判断される。

指向性処理部６３は、無指向性のマイクロホンＭ１〜Ｍｎで収音された音信号（音データともいう）を用い、前述した指向性形成処理（ビームフォーミング）を行い、任意の方向を指向方向とする音データの抽出処理を行う。また、指向性処理部６３は、任意の方向の範囲を指向範囲とする音データの抽出処理を行うことも可能である。ここで、指向範囲は、隣接する指向方向を複数含む範囲であり、指向方向と比較すると、ある程度の指向方向の広がりを含むことを意図する。

周波数分析部６４は、指向性処理部６３によって指向方向に抽出処理された音データに対し、周波数分析処理を行う。この周波数分析処理では、指向方向の音データに含まれる周波数及びその音圧が検知される。

図８は、周波数分析処理の結果として得られた検知音信号の周波数変化の一例を示すタイミングチャートである。図８では、検知音信号（つまり、検知音データ）として、４つの周波数ｆ１１，ｆ１２，ｆ１３，ｆ１４及び各周波数の音圧が得られている。図中、不規則に変化する各周波数の変動は、例えば無人飛行体ｄｎが無人飛行体ｄｎ自身の機体の姿勢を制御する際に僅かに変化するロータ（回転翼）の回転変動によって起こる。

対象物検知部６５は、無人飛行体ｄｎの検知処理を行う。無人飛行体ｄｎの検知処理では、対象物検知部６５は、周波数分析処理の結果として得られた検知音のパターン（図８参照）（周波数ｆ１１〜ｆ１４）と、メモリ３８のパターンメモリに予め登録された検知音のパターン（図７参照）（周波数ｆ１〜ｆ４）とを比較する。対象物検知部６５は、両者の検知音のパターンが近似するか否かを判定する。

両者のパターンが近似するか否かは、例えば以下のように判断される。４つの周波数ｆ１，ｆ２，ｆ３，ｆ４のうち、検知音データに含まれる少なくとも２つの周波数の音圧がそれぞれ閾値を超える場合、音パターンが近似しているとして、対象物検知部６５は、無人飛行体ｄｎを検知する。なお、他の条件を満たした場合に無人飛行体ｄｎが検知されてもよい。

検知結果判定部６６は、無人飛行体ｄｎが存在しないと判定された場合、次の指向方向での無人飛行体ｄｎの検知に移行するように検知方向制御部６８に指示する。検知結果判定部６６は、指向方向の走査の結果、無人飛行体ｄｎが存在すると判定された場合、無人飛行体ｄｎの検知結果を出力制御部３５に通知する。なお、この検知結果には、検知された無人飛行体ｄｎの情報が含まれる。無人飛行体ｄｎの情報には、例えば無人飛行体ｄｎの識別情報、収音空間における無人飛行体ｄｎの位置情報（例えば方向情報）が含まれる。

検知方向制御部６８は、検知結果判定部６６からの指示に基づいて、収音空間において無人飛行体ｄｎを検知するための方向を制御する。例えば検知方向制御部６８は、収音空間全体の中で、音源方向検知部３４により推定された音源位置を含む指向範囲ＢＦ１の任意の方向を検知方向として設定する。

走査制御部６７は、検知方向制御部６８により設定された検知方向を指向方向としてビームフォーミングするよう、指向性処理部６３に対して指示する。

指向性処理部６３は、走査制御部６７から指示された指向方向に対して、ビームフォーミングする。なお、初期設定では、指向性処理部６３は、音源方向検知部３４によって推定された音源位置を含む指向範囲ＢＦ１（図１１参照）内の初期位置を指向方向ＢＦ２とする。指向方向ＢＦ２は、検知方向制御部６８により、指向範囲ＢＦ１の中で次々に設定される。

出力制御部３５は、全方位カメラＣＡで撮像された全方位画像データとマイクアレイＭＡで収音された音声データとを基に、全方位画像データを構成する一つ一つの画素毎に音圧を算出する。この音圧の算出処理は公知技術であり、詳細な処理の説明は割愛する。これにより、出力制御部３５は、全方位画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧ヒートマップＭＰを生成する。更に、出力制御部３５は、生成した音圧ヒートマップＭＰの画素毎の音圧値に対して色変換処理を行うことで、図１５に示すような音圧ヒートマップＭＰを生成する。

なお、出力制御部３５は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧ヒートマップＭＰを生成すると説明したが、一つ一つの画素毎に音圧を算出せず、所定数（例えば４個）の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧ヒートマップＭＰを生成してもよい。

また、出力制御部３５は、モニタ５０及びスピーカ装置３７の各動作を制御するとともに、全方位カメラＣＡから送信された全方位画像データ或いは切り出し映像データをモニタ５０に出力して表示し、更に、マイクアレイＭＡから送信された音声データをスピーカ装置３７に音声出力する。また、出力制御部３５は、無人飛行体ｄｎが検知された場合、無人飛行体ｄｎを表す識別マークｍｋを、全方位画像に重畳して表示するために、モニタ５０に出力する。

また、出力制御部３５は、マイクアレイＭＡにより収音された音声データと全方位カメラＣＡにより導出された音源位置の方向を示す座標とを用いて、マイクアレイＭＡにより収音された音データの指向性形成処理を行うことで、指向方向の音データを強調処理する。音声データの指向性形成処理は、例えば特開２０１５−０２９２４１号公報に記載されている公知の技術である。

スピーカ装置３７は、マイクアレイＭＡが収音した音声データ、又はマイクアレイＭＡが収音して信号処理部３３によって指向性が形成された音声データを音声出力する。なお、スピーカ装置３７は、監視装置１０とは別体の装置として構成されてもよい。

上記構成を有する無人飛行体検知システム５の動作を示す。

図９は、本実施形態の無人飛行体検知システム５における無人飛行体の検知動作の一例を示すシーケンス図である。無人飛行体検知システム５の各装置（例えばモニタ５０、監視装置１０、ＰＴＺカメラＣＺ、全方位カメラＣＡ、マイクアレイＭＡ）にそれぞれ電源が投入されると、無人飛行体検知システム５は動作を開始する。

初期動作では、監視装置１０は、ＰＴＺカメラＣＺに対し、画像送信要求を行う（Ｔ１）。ＰＴＺカメラＣＺは、この要求に従い、電源の投入に応じた撮像処理を開始する（Ｔ２）。同様に、監視装置１０は、全方位カメラＣＡに対し、画像送信要求を行う（Ｔ３）。全方位カメラＣＡは、この要求に従い、電源の投入に応じた撮像処理を開始する（Ｔ４）。更に、監視装置１０は、マイクアレイＭＡに対し、音送信要求を行う（Ｔ５）。マイクアレイＭＡは、この要求に従い、電源の投入に応じた収音処理を開始する（Ｔ６）。

初期動作が終了すると、ＰＴＺカメラＣＺは、ネットワークＮＷを介して、撮像により得られた撮像画像（例えば静止画、動画）のデータを監視装置１０に送信する（Ｔ７）。監視装置１０は、ＰＴＺカメラＣＺから送信された撮像画像データをＮＴＳＣ等の表示データに変換し（Ｔ８）、モニタ５０に出力する（Ｔ９）。モニタ５０は、表示データを入力すると、画面にＰＴＺカメラＣＺによるＰＴＺ画像ＧＺ２（図１２等参照）を表示する。

同様に、全方位カメラＣＡは、ネットワークＮＷを介して、撮像により得られた全方位画像（例えば静止画、動画）のデータを監視装置１０に送信する（Ｔ１０）。監視装置１０は、全方位カメラＣＡから送信された全方位画像データをＮＴＳＣ等の表示データに変換し（Ｔ１１）、モニタ５０に出力する（Ｔ１２）。モニタ５０は、表示データを入力すると、画面に全方位カメラＣＡによる全方位画像ＧＺ１（図１２等参照）を表示する。

また、マイクアレイＭＡは、ネットワークＮＷを介して、収音により得られた音の音データを符号化して監視装置１０に送信する（Ｔ１３）。監視装置１０では、音源方向検知部３４が、監視エリア８内の音源位置を推定する（Ｔ１４）。この推定された音源位置は、監視装置１０が無人飛行体ｄｎを検知する際、初期の指向方向が設定されるために必要となる指向範囲ＢＦ１の基準位置として使用される。

監視装置１０は、無人飛行体ｄｎの検知判定を行う（Ｔ１５）。この無人飛行体ｄｎの検知判定処理の詳細については、後述する。

検知判定処理の結果、無人飛行体ｄｎが検知された場合、監視装置１０内の出力制御部３５は、モニタ５０の画面に表示された全方位画像ＧＺ１に、手順Ｔ１５において判定された指向方向に存在する無人飛行体ｄｎを表す識別マークｍｋを重畳して表示する（Ｔ１６）。

出力制御部３５は、ＰＴＺカメラＣＺに対し、手順Ｔ１５において得られた指向方向に関する情報を送信し、ＰＴＺカメラＣＺの撮像方向を指向方向に変更するための要求（言い換えると、画角変更指示）を行う（Ｔ１７）。ＰＴＺカメラＣＺが指向方向に関する情報（つまり、画角変更指示）を受信すると、撮像方向制御部５８は、指向方向に関する情報に基づいて、レンズ駆動モータ５９を駆動し、ＰＴＺカメラＣＺの撮像レンズの光軸Ｌ２を変更し、撮像方向を指向方向に変更する（Ｔ１８）。同時に、撮像方向制御部５８は、ＰＴＺカメラＣＺの撮像レンズのズーム倍率を、予め設定された値、或いは無人飛行体ｄｎの撮像画像に占める割合に対応する値等に変更する。

一方、手順Ｔ１５における検知判定処理の結果、無人飛行体ｄｎが検知されなかった場合、Ｔ１６、Ｔ１７、Ｔ１８の処理は行われない。

この後、無人飛行体検知システム５の処理は手順Ｔ７に戻り、例えば電源がオフに操作される等の所定のイベントが検知されるまで、同様の処理が繰り返される。

図１０は、図９の手順Ｔ１５の無人飛行体検知判定手順の詳細の一例を示すフローチャートである。音源検知ユニットＵＤにおいて、指向性処理部６３は、音源方向検知部３４によって推定された音源位置に基づく指向範囲ＢＦ１を、指向方向ＢＦ２の初期位置として設定する（Ｓ２１）。

図１１は、監視エリア８内で指向方向ＢＦ２が順に走査され、無人飛行体ｄｎが検知される様子の一例を示す図である。なお、初期位置は、音源方向検知部３４により推定された監視エリア８の音源位置に基づく指向範囲ＢＦ１に限定されず、ユーザにより指定された任意の位置を初期位置として設定して、監視エリア８内が順次、走査されてもよい。初期位置が限定されないことで、推定された音源位置に基づく指向範囲ＢＦ１に含まれる音源が無人飛行体でなかった場合でも、他の指向方向に飛来する無人飛行体を早期に検知することが可能となる。

指向性処理部６３は、マイクアレイＭＡで収音され、Ａ／Ｄ変換器Ａｎ１〜Ａｎでデジタル値に変換された音データがメモリ３８に一時的に記憶されたか否かを判定する（Ｓ２２）。記憶されていない場合、指向性処理部６３の処理は手順Ｓ２１に戻る。

マイクアレイＭＡにより収音された音データがメモリ３８に一時的に記憶されると（Ｓ２２、ＹＥＳ）、指向性処理部６３は、監視エリア８の指向範囲ＢＦ１における任意の指向方向ＢＦ２に対してビームフォーミングし、この指向方向ＢＦ２の音データを抽出処理する（Ｓ２３）。

周波数分析部６４は、抽出処理された音データの周波数及びその音圧を検知する（Ｓ２４）。

対象物検知部６５は、メモリ３８のパターンメモリに登録された検知音のパターンと、周波数分析処理の結果得られた検知音のパターンとを比較し、無人飛行体の検知を行う（Ｓ２５）。

検知結果判定部６６は、この比較の結果を出力制御部３５に通知するとともに、検知方向制御部６８へ検知方向移行について通知する（Ｓ２６）。

例えば対象物検知部６５は、周波数分析処理の結果得られた検知音のパターンと、メモリ３８のパターンメモリに登録されている４つの周波数ｆ１，ｆ２，ｆ３，ｆ４とを比較する。対象物検知部６５は、比較の結果、両検知音のパターンにおいて同じ周波数を少なくとも２つ有し、かつ、これらの周波数の音圧が第１閾値ｔｈ１より大きい場合、両者の検知音のパターンが近似し、無人飛行体ｄｎが存在すると判定する。

なお、ここでは、少なくとも２つの周波数が一致している場合を想定したが、対象物検知部６５は、１つの周波数が一致し、この周波数の音圧が第１閾値ｔｈ１より大きい場合、近似していると判定してもよい。

また、対象物検知部６５は、それぞれの周波数に対し、許容される周波数の誤差を設定し、この誤差範囲内の周波数は同じ周波数であるとして、上記近似の有無を判定してもよい。

また、対象物検知部６５は、周波数及び音圧の比較に加えて、それぞれの周波数の音の音圧比が略一致することを判定条件に加えて判定してもよい。この場合、判定条件が厳しくなるので、音源検知ユニットＵＤは、検知された無人飛行体ｄｎを予め登録された対象物（移動物体ｄｎ）であるとして特定し易くなり、無人飛行体ｄｎの検知精度を向上できる。

検知結果判定部６６は、ステップＳ２６の結果、無人飛行体ｄｎが存在するか存在しないかを判別する（Ｓ２７）。

無人飛行体ｄｎが存在する場合、検知結果判定部６６は、出力制御部３５に無人飛行体ｄｎが存在する旨（無人飛行体ｄｎの検知結果）を通知する（Ｓ２８）。

一方、ステップＳ２７において、無人飛行体ｄｎが存在しない場合、走査制御部６７は、監視エリア８内における走査対象の指向方向ＢＦ２を次の異なる方向に移動させる（Ｓ２９）。なお、無人飛行体ｄｎの検知結果の通知は、１つの指向方向の検知処理が終了したタイミングでなく、全方位走査完了した後にまとめて行われてもよい。

また、監視エリア８で指向方向ＢＦ２を順番に移動させる順序は、例えば監視エリア８の指向範囲ＢＦ１内或いは監視エリア８の全範囲内で、外側の円周から内側の円周に向かうように、又は内側の円周から外側の円周に向かうように、螺旋状（渦巻状）の順序でもよい。

また、検知方向制御部６８は、一筆書きのように連続して指向方向を走査するのではなく、監視エリア８内に予め位置を設定しておき、任意の順序で各位置に指向方向ＢＦ２を移動させてもよい。これにより、監視装置１０は、例えば無人飛行体ｄｎが侵入し易い位置から検知処理を開始でき、検知処理を効率化できる。

走査制御部６７は、監視エリア８における全方位の走査を完了したか否かを判定する（Ｓ３０）。全方位の走査が完了していない場合（Ｓ３０、ＮＯ）、指向性処理部６３の処理はステップＳ２３に戻り、同様の動作が行われる。つまり、指向性処理部６３は、ステップＳ２９で移動された位置の指向方向ＢＦ２にビームフォーミングし、この指向方向ＢＦ２の音データを抽出処理する。これにより、音源検知ユニットＵＤは、１つの無人飛行体ｄｎが検知されても、他にも存在する可能性のある無人飛行体ｄｎの検知を続行するので、複数の無人飛行体ｄｎの検知が可能である。

一方、ステップＳ３０で全方位の走査が完了すると（Ｓ３０、ＹＥＳ）、指向性処理部６３は、メモリ３８に一時的に記憶された、マイクアレイＭＡで収音された音データを消去する（Ｓ３１）。

音データの消去後、信号処理部３３は、無人飛行体ｄｎの検知処理を終了するか否かを判別する（Ｓ３２）。この無人飛行体ｄｎの検知処理の終了は、所定のイベントに応じて行われる。例えばステップＳ６で無人飛行体ｄｎが検知されなかった回数をメモリ３８に保持し、この回数が所定回数以上となった場合、無人飛行体ｄｎの検知処理を終了してもよい。また、タイマによるタイムアップや、操作部３２が有するＵＩ（User Interface）（不図示）に対するユーザの操作に基づいて、信号処理部３３が無人飛行体ｄｎの検知処理を終了してもよい。また、監視装置１０の電源がオフとなる場合に、終了してもよい。

なお、ステップＳ２４の処理では、周波数分析部６４は、周波数を分析するとともに、その周波数の音圧も計測する。検知結果判定部６６は、周波数分析部６４によって測定された音圧レベルが時間経過とともに徐々に大きくなっていると、音源検知ユニットＵＤに対して無人飛行体ｄｎが接近していると判定してもよい。

例えば時刻ｔ１１で測定された所定の周波数の音圧レベルが、時刻ｔ１１よりも後の時刻ｔ１２で測定された同じ周波数の音圧レベルよりも小さい場合、時間経過とともに音圧が大きくなっており、無人飛行体ｄｎが接近していると判定されてもよい。また、３回以上にわたって音圧レベルを測定し、統計値（例えば分散値、平均値、最大値、最小値等）の推移に基づいて、無人飛行体ｄｎが接近していると判定されてもよい。

また、測定された音圧レベルが警戒レベルである第３閾値ｔｈ３より大きい場合に、検知結果判定部６６が、無人飛行体ｄｎが警戒エリアに侵入したと判定してもよい。

なお、第３閾値ｔｈ３は、例えば第２閾値ｔｈ２よりも大きな値である。警戒エリアは、例えば監視エリア８と同じエリア、又は監視エリア８に含まれ監視エリア８よりも狭いエリアである。警戒エリアは、例えば、無人飛行体ｄｎの侵入が規制されたエリアである。また、無人飛行体ｄｎの接近判定や侵入判定は、検知結果判定部６６により実行されてもよい。

図１２は、無人飛行体ｄｎが検知されていないときのモニタ５０の表示画面例を示す図である。モニタ５０の表示画面には、全方位カメラＣＡによる全方位画像ＧＺ１と、ＰＴＺカメラＣＺによるＰＴＺ画像ＧＺ２とが対比的に表示されている。全方位画像ＧＺ１には、３つのビルｂＬ１，ｂＬ２，ｂＬ３や煙突ｐＬが映っているが、無人飛行体ｄｎは映っていない。なお、ここでは、全方位画像ＧＺ１とＰＴＺ画像ＧＺ２とを対比表示しているが、いずれか一方だけを選択して表示してもよいし、また、これらの画像を一定時間毎に切り替えて表示してもよい。

図１３は、無人飛行体ｄｎが検知されたときのモニタ５０の表示画面例を示す図である。モニタ５０の表示画面に表示された、全方位カメラＣＡによる全方位画像ＧＺ１には、３つのビルｂＬ１，ｂＬ２，ｂＬ３や煙突ｐＬの他、これらの上空に飛来する無人飛行体ｄｎを表す識別マークｍｋが星形の記号で描画されている。一方、ＰＴＺカメラＣＺによるＰＴＺ画像ＧＺ２には、３つのビルｂＬ１，ｂＬ２，ｂＬ３や煙突ｐＬが依然として映っているもの、無人飛行体ｄｎは映っていない。つまり、図１３には、監視装置１０が、図９の手順Ｔ１６で識別マークｍｋを表示させた後、手順Ｔ１７でＰＴＺカメラＣＺに撮像方向を要求して、更に手順Ｔ１８でＰＴＺカメラＣＺが撮像レンズを回転させてその光軸方向を変更する前の状態のＰＴＺ画像ＧＺ２が表示されている。

図１４は、無人飛行体ｄｎが検知されかつＰＴＺカメラＣＺが検知に連動して光軸方向を変更したときのモニタ５０の表示画面の一例を示す図である。ＰＴＺカメラＣＺによるＰＴＺ画像ＧＺ２は、無人飛行体ｄｎに向けてズームアップされた画像である。ＰＴＺ画像ＧＺ２には、もはや３つのビルｂＬ１，ｂＬ２，ｂＬ３や煙突ｐＬが画角から外れて映っておらず、無人飛行体ｄｎがズームアップされて映っている。

つまり、図１４では、監視装置１０が、図９の手順Ｔ１８でＰＴＺカメラＣＺの撮像レンズを回転させてその光軸方向を変更し、更にズームアップさせた後の状態のＰＴＺ画像ＧＺ２が表示されている。

ここでは、全方位カメラＣＡで撮像された全方位画像ＧＺ１には、識別マークｍｋが重畳され、ＰＴＺカメラＣＺで撮像されたＰＴＺ画像ＧＺ２には、無人飛行体ｄｎがそのまま映っている。これは、全方位画像ＧＺ１に無人飛行体ｄｎの画像がそのまま現れても、判別しにくいことが挙げられる。一方、ＰＴＺカメラＣＺで撮像されたＰＴＺ画像ＧＺ２は、ズームアップされた画像であるので、無人飛行体ｄｎの画像が表示画面に現れた場合、無人飛行体ｄｎが鮮明に映し出される。従って、鮮明に映し出された無人飛行体ｄｎの外形から、無人飛行体ｄｎの機種を特定することも可能となる。このように、音源検知ユニットＵＤは、モニタ５０の表示画面に映し出される画像の視認性を考慮し、無人飛行体ｄｎを適切に表示できる。

なお、全方位画像ＧＺ１とＰＴＺ画像ＧＺ２とで、同一表示或いは異なる表示となるように、全方位画像ＧＺ１には識別マークｍｋが表示されずに無人飛行体ｄｎ自体がそのまま映し出されるようにしてもよく、また、ＰＴＺ画像ＧＺ２に識別マークｍｋが重畳表示されるようにしてもよい。

図１５は、無人飛行体ｄｎが検知されかつＰＴＺカメラＣＺが検知に連動して光軸方向を変更したときのモニタ５０の表示画面の他の一例を示す図である。図１５に示すモニタ５０の表示画面は、例えばユーザが監視装置１０の操作部３２を介して別態様の表示メニュー（不図示）を指示することで、表示される。図１５の表示画面では、全方位画像データを構成する画素毎の音圧の算出値が無人飛行体ｄｎの音圧値と同等の他の音源が存在していることが示されている。全方位画像ＧＺ１には、無人飛行体ｄｎを表す識別マークｍｋの他、他の音源を表す他識別マークｍｃが重畳されている。他識別マークｍｃは、識別マークｍｋと異なる表示形態で描画されることが望ましく、図１５では、円形の記号で描画されている。異なる表示形態として、楕円や三角形、はてなマーク等の記号、文字が挙げられる。また、他識別マークｍｃについても、識別マークｍｋと同様、動的表示してもよい。

更に、全方位画像ＧＺ１には、出力制御部３５によって画素毎の音圧を表す音圧マップが生成され、かつ、音圧の算出値が閾値を超える領域が色変換処理されたことで得られる音圧ヒートマップＭＰが重畳されている。ここでは、音圧ヒートマップＭＰは、音圧が第２閾値ｔｈ２を超える領域Ｒ１が赤色（図中、大きなドット群）で描画され、音圧が第１閾値ｔｈ１より大きく第２閾値ｔｈ２以下である領域Ｂ１が青色（図中、小さなドット群）で描画される。また、音圧が第１閾値ｔｈ１以下である領域Ｎ１は透明（図中、何も表示せず）で描画される。

また、無人飛行体ｄｎを表す識別マークｍｋと同じ全方位画像ＧＺ１上で、他の音源の位置を表す他識別マークｍｃが描画され、かつ、音圧ヒートマップＭＰが描画されることで、無人飛行体ｄｎを取り巻く周囲の状況がよく分かるようになる。例えば無人飛行体ｄｎとして、まだ登録されていない音源が飛来している場合、ユーザは、モニタ５０の表示画面上から、他の識別マークｍｃで表される音源の位置を指し示すことで、或いは、音圧ヒートマップＭＰの赤い領域Ｒ１を指示する。これにより、監視装置１０の出力制御部３５は、ＰＴＺカメラＣＺにその音源の位置或いは赤い領域Ｒ１をズームアップさせてズームアップ後のＰＴＺ画像ＧＺ２を取得し、そのＰＴＺ画像ＧＺ２をモニタ５０に映し出すことができるので、未確認の音源を迅速かつ正確に確かめることができる。これにより、未登録の無人飛行体ｄｎが仮に存在していたとしても、ユーザは検知可能となる。

なお、識別マークｍｋと同じ全方位画像ＧＺ１上には、他識別マークｍｃだけが描画される表示形態、或いは音圧ヒートマップＭＰだけが描画される表示形態としてもよい。ユーザは、これらの表示画面の表示形態を任意に選択可能である。

以上により、本実施形態の無人飛行体検知システム５では、全方位カメラＣＡは監視エリア８（撮像エリア）を撮像する。マイクアレイＭＡは、監視エリア８の音声を収音する。監視装置１０は、マイクアレイＭＡにより収音された音声データを用いて、監視エリア８に現れる無人飛行体ｄｎを検知する。監視装置１０内の信号処理部３３は、無人飛行体ｄｎを全方位カメラＣＡの撮像画像（つまり、全方位画像ＧＺ１）中における視覚情報に変換した識別マークｍｋ（第１識別情報）を、監視エリア８の全方位画像ＧＺ１に重畳してモニタ５０に表示する。これにより、無人飛行体検知システム５は、全方位カメラＣＡにより撮像された全方位画像ＧＺ１を利用して、目的とする無人飛行体ｄｎの存在及びその位置を迅速かつ正確に判断することができる。

また、無人飛行体検知システム５では、光軸方向を調整可能なＰＴＺカメラＣＺは、監視エリア８を撮像する。信号処理部３３は、無人飛行体ｄｎの検知結果に対応する方向に光軸方向を調整するための指示をＰＴＺカメラＣＺに出力する。モニタ５０は、この指示に基づいて、光軸方向が調整されたＰＴＺカメラＣＺにより撮像された画像（つまり、ＰＴＺ画像ＧＺ２）を表示する。これにより、無人飛行体検知システム５は、ＰＴＺカメラＣＺにより撮像された、歪んでいない無人飛行体ｄｎの画像から、無人飛行体ｄｎの正確な機種をユーザである監視者に対して鮮明に視認、特定させることができる。

また、モニタ５０は、無人飛行体ｄｎの識別マークｍｋが含まれる全方位カメラＣＡの全方位画像ＧＺ１と、ＰＴＺカメラＣＺの撮像画像（つまり、ＰＴＺ画像ＧＺ２）とを対比的に表示する。これにより、ユーザである監視者は、例えば全方位画像ＧＺ１とＰＴＺ画像ＧＺ２とを交互に見比べることで、無人飛行体ｄｎの機種と、無人飛行体ｄｎが存在する周辺の状況を正確に把握することができる。

また、信号処理部３３は、監視エリア８の他の音源を少なくとも１つ検知し、他の音源を前記全方位カメラの撮像画像中における視覚情報に変換した、識別マークｍｋとは異なる他識別マークｍｃ（第２識別情報）としてモニタ５０に表示する。これにより、ユーザである監視者は、目的とする無人飛行体ｄｎではない未確認の音源を把握することができる。また、ユーザは、未確認の音源が未登録の無人飛行体であるかを否かを、正確に確認することも可能である。

また、信号処理部３３は、監視エリア８の撮像画像中の画素毎の音圧値を算出し、撮像画像中の画素毎の音圧値を音圧ヒートマップＭＰとして、画素毎の音圧値に応じて複数の異なる色階調で識別可能に、撮像エリアの８の全方位画像データに重畳してモニタ５０に表示する。これにより、ユーザは、無人飛行体ｄｎが発する音の音圧と、周辺の音圧とを対比的に見比べることができ、無人飛行体の音圧が相対的かつ視覚的に分かるようになる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、カメラによる撮像画像を利用して、監視エリアの音源を表示する監視エリアの音源表示システム及び音源表示方法として有用である。

５ 無人飛行体検知システム
１０ 監視装置
１５ 筐体
２５ 圧縮処理部
２６ 送信部
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ 音源方向検知部
３５ 出力制御部
３７ スピーカ装置
３８ メモリ
３９ 設定管理部
４１，５１ ＣＰＵ
４２，５２ 通信部
４４，５４ 電源管理部
４５，５５ イメージセンサ
４６，５６ メモリ
４６ｘ，５６ｘ メモリカード
４６ｙ，５６ｙ ＲＡＭ
４６ｚ，５６ｚ ＲＯＭ
４７，５７ ネットワークコネクタ
５０ モニタ
５８ 撮像方向制御部
５９ レンズ駆動モータ
６３ 指向性処理部
６４ 周波数分析部
６５ 対象物検知部
６６ 検知結果判定部
６７ 走査制御部
６８ 検知方向制御部
７０ 支持台
７１ 三脚
７１ａ 天板
７１ｂ 脚
７２ レール
７３ 第１取付板
７４ 第２取付板
Ａ１〜Ａｎ Ａ／Ｄ変換器
Ｂ１，Ｒ１，Ｎ１ 領域
ＢＦ１ 指向範囲
ＢＦ２ 指向方向
ｂＬ１〜ｂＬ３ ビル
ＣＡ 全方位カメラ
ＣＺ ＰＴＺカメラ
ＧＺ１ 全方位画像
ＧＺ２ ＰＴＺ画像
Ｌ１，Ｌ２ 光軸
Ｍ１〜Ｍｎ マイクロホンユニット
ＭＡ マイクアレイ
ｍｃ 他識別マーク
ｍｋ 識別マーク
ＮＷ ネットワーク
ＰＡ１〜ＰＡｎ アンプ
ｐＬ 煙突
ＵＤ 音源検知ユニット

Claims (13)

1. 監視エリアを撮像するカメラと、
   前記監視エリアの音声を収音するマイクアレイと、
   前記カメラにより撮像された前記監視エリアの画像データを表示する表示部と、
   前記マイクアレイにより収音された音声データを用いて、前記監視エリアの音の大きさを特定する音パラメータを、前記監視エリアの画像データを構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記監視エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示する、音源の表示動作を行う信号処理部と、を備える、
   監視エリアの音源表示システム。
2. 前記信号処理部は、前記監視エリアにおける音源の表示動作を開始させる開始イベントを検出すると前記音源の表示動作を行い、前記音源の表示動作の停止イベントを検出するまで前記音源の表示動作を繰り返し行う、
   請求項１に記載の監視エリアの音源表示システム。
3. 前記マイクアレイにより収音された音声データを出力する音声出力部、を更に備え、
   前記表示部に表示された前記音源画像情報が指定された場合、前記信号処理部は、前記マイクアレイから、指定された前記音源画像情報に対応する前記監視エリアの画像データの位置に向かう方向に指向性を形成して前記音声出力部に出力させる、
   請求項１又は２に記載の監視エリアの音源表示システム。
4. 前記信号処理部は、前記音源の位置を推定し、前記音源が検知対象物の音源であると判定した場合、前記検知対象物の位置を表す検知対象識別マークを、前記監視エリアの画像データ及び前記音源画像情報に重畳して表示する、
   請求項１〜３のうちいずれか一項に記載の監視エリアの音源表示システム。
5. 前記信号処理部は、前記音源の位置を推定し、前記音源が検知対象物ではない他の物体の音源であると判定した場合、前記他の物体の音源の位置を表す他識別マークを、前記監視エリアの画像データ及び前記音源画像情報に重畳して表示する、
   請求項１〜４のうちいずれか一項に記載の監視エリアの音源表示システム。
6. 前記カメラと前記マイクアレイとが同軸に配置された、
   請求項１〜５のうちいずれか一項に記載の監視エリアの音源表示システム。
7. 前記音パラメータは、音圧である、
   請求項１〜６のうちいずれか一項記載の監視エリアの音源表示システム。
8. カメラとマイクアレイとを含む監視エリアの音源表示システムにおける音源表示方法であって、
   前記カメラにおいて前記監視エリアを撮像し、
   前記マイクアレイにおいて前記監視エリアの音声を収音し、
   前記マイクアレイにより収音された音声データを用いて、前記監視エリアの音の大きさを特定する音パラメータを、前記監視エリアの画像データを構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記監視エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示する、音源の表示動作を行う、
   音源表示方法。
9. 更に、前記監視エリアにおける音源の表示動作を開始させる開始イベントを検出すると前記音源の表示動作を行い、前記音源の表示動作の停止イベントを検出するまで前記音源の表示動作を繰り返し行う、
   請求項８に記載の音源表示方法。
10. 更に、前記表示部に表示された前記音源画像情報が指定された場合、前記マイクアレイから、指定された前記音源画像情報に対応する前記監視エリアの画像データの位置に向かう方向に指向性を形成して音声出力部に出力させる、
    請求項８又は９に記載の音源表示方法。
11. 更に、前記音源の位置を推定し、前記音源が検知対象物の音源であると判定した場合、前記検知対象物の位置を表す検知対象識別マークを、前記監視エリアの画像データ及び前記音源画像情報に重畳して表示する、
    請求項８〜１０のうちいずれか一項に記載の音源表示方法。
12. 更に、前記音源の位置を推定し、前記音源が検知対象物ではない他の物体の音源であると判定した場合、前記他の物体の音源の位置を表す他識別マークを、前記監視エリアの画像データ及び前記音源画像情報に重畳して表示する、
    請求項８〜１１のうちいずれか一項に記載の音源表示方法。
13. 前記音パラメータは、音圧である、
    請求項８〜１２のうちいずれか一項に記載の音源表示方法。

Images