以下、適宜図面を参照しながら、本発明に係る無人飛行体検知システム及び無人飛行体検知方法を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
図1は、本実施形態の無人飛行体検知システム5の概略構成の一例を示す図である。無人飛行体検知システム5は、検知対象としてユーザの目的とする無人飛行体dn(例えば図14参照)を検知する。無人飛行体dnは、例えばGPS(Global Positioning System)機能を利用して自律的に飛行するドローン、第三者によって無線操縦されるラジコンヘリコプタ等である。このような無人飛行体dnは、例えばターゲットの空撮、物資の運搬等に利用される。
本実施形態では、無人飛行体dnとして、複数のロータ(言い換えると、回転翼)を搭載したマルチコプタ型のドローンを例示する。マルチコプタ型のドローンでは、一般にロータの羽の枚数が2枚の場合、特定周波数に対し2倍の周波数の高調波、更にはその逓倍の周波数の高調波が発生する。同様に、ロータの羽の枚数が3枚の場合、特定周波数に対し3倍の周波数の高調波、更にはその逓倍の周波数の高調波が発生する。ロータの羽の枚数が4枚以上の場合も同様である。
無人飛行体検知システム5は、複数の音源検知ユニットUDと、監視装置10と、モニタ50とを含む構成である。複数の音源検知ユニットUDは、ネットワークNWを介して監視装置10と相互に接続される。それぞれの音源検知ユニットUDは、マイクアレイMA、全方位カメラCA、及びPTZカメラCZを有する。なお、個々の音源検知ユニットを特に区別する必要がある場合を除き、音源検知ユニットUDと称する。同様に、個々のマイクアレイ、全方位カメラ、PTZカメラを特に区別する必要がある場合を除き、マイクアレイMA、全方位カメラCA、PTZカメラCZと称する。
音源検知ユニットUDでは、マイクアレイMAは、自装置が設置された収音エリアにおける全方位の音を無指向状態で収音する。マイクアレイMAは、中央に所定幅の円筒形状の開口部が形成された筐体15(図2参照)を有する。マイクアレイMAが収音対象とする音は、例えばドローンのような機械的な動作音、人間等が発する音声、その他の音を広く含み、可聴周波数(つまり、20Hz〜23khHz)域の音に限らず、可聴周波数より低い低周波音や可聴周波数を超える超音波音が含まれてもよい。
マイクアレイMAは、複数の無指向性のマイクロホンM1〜Mn(図3参照)を含む。マイクロホンM1〜Mnは、筐体15に設けられた上記開口部の周囲に円周方向に沿って、同心円状に予め決められた間隔(例えば均一な間隔)で配置されている。マイクロホンは、例えばエレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)が用いられる。マイクアレイMAは、それぞれのマイクロホンM1〜Mnの収音により得られた音(後述参照)の音データを、ネットワークNWを介して監視装置10に送信する。なお、上記の各マイクロホンM1〜Mnの配列は、一例であり、他の配列であってもよい。
また、マイクアレイMAは、複数のマイクロホンM1〜Mn(例えばn=32)、及び複数のマイクロホンM1〜Mnの出力信号をそれぞれ増幅する複数の増幅器(アンプ)PA1〜PAn(図3参照)を有する。各増幅器から出力されるアナログ信号は、後述するA/D変換器A1〜An(図3参照)でそれぞれデジタル信号に変換される。なお、マイクアレイにおけるマイクロホンの数は、32個に限られず、他の数(例えば16個、64個、128個)であってもよい。
マイクアレイMAの筐体15(図2参照)の中央に形成された開口部の内側には、開口部の容積と略一致する全方位カメラCAが収容される。つまり、マイクアレイMAと全方位カメラCAとは一体的に配置される(図2参照)。全方位カメラCAは、上記収音空間である撮像エリアの全方位画像を撮像可能な魚眼レンズを搭載したカメラである。本実施形態において、収音エリアと撮像エリアとはともに共通の監視エリアとして説明するが、収音エリアと撮像エリアの空間的な大きさ(例えば体積)は同一でなくてもよい。例えば収音エリアの体積が撮像エリアの体積より大きくても良いし、小さくてもよい。要は、収音エリアと撮像エリアとは共通する体積部分があればよい。全方位カメラCAは、例えば音源検知ユニットUDが設置された撮像エリアを撮像可能な監視カメラとして機能する。つまり、全方位カメラCAは、例えば垂直方向:180°、水平方向:360°の画角を有し、例えば半天球である監視エリア8(図11参照)を撮像エリアとして撮像する。
それぞれの音源検知ユニットUDでは、全方位カメラCAが筐体15の開口部の内側に嵌め込まれることで、全方位カメラCAとマイクアレイMAとが同軸上に配置される。このように、全方位カメラCAの光軸とマイクアレイMAの筐体の中心軸とが一致することで、軸周方向(つまり、水平方向)における撮像エリアと収音エリアとが略同一となり、画像中の被写体の位置と収音対象の音源の位置とが同じ座標系(例えば(水平角,垂直角)で示される座標)で表現可能となる。なお、それぞれの音源検知ユニットUDは、上空から飛来する無人飛行体dnを検知するために、例えば天地方向の上向きが収音面及び撮像面となるように、取り付けられる(図2参照)。
監視装置10は、マイクアレイMAにより収音された全方位の音に対して、ユーザの操作に基づいて任意の方向を主ビーム方向とする指向性を形成(つまり、ビームフォーミング)し、その指向方向の音を強調することができる。なお、マイクアレイMAによって収音された音をビームフォーミングするための音データの指向性制御処理に関する技術は、例えば参考特許文献1,2に示されるように、公知の技術である。
(参考特許文献1)特開2014−143678号公報
(参考特許文献2)特開2015−029241号公報
監視装置10は、全方位カメラCAにより撮像された画像(以下、「撮像画像」と略記することがある)を用いて、撮像画像を処理して全方位画像を生成する。なお、全方位画像は、監視装置10ではなく、全方位カメラCAにより生成されてもよい。
監視装置10は、マイクアレイMAにより収音された音の音圧の算出値に基づく画像(図15参照)と、全方位カメラCAにより撮像された撮像画像に基づく画像とを用いて、各種の画像をモニタ50等へ出力して表示する。例えば監視装置10は、全方位画像GZ1や、検知された無人飛行体dnを全方位画像GZ1中における視覚情報に変換した識別マークmk1(図13参照)をモニタ50に表示する。監視装置10は、例えばPC(Personal Computer)又はサーバを用いて構成される。視覚情報とは、例えば全方位画像GZ1において、ユーザが全方位画像GZを見た時に他の被写体とは明確に識別可能な程度に表された情報であることを意味し、以下同様とする。
モニタ50は、全方位カメラCAで撮像された全方位画像GZ1を表示する。また、モニタ50は、全方位画像GZ1に識別マークmkを重畳した合成画像を生成して表示する。なお、モニタ50は、監視装置10と一体の装置として構成されてもよい。
図1では、複数の音源検知ユニットUD及び監視装置10は、通信インタフェースを有し、ネットワークNWを介して相互にデータ通信可能に接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット、有線LAN(Local Area Network)でもよいし、無線ネットワーク(例えば無線LAN)でもよい。なお、音源検知ユニットUD及び監視装置10は、ネットワークNWを介することなく、直接に接続されてもよい。また、監視装置10及びモニタ50は、監視員等のユーザが常駐する監視室RMに設置される。
図2は、音源検知ユニットUDの外観を示す図である。音源検知ユニットUDは、前述したマイクアレイMA、全方位カメラCA、PTZカメラCZの他、これらを機械的に支持する支持台70を有する。支持台70は、三脚71と、三脚71の天板71aに固定された2本のレール72と、2本のレール72の両端部にそれぞれ取り付けられた第1取付板73及び第2取付板74とが組み合わされた構造を有する。
第1取付板73と第2取付板74は、2本のレール72を跨るように取り付けられており、略同一の平面を有する。また、第1取付板73及び第2取付板74は、2本のレール72上を摺動自在であり、互いに離間もしくは接近した位置に調節されて固定される。
第1取付板73は円盤状の板材である。第1取付板73の中央には、開口部73aが形成されている。開口部73aには、マイクアレイMAの筐体15が収容されて固定される。一方、第2取付板74は略長方形の板材である。第2取付板74の外側に近い部分には、開口部74aが形成されている。開口部74aには、PTZカメラCZが収容されて固定される。
図2に示すように、マイクアレイMAの筐体15に収容される全方位カメラCAの光軸L1と、第2取付板74に取り付けられたPTZカメラCZの光軸L2とは、初期設置状態においてそれぞれ平行になるように設定される。
三脚71は、3本の脚71bで接地面に支えられており、手動操作により、接地面に対して垂直方向に天板71aの位置を移動自在であり、かつ、パン方向及びチルト方向に天板71aの向きを調節可能である。これにより、マイクアレイMAの収音エリア(言い換えると、全方位カメラCAの撮像エリア)を任意の向きに設定することができる。
図3は、マイクアレイMAの内部構成の一例を詳細に示すブロック図である。図3に示すマイクアレイMAは、複数のマイクロホンM1〜Mn(例えばn=32)、複数のマイクロホンM1〜Mnの出力信号をそれぞれ増幅する複数の増幅器(アンプ)PA1〜PAn、各増幅器PA1〜PAnから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のA/D変換器A1〜An、圧縮処理部25及び送信部26を含む構成である。
圧縮処理部25は、A/D変換器A1〜Anから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部26は、圧縮処理部25で生成された音声データのパケットを、ネットワークNWを介して監視装置10に送信する。
このように、マイクアレイMAは、マイクロホンM1〜Mnの出力信号を増幅器PA1〜PAnで増幅し、A/D変換器A1〜Anでデジタル音声信号に変換する。その後、マイクアレイMAは、圧縮処理部25で音声データのパケットを生成し、この音声データのパケットを、ネットワークNWを介して監視装置10に送信する。
図4は、全方位カメラCAの内部構成の一例を詳細に示すブロック図である。図4に示す全方位カメラCAは、CPU41、通信部42、電源管理部44、イメージセンサ45、メモリ46及びネットワークコネクタ47を含む構成である。なお、図4では、イメージセンサ45の前段(つまり、図4の右側)に設けられている魚眼レンズの図示が省略されている。
CPU41は、全方位カメラCAの各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。CPU41の代わりに、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)等のプロセッサが設けられてもよい。
例えばCPU41は、監視装置10を操作するユーザの指定により、全方位画像データのうち特定の範囲(方向)の画像を切り出した切り出し画像データを生成してメモリ46に保存する。
イメージセンサ45は、例えばCMOS(相補性金属酸化膜半導体)センサ、又はCCD(電荷結合素子)センサを用いて構成され、不図示の魚眼レンズにより集光された撮像エリアからの反射光の光学像を受光面において撮像処理することで全方位画像データを取得する。
メモリ46は、全方位カメラCAの動作を規定するためのプログラムや設定値のデータが格納されたROM46zと、全方位画像データ又はその一部の範囲が切り出された切り出し画像データやワークデータを記憶するRAM46yと、全方位カメラCAに挿抜自在に接続され、各種データが記憶されるメモリカード46xとを有する。
通信部42は、ネットワークコネクタ47を介して接続されるネットワークNWとの間のデータ通信を制御するネットワークインタフェース(I/F)である。
電源管理部44は、全方位カメラCAの各部に直流電源を供給する。また、電源管理部44は、ネットワークコネクタ47を介してネットワークNWに接続される機器に直流電源を供給してもよい。
ネットワークコネクタ47は、全方位画像データ又は2次元パノラマ画像データを、ネットワークNWを介して監視装置10に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。
図5は、PTZカメラCZの内部構成の一例を詳細に示すブロック図である。全方位カメラCAと同様の各部については、図4の各部に対応する符号を付すことでその説明を省略する。PTZカメラCZは、監視装置10からの画角変更指示により、光軸方向(撮像方向ともいうことがある)を調整可能なカメラである。
PTZカメラCZは、全方位カメラCAと同様、CPU51、通信部52、電源管理部54、イメージセンサ55、メモリ56及びネットワークコネクタ57を有する他、撮像方向制御部58及びレンズ駆動モータ59を有する。CPU51は、監視装置10の画角変更指示があると、撮像方向制御部58に画角変更指示を通知する。
撮像方向制御部58は、CPU51から通知された画角変更指示に従い、PTZカメラCZの撮像方向をパン方向及びチルト方向のうち少なくとも1つに制御し、更に必要に応じて、ズーム倍率を変更するための制御信号をレンズ駆動モータ59に出力する。レンズ駆動モータ59は、この制御信号に従って、撮像レンズを駆動し、その撮像方向(光軸L2の方向)を変更するとともに、撮像レンズの焦点距離を調節してズーム倍率を変更する。
図6は、監視装置10の内部構成の一例を詳細に示すブロック図である。図6に示す監視装置10は、通信部31と、操作部32と、信号処理部33と、スピーカ装置37と、メモリ38と、設定管理部39とを少なくとも含む構成を有する。
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、監視装置10の各部の動作を統括して制御するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。信号処理部33は、指向性処理部63、周波数分析部64、対象物検知部65、検知結果判定部66、走査制御部67、検知方向制御部68、音源方向検知部34及び出力制御部35を含む。また、監視装置10はモニタ50に接続される。
音源方向検知部34は、例えば公知の白色化相互相関法(CSP(Cross-power Spectrum Phase analysis)法)に従って、マイクアレイMAにより収音された監視エリア8の音声の音声データを用いて音源位置を推定する。CSP法では、音源方向検知部34は、図11に示す監視エリア8を複数のブロックに分割し、マイクアレイMAで音が収音されると、ブロック毎に音圧又は音量等の閾値を超える音があるか否かを判定することで、監視エリア8内の音源位置をおおまかに推定することができる。
設定管理部39は、全方位カメラCAで撮像された全方位画像データが表示されたモニタ50の画面に対してユーザにより指定された位置の座標に関する座標変換式を予め有している。この座標変換式は、例えば全方位カメラCAの設置位置(図2参照)とPTZカメラCZの設置位置(図2参照)との物理的な距離差に基づき、全方位画像データ上のユーザの指定位置の座標(つまり、(水平角,垂直角))を、PTZカメラCZから見た方向の座標に変換するための数式である。
信号処理部33は、設定管理部39が保持する上記座標変換式を用いて、PTZカメラCZの設置位置(図2参照)を基準として、PTZカメラCZの設置位置から、ユーザによって指定された位置に対応する実際の音源位置に向かう指向方向を示す座標(θMAh,θMAv)を算出する。θMAhは、PTZカメラCZの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の水平角である。θMAvは、PTZカメラCZの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の垂直角である。図2に示すように、全方位カメラCAとPTZカメラCZとの距離は既知であり、かつそれぞれの光軸L1,L2は平行であるため、上記の座標変換式の算出処理は、例えば公知の幾何学計算により実現可能である。音源位置は、モニタ50に表示された映像データに対し、ユーザの指又はスタイラスペンの操作によって操作部32から指定された位置に対応する実際の音源位置である。
なお、図2に示すように、本実施形態において全方位カメラCAの光軸方向とマイクアレイMAの筐体の中心軸とは同軸上となるように全方位カメラCA及びマイクアレイMAはそれぞれ配置されている。このため、全方位画像データが表示されたモニタ50に対するユーザの指定に応じて全方位カメラCAが導出する指定位置の座標は、マイクアレイMAから見た音の強調方向(指向方向ともいう)と同一にみなすことができる。言い換えると、監視装置10は、全方位画像データが表示されたモニタ50に対するユーザの指定があると、全方位画像データ上の指定位置の座標を全方位カメラCAに送信する。これにより、全方位カメラCAは、監視装置10から送信された指定位置の座標を用いて、全方位カメラCAから見た、指定位置に対応する音源位置の方向を示す座標(水平角,垂直角)を算出する。全方位カメラCAにおける算出処理は、公知技術であるため、説明は割愛する。全方位カメラCAは、音源位置の方向を示す座標の算出結果を監視装置10に送信する。監視装置10は、全方位カメラCAにより算出された座標(水平角,垂直角)を、マイクアレイMAから見た音源位置の方向を示す座標(水平角,垂直角)として使用することができる。
但し、全方位カメラCAとマイクアレイMAとが同軸上に配置されていない場合には、設定管理部39は、例えば特開2015−029241号に記載されている方法に従って、全方位カメラCAが導出した座標を、マイクアレイMAから見た方向の座標に変換する必要がある。
また、設定管理部39は、信号処理部33で算出された画素毎の音圧pと比較される第1閾値th1及び第2閾値th2を保持する。ここで、音圧pは、音源に関する音パラメータの一例として使用されており、マイクアレイMAで収音される音の大きさを表しており、スピーカ装置37から出力される音の大きさを表す音量とは区別している。第1閾値th1及び第2閾値th2は、監視エリア8内で発生した音の音圧と比較される値であり、例えば無人飛行体dnが発する音を判断するための所定値に設定される。また、閾値は複数設定可能であり、本実施形態では、例えば第1閾値th1と、これより大きな値である第2閾値th2との2つが設定される(第1閾値th1<第2閾値th2)。なお、本実施形態において、3つ以上の閾値が設定されてもよい。
また、後述するように、第2閾値th2より大きな音圧が得られた画素の領域R1(図15参照)は、全方位画像データが表示されたモニタ50上で、例えば赤色で描画される。また、第1閾値th1より大きく第2閾値th2以下の音圧が得られた画素の領域B1は、全方位画像データが表示されたモニタ50上で、例えば青色で描画される。また、第1閾値th1以下の画素の音圧の領域N1は、全方位画像データが表示されたモニタ50で、例えば無色で描画され、つまり、全方位画像データの表示色と何ら変わらない。
通信部31は、全方位カメラCAが送信した全方位画像データ又は切り出し映像データと、マイクアレイMAが送信した音声データとを受信して信号処理部33に出力する。
操作部32は、ユーザの入力操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部32は、例えばモニタ50の画面に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
操作部32は、モニタ50に表示された音圧ヒートマップMP(図15参照)の赤い領域R1がユーザにより指定されると、指定された位置を示す座標データを取得して信号処理部33に出力する。信号処理部33は、指定された位置の座標データに対応する音データをメモリ38から読み出し、マイクアレイMAから、指定された位置に対応する音源位置に向かう方向に指向性を形成した上でスピーカ装置37から出力する。これにより、ユーザは、無人飛行体dnに限らず、他の指定された位置における音が強調された状態で鮮明に確認することができる。
メモリ38は、ROMやRAMにより構成される。メモリ38は、例えば一定区間の音データを含む各種データ、設定情報、プログラム等を保持する。また、メモリ38は、個々の無人飛行体dnに固有な音パターンが登録されたパターンメモリを有する。更に、メモリ38は、音圧ヒートマップMPのデータを記憶する。また、メモリ38には、無人飛行体dnの位置を模式的に表す識別マークmk(図13参照)が登録されている。ここで用いられる識別マークmkは、一例として、星形の記号である。なお、識別マークmkとしては、星形に限らず、円形や四角形、更には、無人飛行体を連想させる「卍」形等の記号や文字であってもよい。また、昼間と夜間とで、識別マークmkの表示態様を変えてもよく、例えば、昼間には星形で、夜間には星と見間違わないような四角形としてもよい。また、識別マークmkを動的に変化させてよい。例えば、星形の記号を点滅表示したり、回転させたりしてもよく、より一層、ユーザに注意を喚起できる。
図7は、メモリ38に登録されている無人飛行体dnの検知音のパターンの一例を示すタイミングチャートである。図7に示す検知音のパターンは、周波数パターンの組み合わせであり、マルチコプタ型の無人飛行体dnに搭載された4つのロータの回転等によって発生する4つの周波数f1,f2,f3,f4の音を含む。それぞれの周波数の信号は、例えば各ロータに軸支された複数枚の羽の回転に伴って発生する、異なる音の周波数の信号である。
図7では、斜線で示された周波数の領域が、音圧の高い領域である。なお、検知音のパターンは、複数の周波数の音の数や音圧だけでなく、その他の音情報を含んでもよい。例えば各周波数の音圧の比率を表す音圧比等が挙げられる。ここでは、一例として無人飛行体dnの検知は、検知音のパターンに含まれる、それぞれの周波数の音圧が閾値を超えているか否かによって判断される。
指向性処理部63は、無指向性のマイクロホンM1〜Mnで収音された音信号(音データともいう)を用い、前述した指向性形成処理(ビームフォーミング)を行い、任意の方向を指向方向とする音データの抽出処理を行う。また、指向性処理部63は、任意の方向の範囲を指向範囲とする音データの抽出処理を行うことも可能である。ここで、指向範囲は、隣接する指向方向を複数含む範囲であり、指向方向と比較すると、ある程度の指向方向の広がりを含むことを意図する。
周波数分析部64は、指向性処理部63によって指向方向に抽出処理された音データに対し、周波数分析処理を行う。この周波数分析処理では、指向方向の音データに含まれる周波数及びその音圧が検知される。
図8は、周波数分析処理の結果として得られた検知音信号の周波数変化の一例を示すタイミングチャートである。図8では、検知音信号(つまり、検知音データ)として、4つの周波数f11,f12,f13,f14及び各周波数の音圧が得られている。図中、不規則に変化する各周波数の変動は、例えば無人飛行体dnが無人飛行体dn自身の機体の姿勢を制御する際に僅かに変化するロータ(回転翼)の回転変動によって起こる。
対象物検知部65は、無人飛行体dnの検知処理を行う。無人飛行体dnの検知処理では、対象物検知部65は、周波数分析処理の結果として得られた検知音のパターン(図8参照)(周波数f11〜f14)と、メモリ38のパターンメモリに予め登録された検知音のパターン(図7参照)(周波数f1〜f4)とを比較する。対象物検知部65は、両者の検知音のパターンが近似するか否かを判定する。
両者のパターンが近似するか否かは、例えば以下のように判断される。4つの周波数f1,f2,f3,f4のうち、検知音データに含まれる少なくとも2つの周波数の音圧がそれぞれ閾値を超える場合、音パターンが近似しているとして、対象物検知部65は、無人飛行体dnを検知する。なお、他の条件を満たした場合に無人飛行体dnが検知されてもよい。
検知結果判定部66は、無人飛行体dnが存在しないと判定された場合、次の指向方向での無人飛行体dnの検知に移行するように検知方向制御部68に指示する。検知結果判定部66は、指向方向の走査の結果、無人飛行体dnが存在すると判定された場合、無人飛行体dnの検知結果を出力制御部35に通知する。なお、この検知結果には、検知された無人飛行体dnの情報が含まれる。無人飛行体dnの情報には、例えば無人飛行体dnの識別情報、収音空間における無人飛行体dnの位置情報(例えば方向情報)が含まれる。
検知方向制御部68は、検知結果判定部66からの指示に基づいて、収音空間において無人飛行体dnを検知するための方向を制御する。例えば検知方向制御部68は、収音空間全体の中で、音源方向検知部34により推定された音源位置を含む指向範囲BF1の任意の方向を検知方向として設定する。
走査制御部67は、検知方向制御部68により設定された検知方向を指向方向としてビームフォーミングするよう、指向性処理部63に対して指示する。
指向性処理部63は、走査制御部67から指示された指向方向に対して、ビームフォーミングする。なお、初期設定では、指向性処理部63は、音源方向検知部34によって推定された音源位置を含む指向範囲BF1(図11参照)内の初期位置を指向方向BF2とする。指向方向BF2は、検知方向制御部68により、指向範囲BF1の中で次々に設定される。
出力制御部35は、全方位カメラCAで撮像された全方位画像データとマイクアレイMAで収音された音声データとを基に、全方位画像データを構成する一つ一つの画素毎に音圧を算出する。この音圧の算出処理は公知技術であり、詳細な処理の説明は割愛する。これにより、出力制御部35は、全方位画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧ヒートマップMPを生成する。更に、出力制御部35は、生成した音圧ヒートマップMPの画素毎の音圧値に対して色変換処理を行うことで、図15に示すような音圧ヒートマップMPを生成する。
なお、出力制御部35は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧ヒートマップMPを生成すると説明したが、一つ一つの画素毎に音圧を算出せず、所定数(例えば4個)の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧ヒートマップMPを生成してもよい。
また、出力制御部35は、モニタ50及びスピーカ装置37の各動作を制御するとともに、全方位カメラCAから送信された全方位画像データ或いは切り出し映像データをモニタ50に出力して表示し、更に、マイクアレイMAから送信された音声データをスピーカ装置37に音声出力する。また、出力制御部35は、無人飛行体dnが検知された場合、無人飛行体dnを表す識別マークmkを、全方位画像に重畳して表示するために、モニタ50に出力する。
また、出力制御部35は、マイクアレイMAにより収音された音声データと全方位カメラCAにより導出された音源位置の方向を示す座標とを用いて、マイクアレイMAにより収音された音データの指向性形成処理を行うことで、指向方向の音データを強調処理する。音声データの指向性形成処理は、例えば特開2015−029241号公報に記載されている公知の技術である。
スピーカ装置37は、マイクアレイMAが収音した音声データ、又はマイクアレイMAが収音して信号処理部33によって指向性が形成された音声データを音声出力する。なお、スピーカ装置37は、監視装置10とは別体の装置として構成されてもよい。
上記構成を有する無人飛行体検知システム5の動作を示す。
図9は、本実施形態の無人飛行体検知システム5における無人飛行体の検知動作の一例を示すシーケンス図である。無人飛行体検知システム5の各装置(例えばモニタ50、監視装置10、PTZカメラCZ、全方位カメラCA、マイクアレイMA)にそれぞれ電源が投入されると、無人飛行体検知システム5は動作を開始する。
初期動作では、監視装置10は、PTZカメラCZに対し、画像送信要求を行う(T1)。PTZカメラCZは、この要求に従い、電源の投入に応じた撮像処理を開始する(T2)。同様に、監視装置10は、全方位カメラCAに対し、画像送信要求を行う(T3)。全方位カメラCAは、この要求に従い、電源の投入に応じた撮像処理を開始する(T4)。更に、監視装置10は、マイクアレイMAに対し、音送信要求を行う(T5)。マイクアレイMAは、この要求に従い、電源の投入に応じた収音処理を開始する(T6)。
初期動作が終了すると、PTZカメラCZは、ネットワークNWを介して、撮像により得られた撮像画像(例えば静止画、動画)のデータを監視装置10に送信する(T7)。監視装置10は、PTZカメラCZから送信された撮像画像データをNTSC等の表示データに変換し(T8)、モニタ50に出力する(T9)。モニタ50は、表示データを入力すると、画面にPTZカメラCZによるPTZ画像GZ2(図12等参照)を表示する。
同様に、全方位カメラCAは、ネットワークNWを介して、撮像により得られた全方位画像(例えば静止画、動画)のデータを監視装置10に送信する(T10)。監視装置10は、全方位カメラCAから送信された全方位画像データをNTSC等の表示データに変換し(T11)、モニタ50に出力する(T12)。モニタ50は、表示データを入力すると、画面に全方位カメラCAによる全方位画像GZ1(図12等参照)を表示する。
また、マイクアレイMAは、ネットワークNWを介して、収音により得られた音の音データを符号化して監視装置10に送信する(T13)。監視装置10では、音源方向検知部34が、監視エリア8内の音源位置を推定する(T14)。この推定された音源位置は、監視装置10が無人飛行体dnを検知する際、初期の指向方向が設定されるために必要となる指向範囲BF1の基準位置として使用される。
監視装置10は、無人飛行体dnの検知判定を行う(T15)。この無人飛行体dnの検知判定処理の詳細については、後述する。
検知判定処理の結果、無人飛行体dnが検知された場合、監視装置10内の出力制御部35は、モニタ50の画面に表示された全方位画像GZ1に、手順T15において判定された指向方向に存在する無人飛行体dnを表す識別マークmkを重畳して表示する(T16)。
出力制御部35は、PTZカメラCZに対し、手順T15において得られた指向方向に関する情報を送信し、PTZカメラCZの撮像方向を指向方向に変更するための要求(言い換えると、画角変更指示)を行う(T17)。PTZカメラCZが指向方向に関する情報(つまり、画角変更指示)を受信すると、撮像方向制御部58は、指向方向に関する情報に基づいて、レンズ駆動モータ59を駆動し、PTZカメラCZの撮像レンズの光軸L2を変更し、撮像方向を指向方向に変更する(T18)。同時に、撮像方向制御部58は、PTZカメラCZの撮像レンズのズーム倍率を、予め設定された値、或いは無人飛行体dnの撮像画像に占める割合に対応する値等に変更する。
一方、手順T15における検知判定処理の結果、無人飛行体dnが検知されなかった場合、T16、T17、T18の処理は行われない。
この後、無人飛行体検知システム5の処理は手順T7に戻り、例えば電源がオフに操作される等の所定のイベントが検知されるまで、同様の処理が繰り返される。
図10は、図9の手順T15の無人飛行体検知判定手順の詳細の一例を示すフローチャートである。音源検知ユニットUDにおいて、指向性処理部63は、音源方向検知部34によって推定された音源位置に基づく指向範囲BF1を、指向方向BF2の初期位置として設定する(S21)。
図11は、監視エリア8内で指向方向BF2が順に走査され、無人飛行体dnが検知される様子の一例を示す図である。なお、初期位置は、音源方向検知部34により推定された監視エリア8の音源位置に基づく指向範囲BF1に限定されず、ユーザにより指定された任意の位置を初期位置として設定して、監視エリア8内が順次、走査されてもよい。初期位置が限定されないことで、推定された音源位置に基づく指向範囲BF1に含まれる音源が無人飛行体でなかった場合でも、他の指向方向に飛来する無人飛行体を早期に検知することが可能となる。
指向性処理部63は、マイクアレイMAで収音され、A/D変換器An1〜Anでデジタル値に変換された音データがメモリ38に一時的に記憶されたか否かを判定する(S22)。記憶されていない場合、指向性処理部63の処理は手順S21に戻る。
マイクアレイMAにより収音された音データがメモリ38に一時的に記憶されると(S22、YES)、指向性処理部63は、監視エリア8の指向範囲BF1における任意の指向方向BF2に対してビームフォーミングし、この指向方向BF2の音データを抽出処理する(S23)。
周波数分析部64は、抽出処理された音データの周波数及びその音圧を検知する(S24)。
対象物検知部65は、メモリ38のパターンメモリに登録された検知音のパターンと、周波数分析処理の結果得られた検知音のパターンとを比較し、無人飛行体の検知を行う(S25)。
検知結果判定部66は、この比較の結果を出力制御部35に通知するとともに、検知方向制御部68へ検知方向移行について通知する(S26)。
例えば対象物検知部65は、周波数分析処理の結果得られた検知音のパターンと、メモリ38のパターンメモリに登録されている4つの周波数f1,f2,f3,f4とを比較する。対象物検知部65は、比較の結果、両検知音のパターンにおいて同じ周波数を少なくとも2つ有し、かつ、これらの周波数の音圧が第1閾値th1より大きい場合、両者の検知音のパターンが近似し、無人飛行体dnが存在すると判定する。
なお、ここでは、少なくとも2つの周波数が一致している場合を想定したが、対象物検知部65は、1つの周波数が一致し、この周波数の音圧が第1閾値th1より大きい場合、近似していると判定してもよい。
また、対象物検知部65は、それぞれの周波数に対し、許容される周波数の誤差を設定し、この誤差範囲内の周波数は同じ周波数であるとして、上記近似の有無を判定してもよい。
また、対象物検知部65は、周波数及び音圧の比較に加えて、それぞれの周波数の音の音圧比が略一致することを判定条件に加えて判定してもよい。この場合、判定条件が厳しくなるので、音源検知ユニットUDは、検知された無人飛行体dnを予め登録された対象物(移動物体dn)であるとして特定し易くなり、無人飛行体dnの検知精度を向上できる。
検知結果判定部66は、ステップS26の結果、無人飛行体dnが存在するか存在しないかを判別する(S27)。
無人飛行体dnが存在する場合、検知結果判定部66は、出力制御部35に無人飛行体dnが存在する旨(無人飛行体dnの検知結果)を通知する(S28)。
一方、ステップS27において、無人飛行体dnが存在しない場合、走査制御部67は、監視エリア8内における走査対象の指向方向BF2を次の異なる方向に移動させる(S29)。なお、無人飛行体dnの検知結果の通知は、1つの指向方向の検知処理が終了したタイミングでなく、全方位走査完了した後にまとめて行われてもよい。
また、監視エリア8で指向方向BF2を順番に移動させる順序は、例えば監視エリア8の指向範囲BF1内或いは監視エリア8の全範囲内で、外側の円周から内側の円周に向かうように、又は内側の円周から外側の円周に向かうように、螺旋状(渦巻状)の順序でもよい。
また、検知方向制御部68は、一筆書きのように連続して指向方向を走査するのではなく、監視エリア8内に予め位置を設定しておき、任意の順序で各位置に指向方向BF2を移動させてもよい。これにより、監視装置10は、例えば無人飛行体dnが侵入し易い位置から検知処理を開始でき、検知処理を効率化できる。
走査制御部67は、監視エリア8における全方位の走査を完了したか否かを判定する(S30)。全方位の走査が完了していない場合(S30、NO)、指向性処理部63の処理はステップS23に戻り、同様の動作が行われる。つまり、指向性処理部63は、ステップS29で移動された位置の指向方向BF2にビームフォーミングし、この指向方向BF2の音データを抽出処理する。これにより、音源検知ユニットUDは、1つの無人飛行体dnが検知されても、他にも存在する可能性のある無人飛行体dnの検知を続行するので、複数の無人飛行体dnの検知が可能である。
一方、ステップS30で全方位の走査が完了すると(S30、YES)、指向性処理部63は、メモリ38に一時的に記憶された、マイクアレイMAで収音された音データを消去する(S31)。
音データの消去後、信号処理部33は、無人飛行体dnの検知処理を終了するか否かを判別する(S32)。この無人飛行体dnの検知処理の終了は、所定のイベントに応じて行われる。例えばステップS6で無人飛行体dnが検知されなかった回数をメモリ38に保持し、この回数が所定回数以上となった場合、無人飛行体dnの検知処理を終了してもよい。また、タイマによるタイムアップや、操作部32が有するUI(User Interface)(不図示)に対するユーザの操作に基づいて、信号処理部33が無人飛行体dnの検知処理を終了してもよい。また、監視装置10の電源がオフとなる場合に、終了してもよい。
なお、ステップS24の処理では、周波数分析部64は、周波数を分析するとともに、その周波数の音圧も計測する。検知結果判定部66は、周波数分析部64によって測定された音圧レベルが時間経過とともに徐々に大きくなっていると、音源検知ユニットUDに対して無人飛行体dnが接近していると判定してもよい。
例えば時刻t11で測定された所定の周波数の音圧レベルが、時刻t11よりも後の時刻t12で測定された同じ周波数の音圧レベルよりも小さい場合、時間経過とともに音圧が大きくなっており、無人飛行体dnが接近していると判定されてもよい。また、3回以上にわたって音圧レベルを測定し、統計値(例えば分散値、平均値、最大値、最小値等)の推移に基づいて、無人飛行体dnが接近していると判定されてもよい。
また、測定された音圧レベルが警戒レベルである第3閾値th3より大きい場合に、検知結果判定部66が、無人飛行体dnが警戒エリアに侵入したと判定してもよい。
なお、第3閾値th3は、例えば第2閾値th2よりも大きな値である。警戒エリアは、例えば監視エリア8と同じエリア、又は監視エリア8に含まれ監視エリア8よりも狭いエリアである。警戒エリアは、例えば、無人飛行体dnの侵入が規制されたエリアである。また、無人飛行体dnの接近判定や侵入判定は、検知結果判定部66により実行されてもよい。
図12は、無人飛行体dnが検知されていないときのモニタ50の表示画面例を示す図である。モニタ50の表示画面には、全方位カメラCAによる全方位画像GZ1と、PTZカメラCZによるPTZ画像GZ2とが対比的に表示されている。全方位画像GZ1には、3つのビルbL1,bL2,bL3や煙突pLが映っているが、無人飛行体dnは映っていない。なお、ここでは、全方位画像GZ1とPTZ画像GZ2とを対比表示しているが、いずれか一方だけを選択して表示してもよいし、また、これらの画像を一定時間毎に切り替えて表示してもよい。
図13は、無人飛行体dnが検知されたときのモニタ50の表示画面例を示す図である。モニタ50の表示画面に表示された、全方位カメラCAによる全方位画像GZ1には、3つのビルbL1,bL2,bL3や煙突pLの他、これらの上空に飛来する無人飛行体dnを表す識別マークmkが星形の記号で描画されている。一方、PTZカメラCZによるPTZ画像GZ2には、3つのビルbL1,bL2,bL3や煙突pLが依然として映っているもの、無人飛行体dnは映っていない。つまり、図13には、監視装置10が、図9の手順T16で識別マークmkを表示させた後、手順T17でPTZカメラCZに撮像方向を要求して、更に手順T18でPTZカメラCZが撮像レンズを回転させてその光軸方向を変更する前の状態のPTZ画像GZ2が表示されている。
図14は、無人飛行体dnが検知されかつPTZカメラCZが検知に連動して光軸方向を変更したときのモニタ50の表示画面の一例を示す図である。PTZカメラCZによるPTZ画像GZ2は、無人飛行体dnに向けてズームアップされた画像である。PTZ画像GZ2には、もはや3つのビルbL1,bL2,bL3や煙突pLが画角から外れて映っておらず、無人飛行体dnがズームアップされて映っている。
つまり、図14では、監視装置10が、図9の手順T18でPTZカメラCZの撮像レンズを回転させてその光軸方向を変更し、更にズームアップさせた後の状態のPTZ画像GZ2が表示されている。
ここでは、全方位カメラCAで撮像された全方位画像GZ1には、識別マークmkが重畳され、PTZカメラCZで撮像されたPTZ画像GZ2には、無人飛行体dnがそのまま映っている。これは、全方位画像GZ1に無人飛行体dnの画像がそのまま現れても、判別しにくいことが挙げられる。一方、PTZカメラCZで撮像されたPTZ画像GZ2は、ズームアップされた画像であるので、無人飛行体dnの画像が表示画面に現れた場合、無人飛行体dnが鮮明に映し出される。従って、鮮明に映し出された無人飛行体dnの外形から、無人飛行体dnの機種を特定することも可能となる。このように、音源検知ユニットUDは、モニタ50の表示画面に映し出される画像の視認性を考慮し、無人飛行体dnを適切に表示できる。
なお、全方位画像GZ1とPTZ画像GZ2とで、同一表示或いは異なる表示となるように、全方位画像GZ1には識別マークmkが表示されずに無人飛行体dn自体がそのまま映し出されるようにしてもよく、また、PTZ画像GZ2に識別マークmkが重畳表示されるようにしてもよい。
図15は、無人飛行体dnが検知されかつPTZカメラCZが検知に連動して光軸方向を変更したときのモニタ50の表示画面の他の一例を示す図である。図15に示すモニタ50の表示画面は、例えばユーザが監視装置10の操作部32を介して別態様の表示メニュー(不図示)を指示することで、表示される。図15の表示画面では、全方位画像データを構成する画素毎の音圧の算出値が無人飛行体dnの音圧値と同等の他の音源が存在していることが示されている。全方位画像GZ1には、無人飛行体dnを表す識別マークmkの他、他の音源を表す他識別マークmcが重畳されている。他識別マークmcは、識別マークmkと異なる表示形態で描画されることが望ましく、図15では、円形の記号で描画されている。異なる表示形態として、楕円や三角形、はてなマーク等の記号、文字が挙げられる。また、他識別マークmcについても、識別マークmkと同様、動的表示してもよい。
更に、全方位画像GZ1には、出力制御部35によって画素毎の音圧を表す音圧マップが生成され、かつ、音圧の算出値が閾値を超える領域が色変換処理されたことで得られる音圧ヒートマップMPが重畳されている。ここでは、音圧ヒートマップMPは、音圧が第2閾値th2を超える領域R1が赤色(図中、大きなドット群)で描画され、音圧が第1閾値th1より大きく第2閾値th2以下である領域B1が青色(図中、小さなドット群)で描画される。また、音圧が第1閾値th1以下である領域N1は透明(図中、何も表示せず)で描画される。
また、無人飛行体dnを表す識別マークmkと同じ全方位画像GZ1上で、他の音源の位置を表す他識別マークmcが描画され、かつ、音圧ヒートマップMPが描画されることで、無人飛行体dnを取り巻く周囲の状況がよく分かるようになる。例えば無人飛行体dnとして、まだ登録されていない音源が飛来している場合、ユーザは、モニタ50の表示画面上から、他の識別マークmcで表される音源の位置を指し示すことで、或いは、音圧ヒートマップMPの赤い領域R1を指示する。これにより、監視装置10の出力制御部35は、PTZカメラCZにその音源の位置或いは赤い領域R1をズームアップさせてズームアップ後のPTZ画像GZ2を取得し、そのPTZ画像GZ2をモニタ50に映し出すことができるので、未確認の音源を迅速かつ正確に確かめることができる。これにより、未登録の無人飛行体dnが仮に存在していたとしても、ユーザは検知可能となる。
なお、識別マークmkと同じ全方位画像GZ1上には、他識別マークmcだけが描画される表示形態、或いは音圧ヒートマップMPだけが描画される表示形態としてもよい。ユーザは、これらの表示画面の表示形態を任意に選択可能である。
以上により、本実施形態の無人飛行体検知システム5では、全方位カメラCAは監視エリア8(撮像エリア)を撮像する。マイクアレイMAは、監視エリア8の音声を収音する。監視装置10は、マイクアレイMAにより収音された音声データを用いて、監視エリア8に現れる無人飛行体dnを検知する。監視装置10内の信号処理部33は、無人飛行体dnを全方位カメラCAの撮像画像(つまり、全方位画像GZ1)中における視覚情報に変換した識別マークmk(第1識別情報)を、監視エリア8の全方位画像GZ1に重畳してモニタ50に表示する。これにより、無人飛行体検知システム5は、全方位カメラCAにより撮像された全方位画像GZ1を利用して、目的とする無人飛行体dnの存在及びその位置を迅速かつ正確に判断することができる。
また、無人飛行体検知システム5では、光軸方向を調整可能なPTZカメラCZは、監視エリア8を撮像する。信号処理部33は、無人飛行体dnの検知結果に対応する方向に光軸方向を調整するための指示をPTZカメラCZに出力する。モニタ50は、この指示に基づいて、光軸方向が調整されたPTZカメラCZにより撮像された画像(つまり、PTZ画像GZ2)を表示する。これにより、無人飛行体検知システム5は、PTZカメラCZにより撮像された、歪んでいない無人飛行体dnの画像から、無人飛行体dnの正確な機種をユーザである監視者に対して鮮明に視認、特定させることができる。
また、モニタ50は、無人飛行体dnの識別マークmkが含まれる全方位カメラCAの全方位画像GZ1と、PTZカメラCZの撮像画像(つまり、PTZ画像GZ2)とを対比的に表示する。これにより、ユーザである監視者は、例えば全方位画像GZ1とPTZ画像GZ2とを交互に見比べることで、無人飛行体dnの機種と、無人飛行体dnが存在する周辺の状況を正確に把握することができる。
また、信号処理部33は、監視エリア8の他の音源を少なくとも1つ検知し、他の音源を前記全方位カメラの撮像画像中における視覚情報に変換した、識別マークmkとは異なる他識別マークmc(第2識別情報)としてモニタ50に表示する。これにより、ユーザである監視者は、目的とする無人飛行体dnではない未確認の音源を把握することができる。また、ユーザは、未確認の音源が未登録の無人飛行体であるかを否かを、正確に確認することも可能である。
また、信号処理部33は、監視エリア8の撮像画像中の画素毎の音圧値を算出し、撮像画像中の画素毎の音圧値を音圧ヒートマップMPとして、画素毎の音圧値に応じて複数の異なる色階調で識別可能に、撮像エリアの8の全方位画像データに重畳してモニタ50に表示する。これにより、ユーザは、無人飛行体dnが発する音の音圧と、周辺の音圧とを対比的に見比べることができ、無人飛行体の音圧が相対的かつ視覚的に分かるようになる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。