JP2019203821A - 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム - Google Patents

飛行物体検知装置、飛行物体検知方法および飛行物体検知システム Download PDF

Info

Publication number
JP2019203821A
JP2019203821A JP2018099869A JP2018099869A JP2019203821A JP 2019203821 A JP2019203821 A JP 2019203821A JP 2018099869 A JP2018099869 A JP 2018099869A JP 2018099869 A JP2018099869 A JP 2018099869A JP 2019203821 A JP2019203821 A JP 2019203821A
Authority
JP
Japan
Prior art keywords
sound
flying object
monitoring area
microphone array
drone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018099869A
Other languages
English (en)
Inventor
信太郎 吉國
Shintaro Yoshikuni
信太郎 吉國
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018099869A priority Critical patent/JP2019203821A/ja
Priority to PCT/JP2019/013456 priority patent/WO2019225147A1/ja
Publication of JP2019203821A publication Critical patent/JP2019203821A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Emergency Alarm Devices (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】モニタリングエリアの環境に応じて無人飛行体の誤検知を的確に低減し、無人飛行体の認識精度の劣化を抑制する飛行物体検知装置、飛行物体検知方法および飛行物体検知システムを提供する。【解決手段】飛行物体検知装置としての監視装置10は、光軸方向を調整可能であってモニタリングエリアを撮像可能に配置された第1カメラ、またはモニタリングエリアの音を収音可能に配置されたマイクアレイとの間で通信する通信部31と、収音されたモニタリングエリアの音に含まれる騒音レベルが既定値以上となる場合、音の大きさを示す音パラメータを所定値ほど抑圧処理し、収音された音の大きさを示す音パラメータまたは抑圧処理された音パラメータに基づいて、モニタリングエリアでの無人飛行体の有無を検知するプロセッサとしての信号処理部33と、を備える。【選択図】図6

Description

本開示は、モニタリングを飛行中の飛行物体を検知する飛行物体検知装置、飛行物体検知方法および飛行物体検知システムに関する。
従来、監視領域内に生じる音を方向ごとに検知する複数の音検知部を用いて、物体の存在の検知と、物体の飛来方向の検知とが可能な飛来飛行物体監視装置が知られている(例えば特許文献1参照)。この飛来飛行物体監視装置の処理装置は、無指向性のマイクによる音検知によって飛行物体の飛来およびその飛来方向を検知すると、その飛行物体が飛来した方向に監視カメラを向ける。さらに、処理装置は、この監視カメラで撮影された映像を表示装置に表示する。
特開2006−168421号公報
しかしながら、特許文献1を含む従来技術では、周囲の音環境によっては、その音環境の影響を受けて、本来存在していないはずの飛行物体が存在していると誤検知されてしまったり、あるいは、既に検知済みの存在しているはずの飛行物体を見失ったりすることがあり、飛行物体の認識精度が劣化するという課題があった。
本開示は、上述した従来の状況に鑑みて案出され、モニタリングエリアの環境に応じて無人飛行体の誤検知を的確に低減し、無人飛行体の認識精度の劣化を抑制する飛行物体検知装置、飛行物体検知方法および飛行物体検知システムを提供することを目的とする。
本開示は、光軸方向を調整可能であってモニタリングエリアを撮像可能に配置された第1カメラ、または前記モニタリングエリアの音を収音可能に配置されたマイクアレイとの間で通信する通信部と、前記マイクアレイにより収音された前記モニタリングエリアの音に含まれる騒音レベルが既定値以上となる場合、前記音の大きさを示す音パラメータを所定値ほど抑圧処理するとともに、前記マイクアレイにより収音された前記音の大きさを示す音パラメータまたは前記抑圧処理された音パラメータに基づいて、前記モニタリングエリアでの無人飛行体の有無を検知するプロセッサと、を備え、前記プロセッサは、前記無人飛行体が検知された検知方向に前記第1カメラが前記光軸方向を調整する場合、前記音パラメータの抑圧処理の実行を省略する、飛行物体検知装置を提供する。
また、本開示は、光軸方向を調整可能な第1カメラ、またはマイクアレイとの間で通信可能に接続された飛行物体検知装置における飛行物体検知方法であって、前記マイクアレイにより収音されたモニタリングエリアの音に含まれる騒音レベルが既定値以上となる場合、前記音の大きさを示す音パラメータを所定値ほど抑圧処理するステップと、前記マイクアレイにより収音された前記音の大きさを示す音パラメータまたは前記抑圧処理された音パラメータに基づいて、前記モニタリングエリアでの無人飛行体の有無を検知するステップと、を有し、前記無人飛行体の有無を検知するステップでは、前記無人飛行体が検知された検知方向に前記第1カメラが前記光軸方向を調整する場合、前記音パラメータの抑圧処理の実行が省略され、前記マイクアレイにより収音された前記音の大きさを示す音パラメータに基づいて、前記無人飛行体の有無を検知する、飛行物体検知方法を提供する。
また、本開示は、光軸方向を調整可能であってモニタリングエリアを撮像可能に配置された第1カメラと、前記モニタリングエリアの音を収音可能に配置されたマイクアレイと、前記第1カメラまたは前記マイクアレイとの間で通信する飛行物体検知装置と、を備え、前記飛行物体検知装置は、前記マイクアレイにより収音された前記モニタリングエリアの音に含まれる騒音レベルが既定値以上となる場合、前記音の大きさを示す音パラメータを所定値ほど抑圧処理し、前記マイクアレイにより収音された前記音の大きさを示す音パラメータまたは前記抑圧処理された音パラメータに基づいて、前記モニタリングエリアでの無人飛行体の有無を検知し、前記無人飛行体が検知された検知方向に前記第1カメラが前記光軸方向を調整する場合、前記音パラメータの抑圧処理の実行を省略する、飛行物体検知システムを提供する。
本開示によれば、モニタリングエリアの環境に応じて無人飛行体の誤検知を的確に低減でき、無人飛行体の認識精度の劣化を抑制できる。
実施の形態1に係る飛行物体検知システムのシステム構成例を示す図 音源検知ユニットの外観例を示す図 マイクアレイの内部構成例を示すブロック図 全方位カメラの内部構成例を示すブロック図 PTZカメラの内部構成例を示すブロック図 監視装置の内部構成例を示すブロック図 メモリに登録されているドローンの検知音信号のパターン例を示すタイミングチャート 周波数分析処理の結果として得られた検知音信号の周波数変化例を示すタイミングチャート 実施の形態1に係る飛行物体検知システムの全般的な動作手順例を示すシーケンス図 図9のステップT13の音制御処理の動作手順例を示すフローチャート 図10のステップS5の音圧レベルの抑圧例を模式的に示す説明図 抑圧されていない音圧レベルに基づいて生成された音圧ヒートマップがモニタリングエリアの全方位撮像画像データに重畳された表示画面例を示す図 ドローンが検知されてPTZカメラが動作することによって抑圧された音圧レベルに基づいて生成された音圧ヒートマップがモニタリングエリアの全方位撮像画像データに重畳された表示画面例を示す図 ドローンの検知時にモニタリングエリア内で行われる指向方向の順次走査例を示す図 図9のステップT16のドローンの検知判定処理の動作手順例を示すフローチャート ドローンが検知された時の全方位撮像画像とPTZ撮像画像とを並べて表示した表示画面例を示す図
以下、適宜図面を参照しながら、本開示に係る飛行物体検知装置、飛行物体検知方法および飛行物体検知システムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
飛行物体検知システムにより検知される飛行物体として、監視対象のモニタリングエリア(例えば都市生活者の居住区域等の屋外エリア)を飛行する無人飛行体(例えばドローン等のUAV(Unmanned Aerial Vehicle))を例示して説明する。また、本開示は、飛行物体検知システムを構成する飛行物体検知装置、飛行物体検知装置において実行される飛行物体検知方法、飛行物体検知システムにおいて実行される飛行物体検知方法としてそれぞれ規定することも可能である。
以下、飛行物体検知システムの使用者(例えばモニタリングエリアを見回り、警備等する監視員)を、単に「ユーザ」という。
実施の形態1では、飛行物体検知装置(例えば監視装置10)は、少なくとも、光軸方向を調整可能であってモニタリングエリアを撮像可能に配置されたPTZカメラCZ、モニタリングエリアの音を収音可能に配置されたマイクアレイMAとの間で通信する。飛行物体検知装置は、マイクアレイMAにより収音されたモニタリングエリアの音に含まれる騒音レベルが所定値以上となる場合、音の大きさを示す音パラメータを所定値ほど抑圧処理するとともに、マイクアレイMAにより収音された音の大きさを示す音パラメータまたは抑圧処理された音パラメータに基づいて、モニタリングエリアでの無人飛行体(例えばドローン)の有無を検知する。飛行物体検知装置は、無人飛行体が検知された検知方向にPTZカメラCZが光軸方向を調整する場合、音パラメータの抑圧処理の実行を省略する。
図1は、実施の形態1に係る飛行物体検知システム5のシステム構成例を示す図である。飛行物体検知システム5は、モニタリングエリア(上述参照)での検知対象物である無人飛行体(例えば図12に示すドローンDN参照)の有無を検知する。無人飛行体は、例えばGPS(Global Positioning System)機能を利用して自律的に上昇、下降、左旋回、左方向への移動、右旋回、右方向への移動またはこれらの組み合わせを用いた複数の自由度を有した行動を行って飛行するドローン、または第三者の無線操縦によって飛行するラジコンヘリコプタ等である。無人飛行体は、例えば、目的地またはターゲット物体の空撮、監視、薬品散布、物資の運搬等の多目的に利用され得る。
以下、無人飛行体として、複数のロータ(言い換えると、回転翼)を搭載したマルチコプタ型のドローンDNを例示して説明する。マルチコプタ型のドローンDNでは、一般にロータの羽の枚数が2枚の場合、特定周波数に対し2倍の周波数の高調波、さらにはその逓倍の周波数の高調波が発生する。同様に、ロータの羽の枚数が3枚の場合、特定周波数に対し3倍の周波数の高調波、さらにはその逓倍の周波数の高調波が発生する。ロータの羽の枚数が4枚以上の場合も同様である。
飛行物体検知システム5は、複数の音源検知ユニットUDと、監視装置10と、モニタMNと、レコーダRCとを含む構成である。図1では、図面を簡単にするために、音源検知ユニットUDは1つのみ図示されている。複数の音源検知ユニットUDは、それぞれ同様な構成を有し、ネットワークNWを介して監視装置10と相互に接続される。音源検知ユニットUDは、マイクアレイMAと、全方位カメラCA(第2カメラの一例)と、PTZカメラCZ(第1カメラの一例)とを有する構成である。
音源検知ユニットUDでは、マイクアレイMAは、自装置が設置されたモニタリングエリア(上述参照)での全方位(つまり、360度)の方向の音を無指向状態で収音する。マイクアレイMAは、中央に所定幅の円形開口部が形成された筐体15(図2参照)を有する。マイクアレイMAにより収音される音は、例えば、ドローンDNのような機械的な動作音、人間等が発する音、PTZカメラCZが発生する機械音(例えば、パン回転もしくはチルト回転、ズーム処理時のズームレンズの駆動音)、その他の音を含み、可聴周波数(つまり、20Hz〜20kHz)域の音に限らず、可聴周波数より低い低周波音や可聴周波数を超える超音波音が含まれてもよい。
マイクアレイMAは、複数の無指向性のマイクロホンM1〜Mq(図3参照)を含む。qは2以上の自然数である。マイクロホンM1〜Mqは、筐体15に設けられた円形開口部の周囲に円周方向に沿って、同心円状に予め決められた間隔(例えば均一な間隔)で配置されている。マイクロホンM1〜Mqは、例えばエレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)が用いられる。マイクアレイMAは、それぞれのマイクロホンM1〜Mqの収音により得られた音データ信号を、ネットワークNWを介して監視装置10に送信する。なお、各マイクロホンM1〜Mqの配列は、一例であり、他の配列(例えば正方形状な配置、長方形状の配置)でもよいが、各マイクロホンM1〜Mqは等間隔に並べて配置されることが好ましい。
マイクアレイMAは、複数のマイクロホンM1〜Mq(例えばq=32)、および複数のマイクロホンM1〜Mqの出力信号をそれぞれ増幅する複数の増幅器PA1〜PAq(図3参照)を有する。各増幅器から出力されるアナログ信号は、A/D変換器A1〜Aq(図3参照)でそれぞれデジタル信号に変換される。なお、マイクアレイMAにおけるマイクロホンの数は、32個に限られず、他の数(例えば16個、64個、128個)でもよい。
マイクアレイMAの筐体15(図2参照)の中央に形成された円形開口部の内側には、円形開口部の容積と略一致する全方位カメラCAが収容される。つまり、マイクアレイMAと全方位カメラCAとは一体的かつ、それぞれの筐体中心が同軸方向となるように配置される(図2参照)。全方位カメラCAは、全方位カメラCAの撮像エリアとしてのモニタリングエリア(上述参照)の全方位(つまり、360度)の画像を撮像可能な魚眼レンズ45a(図4参照)を搭載したカメラである。実施の形態1では、マイクアレイMAの収音エリアと全方位カメラCAkの撮像エリアとはともに共通のモニタリングエリアとして説明するが、収音エリアと撮像エリアの空間的な大きさ(例えば体積)は同一でなくてもよい。例えば収音エリアの体積が撮像エリアの体積より大きくても良いし、小さくてもよい。要は、収音エリアと撮像エリアとは共通する空間部分があればよい。全方位カメラCAは、例えば音源検知ユニットUDが設置された撮像エリアを撮像可能な監視カメラとして機能する。つまり、全方位カメラCAは、例えば垂直方向:180°、水平方向:360°の画角を有し、例えば半天球であるモニタリングエリア8(図14参照)を撮像エリアとして撮像する。
音源検知ユニットUDでは、全方位カメラCAが筐体15の円形開口部の内側に嵌め込まれることで、全方位カメラCAとマイクアレイMAとが同軸上に配置される。このように、全方位カメラCAの光軸とマイクアレイMAの筐体の中心軸とが一致することで、軸周方向(つまり、水平方向)における撮像エリアと収音エリアとが略同一となり、全方位カメラCAが撮像した全方位画像中の被写体の位置(言い換えれば、全方位カメラCAから見た被写体の位置を示す方向)とマイクアレイMAの収音対象となる音源の位置(言い換えれば、マイクアレイMAから見た音源の位置を示す方向)とが同じ座標系(例えば(水平角,垂直角)で示される座標)で表現可能となる。なお、音源検知ユニットUDは、上空で飛翔しているドローンDNを検知するため、例えば天地方向の上向きが収音面および撮像面となるように、取り付けられる(図2参照)。
飛行物体検知装置の一例としての監視装置10は、例えばPC(Personal Computer)またはサーバ等のコンピュータを用いて構成される。監視装置10は、マイクアレイMAにより収音された全方位の音に、ユーザの操作に基づいて任意の方向を主ビーム方向とする指向性を形成(つまり、ビームフォーミング)し、その指向方向の音を強調できる。なお、マイクアレイMAによって収音された音をビームフォーミングして音データに指向性を形成する処理の詳細は、例えば参考特許文献1,2に示されるように、公知技術である。
(参考特許文献1)特開2014−143678号公報
(参考特許文献2)特開2015−029241号公報
監視装置10は、全方位カメラCAにより撮像された撮像画像を用いて、360度の画角を有する全方位撮像画像またはその全方位撮像画像の特定の範囲(方向)の部分を切り出して2次元に変換したパノラマ撮像画像(以下、「360度の画角を有する撮像画像」および「パノラマ撮像画像」を総称して「全方位撮像画像」という)を生成する。なお、全方位撮像画像は、監視装置10ではなく、全方位カメラCAにより生成されてよい。
監視装置10は、全方位カメラCAにより撮像された全方位撮像画像に、マイクアレイMAにより収音された音の大きさを特定する音パラメータ(例えば音圧レベル)の算出値に基づいて生成する音圧ヒートマップの画像(図13参照)を重畳してモニタMNに表示する。
監視装置10は、検知されたドローンDNをユーザにとって視覚的に判別し易い第1視覚画像(例えば、図示しない識別用マーク)を、全方位撮像画像IMG1の対応するドローンDNの位置(つまり座標)に表示してよい。第1視覚画像は、例えば、全方位撮像画像IMG1において、ユーザが全方位撮像画像IMG1を見た時に、他の被写体とは明確に識別可能な程度にドローンDNの位置が明示的に示された画像であり、以下同様とする。
モニタMNは、監視装置10から出力された全方位撮像画像IMG1、または全方位撮像画像IMG1に識別用マーク(上述参照)が重畳された合成画像を表示する。モニタMNは、監視装置10と一体の装置として構成されてよい。
レコーダRCは、例えばハードディスク(Hard Disk Drive)、ソリッドステートドライブ(Solid State Drive)またはフラッシュメモリ等の半導体メモリを用いて構成され、監視装置10により生成された各種の撮像画像のデータ、それぞれの音源検知ユニットUDから送られた全方位撮像画像のデータ、音の各種データを記録する。なお、レコーダRCは、監視装置10と一体の装置として構成されてよいし、飛行物体検知システム5の構成から省略されてよい。
図1において、複数の音源検知ユニットUDおよび監視装置10は、それぞれ通信インタフェースを有し、ネットワークNWを介して相互にデータ通信可能に接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット、有線LAN(Local Area Network)でもよいし、無線ネットワーク(例えば無線LAN)でもよい。なお、それぞれの音源検知ユニットUDまたは一部の音源検知ユニットUDと監視装置10とは、ネットワークNWを介することなく、直接に接続されてよい。また、監視装置10、モニタMN、レコーダRCは、いずれもユーザが監視時において常駐する監視室RMに設置される。
図2は、音源検知ユニットUDの外観例を示す図である。音源検知ユニットUDは、マイクアレイMA、全方位カメラCA、PTZカメラCZの他、これらを機械的に支持する支持台70を有する。支持台70は、三脚71と、三脚71の天板71aに固定された2本のレール72と、2本のレール72の両端部にそれぞれ取り付けられた第1取付板73および第2取付板74とが組み合わされた構造を有する。
第1取付板73と第2取付板74とは、2本のレール72に跨るように取り付けられ、略同一の平面を有する。第1取付板73および第2取付板74は、それぞれ2本のレール72上を摺動自在であり、互いに離間もしくは接近した位置に調節されて固定される。
第1取付板73は円盤状の板材である。第1取付板73の中央には、円形開口部73aが形成されている。円形開口部73aには、マイクアレイMAの筐体15が収容されて固定される。一方、第2取付板74は略長方形の板材である。第2取付板74の外側に近い部分には、円形開口部74aが形成されている。円形開口部74aには、PTZカメラCZが収容されて固定される。
図2に示すように、マイクアレイMAの筐体15に収容される全方位カメラCAの光軸L1と、第2取付板74に取り付けられたPTZカメラCZの光軸L2とは、初期設置状態においてそれぞれ平行になるように設定される。
三脚71は、3本の脚71bで接地面に支えられており、手動操作により、接地面に対して垂直方向に天板71aの位置を移動自在であり、かつ、パン方向およびチルト方向に天板71aの向きを調節可能である。これにより、マイクアレイMAの収音エリア(言い換えると、全方位カメラCAの撮像エリアまたは飛行物体検知システム5のモニタリングエリア)を任意の向きに設定できる。
図3は、マイクアレイMAの内部構成例を示すブロック図である。図3に示すマイクアレイMAは、複数のマイクロホンM1〜Mq(例えばq=32)、複数のマイクロホンM1〜Mqから出力される音データ信号をそれぞれ増幅する複数の増幅器PA1〜PAq、各増幅器PA1〜PAqから出力されるアナログの音データ信号をそれぞれデジタルの音データ信号に変換する複数のA/D変換器A1〜Aq、圧縮処理部25および送信部26を含む構成である。
圧縮処理部25は、A/D変換器A1〜Anから出力されるデジタルの音データ信号を基に、音データ信号のパケットを生成する。送信部26は、圧縮処理部25で生成された音データ信号のパケット(以下、単に「音データ」という)を、ネットワークNWを介して監視装置10に送信する。
このように、マイクアレイMAは、監視装置10からの音配信要求(図9参照)を受信すると、マイクロホンM1〜Mqから出力される音データ信号を、対応するアンプ(Amp)である増幅器PA1〜PAqで増幅し、対応するA/D変換器A1〜Aqでデジタルの音データ信号に変換する。さらに、マイクアレイMAは、圧縮処理部25において音データ信号のパケットを生成し、この音データ信号のパケットを、ネットワークNWを介して監視装置10への送信を継続する。
図4は、全方位カメラCAの内部構成例を示すブロック図である。図4に示す全方位カメラCAは、CPU41、通信部42、電源管理部44、イメージセンサ45、魚眼レンズ45a、メモリ46およびネットワークコネクタ47を含む構成である。
CPU41は、全方位カメラCAの各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。CPU41の代わりに、MPU(Micro Processing Unit)またはDSP(Digital Signal Processor)等のプロセッサが設けられてもよい。
例えばCPU41は、監視装置10を操作するユーザの指定により、イメージセンサ45により生成された360度の画角を有する撮像画像データのうち、特定の範囲(方向)の画像を切り出した2次元のパノラマ画像データ(つまり、2次元パノラマ変換した画像データ)を生成してメモリ46に保存する。
イメージセンサ45は、例えばCMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)センサを用いて構成され、魚眼レンズ45aにより集光されたモニタリングエリアからの入射光の光学像を光電変換することで、360度の画角を有するモニタリングエリアの撮像画像データを生成してCPU41に送る。
魚眼レンズ45aは、撮像エリア(つまり、モニタリングエリア)の全方位からの入射光を入射して集光し、イメージセンサ45の撮像面に入射光の光学像を結像する。
メモリ46は、全方位カメラCAの動作を規定するためのプログラムや設定値のデータが格納されたROM46zと、360度の画角を有する撮像画像データまたはその一部の範囲が切り出されたパノラマ撮像画像データやワークデータを記憶するRAM46yと、全方位カメラCAkに挿抜自在に接続され、各種データが記憶されるメモリカード46xとを有する。
通信部42は、ネットワークコネクタ47を介して接続されるネットワークNWとの間のデータ通信を制御する通信インタフェースである。
電源管理部44は、全方位カメラCAの各部に直流電源を供給する。また、電源管理部44は、ネットワークコネクタ47を介してネットワークNWに接続される機器に直流電源を供給してもよい。
ネットワークコネクタ47は、360度の画角を有する撮像画像データまたはパノラマ撮像画像データ(つまり、上述した全方位撮像画像データ)を、ネットワークNWを介して監視装置10に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。
図5は、PTZカメラCZの内部構成例を示すブロック図である。全方位カメラCAと同様の各部については、図4の各部に対応する符号を付すことでその説明を省略する。PTZカメラCZは、監視装置10からのPTZ制御要求(図9参照)により、光軸方向(つまり、PTZカメラCZの撮像方向)およびズーム倍率を調整可能なカメラである。
PTZカメラCZは、全方位カメラCAと同様、CPU51、通信部52、電源管理部54、イメージセンサ55、撮像レンズ55a、メモリ56およびネットワークコネクタ57を有する他、撮像方向制御部58およびレンズ駆動モータ59を有する。CPU51は、監視装置10からのPTZ制御要求(図9参照)を受け取ると、撮像方向制御部58に画角変更指示を通知する。
撮像方向制御部58は、CPU51から通知された画角変更指示に従い、PTZカメラCZの撮像方向をパン方向およびチルト方向のうち少なくとも1つを制御し、さらに必要に応じて、ズーム倍率を変更するための制御信号をレンズ駆動モータ59に送る。レンズ駆動モータ59は、この制御信号に従って、撮像レンズ55aを駆動し、その撮像方向(図2に示す光軸L2の方向)を変更するとともに、撮像レンズ55aの焦点距離を調節してズーム倍率を変更する。
撮像レンズ55aは、1または2以上のレンズを用いて構成される。撮像レンズ55aでは、撮像方向制御部58からの制御信号に応じたレンズ駆動モータ59の駆動により、パン回転、チルト回転の光軸方向、またはズーム倍率が変更される。
図6は、監視装置10の内部構成例を示すブロック図である。図6に示す監視装置10は、通信部31と、操作部32と、信号処理部33と、SPK37と、メモリ38と、設定管理部39とを少なくとも含む構成である。SPKはスピーカの略称である。
通信部31は、全方位カメラCAが送信した全方位撮像画像データと、マイクアレイMAが送信した音データとを受信して信号処理部33に送る。
操作部32は、ユーザの入力操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等の入力デバイスで構成される。操作部32は、例えばモニタMNの表示画面上に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネルまたはタッチパッドを用いて構成されてもよい。
操作部32は、モニタMNにおいて全方位カメラCAの全方位撮像画像IMG1上に重畳表示された音圧ヒートマップ(図13参照)の赤領域RD1がユーザにより指定されると、指定された位置を示す座標を取得して信号処理部33に送る。信号処理部33は、マイクアレイMAにより収音された音データをメモリ38から読み出し、マイクアレイMAkから、指定された位置に対応する実際の音源位置に向かう方向に指向性を形成してSPK37から音出力する。これにより、ユーザは、ドローンDNに限らず、ユーザ自身が全方位撮像画像IMG1上で指定された位置における音が強調された状態で確認できる。
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)またはFPGA(Field Programmable Gate Array)等のプロセッサを用いて構成される。信号処理部33(つまり、プロセッサ)は、監視装置10の各部の動作を統括して制御するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理およびデータの記憶処理を行う。信号処理部33は、音源方向検知部34、出力制御部35、指向性処理部63、周波数分析部64、対象物検知部65、検知結果判定部66、走査制御部67および検知方向制御部68を含む。また、監視装置10はモニタMNに接続される。
音源方向検知部34は、例えば公知の白色化相互相関法(CSP(Cross-power Spectrum Phase analysis)法)に従って、マイクアレイMAにより収音された音を用いて、モニタリングエリアでの音源位置を推定する。CSP法では、音源方向検知部34は、図14に示すモニタリングエリア8を複数のブロック(後述参照)に分割し、マイクアレイMAで音が収音されると、ブロック(後述参照)毎に音の大きさを示す音パラメータ(例えば、マイクアレイMAを構成する複数のマイクロホンM1〜Mqのうち、複数組からなる2つのマイクロホンによりそれぞれ収音された音データ間の相互相関値の正規化出力値)が閾値(既定値)を超えるか否かを判定することで、モニタリングエリア8内での音源位置を概略的に推定できる。
音源方向検知部34は、全方位カメラCAで撮像された全方位撮像画像データとマイクアレイMAで収音された音データとを基に、モニタリングエリア8の全方位撮像画像データを構成するブロック(例えば、「2*2」個、「4*4」個等の所定数の画素からなる画素集合を示す。以下同様。)ごとに、そのブロックに対応する位置における音の大きさを示す音パラメータ(例えば、上述した相互相関値の正規化出力値、または音圧レベル)を算出する。音源方向検知部34は、全方位撮像画像データを構成するブロックごとの音パラメータの算出結果を出力制御部35に送る。上述した音パラメータの算出処理は公知技術であり、詳細な処理の説明は割愛する。
音源方向検知部34は、マイクアレイMAで収音された音データに含まれる騒音レベルを常時監視し、その騒音レベルが所定値以上となる場合に、その音データの大きさを示す音パラメータ(例えば、上述した相互相関値の正規化出力値、または音圧レベル)を所定値QTほど抑圧処理する(図11参照)。
この抑圧処理を行う理由は、次の通りである。
具体的には、モニタリングエリア8にドローンDNが存在していない状態であるにも拘わらず、騒音レベルが一定値(既定値)を超える程に高い場合、監視装置10により、モニタリングエリアにお化けドローンが出現したと誤検知される可能性が高いからである。ここで、お化けドローンとは、ドローンDNの実体は検知されていないが、上述した一定値より高い騒音レベルによって、まるでそこにドローンDNが存在していると誤って検知される、仮想的なドローンのことである。
図11は、図10のステップS5の音圧レベルの抑圧例を模式的に示す説明図である。なお、図11は音圧レベルの抑圧例に限らず、上述した相互相関値の正規化出力値の抑圧例としても適用可能である。図10の詳細な説明は後述するが、ここでは図11を参照して音圧レベルの抑圧処理を簡単に説明する。図11に示される2つのグラフの横軸はそれぞれ周波数を示し、縦軸はそれぞれ音圧レベルを示す。特性Cv1は、音圧レベルの抑圧処理が行われる前の音圧レベルの特性(つまり、マイクアレイMAにより収音された音データの周波数特性)の一例である。同様に、特性Cv2は、音圧レベルの抑圧処理が行われた後の音圧レベルの特性(つまり、マイクアレイMAにより収音された音データの周波数特性が所定値QTほど抑圧処理された周波数特性)の一例である。周波数fpは、特性CV1,Cv2における音圧レベルのピーク値が得られる時の周波数を示す。第1閾値は、ドローンDNが存在しているか否かを判定するための閾値であり、具体的には後述する対象物検知部65において参照される。
音源方向検知部34は、マイクアレイMAで収音された音データに含まれる騒音レベル(図示略)が上述した一定値を超える場合、特性Cv1に示される音圧レベルの周波数特性を所定値QTほど抑圧処理する(図11参照)。これにより、監視装置10は、上述した一定値より高い騒音レベルが発生している状態に、音圧レベルの周波数特性を所定値QTほど抑圧処理する(つまり、下げる)ので、図11に示すように、音圧レベルのピーク値が第1閾値未満となる周波数特性(特性Cv2参照)が得られ、上述したお化けドローンの存在を誤検知することを効果的に抑制できる。
ところが、詳細は図9を参照して説明するが、ドローンDNの検知に応じて、PTZカメラCZは、監視装置10からのPTZ制御要求を受け取ると、PTZ制御を行う。この時に、PTZカメラCZのパン回転時、チルト回転時、撮像レンズ55aの移動時に、大きな発生音(上述参照)が発生する。音源方向検知部34は、その大きな発生音を上述した一定値より高い騒音レベルとみなして、音圧レベルの周波数特性を所定値QTほど抑圧処理すると、音圧レベルのピーク値が第1閾値未満となる場合があり、本来存在しているはずのドローンDNが存在していない(言い換えると、ドローンDNを見失う)という課題が生じてしまう。
そこで、音源方向検知部34は、PTZカメラCZの動作時(つまり、パン回転時、チルト回転時、撮像レンズ55aの移動時)に、上述した音圧レベルの周波数特性の所定値QTの抑圧処理の実行を省略するように制御することが考えられる。
しかし、ドローンDNが存在していない時に上述した音圧レベルの周波数特性の所定値QTの抑圧処理の実行が省略されてしまうと、上述したようなお化けドローンがモニタリングエリア8に出現し、ドローンDNが検知されたと誤検知される可能性が存在する。
そこで、実施の形態1では、音源方向検知部34は、次の第1条件または第2条件のうちいずれかを満たす場合に、音圧レベルの周波数特性の所定値QTの抑圧処理(図10に示すステップSt5)の実行を省略する(図10参照)。
第1条件は、マイクアレイMAにより収音された音データに含まれる騒音レベルが一定値より高くない場合である。第1条件が満たされる場合、騒音レベルが一定値より低いので、騒音レベルが上述したお化けドローンを生じさせることが無く、監視装置10がお化けドローンが存在すると誤検知することが無いと考えられるからである。
第2条件は、監視装置10によってドローンDNの存在が検知されてPTZカメラCZが動作することによって、マイクアレイMAにより収音された音データに含まれる騒音レベルが一定値より高いと認識された場合である。第2条件が満たされる場合、ドローンDNが検知されたことでPTZカメラCZが動作(例えば、パン回転、チルト回転、ズーム処理)する時に、仮に抑圧処理を行えば、ドローンDNが本来存在しているにも拘わらず、音圧レベルの低下によってドローンDNの実体を検知できずに見逃してしまい、監視装置10のドローンDNの検知精度が劣化してしまうからである。なお、音源方向検知部34における音圧レベルの周波数特性の所定値QTの抑圧処理の有無に関する詳細については、後述する図10を参照して詳述する。
設定管理部39は、全方位カメラCAで撮像された全方位撮像画像データが表示されたモニタMNの表示画面に対してユーザにより指定された位置の座標変換に関する座標変換式を保持する。この座標変換式は、例えば全方位カメラCAの設置位置(図2参照)とPTZカメラCZの設置位置(図2参照)との物理的な距離差に基づき、全方位撮像画像データ上のユーザの指定位置の座標(つまり、(水平角,垂直角))を、PTZカメラCZから見た方向の座標に変換するための数式である。
信号処理部33は、設定管理部39が保持する上記座標変換式を用いて、PTZカメラCZの設置位置(図2参照)を基準として、PTZカメラCZの設置位置から、ユーザによって指定された位置に対応する実際の音源位置に向かう指向方向を示す座標(θMAh,θMAv)を算出する。θMAhは、PTZカメラCZの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の水平角である。θMAvは、PTZカメラCZの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の垂直角である。図2に示すように、全方位カメラCAとPTZカメラCZとの距離は既知であり、かつそれぞれの光軸L1,L2は平行であるため、上記の座標変換式の算出処理は、例えば公知の幾何学計算により実現可能である。音源位置は、モニタMNに表示された全方位撮像画像データに対し、ユーザの指またはスタイラスペンの操作によって操作部32から指定された位置に対応する実際の音源位置である。
なお、図2に示すように、実施の形態1において全方位カメラCAの光軸方向とマイクアレイMAの筐体の中心軸とは同軸上となるように全方位カメラCAおよびマイクアレイMAはそれぞれ配置されている。このため、全方位撮像画像データが表示されたモニタMNに対するユーザの指定に応じて全方位カメラCAが算出するユーザ指定位置の座標は、マイクアレイMAから見た音の強調方向(指向方向ともいう)と同一であるとみなすことが可能である。言い換えると、監視装置10は、全方位撮像画像データが表示されたモニタMNに対するユーザの指定があると、全方位撮像画像データ上の指定位置の座標を全方位カメラCAに送信する。これにより、全方位カメラCAは、監視装置10から送信された指定位置の座標を用いて、全方位カメラCAから見た、ユーザ指定位置に対応する音源位置の方向を示す座標(水平角,垂直角)を算出する。全方位カメラCAにおける算出処理は、公知技術であるため、説明は割愛する。全方位カメラCAは、音源位置の方向を示す座標の算出結果を監視装置10に送信する。監視装置10は、全方位カメラCAにより算出された座標(水平角,垂直角)を、マイクアレイMAから見た音源位置の方向を示す座標(水平角,垂直角)として使用できる。
但し、全方位カメラCAとマイクアレイMAとが同軸上に配置されていない場合には、設定管理部39は、例えば特開2015−029241号に記載されている方法に従って、全方位カメラCAが算出した座標を、マイクアレイMAから見た方向の座標に変換する必要がある。
設定管理部39は、音源方向検知部34で算出された全方位撮像画像データを構成するブロックごとの音圧レベルと比較される第1閾値th1、第2閾値th2および第3閾値th3(例えば図9参照)を保持する。ここで、音圧レベルは、マイクアレイMAにより収音されるモニタリングエリア8で発生する音の大きさを示す音パラメータの一例として使用され、SPK37から出力される音の大きさを示す音量とは異なる概念である。第1閾値th1、第2閾値th2および第3閾値th3は、モニタリングエリア8内で発生した音の音圧レベルと比較される閾値であり、例えばドローンDNが発生させる音の有無を判断するための閾値として設定されてよい。また、閾値は、上述した第1閾値th1、第2閾値th2および第3閾値th3以外にも複数設定可能であり、第1閾値th1だけを用いてもよい。ここでは簡単に説明するために、例えば、第1閾値th1と、これより小さな値である第2閾値th2と、さらに小さな値である第3閾値th3の3つが設定される(第1閾値th1>第2閾値th2>第3閾値th3、図9参照)。
後述するように、出力制御部35により生成される音圧ヒートマップでは、第1閾値th1より大きな音圧レベルが得られた画素の赤領域RD1(図16参照)は、全方位撮像画像データが表示されたモニタMN上で、例えば赤色で描画される。また、第2閾値th2より大きく第1閾値th1以下の音圧レベルが得られた画素のピンク領域PD1は、全方位撮像画像データが表示されたモニタMN上で、例えばピンク色で描画される。第3閾値th3より大きく第2閾値th2以下の音圧レベルが得られた画素の青領域BD1は、全方位撮像画像データが表示されたモニタMN上で、例えば青色で描画される。また、第3閾値th3以下の画素の音圧レベルの領域N1(図16参照)は、全方位撮像画像データが表示されたモニタMNで、例えば無色で描画され、つまり、全方位撮像画像データの表示色と何ら変わらない。
SPK37は、スピーカであり、マイクアレイMAにより収音されたモニタリングエリア8の音データ、その音データの音圧レベルが所定値QTほど抑圧処理された後の音データ、またはマイクアレイMAにより収音されかつ信号処理部33によって指向性が形成された音データを音出力する。なお、SPK37は、監視装置10とは別体の装置として構成されてもよい。
メモリ38は、例えばROMやRAMを用いて構成され、例えば一定区間の音データを含む各種データ、設定情報、プログラム等を保持する。また、メモリ38は、個々のドローンDNに固有な音パターンが登録されたパターンメモリ(図7参照)を有する。さらに、メモリ38は、出力制御部35により生成される音圧ヒートマップのデータを記憶する。また、メモリ38には、ドローンDNの位置を模式的に表す識別用マーク(不図示)のデータが登録されている。ここで用いられる識別用マークは、例えば、星形の記号である。なお、識別用マークとしては、星形に限らず、円、三角、四角、ドローンDNを想起させる「卍」形等の記号や文字でよい。また、昼間と夜間とで、識別用マークの表示態様を変えてもよく、例えば、昼間には星形で、夜間には星と見間違わないような四角としてもよい。また、識別用マークを動的に変化させてよい。例えば星形の記号を点滅表示したり、回転させたりしてもよく、より一層、ユーザに注意を喚起できる。
図7は、メモリ38に登録されているドローンDNの検知音のパターンの一例を示すタイミングチャートである。図7に示す検知音のパターンは、周波数パターンの組み合わせであり、マルチコプタ型のドローンDNに搭載された4つのロータの回転等によって発生する4つの周波数f1,f2,f3,f4の音を含む。それぞれの周波数の信号は、例えば各ロータに軸支された複数枚の羽の回転に伴って発生する、異なる音の周波数の信号である。
図7では、斜線で示された周波数の領域が、音圧レベルの高い領域である。なお、検知音のパターンは、複数の周波数の音の数や音圧レベルだけでなく、その他の音情報を含んでもよい。例えば各周波数の音圧レベルの比率を表す音圧レベル比等が挙げられる。ここでは、一例としてドローンDNの検知は、検知音のパターンに含まれる、それぞれの周波数の音圧レベルが閾値を超えているか否かによって判断される。
指向性処理部63は、無指向性のマイクロホンM1〜Mqで収音された音データ信号を用い、上述した指向性形成処理(ビームフォーミング)を行い、モニタリングエリア8の方向を指向方向とする音データ信号の抽出処理を行う。また、指向性処理部63は、モニタリングエリア8の方向の範囲を指向範囲とする音データ信号の抽出処理を行うことも可能である。ここで、指向範囲は、隣接する指向方向を複数含む範囲であり、指向方向と比較すると、ある程度の指向方向の広がりを含むことを意図する。
周波数分析部64は、指向性処理部63によって指向方向に抽出処理された音データ信号に対し、周波数分析処理を行う。この周波数分析処理では、指向方向の音データ信号に含まれる周波数およびその音圧レベルが検知される。
図8は、周波数分析処理の結果として得られた検知音信号の周波数変化の一例を示すタイミングチャートである。図8では、検知音信号(つまり、検知音データ信号)として、4つの周波数f11,f12,f13,f14および各周波数の音圧レベルが得られている。図中、不規則に変化する各周波数の変動は、例えばドローンDNがドローンDN自身の機体の姿勢を制御する際に僅かに変化するロータ(回転翼)の回転変動によって起こる。
対象物検知部65は、周波数分析部64の周波数分析処理結果を用いて、ドローンDNの検知処理を行う。具体的には、ドローンDNの検知処理では、対象物検知部65は、モニタリングエリア8において、周波数分析処理の結果として得られた検知音のパターン(図8に示す周波数f11〜f14参照)と、メモリ38のパターンメモリに予め登録された検知音のパターン(図7に示す周波数f1〜f4参照)とを比較する。対象物検知部65は、両者の検知音のパターンが近似するか否かを判定する。
両者のパターンが近似するか否かは、例えば以下のように判断される。4つの周波数f1,f2,f3,f4のうち、検知音データに含まれる少なくとも2つの周波数の音圧がそれぞれ閾値(例えば図9または図11に示す第1閾値th1)を超える場合、音パターンが近似しているとして、対象物検知部65は、ドローンDNを検知する。なお、他の条件を満たした場合にドローンDNが検知されてもよい。
検知結果判定部66は、ドローンDNが存在しないと判定された場合、次の指向方向でのドローンDNの検知に移行するように検知方向制御部68に指示する。検知結果判定部66は、指向方向の走査の結果、ドローンDNが存在すると判定された場合、ドローンDNの検知結果を出力制御部35に通知する。なお、この検知結果には、検知されたドローンDNの情報が含まれる。ドローンDNの情報には、例えばドローンDNの識別情報、モニタリングエリア8でのドローンDNの位置情報(例えば方向情報)が含まれる。
検知方向制御部68は、検知結果判定部66からの指示に基づいて、収音空間において無人飛行体dnを検知するための方向を制御する。例えば検知方向制御部68は、収音空間全体(つまり、モニタリングエリア8)の中で、音源方向検知部34により推定された音源位置を含む指向範囲BF1(図11参照)の任意の方向を検知方向として設定する。
走査制御部67は、検知方向制御部68により設定された検知方向を指向方向としてビームフォーミングするよう、指向性処理部63に対して指示する。
指向性処理部63は、走査制御部67から指示された指向方向に対して、ビームフォーミングする。なお、初期設定では、指向性処理部63は、音源方向検知部34によって推定された音源位置を含む指向範囲BF1(図14参照)内の初期位置を指向方向BF2とする。指向方向BF2は、検知方向制御部68により、指向範囲BF1の中で次々に設定される。
出力制御部35は、モニタMNおよびSPK37の各動作を制御するとともに、全方位カメラCAから送られた全方位撮像画像データをモニタMNに表示し、さらに、マイクアレイMAから送られた音データをSPK37に音声出力する。出力制御部35は、ドローンDNが検知された場合、ドローンDNを示す識別用マーク(不図示)を、全方位撮像画像データの対応する位置(つまり、ドローンDNの位置を示す座標)上に重畳して表示するために、モニタMNに出力する。
出力制御部35は、マイクアレイMAにより収音された音データと全方位カメラCAにより導出された音源位置の方向を示す座標とを用いて、マイクアレイMAにより収音された音データの指向性形成処理を行うことで、指向方向の音データを強調処理する。音データの指向性形成処理は、例えば特開2015−029241号公報に記載されている公知の技術である。
出力制御部35は、音源方向検知部34により算出された全方位撮像画像データを構成するブロックごとの音圧レベルを用い、全方位撮像画像データを構成するブロックごとに、該当するブロックの位置に音圧レベルの算出値を割り当てた音圧マップを生成する。さらに、出力制御部35は、ユーザにとって視覚的で判別し易くなるように、生成された音圧マップのブロックごとの音圧レベルを、視覚画像(例えば色付きの画像)に色変換処理を行うことで、図16に示す音圧ヒートマップを生成する。
なお、出力制御部35は、ブロック単位で算出した音圧レベルを該当するブロックの位置に割り当てた音圧マップまたは音圧ヒートマップを生成すると説明したが、他には、一つ一つの画素ごとに音圧レベルを算出し、画素ごとの音圧レベルを該当する画素の位置に割り当てた音圧マップまたは音圧ヒートマップを生成してもよい。
次に、実施の形態1に係る飛行物体検知システム5の動作について、図9〜図16を参照して詳細に説明する。
図9は、実施の形態1に係る飛行物体検知システム5の全般的な動作手順例を示すシーケンス図である。飛行物体検知システム5の各装置(例えば、モニタMN、監視装置10、PTZカメラCZ、全方位カメラCA、マイクアレイMA)にそれぞれ電源が投入されると、飛行物体検知システム5は動作を開始する。
先ず、監視装置10の信号処理部33は、通信部31を介して、PTZカメラCZに画像配信要求を送る(T1)。PTZカメラCZは、監視装置10から送られた画像配信要求に従い、電源の投入に応じた撮像処理を開始する(T2)。同様に、監視装置10の信号処理部33は、通信部31を介して、全方位カメラCAに画像配信要求を送る(T3)。全方位カメラCAは、監視装置10から送られた画像配信要求に従い、電源の投入に応じた撮像処理を開始する(T4)。また、監視装置10の信号処理部33は、通信部31を介して、マイクアレイMAに音配信要求を送る(T5)。マイクアレイMAは、監視装置10から送られた音配信要求に従い、電源の投入に応じた収音処理を開始する(T6)。
PTZカメラCZは、ネットワークNWを介して、撮像により得られたPTZ撮像画像データ(例えば静止画、動画)を監視装置10に送信する(T7)。監視装置10の出力制御部35は、PTZカメラCZから送られたPTZ撮像画像データをNTSC等の表示データに変換し、モニタMNに出力してPTZ撮像画像データの表示の指示を表示データとともに送る(T8)。モニタMNは、監視装置10から送られた指示に従い、表示画面に、PTZカメラCZによるPTZ撮像画像IMG2のデータ(図16参照)を表示する(T9)。
全方位カメラCAは、ネットワークNWを介して、撮像により得られた全方位撮像画像データ(例えば静止画、動画)を監視装置10に送信する(T10)。監視装置10の出力制御部35は、全方位カメラCAから送られた全方位撮像画像データをNTSC等の表示データに変換し、モニタMNに出力して全方位撮像画像データの表示の指示を表示データとともに送る(T11)。モニタMNは、監視装置10から送られた指示に従い、表示画面に、全方位カメラCAによる全方位撮像画像IMG1のデータ(図16参照)を表示する(T9)。
マイクアレイMAは、ネットワークNWを介して、収音により得られたモニタリングエリア8の音データを符号化して監視装置10に送信する(T12)。
監視装置10の音源方向検知部34は、ステップT12において送られた音データを用い、モニタリングエリア8での音源検知処理を含む各種の音制御処理(図10参照)を実行する(T13)。ステップT13での音制御処理の詳細については、図10を参照して後述する。
監視装置10の出力制御部35は、ステップT13において音源方向検知部34により算出された全方位撮像画像データを構成するブロックごとの音圧レベルを用い、全方位撮像画像データを構成するブロックごとに、該当するブロックの位置に音圧レベルの算出値を割り当てた音圧マップを生成する。出力制御部35は、ユーザにとって視覚的で判別し易くなるように、生成した音圧マップのブロックごとの音圧レベルを、視覚画像(例えば色付きの画像)に色変換処理を行うことで、図16に示す音圧ヒートマップを生成する(T14)。
監視装置10の出力制御部35は、ステップT14において生成された音圧ヒートマップのデータをNTSC等の表示データに変換し、モニタMNに出力して全方位撮像画像データ上への音圧ヒートマップの重畳表示の指示を表示データとともに送る(T15)。モニタMNは、監視装置10から送られた指示に従い、表示画面に、全方位撮像画像データに音圧ヒートマップを重畳して表示する(図16参照、T9)。
監視装置10の信号処理部33は、ステップT12においてマイクアレイMAから送られた音データを用い、モニタリングエリア8内で指向方向を順次走査しながら指向性を形成することで、それぞれの指向方向ごとにドローンDNの検知判定処理を行う(T16)。この無人飛行体dnの検知判定処理の詳細については、図14および図15を参照して後述する。
なお、ステップT16においてドローンDNが検知されなかった場合には、実施の形態1に係る飛行物体検知システム5の処理は、ステップT7に戻り、ステップT7からステップT16までの一連の処理が繰り返される。一方、ステップT16においてドローンDNが検知された場合には、実施の形態1に係る飛行物体検知システム5の処理は、ステップT17以降の処理に進む。
ステップT16でのドローンDNの検知判定処理の結果、ドローンDNが検知された場合、監視装置10の出力制御部35は、モニタMNの表示画面に表示されている全方位撮像画像IMG1に、ステップT16で検知された指向方向に存在するドローンDNを示す識別用マーク(不図示)を重畳して表示することを指示する(T17)。モニタMNは、監視装置10から送られた指示に従い、全方位撮像画像IMG1に、ドローンDNを示す識別用マーク(不図示)を合成(重畳)して表示する(T18)。
監視装置10の出力制御部35は、PTZカメラCZに対し、ステップT16で検知されたドローンDNの検知方向(言い換えると、ドローンDNの検知時に設定された指向方向)に関する情報と、PTZカメラCZの光軸方向(言い換えると、撮像方向)やズーム倍率を変更するためのPTZ制御要求とを対応付けて送る(T19)。
PTZカメラCZは、監視装置10から送られたPTZ制御要求に従い、指向方向に関する情報に基づいて、例えば、撮像方向制御部58においてレンズ駆動モータ59を駆動させ、PTZカメラCZの撮像レンズの光軸L2を変更して、撮像方向を指向方向に変更する(T20)。同時に、撮像方向制御部58は、PTZカメラCZの撮像レンズ55aのズーム倍率を、予め設定された値、あるいはドローンDNの撮像画像に占める割合に対応する値等に変更する。
これにより、PTZカメラCZは、ステップT16において検知されたドローンDNの検知方向(つまり、指向方向)に光軸方向を調整(つまり、向けることが)でき、さらに、ドローンDNの詳細を判明可能なPTZ撮像画像IMG2の撮像が可能にズーム倍率を変更できる。この後にPTZカメラCZにより撮像されたPTZ撮像画像IMG2が監視装置10に送られると、監視装置10は、モニタリングエリア8の広域が分かる全方位撮像画像IMG1とモニタリングエリア8で検知されたドローンPTZの詳細が分かるPTZ撮像画像IMG2とを並べてモニタMN1に表示できる(図16参照)。
図16は、ドローンDNが検知された時の全方位撮像画像IMG1とPTZ撮像画像IMG2とを並べて表示した表示画面例を示す図である。図9を参照して説明したように、実施の形態1では、音源方向検知部34により算出されたブロックごとの音圧レベルが第3閾値th3以下であれば無色で表示され、音圧レベルが第3閾値th3より大きくかつ第2閾値th2以下であれば青色で表示され、音圧レベルが第2閾値th2より大きくかつ第1閾値th1以下であればピンク色で表示され、音圧レベルが第1閾値th1より大きければ赤色で表示されている。
図16に示すように、全方位撮像画像IMG1では、モニタリングエリア8の外観の様子とともに音源の有無が広域に判明可能な音圧ヒートマップが示されている。例えばドローンDNの筐体中心の周囲の回転翼やロータ付近では音圧レベルが第1閾値th1より大きいため、ドローンDNの位置を示す第1視覚画像の一例として、赤領域RD1,RD2,RD3,RD4で描画されている。同様に、赤領域の周囲には、ドローンDNの位置を示す第1視覚画像の一例として、赤領域の次に音圧値が大きいことを示すピンク領域PD1,PD2,PD3,PD4が描画されている。同様に、さらにピンク領域の周囲には、ドローンDNの位置を示す第1視覚画像の一例として、ピンク領域の次に音圧値が大きいことを示す青領域BD1,BD2,BD3,BD4が描画されている。
一方で、PTZ撮像画像IMG2では、モニタリングエリア8内で検知されたドローンDNの外観の詳細が判明可能に示されている。従って、ユーザは、図16に示される全方位撮像画像IMG1とPTZ撮像画像IMG2とを並べて閲覧することで、どのような外観のドローンDNがモニタリングエリア8のどのあたりで検知されたかを俯瞰的かつ詳細に把握できる。
この後、実施の形態1に係る飛行物体検知システム5の処理はステップT7に戻り、例えば電源がオフに操作される等の所定のイベントが検知されるまで、ステップT7以降の各処理が繰り返される。
次に、図9のステップT13の音制御処理の動作手順の詳細について、図10〜図13を参照して説明する。図10は、図9のステップT13の音制御処理の動作手順例を示すフローチャートである。図12は、抑圧されていない音圧レベルに基づいて生成された音圧ヒートマップがモニタリングエリア8の全方位撮像画像データに重畳された表示画面例を示す図である。図13は、ドローンDNが検知されてPTZカメラCZが動作することによって抑圧された音圧レベルに基づいて生成された音圧ヒートマップがモニタリングエリア8の全方位撮像画像データに重畳された表示画面例を示す図である。
図10において、音源方向検知部34は、全方位カメラCAで撮像された全方位撮像画像データとマイクアレイMAで収音された音データとを基に、モニタリングエリア8の全方位撮像画像データを構成するブロックごとに、音パラメータ(例えば音圧レベル)を算出する(S1)。音源方向検知部34は、算出された音パラメータを用いて、モニタリングエリア8内の音源を検知する(S1)。この検知された音源の位置は、監視装置10がステップT16においてドローンDNを検知する際、初期の指向方向が設定されるために必要となる指向範囲BF1の基準位置として使用されてよい。
音源方向検知部34は、マイクアレイMAで収音された音データに含まれる騒音レベルを常時監視して測定する(S2)。この騒音レベルが一定値(既定値)未満であると判定された場合には(S3、NO)、音源方向検知部34の音制御処理は終了する。従って、音源方向検知部34により、上述した音圧レベルの周波数特性の抑圧処理(図11参照)は実行されずに(上述した第1条件参照)、ステップT13の処理は終了する。
一方、音源方向検知部34は、ステップS2で測定された騒音レベルが一定値(既定値)以上であると判定した場合(S3、YES)、メモリ38を参照し、PTZカメラCZの動作時であるか否かを判定する(S4)。監視装置10の出力制御部35がPTZカメラCZにPTZ制御を実行させる際、メモリ38には、例えばPTZカメラCZに送られるPTZ制御要求が一時的に保持されている。音源方向検知部34は、例えばメモリ38にPTZ制御要求が保持されているか否かに基づいて、現時点がPTZカメラCZの動作時であるか否かを判定可能である。
音源方向検知部34は、現時点がPTZカメラCZの動作時ではないと判定した場合(S4、NO)、PTZカメラCZからパン回転時、チルト回転時、または撮像レンズ55aの移動時に発生する大きな発生音が生じないので、マイクアレイMAにより収音された音データの音圧レベルの周波数特性を所定値QTほど抑圧処理する(図11参照、S5)。ステップS5の後、音源方向検知部34の音制御処理は終了し、ステップT13の処理は終了する。
一方、音源方向検知部34は、現時点がPTZカメラCZの動作時であると判定した場合(S4、YES)、メモリ38を参照し、ドローンDNの検知中であるか否かを判定する(S6)。例えば図9のループ(LOOP)処理において、前回のサイクルのステップT16の処理の実行時にドローンDNが検知されたと判定された場合には、メモリ38には、その時に判定されたドローンDNの検知方向(つまり、走査された指向方向)に関する情報が保持されている。音源方向検知部34は、例えばメモリ38に検知方向に関する情報が保持されているか否かに基づいて、現時点がドローンDNの検知中であるか否かを判定可能である。
音源方向検知部34は、現時点がドローンDNの検知中であると判定した場合には(S6、YES)、音源方向検知部34の音制御処理を終了する。従って、音源方向検知部34により、上述した音圧レベルの周波数特性の抑圧処理(図11参照)は実行されずに(上述した第2条件参照)、ステップT13の処理は終了する。
一方、音源方向検知部34は、現時点がドローンDNの検知中でないと判定した場合には(S6、NO)、抑圧処理によってドローンの実体を見逃すことが無いので、マイクアレイMAにより収音された音データの音圧レベルの周波数特性を所定値QTほど抑圧処理する(図11参照、S5)。ステップS5の後、音源方向検知部34の音制御処理は終了し、ステップT13の処理は終了する。
図12では、モニタMNに表示された全方位撮像画像IMG1には、モニタリングエリア8にドローンDNの実体が検知されていない状態であるにも拘わらず、例えば騒音レベルが一定値(既定値)を超えたことで、その騒音レベルの騒音の影響を受けて、お化けドローンGDN1として検知された例が示されている。お化けドローンGDN1は、抑圧処理がなされていないために、例えば2つの騒音源(具体的には、青領域BD1,BD4のそれぞれに位置する音源)を元にして監視装置10により誤検知された仮想的なドローンである。
一方、図13では、ドローンDNが検知されてPTZカメラCZが動作する時であるにも拘わらず、仮に図10に示すステップS5の処理(つまり、音圧レベルの周波数特性の抑圧処理)が実行された場合、既に検知済みのドローンDNの存在が音圧ヒートマップに反映されず、ドローンDNの実体を見逃している(つまり、ロストしている)ことが示されている。従って、音源方向検知部34は、ドローンDNが検知されてPTZカメラCZが動作する時に周囲の騒音レベルが一定値を超えた場合には、第2条件を満たしたとして、音圧レベルの抑圧処理を実行しない。これにより、音源方向検知部34は、抑圧処理によってドローンDNの実体を見逃すことを抑制できるので、ドローンDNの実体を的確に検知できる。
次に、図9のステップT16のドローンDNの検知判定処理の動作手順の詳細について、図14および図15を参照して説明する。図14は、ドローンDNの検知時にモニタリングエリア8内で行われる指向方向の順次走査例を示す図である。図15は、図9のステップT16のドローンDNの検知判定処理の動作手順例を示すフローチャートである。
音源検知ユニットUDにおいて、指向性処理部63は、例えば音源方向検知部34によって推定された音源位置に基づく指向範囲BF1を、指向方向BF2の初期位置として設定する(S21)。なお、初期位置は、音源方向検知部34により推定されたモニタリングエリア8の音源位置に基づく指向範囲BF1に限定されなくてもよい。つまり、ユーザにより指定された任意の位置を初期位置として設定して、モニタリングエリア8内が順次、走査されてもよい。初期位置が限定されないことで、推定された音源位置に基づく指向範囲BF1に含まれる音源がドローンDNでなかった場合でも、他の指向方向に飛来するドローンを早期に検知できる。
指向性処理部63は、マイクアレイMAで収音され、A/D変換器An1〜Aqでデジタル値に変換された音データ信号がメモリ38に一時的に記憶されたか否かを判定する(S22)。音データ信号が記憶されていない場合(S22、NO)、指向性処理部63の処理はステップS21に戻る。
マイクアレイMAにより収音された音データ信号がメモリ38に一時的に記憶されている場合(S22、YES)、指向性処理部63は、モニタリングエリア8の指向範囲BF1における任意の指向方向BF2に対してビームフォーミングし、この指向方向BF2の音データ信号を抽出処理する(S23)。
周波数分析部64は、抽出処理された音データ信号の周波数およびその音圧レベルを検知する(S24)。
対象物検知部65は、メモリ38のパターンメモリに登録された検知音のパターンと、周波数分析処理の結果得られた検知音のパターンとを比較し、ドローンDNの検知を行う(S25)。
検知結果判定部66は、この比較の結果を出力制御部35に通知するとともに、検知方向制御部68へ検知方向移行について通知する(S26)。
例えば対象物検知部65は、周波数分析処理の結果得られた検知音のパターンと、メモリ38のパターンメモリに登録されている4つの周波数f1,f2,f3,f4とを比較する。対象物検知部65は、比較の結果、両検知音のパターンにおいて同じ周波数を少なくとも2つ有し、かつ、これらの周波数の音圧レベルが第1閾値th1より大きい場合、両者の検知音のパターンが近似し、ドローンDNが存在すると判定する。
なお、ここでは、少なくとも2つの周波数が一致している場合を想定したが、対象物検知部65は、1つの周波数が一致し、この周波数の音圧レベルが第1閾値th1より大きい場合、近似していると判定してもよい。
また、対象物検知部65は、それぞれの周波数に対し、許容される周波数の誤差を設定し、この誤差範囲内の周波数は同じ周波数であるとして、上記近似の有無を判定してもよい。
また、対象物検知部65は、周波数および音圧レベルの比較に加えて、それぞれの周波数の音の音圧レベル比が略一致することを判定条件に加えて判定してもよい。この場合、判定条件が厳しくなるので、音源検知ユニットUDは、検知されたドローンDNを予め登録された対象物であるとして特定し易くなり、ドローンDNの検知精度を向上できる。
検知結果判定部66は、ステップS26の結果、ドローンDNが存在するか存在しないかを判別する(S27)。
ドローンDNが存在する場合(S27、YES)、検知結果判定部66は、出力制御部35にドローンDNが存在する旨(つまり、ドローンDNの検知結果)を通知する(S28)。
一方、ドローンDNが存在しない場合(S27、NO)、検知結果判定部66は、モニタリングエリア8内における走査対象の指向方向BF2を次の異なる方向に移動する旨を走査制御部67に指示する。走査制御部67は、検知結果判定部66からの指示に応じて、モニタリングエリア8内における走査対象の指向方向BF2を次の異なる方向に移動させる(S29)。なお、ドローンDNの検知結果の通知は、1つの指向方向の検知処理が終了したタイミングでなく、全方位走査完了した後にまとめて行われてもよい。
また、モニタリングエリア8で指向方向BF2を順番に移動させる順序は、例えばモニタリングエリア8の指向範囲BF1内或いは全範囲内で、外側の円周から内側の円周に向かうように、または内側の円周から外側の円周に向かうように、螺旋状(渦巻状)の順序でもよい。
また、検知方向制御部68は、一筆書きのように連続して指向方向を走査するのではなく、モニタリングエリア8内に予め位置を設定しておき、任意の順序で各位置に指向方向BF2を移動させてもよい。これにより、監視装置10は、例えばドローンDNが侵入し易い位置から検知処理を開始でき、検知処理を効率化できる。
走査制御部67は、モニタリングエリア8における全方位の走査を完了したか否かを判定する(S30)。全方位の走査が完了していない場合(S30、NO)、信号処理部33の処理はステップS23に戻り、ステップS23〜S30までの処理が繰り返される。つまり、指向性処理部63は、ステップS29で移動された位置の指向方向BF2にビームフォーミングし、この指向方向BF2の音データを抽出処理する。これにより、音源検知ユニットUDは、1つのドローンDNが検知されても、他にも存在する可能性のあるドローンの検知を続行するので、複数のドローンの検知が可能である。
一方、ステップS30で全方位の走査が完了すると(S30、YES)、指向性処理部63は、メモリ38に一時的に記憶された、マイクアレイMAで収音された音データを消去する(S31)。また、指向性処理部63は、マイクアレイMAで収音された音データをメモリ38から消去し、かつレコーダRCに保存してもよい。
音データの消去後、信号処理部33は、ドローンDNの検知処理を終了するか否かを判別する(S32)。このドローンDNの検知処理の終了は、所定のイベントに応じて行われる。例えばステップS26でドローンDNが検知されなかった回数をメモリ38に保持し、この回数が所定回数以上となった場合、ドローンDNの検知処理を終了してもよい。また、タイマによるタイムアップや、操作部32が有するUI(User Interface)(不図示)に対するユーザ操作に基づいて、信号処理部33がドローンDNの検知処理を終了してもよい。また、監視装置10の電源がオフとなる場合に、終了してもよい。
なお、ステップS24の処理では、周波数分析部64は、周波数を分析するとともに、その周波数の音圧も計測する。検知結果判定部66は、周波数分析部64によって測定された音圧レベルが時間経過とともに徐々に大きくなっていると、音源検知ユニットUDに対してドローンDNが接近していると判定してもよい。
例えばある時刻で測定された所定の周波数の音圧レベルが、その時刻よりも後の時刻で測定された同じ周波数の音圧レベルよりも小さい場合、時間経過とともに音圧が大きくなっており、ドローンDNが接近していると判定されてもよい。また、3回以上にわたって音圧レベルを測定し、統計値(例えば分散値、平均値、最大値、最小値等)の推移に基づいて、ドローンDNが接近していると判定されてもよい。
また、測定された音圧レベルが警戒レベルである警戒閾値より大きい場合に、検知結果判定部66が、ドローンDNが警戒エリアに侵入したと判定してもよい。なお、警戒閾値は、例えば上述した第1閾値th1よりも大きな値である。警戒エリアは、例えばモニタリングエリア8と同じエリア、またはモニタリングエリア8に含まれモニタリングエリア8よりも狭いエリアである。警戒エリアは、例えばドローンDNの侵入が規制されたエリアである。また、ドローンDNの接近判定や侵入判定は、検知結果判定部66により実行されてもよい。
以上により、実施の形態1に係る飛行物体検知システム5では、監視装置10は、光軸方向を調整可能であってモニタリングエリア8を撮像可能に配置されたPTZカメラCZ、またはモニタリングエリア8の音を収音可能に配置されたマイクアレイMAとの間で通信する通信部31を有する。監視装置10は、マイクアレイMAにより収音されたモニタリングエリア8の音に含まれる騒音レベルが一定値(既定値)以上となる場合、音の大きさを示す音パラメータを所定値QTほど抑圧処理するとともに、マイクアレイMAにより収音された音の大きさを示す音パラメータ(例えば音圧レベル)または抑圧処理された音パラメータ(例えば音圧レベル)に基づいて、モニタリングエリア8でのドローンDNの有無を検知する信号処理部33を有する。また、監視装置10は、ドローンDNが検知された検知方向にPTZカメラCZが光軸方向を調整する場合、音パラメータの抑圧処理の実行を省略する。
これにより、監視装置10は、一定値より高い騒音レベルが発生している状態に、音圧レベルの周波数特性を所定値QTほど抑圧処理する(つまり、下げる)ので、図11に示すように、音圧レベルのピーク値が第1閾値未満となる周波数特性(特性Cv2参照)が得られ、上述したお化けドローンの存在を誤検知することを効果的に抑制できる。また、監視装置10は、抑圧処理を行う必要の無い状況下で収音された音データまたは抑圧処理を行う必要のある状況下で収音された音データを用いてドローンDNの有無の検知を行うので、的確にドローンDNの有無を検知できる。また、監視装置10は、PTZカメラCZが光軸方向を調整する際に一定値(既定値)より高い騒音レベルほどの発生音が発生する際には、音圧レベルの周波数特性の所定値QTの抑圧処理の実行を省略するので、ドローンDNの実体を見逃すこと無く、的確にドローンDNの検知を行える。従って、監視装置10によれば、モニタリングエリア8の環境に応じて、ドローンDNの誤検知を的確に低減でき、ドローンDNの認識精度の劣化を抑制できる。
また、監視装置10は、ドローンDNが検知されない場合、音パラメータ(例えば音圧レベル)の抑圧処理を信号処理部33において実行する。これにより、監視装置10は、抑圧処理によって音圧レベルのピーク値が第1閾値未満となる周波数特性(特性Cv2参照)が得られるので、騒音レベルが既定値(一定値)以上であっても上述したお化けドローンが存在するという誤検知を効果的に抑制できる。
また、監視装置10は、PTZカメラCZが光軸方向を調整しない場合、音パラメータ(例えば音圧レベル)の抑圧処理を信号処理部33において実行する。これにより、監視装置10は、抑圧処理によって音圧レベルのピーク値が第1閾値未満となる周波数特性(特性Cv2参照)が得られるので、騒音レベルが既定値(一定値)以上であっても上述したお化けドローンが存在するという誤検知を効果的に抑制できる。
また、監視装置10は、モニタリングエリア8を撮像可能に配置された全方位カメラCAとの間で通信部31において通信する。監視装置10は、ドローンDNが検知された場合、ドローンDNの位置を示す第1視覚画像(例えば図12参照)を信号処理部33において、全方位カメラCAにより撮像されたモニタリングエリア8の第1撮像画像(例えば全方位撮像画像IMG1)に重畳してモニタMNに表示する。これにより、ユーザは、モニタMNに表示された全方位撮像画像IMG1上に、監視装置10により検知されたドローンDNの位置を視覚的に把握でき、ドローンDNの位置を具体的に特定し易くなる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
本開示は、モニタリングエリアの環境に応じて無人飛行体の誤検知を的確に低減し、無人飛行体の認識精度の劣化を抑制する飛行物体検知装置、飛行物体検知方法および飛行物体検知システムとして有用である。
5 飛行物体検知システム
10 監視装置
31 通信部
32 操作部
33 信号処理部
34 音源方向検知部
35 出力制御部
37 SPK
38 メモリ
39 設定管理部
63 指向性処理部
64 周波数分析部
65 対象物検知部
66 検知結果判定部
67 走査制御部
68 検知方向制御部
CA 全方位カメラ
CZ PTZカメラ
MA マイクアレイ
MN モニタ
NW ネットワーク
RC レコーダ
UD 音源検知ユニット

Claims (6)

  1. 光軸方向を調整可能であってモニタリングエリアを撮像可能に配置された第1カメラ、または前記モニタリングエリアの音を収音可能に配置されたマイクアレイとの間で通信する通信部と、
    前記マイクアレイにより収音された前記モニタリングエリアの音に含まれる騒音レベルが既定値以上となる場合、前記音の大きさを示す音パラメータを所定値ほど抑圧処理するとともに、前記マイクアレイにより収音された前記音の大きさを示す音パラメータまたは前記抑圧処理された音パラメータに基づいて、前記モニタリングエリアでの無人飛行体の有無を検知するプロセッサと、を備え、
    前記プロセッサは、
    前記無人飛行体が検知された検知方向に前記第1カメラが前記光軸方向を調整する場合、前記音パラメータの抑圧処理の実行を省略する、
    飛行物体検知装置。
  2. 前記プロセッサは、
    前記無人飛行体が検知されない場合、前記音パラメータの抑圧処理を実行する、
    請求項1に記載の飛行物体検知装置。
  3. 前記プロセッサは、
    前記第1カメラが前記光軸方向を調整しない場合、前記音パラメータの抑圧処理を実行する、
    請求項1に記載の飛行物体検知装置。
  4. 前記通信部は、
    前記モニタリングエリアを撮像可能に配置された第2カメラとの間で通信し、
    前記プロセッサは、
    前記無人飛行体が検知された場合、前記無人飛行体の位置を示す第1視覚画像を、前記第2カメラにより撮像された前記モニタリングエリアの第1撮像画像に重畳してモニタに表示する、
    請求項1〜3のうちいずれか一項に記載の飛行物体検知装置。
  5. 光軸方向を調整可能な第1カメラ、またはマイクアレイとの間で通信可能に接続された飛行物体検知装置における飛行物体検知方法であって、
    前記マイクアレイにより収音されたモニタリングエリアの音に含まれる騒音レベルが既定値以上となる場合、前記音の大きさを示す音パラメータを所定値ほど抑圧処理するステップと、
    前記マイクアレイにより収音された前記音の大きさを示す音パラメータまたは前記抑圧処理された音パラメータに基づいて、前記モニタリングエリアでの無人飛行体の有無を検知するステップと、を有し、
    前記無人飛行体の有無を検知するステップでは、
    前記無人飛行体が検知された検知方向に前記第1カメラが前記光軸方向を調整する場合、前記音パラメータの抑圧処理の実行が省略され、前記マイクアレイにより収音された前記音の大きさを示す音パラメータに基づいて、前記無人飛行体の有無を検知する、
    飛行物体検知方法。
  6. 光軸方向を調整可能であってモニタリングエリアを撮像可能に配置された第1カメラと、前記モニタリングエリアの音を収音可能に配置されたマイクアレイと、前記第1カメラまたは前記マイクアレイとの間で通信する飛行物体検知装置と、を備え、
    前記飛行物体検知装置は、
    前記マイクアレイにより収音された前記モニタリングエリアの音に含まれる騒音レベルが既定値以上となる場合、前記音の大きさを示す音パラメータを所定値ほど抑圧処理し、
    前記マイクアレイにより収音された前記音の大きさを示す音パラメータまたは前記抑圧処理された音パラメータに基づいて、前記モニタリングエリアでの無人飛行体の有無を検知し、
    前記無人飛行体が検知された検知方向に前記第1カメラが前記光軸方向を調整する場合、前記音パラメータの抑圧処理の実行を省略する、
    飛行物体検知システム。
JP2018099869A 2018-05-24 2018-05-24 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム Pending JP2019203821A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018099869A JP2019203821A (ja) 2018-05-24 2018-05-24 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム
PCT/JP2019/013456 WO2019225147A1 (ja) 2018-05-24 2019-03-27 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018099869A JP2019203821A (ja) 2018-05-24 2018-05-24 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム

Publications (1)

Publication Number Publication Date
JP2019203821A true JP2019203821A (ja) 2019-11-28

Family

ID=68617087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018099869A Pending JP2019203821A (ja) 2018-05-24 2018-05-24 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム

Country Status (2)

Country Link
JP (1) JP2019203821A (ja)
WO (1) WO2019225147A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331371B1 (ko) * 2020-08-05 2021-12-01 주식회사 다빈시스템스 드론의 위치 추적용 멀티 빔포밍 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174809A (zh) * 2022-06-29 2022-10-11 合肥泰禾智能科技集团股份有限公司 一种线阵相机行频自适应调试方法
CN117452336B (zh) * 2023-10-25 2024-06-04 东北大学 一种无人机声事件检测定位装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0943330A (ja) * 1995-08-03 1997-02-14 Oki Electric Ind Co Ltd 狭帯域信号追尾方法
JP6644561B2 (ja) * 2016-01-27 2020-02-12 セコム株式会社 飛行物体監視システム
US20180364741A1 (en) * 2016-03-11 2018-12-20 Raytheon Bbn Technologies Corp. Human indication of target drone for interception
JP2018026792A (ja) * 2016-07-28 2018-02-15 パナソニックIpマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331371B1 (ko) * 2020-08-05 2021-12-01 주식회사 다빈시스템스 드론의 위치 추적용 멀티 빔포밍 장치 및 방법

Also Published As

Publication number Publication date
WO2019225147A1 (ja) 2019-11-28

Similar Documents

Publication Publication Date Title
JP5979458B1 (ja) 無人飛行体検知システム及び無人飛行体検知方法
US20210142072A1 (en) Monitoring system and monitoring method
JP6598064B2 (ja) 物体検出装置、物体検出システム、及び物体検出方法
US10791395B2 (en) Flying object detection system and flying object detection method
JP2018026792A (ja) 無人飛行体検知システム及び無人飛行体検知方法
JP7122708B2 (ja) 画像処理装置、モニタリングシステム及び画像処理方法
JP6493860B2 (ja) 監視制御システム及び監視制御方法
WO2019225147A1 (ja) 飛行物体検知装置、飛行物体検知方法および飛行物体検知システム
US20050099500A1 (en) Image processing apparatus, network camera system, image processing method and program
WO2017163688A1 (en) Monitoring system and monitoring method
JP2015089119A (ja) 物体を追跡するためのシステム及び方法
CN109391757B (zh) 信息处理装置、信息处理方法和存储介质
JP5939341B1 (ja) モニタリングシステム及びモニタリング方法
JP2018101987A (ja) 監視エリアの音源表示システム及び音源表示方法
KR101729966B1 (ko) 화상 인식 및 음성 안내 기능이 구비된 cctv 카메라 시스템 및 그 동작 방법
US20210152750A1 (en) Information processing apparatus and method for controlling the same
JP2017092938A (ja) 音源検知システム及び音源検知方法
JP6664119B2 (ja) モニタリングシステム及びモニタリング方法
WO2018020965A1 (ja) 無人飛行体検知システム及び無人飛行体検知方法
JP2019009520A (ja) 情報処理装置、情報処理方法及びプログラム
JP2017175473A (ja) モニタリングシステム及びモニタリング方法
JP2014033332A (ja) 撮像装置及び撮像方法
KR20110100524A (ko) 카메라 이동 제어 시스템 및 이동 제어 방법
CN116033116A (zh) 投影设备的控制方法、装置及投影设备
JP2020191514A (ja) 情報処理装置および情報処理方法