JP2021097416A - Image processing apparatus, monitoring system, and image processing method - Google Patents
Image processing apparatus, monitoring system, and image processing method Download PDFInfo
- Publication number
- JP2021097416A JP2021097416A JP2021044572A JP2021044572A JP2021097416A JP 2021097416 A JP2021097416 A JP 2021097416A JP 2021044572 A JP2021044572 A JP 2021044572A JP 2021044572 A JP2021044572 A JP 2021044572A JP 2021097416 A JP2021097416 A JP 2021097416A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- sound source
- sound pressure
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、例えば無人飛行体が飛翔しているカメラ装置の撮像エリアをモニタリングするモニタリングシステム及びモニタリング方法に関する。 The present invention relates to, for example, a monitoring system and a monitoring method for monitoring an imaging area of a camera device in which an unmanned vehicle is flying.
従来、監視領域内に生じる音を方向毎に検知する複数の音検知部を用いて、物体の存在の検知と、物体の飛来方向の検知とが可能な飛来飛行物体監視装置が知られている(例えば特許文献1参照)。この飛来飛行物体監視装置の処理装置は、無指向性のマイクによる音検知によって飛行物体の飛来及びその飛来方向を検知すると、その飛行物体が飛来した方向に監視カメラを向ける。更に、処理装置は、この監視カメラで撮影された映像を表示装置に表示する。 Conventionally, there is known a flying object monitoring device capable of detecting the existence of an object and the direction of arrival of the object by using a plurality of sound detection units that detect the sound generated in the monitoring area for each direction. (See, for example, Patent Document 1). When the processing device of this flying object monitoring device detects the flying object and its flying direction by sound detection by an omnidirectional microphone, the monitoring camera is pointed in the direction in which the flying object has flown. Further, the processing device displays the image captured by the surveillance camera on the display device.
特許文献1では、監視領域内の任意の方向に撮影方向を変向可能な監視カメラが設けられており、ヘリコプターやセスナ等の飛行物体が検出されると、この監視カメラの撮影方向を変向させることは開示されている。言い換えると、検出された飛行物体を注目して撮像するために、監視カメラの撮影方向を変向することは開示されている。
In
しかしながら、特許文献1には、撮像エリアに対するカメラ装置の画角の範囲内で検知された無人飛行体を含む周囲の撮像画像を広範に表示することは考慮されていない。このため、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、ユーザにとって視覚的に提示することはできないという課題があった。
However,
本発明は、上述した従来の状況に鑑みて案出され、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、カメラ装置の撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示するモニタリングシステム及びモニタリング方法を提供することを目的とする。 The present invention was devised in view of the above-mentioned conventional situation, in which an unmanned vehicle is detected in any place in the image pickup area of the camera device, and what kind of sound source is detected in any other place in the same image pickup area. It is an object of the present invention to provide a monitoring system and a monitoring method for visually presenting the existence to a user without deteriorating the visibility of a captured image of a camera device.
本発明は、撮像エリアを撮像するカメラと、前記撮像エリアの音声を収音するマイクアレイと、前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出する音パラメータ導出部と、前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成する信号処理部と、を備え、前記信号処理部は、前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、モニタリングシステムを提供する。 The present invention collects sound by a camera that captures an imaging area, a microphone array that collects sound in the imaging area, a monitor that displays an captured image of the imaging area captured by the camera, and the microphone array. A sound parameter derivation unit that derives a sound parameter that specifies the loudness of the sound in the imaging area for each predetermined unit of pixels constituting the image captured in the imaging area based on the sound, and a sound parameter derivation unit. According to the comparison between the derived sound parameter and the threshold for sound volume, the sound source visual image obtained by converting the sound parameter into a visual image for each predetermined unit of the pixel is the size of the captured image in the imaging area. A signal processing unit that generates a semi-transparent map of sound parameter maps connected so as to correspond to the above is provided, and the signal processing unit superimposes the semi-transparent map on an image captured in the imaging area and mounts the monitor on the monitor. Provide a monitoring system to display.
また、本発明は、カメラとマイクアレイとを有するモニタリングシステムにおけるモニタリング方法であって、前記カメラにより、撮像エリアを撮像し、前記マイクアレイにより、前記撮像エリアの音声を収音し、前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成し、生成された前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、モニタリング方法を提供する。 Further, the present invention is a monitoring method in a monitoring system having a camera and a microphone array, in which an image pickup area is imaged by the camera, sound of the image pickup area is picked up by the microphone array, and the sound of the image pickup area is picked up by the camera. The captured image of the imaging area is displayed on the monitor, and the sound parameter for specifying the loudness of the sound of the imaging area is set based on the sound picked up by the microphone array. A sound source visual that is derived for each predetermined unit of the constituent pixels and the sound parameter for each predetermined unit of the pixel is converted into a visual image according to the comparison between the derived sound parameter and the threshold value for the loudness of the sound. A semi-transparent map of a sound parameter map in which images are connected so as to correspond to the size of the captured image in the imaging area is generated, and the generated translucent map is superimposed on the captured image in the imaging area to monitor the monitor. Provides a monitoring method to display in.
本発明によれば、カメラ装置の撮像エリアで検知された音源位置における音の大きさの大小に拘わらず、その音源位置における音の大きさをきめ細かく段階的に提示でき、その音源位置における音の大きさのユーザへの正確な把握に資することができる。 According to the present invention, regardless of the loudness of the sound at the sound source position detected in the imaging area of the camera device, the loudness of the sound at the sound source position can be presented in detail and stepwise, and the sound at the sound source position can be presented. It can contribute to an accurate grasp of the size of the user.
以下、適宜図面を参照しながら、本発明に係るモニタリングシステム及びモニタリング方法を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 Hereinafter, each embodiment in which the monitoring system and the monitoring method according to the present invention are specifically disclosed will be described in detail with reference to the drawings as appropriate. However, more detailed explanation than necessary may be omitted. For example, detailed explanations of already well-known matters and duplicate explanations for substantially the same configuration may be omitted. This is to avoid unnecessary redundancy of the following description and to facilitate the understanding of those skilled in the art. It should be noted that the accompanying drawings and the following description are provided for those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.
以下、本発明に係るモニタリングシステムの一例として、監視対象となる無人飛行体(例えばドローン、ラジコンヘリコプタ)を検知するための無人飛行体検知システムを例示して説明する。また、本発明は、モニタリングシステムに限定されず、モニタリングシステムにおいて実行されるモニタリング方法として規定することも可能である。 Hereinafter, as an example of the monitoring system according to the present invention, an unmanned aerial vehicle detection system for detecting an unmanned aerial vehicle (for example, a drone, a radio-controlled helicopter) to be monitored will be described as an example. Further, the present invention is not limited to the monitoring system, and can be defined as a monitoring method executed in the monitoring system.
以下、無人飛行体検知システムの使用者(例えば、監視エリアを見回り、警備等する監視員)を、単に「ユーザ」という。 Hereinafter, the user of the unmanned aircraft detection system (for example, an observer who looks around the monitoring area and guards) is simply referred to as a "user".
図1は、各実施形態の無人飛行体検知システム5の概略構成の一例を示す図である。無人飛行体検知システム5は、検知対象としてユーザの目的とする無人飛行体dn(例えば図12参照)を検知する。無人飛行体dnは、例えばGPS(Global Positioning System)機能を利用して自律的に飛翔するドローン、第三者の無線操縦によって飛翔するラジコンヘリコプタ等である。このような無人飛行体dnは、例えばターゲットの空撮、監視、物資の運搬等に利用される。
FIG. 1 is a diagram showing an example of a schematic configuration of the unmanned
各実施形態では、無人飛行体dnとして、複数のロータ(言い換えると、回転翼)を搭載したマルチコプタ型のドローンを例示する。マルチコプタ型のドローンでは、一般にロータの羽の枚数が2枚の場合、特定周波数に対し2倍の周波数の高調波、さらにはその逓倍の周波数の高調波が発生する。同様に、ロータの羽の枚数が3枚の場合、特定周波数に対し3倍の周波数の高調波、さらにはその逓倍の周波数の高調波が発生する。ロータの羽の枚数が4枚以上の場合も同様である。 In each embodiment, as the unmanned aerial vehicle dn, a multicopter type drone equipped with a plurality of rotors (in other words, rotary wings) is exemplified. In a multicopter type drone, generally, when the number of rotor blades is two, harmonics having a frequency twice as high as that of a specific frequency and further harmonics having a frequency obtained by multiplying the specific frequency are generated. Similarly, when the number of blades of the rotor is three, harmonics having a frequency three times higher than that of a specific frequency, and further harmonics having a frequency obtained by multiplying the specific frequency are generated. The same applies when the number of rotor blades is 4 or more.
無人飛行体検知システム5は、複数の音源検知ユニットUD1,…,UDk,…,UDnと、監視装置10と、第1モニタMN1と、第2モニタMN2と、レコーダRCとを含む構成である。nは2以上の自然数である。複数の音源検知ユニットUD1,…,UDk,…,UDnは、ネットワークNWを介して監視装置10と相互に接続される。kは、1〜nの自然数である。それぞれの音源検知ユニット(例えば音源検知ユニットUD1)は、マイクアレイMA1と、全方位カメラCA1と、PTZカメラCZ1とを有する構成であり、他の音源検知ユニットUDkも同様の構成を有する。
The unmanned
なお、個々の音源検知ユニットを特に区別する必要がある場合を除き、音源検知ユニットUDk又は単に音源検知ユニットUDという。同様に、個々のマイクアレイ、全方位カメラ、PTZカメラを特に区別する必要がある場合を除き、マイクアレイMAk又はマイクアレイMA(図2参照)、全方位カメラCAk又は全方位カメラCA(図2参照)、PTZカメラCZk又はPTZカメラCZ(図2参照)という。 Unless it is necessary to distinguish each sound source detection unit, it is referred to as a sound source detection unit UDk or simply a sound source detection unit UD. Similarly, unless it is necessary to distinguish between individual microphone arrays, omnidirectional cameras, and PTZ cameras, microphone array MAk or microphone array MA (see FIG. 2), omnidirectional camera CAk or omnidirectional camera CA (FIG. 2). (See), PTZ camera CZk or PTZ camera CZ (see FIG. 2).
音源検知ユニットUDkでは、マイクアレイMAkは、自装置が設置された監視対象となるエリア(つまり、監視エリア)における全方位の音を無指向状態で収音する。マイクアレイMAkは、中央に所定幅の円筒形状の開口部が形成された筐体15(図2参照)を有する。マイクアレイMAkが収音対象とする音は、例えばドローンのような機械的な動作音、人間等が発する音声、その他の音を広く含み、可聴周波数(つまり、20Hz〜23khHz)域の音に限らず、可聴周波数より低い低周波音や可聴周波数を超える超音波音が含まれてもよい。 In the sound source detection unit UDk, the microphone array MAk collects omnidirectional sound in the monitored area (that is, the monitoring area) in which the own device is installed in an omnidirectional state. The microphone array MAk has a housing 15 (see FIG. 2) having a cylindrical opening having a predetermined width formed in the center. Sounds to be picked up by the microphone array MAk include, for example, mechanical operating sounds such as drones, sounds emitted by humans, and other sounds, and are limited to sounds in the audible frequency range (that is, 20 Hz to 23 kHz). However, low-frequency sounds lower than the audible frequency and ultrasonic sounds exceeding the audible frequency may be included.
マイクアレイMAkは、複数の無指向性のマイクロホンM1〜Mq(図3参照)を含む。qは2以上の自然数である。マイクロホンM1〜Mqは、筐体15に設けられた上記開口部の周囲に円周方向に沿って、同心円状に予め決められた間隔(例えば均一な間隔)で配置されている。マイクロホンM1〜Mqは、例えばエレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)が用いられる。マイクアレイMAkは、それぞれのマイクロホンM1〜Mqの収音により得られた音の音声データを、ネットワークNWを介して監視装置10に送信する。なお、上記の各マイクロホンM1〜Mqの配列は、一例であり、他の配列(例えば正方形状な配置、長方形状の配置)であってもよいが、各マイクロホンM1〜Mqは等間隔に並べて配置されることが好ましい。
The microphone array MAk includes a plurality of omnidirectional microphones M1 to Mq (see FIG. 3). q is a natural number of 2 or more. The microphones M1 to Mq are arranged concentrically at predetermined intervals (for example, uniform intervals) around the opening provided in the
また、マイクアレイMAkは、複数のマイクロホンM1〜Mq(例えばq=32)、及び複数のマイクロホンM1〜Mqの出力信号をそれぞれ増幅する複数の増幅器(アンプ)PA1〜PAq(図3参照)を有する。各増幅器から出力されるアナログ信号は、後述するA/D変換器A1〜Aq(図3参照)でそれぞれデジタル信号に変換される。なお、マイクアレイMAkにおけるマイクロホンの数は、32個に限られず、他の数(例えば16個、64個、128個)であってもよい。 Further, the microphone array MAk has a plurality of microphones M1 to Mq (for example, q = 32) and a plurality of amplifiers (amplifiers) PA1 to PAq (see FIG. 3) for amplifying output signals of the plurality of microphones M1 to Mq. .. The analog signals output from each amplifier are converted into digital signals by the A / D converters A1 to Aq (see FIG. 3) described later. The number of microphones in the microphone array MAk is not limited to 32, and may be another number (for example, 16, 64, 128).
マイクアレイMAkの筐体15(図2参照)の中央に形成された開口部の内側には、開口部の容積と略一致する全方位カメラCAkが収容される。つまり、マイクアレイMAkと全方位カメラCAkとは一体的かつ、それぞれの筐体中心が同軸方向となるように配置される(図2参照)。全方位カメラCAkは、全方位カメラCAkの撮像エリアとしての監視エリア(上述参照)の全方位画像を撮像可能な魚眼レンズ45a(図4参照)を搭載したカメラである。各実施形態において、マイクアレイMAkの収音エリアと全方位カメラCAkの撮像エリアとはともに共通の監視エリアとして説明するが、収音エリアと撮像エリアの空間的な大きさ(例えば体積)は同一でなくてもよい。例えば収音エリアの体積が撮像エリアの体積より大きくても良いし、小さくてもよい。要は、収音エリアと撮像エリアとは共通する空間部分があればよい。全方位カメラCAkは、例えば音源検知ユニットUDkが設置された撮像エリアを撮像可能な監視カメラとして機能する。つまり、全方位カメラCAkは、例えば垂直方向:180°、水平方向:360°の画角を有し、例えば半天球である監視エリア8(図11参照)を撮像エリアとして撮像する。
An omnidirectional camera CAk that substantially matches the volume of the opening is housed inside the opening formed in the center of the housing 15 (see FIG. 2) of the microphone array MAk. That is, the microphone array MAk and the omnidirectional camera CAk are integrally arranged so that the centers of the respective housings are in the coaxial direction (see FIG. 2). The omnidirectional camera CAk is a camera equipped with a
それぞれの音源検知ユニットUDkでは、全方位カメラCAkが筐体15の開口部の内側に嵌め込まれることで、全方位カメラCAとマイクアレイMAとが同軸上に配置される。このように、全方位カメラCAkの光軸とマイクアレイMAkの筐体の中心軸とが一致することで、軸周方向(つまり、水平方向)における撮像エリアと収音エリアとが略同一となり、全方位カメラCAkが撮像した全方位画像中の被写体の位置(言い換えれば、全方位カメラCAkから見た被写体の位置を示す方向)とマイクアレイMAkの収音対象となる音源の位置(言い換えれば、マイクアレイMAkから見た音源の位置を示す方向)とが同じ座標系(例えば(水平角,垂直角)で示される座標)で表現可能となる。なお、それぞれの音源検知ユニットUDkは、上空で飛翔している無人飛行体dnを検知するために、例えば天地方向の上向きが収音面及び撮像面となるように、取り付けられる(図2参照)。
In each sound source detection unit UDk, the omnidirectional camera CAk is fitted inside the opening of the
監視装置10は、例えばPC(Personal Computer)又はサーバを用いて構成される。監視装置10は、マイクアレイMAkにより収音された全方位の音に対して、ユーザの操作に基づいて任意の方向を主ビーム方向とする指向性を形成(つまり、ビームフォーミング)し、その指向方向の音を強調することができる。なお、マイクアレイMAkによって収音された音をビームフォーミングするための音データの指向性制御処理に関する技術は、例えば参考特許文献1,2に示されるように、公知の技術である。
The
(参考特許文献1)特開2014−143678号公報
(参考特許文献2)特開2015−029241号公報
(Reference Patent Document 1) Japanese Patent Application Laid-Open No. 2014-143678 (Reference Patent Document 2) Japanese Patent Application Laid-Open No. 2015-029241
監視装置10は、全方位カメラCAkにより撮像された画像(以下、「撮像画像」と略記することがある)を用いて、撮像画像を処理して全方位画像を生成する。なお、全方位画像は、監視装置10ではなく、全方位カメラCAkにより生成されてもよい。
The
監視装置10は、全方位カメラCAkにより撮像された撮像画像に、マイクアレイMAkにより収音された音の大きさを特定する音パラメータ(例えば後述する音圧)の算出値に基づく音圧ヒートマップの画像(図15参照)を重畳して第1モニタMN1等へ出力して表示する。
The
また、監視装置10は、全方位画像IMG1に、検知された無人飛行体dnをユーザにとって視覚的に判別し易い視覚画像(例えば識別マーク(不図示))を第1モニタMN1の無人飛行体dnの位置に表示してもよい。視覚画像とは、例えば全方位画像IMG1において、ユーザが全方位画像IMG1を見た時に、他の被写体とは明確に識別可能な程度に表された情報であることを意味し、以下同様とする。
Further, the
第1モニタMN1は、全方位カメラCAkにより撮像された全方位画像IMG1を表示する。第2モニタMN2は、全方位カメラCAkにより撮像された全方位画像IMG1を表示する。また、第1モニタMN1は、全方位画像IMG1に上述した識別マーク(不図示)を重畳した合成画像を生成して表示する。なお図1では、第1モニタMN1及び第2モニタMN2と2つのモニタが監視装置10に接続されているが、例えば第1モニタMN1のみ接続されても構わない。また、第1モニタMN1又は第2モニタMN2、或いは第1モニタMN1及び第2モニタMN2は、監視装置10と一体の装置として構成されてもよい。
The first monitor MN1 displays the omnidirectional image IMG1 captured by the omnidirectional camera CAk. The second monitor MN2 displays the omnidirectional image IMG1 captured by the omnidirectional camera CAk. Further, the first monitor MN1 generates and displays a composite image in which the above-mentioned identification mark (not shown) is superimposed on the omnidirectional image IMG1. In FIG. 1, the first monitor MN1 and the second monitor MN2 and two monitors are connected to the
レコーダRCは、例えばハードディスク(Hard Disk Drive)又はフラッシュメモリ等の半導体メモリを用いて構成され、監視装置10により生成された各種画像のデータ(後述参照)や、それぞれの音源検知ユニットUDkから送信された全方位画像や音声の各種データを保存する。なお、レコーダRCは、監視装置10と一体の装置として構成されてもよいし、無人飛行体検知システム5の構成から省かれても構わない。
The recorder RC is configured by using a semiconductor memory such as a hard disk drive or a flash memory, and is transmitted from various image data (see below) generated by the
図1では、複数の音源検知ユニットUDk及び監視装置10は、通信インタフェースを有し、ネットワークNWを介して相互にデータ通信可能に接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット、有線LAN(Local Area Network)でもよいし、無線ネットワーク(例えば無線LAN)でもよい。なお、音源検知ユニットUDkと監視装置10とは、ネットワークNWを介することなく、直接に接続されてもよい。また、監視装置10、第1モニタMN1、第2モニタMN2、レコーダRCは、いずれもユーザが監視時において常駐する監視室RMに設置される。
In FIG. 1, a plurality of sound source detection units UDk and a
図2は、音源検知ユニットUDの外観の一例を示す図である。音源検知ユニットUDは、上述したマイクアレイMA、全方位カメラCA、PTZカメラCZの他、これらを機械的に支持する支持台70を有する。支持台70は、三脚71と、三脚71の天板71aに固定された2本のレール72と、2本のレール72の両端部にそれぞれ取り付けられた第1取付板73及び第2取付板74とが組み合わされた構造を有する。
FIG. 2 is a diagram showing an example of the appearance of the sound source detection unit UD. The sound source detection unit UD includes the microphone array MA, the omnidirectional camera CA, and the PTZ camera CZ described above, as well as a
第1取付板73と第2取付板74は、2本のレール72を跨るように取り付けられており、略同一の平面を有する。また、第1取付板73及び第2取付板74は、2本のレール72上を摺動自在であり、互いに離間もしくは接近した位置に調節されて固定される。
The first mounting
第1取付板73は円盤状の板材である。第1取付板73の中央には、開口部73aが形成されている。開口部73aには、マイクアレイMAの筐体15が収容されて固定される。一方、第2取付板74は略長方形の板材である。第2取付板74の外側に近い部分には、開口部74aが形成されている。開口部74aには、PTZカメラCZが収容されて固定される。
The first mounting
図2に示すように、マイクアレイMAの筐体15に収容される全方位カメラCAの光軸L1と、第2取付板74に取り付けられたPTZカメラCZの光軸L2とは、初期設置状態においてそれぞれ平行になるように設定される。
As shown in FIG. 2, the optical axis L1 of the omnidirectional camera CA housed in the
三脚71は、3本の脚71bで接地面に支えられており、手動操作により、接地面に対して垂直方向に天板71aの位置を移動自在であり、かつ、パン方向及びチルト方向に天板71aの向きを調節可能である。これにより、マイクアレイMAの収音エリア(言い換えると、全方位カメラCAの撮像エリア又は無人飛行体検知システム5の監視エリア)を任意の向きに設定することができる。
The
図3は、マイクアレイMAkの内部構成の一例を詳細に示すブロック図である。図3に示すマイクアレイMAkは、複数のマイクロホンM1〜Mq(例えばq=32)、複数のマイクロホンM1〜Mqの出力信号をそれぞれ増幅する複数の増幅器(アンプ)PA1〜PAq、各増幅器PA1〜PAqから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のA/D変換器A1〜Aq、圧縮処理部25及び送信部26を含む構成である。
FIG. 3 is a block diagram showing in detail an example of the internal configuration of the microphone array MAk. The microphone array MAk shown in FIG. 3 includes a plurality of microphones M1 to Mq (for example, q = 32), a plurality of amplifiers (amplifiers) PA1 to PAq for amplifying output signals of the plurality of microphones M1 to Mq, and each amplifier PA1 to PAq. The configuration includes a plurality of A / D converters A1 to Aq, a
圧縮処理部25は、A/D変換器A1〜Anから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部26は、圧縮処理部25で生成された音声データのパケットを、ネットワークNWを介して監視装置10に送信する。
The
このように、マイクアレイMAkは、マイクロホンM1〜Mqの出力信号を増幅器PA1〜PAqで増幅し、A/D変換器A1〜Aqでデジタル音声信号に変換する。その後、マイクアレイMAkは、圧縮処理部25で音声データのパケットを生成し、この音声データのパケットを、ネットワークNWを介して監視装置10に送信する。
In this way, the microphone array MAk amplifies the output signals of the microphones M1 to Mq by the amplifiers PA1 to PAq and converts them into digital audio signals by the A / D converters A1 to Aq. After that, the microphone array MAk generates a voice data packet in the
図4は、全方位カメラCAkの内部構成の一例を詳細に示すブロック図である。図4に示す全方位カメラCAkは、CPU41、通信部42、電源管理部44、イメージセンサ45、魚眼レンズ45a、メモリ46及びネットワークコネクタ47を含む構成である。
FIG. 4 is a block diagram showing in detail an example of the internal configuration of the omnidirectional camera CAk. The omnidirectional camera CAk shown in FIG. 4 has a configuration including a
CPU41は、全方位カメラCAkの各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。CPU41の代わりに、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)等のプロセッサが設けられてもよい。
The
例えばCPU41は、監視装置10を操作するユーザの指定により、全方位画像データのうち特定の範囲(方向)の画像を切り出した2次元パノラマ画像データ(つまり、2次元パノラマ変換した画像データ)を生成してメモリ46に保存する。
For example, the
イメージセンサ45は、例えばCMOS(Complementary Metal Oxide Semiconductor)センサ、又はCCD(Charge Coupled Device)センサを用いて構成され、魚眼レンズ45aにより集光された撮像エリアからの被写体光の光学像を受光面において撮像処理することで、撮像エリアの全方位画像データを取得する。
The
魚眼レンズ45aは、撮像エリアの全方位からの被写体光を入射して集光し、イメージセンサ45の受光面(不図示)に被写体光の光学像を結像する。
The
メモリ46は、全方位カメラCAkの動作を規定するためのプログラムや設定値のデータが格納されたROM46zと、全方位画像データ又はその一部の範囲が切り出された切り出し画像データやワークデータを記憶するRAM46yと、全方位カメラCAkに挿抜自在に接続され、各種データが記憶されるメモリカード46xとを有する。
The
通信部42は、ネットワークコネクタ47を介して接続されるネットワークNWとの間のデータ通信を制御するネットワークインタフェース(I/F)である。
The
電源管理部44は、全方位カメラCAkの各部に直流電源を供給する。また、電源管理部44は、ネットワークコネクタ47を介してネットワークNWに接続される機器に直流電源を供給してもよい。
The
ネットワークコネクタ47は、全方位画像データ又は2次元パノラマ画像データを、ネットワークNWを介して監視装置10に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。
The
図5は、PTZカメラCZkの内部構成の一例を詳細に示すブロック図である。全方位カメラCAkと同様の各部については、図4の各部に対応する符号を付すことでその説明を省略する。PTZカメラCZkは、監視装置10からの画角変更指示により、光軸方向(撮像方向ともいうことがある)を調整可能なカメラである。
FIG. 5 is a block diagram showing in detail an example of the internal configuration of the PTZ camera CZk. The description of each part similar to the omnidirectional camera CAk will be omitted by assigning a reference numeral corresponding to each part in FIG. The PTZ camera CZk is a camera whose optical axis direction (sometimes referred to as an imaging direction) can be adjusted by an instruction to change the angle of view from the
PTZカメラCZkは、全方位カメラCAkと同様、CPU51、通信部52、電源管理部54、イメージセンサ55、撮像レンズ55a、メモリ56及びネットワークコネクタ57を有する他、撮像方向制御部58及びレンズ駆動モータ59を有する。CPU51は、監視装置10の画角変更指示があると、撮像方向制御部58に画角変更指示を通知する。
Like the omnidirectional camera CAk, the PTZ camera CZk has a
撮像方向制御部58は、CPU51から通知された画角変更指示に従い、PTZカメラCZの撮像方向をパン方向及びチルト方向のうち少なくとも1つを制御し、さらに必要に応じて、ズーム倍率を変更するための制御信号をレンズ駆動モータ59に出力する。レンズ駆動モータ59は、この制御信号に従って、撮像レンズ55aを駆動し、その撮像方向(図2に示す光軸L2の方向)を変更するとともに、撮像レンズ55aの焦点距離を調節してズーム倍率を変更する。
The image pickup
撮像レンズ55aは、1又は2以上のレンズを用いて構成される。撮像レンズ55aでは、撮像方向制御部58からの制御信号に応じたレンズ駆動モータ59の駆動により、パン回転、チルト回転の光軸方向が変更される。
The
図6は、監視装置10の内部構成の一例を詳細に示すブロック図である。図6に示す監視装置10は、通信部31と、操作部32と、信号処理部33と、スピーカ装置(SPK)37と、メモリ38と、設定管理部39とを少なくとも含む構成を有する。
FIG. 6 is a block diagram showing in detail an example of the internal configuration of the
通信部31は、全方位カメラCAkが送信した全方位画像データ又は2次元パノラマ画像データと、マイクアレイMAkが送信した音声データとを受信して信号処理部33に出力する。
The
操作部32は、ユーザの入力操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部32は、例えば第1モニタMN1や第2モニタMN2の各画面に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
The
操作部32は、第1モニタMN1や第2モニタMN2においていずれかの全方位カメラCAkの撮像画像(全方位画像IMG1)に重畳されて表示された音圧ヒートマップ(図15参照)の赤領域RD1がユーザにより指定されると、指定された位置を示す座標データを取得して信号処理部33に出力する。信号処理部33は、全方位カメラCAkに対応するマイクアレイMAkにより収音された音データをメモリ38から読み出し、マイクアレイMAkから、指定された位置に対応する実際の音源位置に向かう方向に指向性を形成した上でスピーカ装置37から出力する。これにより、ユーザは、無人飛行体dnに限らず、ユーザ自身が撮像画像(全方位画像IMG1)上で指定された位置における音が強調された状態で鮮明に確認することができる。
The
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、監視装置10の各部の動作を統括して制御するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。信号処理部33は、音源方向検知部34、出力制御部35、指向性処理部63、周波数分析部64、対象物検知部65、検知結果判定部66、走査制御部67、検知方向制御部68、マスキングエリア設定部69a及び閾値調整部69bを含む。また、監視装置10は第1モニタMN1や第2モニタMN2に接続される。
The
音源方向検知部34は、例えば公知の白色化相互相関法(CSP(Cross-power Spectrum Phase analysis)法)に従って、マイクアレイMAkにより収音された監視エリア8の音声の音声データを用いて音源位置を推定する。CSP法では、音源方向検知部34は、図11に示す監視エリア8を複数のブロックに分割し、マイクアレイMAkで音が収音されると、ブロック毎に音圧又は音量等の閾値を超える音があるか否かを判定することで、監視エリア8内の音源位置をおおまかに推定することができる。
The sound source
また、音パラメータ導出部としての音源方向検知部34は、全方位カメラCAkで撮像された全方位画像データとマイクアレイMAkで収音された音声データとを基に、監視エリア8の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出する。音源方向検知部34は、音圧の算出結果である算出値を出力制御部35に出力する。この音圧の算出処理は公知技術であり、詳細な処理の説明は割愛する。
Further, the sound source
設定管理部39は、全方位カメラCAkで撮像された全方位画像データが表示された第1モニタMN1の画面に対してユーザにより指定された位置の座標変換に関する座標変換式を有している。この座標変換式は、例えば全方位カメラCAkの設置位置(図2参照)とPTZカメラCZkの設置位置(図2参照)との物理的な距離差に基づき、全方位画像データ上のユーザの指定位置の座標(つまり、(水平角,垂直角))を、PTZカメラCZkから見た方向の座標に変換するための数式である。
The
信号処理部33は、設定管理部39が保持する上記座標変換式を用いて、PTZカメラCZkの設置位置(図2参照)を基準として、PTZカメラCZkの設置位置から、ユーザによって指定された位置に対応する実際の音源位置に向かう指向方向を示す座標(θMAh,θMAv)を算出する。θMAhは、PTZカメラCZkの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の水平角である。θMAvは、PTZカメラCZkの設置位置から見て、ユーザにより指定された位置に対応する実際の音源位置に向かう方向の垂直角である。図2に示すように、全方位カメラCAkとPTZカメラCZkとの距離は既知であり、かつそれぞれの光軸L1,L2は平行であるため、上記の座標変換式の算出処理は、例えば公知の幾何学計算により実現可能である。音源位置は、第1モニタMN1,第2モニタMN2に表示された映像データに対し、ユーザの指又はスタイラスペンの操作によって操作部32から指定された位置に対応する実際の音源位置である。
Using the coordinate conversion formula held by the
なお、図2に示すように、各実施形態において全方位カメラCAkの光軸方向とマイクアレイMAkの筐体の中心軸とは同軸上となるように全方位カメラCAk及びマイクアレイMAkはそれぞれ配置されている。このため、全方位画像データが表示された第1モニタMN1に対するユーザの指定に応じて全方位カメラCAkが導出するユーザ指定位置の座標は、マイクアレイMAkから見た音の強調方向(指向方向ともいう)と同一にみなすことができる。言い換えると、監視装置10は、全方位画像データが表示された第1モニタMN1(なお、第2モニタMN2でも可)に対するユーザの指定があると、全方位画像データ上の指定位置の座標を全方位カメラCAkに送信する。これにより、全方位カメラCAkは、監視装置10から送信された指定位置の座標を用いて、全方位カメラCAkから見た、ユーザ指定位置に対応する音源位置の方向を示す座標(水平角,垂直角)を算出する。全方位カメラCAkにおける算出処理は、公知技術であるため、説明は割愛する。全方位カメラCAkは、音源位置の方向を示す座標の算出結果を監視装置10に送信する。監視装置10は、全方位カメラCAkにより算出された座標(水平角,垂直角)を、マイクアレイMAkから見た音源位置の方向を示す座標(水平角,垂直角)として使用することができる。
As shown in FIG. 2, the omnidirectional camera CAk and the microphone array MAk are arranged so that the optical axis direction of the omnidirectional camera CAk and the central axis of the housing of the microphone array MAk are coaxial with each other in each embodiment. Has been done. Therefore, the coordinates of the user-designated position derived by the omnidirectional camera CAk according to the user's designation for the first monitor MN1 on which the omnidirectional image data is displayed are the sound enhancement direction (also the directional direction) as seen from the microphone array MAk. Can be regarded as the same as). In other words, when the
但し、全方位カメラCAkとマイクアレイMAkとが同軸上に配置されていない場合には、設定管理部39は、例えば特開2015−029241号に記載されている方法に従って、全方位カメラCAkが導出した座標を、マイクアレイMAkから見た方向の座標に変換する必要がある。
However, when the omnidirectional camera CAk and the microphone array MAk are not arranged coaxially, the
また、設定管理部39は、音源方向検知部34で算出された全方位画像データ又は2次元パノラマ画像データを構成する画素毎の音圧pと比較される第1閾値th1、第2閾値th2及び第3閾値th3(例えば図9参照)を保持する。ここで、音圧pは、音源に関する音パラメータの一例として使用されており、マイクアレイMAで収音される音の大きさを表しており、スピーカ装置37から出力される音の大きさを表す音量とは区別している。第1閾値th1、第2閾値th2及び第3閾値th3は、監視エリア8内で発生した音の音圧と比較される値であり、例えば無人飛行体dnが発する音を判断するための所定値に設定される。また、閾値は、上述した第1閾値th1、第2閾値th2及び第3閾値th3以外にも複数設定可能であり、ここでは簡単に説明するために、例えば第1閾値th1と、これより大きな値である第2閾値th2と、さらに大きな値である第3閾値th3の3つが設定される(第1閾値th1<第2閾値th2<第3閾値th3)。
Further, the
また、後述するように、出力制御部35により生成される音圧ヒートマップでは、第3閾値th3より大きな音圧が得られた画素の赤領域RD1(図15参照)は、全方位画像データが表示された第1モニタMN1上で、例えば赤色で描画される。また、第2閾値th2より大きく第3閾値th3以下の音圧が得られた画素のピンク領域PD1は、全方位画像データが表示された第1モニタMN1上で、例えばピンク色で描画される。第1閾値th1より大きく第2閾値th2以下の音圧が得られた画素の青領域BD1は、全方位画像データが表示された第1モニタMN1上で、例えば青色で描画される。また、第1閾値th1以下の画素の音圧の領域N1は、全方位画像データが表示された第1モニタMN1で、例えば無色で描画され、つまり、全方位画像データの表示色と何ら変わらない。
Further, as will be described later, in the sound pressure heat map generated by the
スピーカ装置37は、マイクアレイMAkが収音した音声データ、又はマイクアレイMAkが収音して信号処理部33によって指向性が形成された音声データを音声出力する。なお、スピーカ装置37は、監視装置10とは別体の装置として構成されてもよい。
The
メモリ38は、例えばROMやRAMを用いて構成され、例えば一定区間の音データを含む各種データ、設定情報、プログラム等を保持する。また、メモリ38は、個々の無人飛行体dnに固有な音パターンが登録されたパターンメモリ(図7参照)を有する。さらに、メモリ38は、出力制御部35により生成される音圧ヒートマップのデータを記憶する。また、メモリ38には、無人飛行体dnの位置を模式的に表す識別マーク(不図示)が登録されている。ここで用いられる識別マークは、一例として、星形の記号である。なお、識別マークとしては、星形に限らず、円形や四角形、さらには、無人飛行体dnを連想させる「卍」形等の記号や文字であってもよい。また、昼間と夜間とで、識別マークの表示態様を変えてもよく、例えば、昼間には星形で、夜間には星と見間違わないような四角形としてもよい。また、識別マークを動的に変化させてよい。例えば星形の記号を点滅表示したり、回転させたりしてもよく、より一層、ユーザに注意を喚起できる。
The
図7は、メモリ38に登録されている無人飛行体dnの検知音のパターンの一例を示すタイミングチャートである。図7に示す検知音のパターンは、周波数パターンの組み合わせであり、マルチコプタ型の無人飛行体dnに搭載された4つのロータの回転等によって発生する4つの周波数f1,f2,f3,f4の音を含む。それぞれの周波数の信号は、例えば各ロータに軸支された複数枚の羽の回転に伴って発生する、異なる音の周波数の信号である。
FIG. 7 is a timing chart showing an example of the detection sound pattern of the unmanned aircraft dn registered in the
図7では、斜線で示された周波数の領域が、音圧の高い領域である。なお、検知音のパターンは、複数の周波数の音の数や音圧だけでなく、その他の音情報を含んでもよい。例えば各周波数の音圧の比率を表す音圧比等が挙げられる。ここでは、一例として無人飛行体dnの検知は、検知音のパターンに含まれる、それぞれの周波数の音圧が閾値を超えているか否かによって判断される。 In FIG. 7, the frequency domain indicated by the diagonal line is the region where the sound pressure is high. The detected sound pattern may include not only the number and sound pressure of sounds having a plurality of frequencies but also other sound information. For example, a sound pressure ratio representing the ratio of sound pressure at each frequency can be mentioned. Here, as an example, the detection of the unmanned flying object dn is determined by whether or not the sound pressure of each frequency included in the detection sound pattern exceeds the threshold value.
指向性処理部63は、無指向性のマイクロホンM1〜Mqで収音された音信号(音データともいう)とマスキングエリア設定部69aの設定結果とを用い、上述した指向性形成処理(ビームフォーミング)を行い、マスキングエリア設定部69aにより設定されたマスキングエリアを除く他のエリアの方向を指向方向とする音データの抽出処理を行う。また、指向性処理部63は、マスキングエリア設定部69aにより設定されたマスキングエリアを除く他のエリアの方向の範囲を指向範囲とする音データの抽出処理を行うことも可能である。ここで、指向範囲は、隣接する指向方向を複数含む範囲であり、指向方向と比較すると、ある程度の指向方向の広がりを含むことを意図する。
The directivity processing unit 63 uses the sound signal (also referred to as sound data) picked up by the omnidirectional microphones M1 to Mq and the setting result of the masking
周波数分析部64は、指向性処理部63によって指向方向に抽出処理された音データに対し、周波数分析処理を行う。この周波数分析処理では、指向方向の音データに含まれる周波数及びその音圧が検知される。
The
図8は、周波数分析処理の結果として得られた検知音信号の周波数変化の一例を示すタイミングチャートである。図8では、検知音信号(つまり、検知音データ)として、4つの周波数f11,f12,f13,f14及び各周波数の音圧が得られている。図中、不規則に変化する各周波数の変動は、例えば無人飛行体dnが無人飛行体dn自身の機体の姿勢を制御する際に僅かに変化するロータ(回転翼)の回転変動によって起こる。 FIG. 8 is a timing chart showing an example of the frequency change of the detection sound signal obtained as a result of the frequency analysis process. In FIG. 8, four frequencies f11, f12, f13, f14 and sound pressures of each frequency are obtained as detection sound signals (that is, detection sound data). In the figure, the irregularly changing frequency fluctuations are caused by, for example, the rotational fluctuations of the rotor (rotor blade) that slightly change when the unmanned vehicle dn controls the attitude of the unmanned vehicle dn itself.
検知部としての対象物検知部65は、周波数分析部64の周波数分析処理結果を用いて、無人飛行体dnの検知処理を行う。具体的には、無人飛行体dnの検知処理では、対象物検知部65は、マスキングエリア設定部69aにより設定されたマスキングエリアを除く他のエリアにおいて、周波数分析処理の結果として得られた検知音のパターン(図8参照)(周波数f11〜f14)と、メモリ38のパターンメモリに予め登録された検知音のパターン(図7参照)(周波数f1〜f4)とを比較する。対象物検知部65は、両者の検知音のパターンが近似するか否かを判定する。
The
両者のパターンが近似するか否かは、例えば以下のように判断される。4つの周波数f1,f2,f3,f4のうち、検知音データに含まれる少なくとも2つの周波数の音圧がそれぞれ閾値を超える場合、音パターンが近似しているとして、対象物検知部65は、無人飛行体dnを検知する。なお、他の条件を満たした場合に無人飛行体dnが検知されてもよい。
Whether or not the two patterns are similar is determined as follows, for example. When the sound pressures of at least two frequencies included in the detection sound data among the four frequencies f1, f2, f3, and f4 each exceed the threshold value, it is assumed that the sound patterns are similar, and the
検知結果判定部66は、無人飛行体dnが存在しないと判定された場合、次の指向方向での無人飛行体dnの検知に移行するように検知方向制御部68に指示する。検知結果判定部66は、指向方向の走査の結果、無人飛行体dnが存在すると判定された場合、無人飛行体dnの検知結果を出力制御部35に通知する。なお、この検知結果には、検知された無人飛行体dnの情報が含まれる。無人飛行体dnの情報には、例えば無人飛行体dnの識別情報、収音空間における無人飛行体dnの位置情報(例えば方向情報)が含まれる。
When it is determined that the unmanned vehicle dn does not exist, the detection
検知方向制御部68は、検知結果判定部66からの指示に基づいて、収音空間において無人飛行体dnを検知するための方向を制御する。例えば検知方向制御部68は、収音空間全体(つまり、監視エリア8)の中で、音源方向検知部34により推定された音源位置を含む指向範囲BF1(図11参照)の任意の方向を検知方向として設定する。
The detection
走査制御部67は、検知方向制御部68により設定された検知方向を指向方向としてビームフォーミングするよう、指向性処理部63に対して指示する。
The
指向性処理部63は、走査制御部67から指示された指向方向に対して、ビームフォーミングする。なお、初期設定では、指向性処理部63は、音源方向検知部34によって推定された音源位置を含む指向範囲BF1(図11参照)内の初期位置を指向方向BF2とする。指向方向BF2は、検知方向制御部68により、指向範囲BF1の中で次々に設定される。
The directivity processing unit 63 performs beamforming in the directivity direction instructed by the
マスキングエリア設定部69aは、全方位カメラCAkにより撮像された監視エリア8の全方位画像データ又は2次元パノラマ画像データとマイクアレイMAkにより収音された監視エリア8の音声データとを基に、全方位画像又は2次元パノラマ画像(つまり、撮像画像)に現れる無人飛行体dnの検知を除外するためのマスキングエリアを設定する。マスキングエリアの設定の詳細については、図13及び図14を参照して後述する。
The masking
出力制御部35は、第1モニタMN1、第2モニタMN2及びスピーカ装置37の各動作を制御するとともに、全方位カメラCAkから送信された全方位画像データ或いは2次元パノラマ画像データを第1モニタMN1,第2モニタMN2に出力して表示し、さらに、マイクアレイMAから送信された音声データをスピーカ装置37に音声出力する。また、出力制御部35は、無人飛行体dnが検知された場合、無人飛行体dnを表す識別マーク(不図示)を、全方位画像に重畳して表示するために、第1モニタMN1(第2モニタMN2でも可)に出力する。
The
また、出力制御部35は、マイクアレイMAkにより収音された音声データと全方位カメラCAkにより導出された音源位置の方向を示す座標とを用いて、マイクアレイMAkにより収音された音データの指向性形成処理を行うことで、指向方向の音データを強調処理する。音声データの指向性形成処理は、例えば特開2015−029241号公報に記載されている公知の技術である。
Further, the
また、出力制御部35は、音源方向検知部34により算出された全方位画像データ又は2次元パノラマ画像データを構成する画素毎の音圧値を用いて、全方位画像データ又は2次元パノラマ画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。さらに、出力制御部35は、ユーザにとって視覚的で判別し易くなるように、生成した音圧マップの画素毎の音圧値を、視覚画像(例えば色付きの画像)に色変換処理を行うことで、図15に示すような音圧ヒートマップを生成する。
Further, the
なお、出力制御部35は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧マップ又は音圧ヒートマップを生成すると説明したが、一つ一つの画素毎に音圧を算出せず、所定数(例えば2×2個、4×4個)の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧マップや音圧ヒートマップを生成してもよい。
Although it has been explained that the
なお、閾値調整部69bの詳細については、後述する第2の実施形態において説明し、ここでは詳細な説明を省略する。
The details of the threshold
次に、本実施形態の無人飛行体検知システム5の動作について、詳細に説明する。
Next, the operation of the unmanned
図9は、第1の実施形態における、無人飛行体dnの検知及び検知結果の表示の動作の一例を説明するシーケンス図である。無人飛行体検知システム5の各装置(例えば第1モニタMN1、監視装置10、全方位カメラCAk、マイクアレイMAk)にそれぞれ電源が投入されると、無人飛行体検知システム5は動作を開始する。また、図9の説明の前提として、無人飛行体dnの検知を除外するためのマスキングエリアは既に設定され、そのマスキングエリアを示す情報はメモリ38に登録されているとする。
FIG. 9 is a sequence diagram illustrating an example of the operation of detecting the unmanned aircraft dn and displaying the detection result in the first embodiment. When each device of the unmanned vehicle detection system 5 (for example, the first monitor MN1, the
初期動作では、監視装置10は、全方位カメラCAkに対し、画像配信要求を行う(S1)。全方位カメラCAkは、この画像配信要求に従い、電源の投入に応じた撮像処理を開始する。また、監視装置10は、マイクアレイMAkに対し、音声配信要求を行う(S2)。マイクアレイMAは、この音声配信要求に従い、電源の投入に応じた収音処理を開始する。
In the initial operation, the
初期動作が終了すると、全方位カメラCAkは、ネットワークNWを介して、撮像により得られた全方位画像(例えば静止画、動画)のデータを監視装置10に送信する(S3)。なお、図9では説明を簡単にするために、全方位カメラCAkから全方位画像データが送信されるとして説明しているが、2次元パノラマ画像データが送信されてもよく、図14においても同様である。監視装置10は、全方位カメラCAkから送信された全方位画像データをNTSC等の表示データに変換し、第1モニタMN1に出力して全方位画像データの表示を指示する(S4)。第1モニタMN1は、監視装置10から送信された表示データを入力すると、画面に全方位カメラCAkによる全方位画像IMG1のデータ(図12、図15参照)を表示する。
When the initial operation is completed, the omnidirectional camera CAk transmits the data of the omnidirectional image (for example, still image, moving image) obtained by imaging to the
また、マイクアレイMAkは、ネットワークNWを介して、収音により得られた監視エリア8の音声データを符号化して監視装置10に送信する(S5)。監視装置10では、音源方向検知部34が、全方位カメラCAkで撮像された全方位画像データとマイクアレイMAkで収音された音声データとを基に、監視エリア8の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出し、さらに、監視エリア8内の音源位置を推定する(S6)。この推定された音源位置は、監視装置10が無人飛行体dnを検知する際、初期の指向方向が設定されるために必要となる指向範囲BF1の基準位置として使用される。
Further, the microphone array MAk encodes the voice data of the
また、監視装置10では、出力制御部35が、音源方向検知部34により算出された全方位画像データを構成する画素毎の音圧値を用いて、全方位画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。さらに、出力制御部35は、ユーザにとって視覚的で判別し易くなるように、生成した音圧マップの画素毎の音圧値を、視覚画像(例えば色付きの画像)に色変換処理を行うことで、図15に示すような音圧ヒートマップを生成する(S7)。
Further, in the
さらに、監視装置10では、信号処理部33が、ステップS5においてマイクアレイMAkから送信された音声データを用いて、マスキングエリア設定部69aにより設定されたマスキングエリアの領域外に対して順次指向性を形成することで、指向性を形成した指向方向毎に無人飛行体dnの検知判定を行う(S8)。この無人飛行体dnの検知判定処理の詳細については、図10及び図11を参照して後述する。
Further, in the
検知判定処理の結果、無人飛行体dnが検知された場合、監視装置10内の出力制御部35は、第1モニタMN1の画面に表示された全方位画像IMG1に、ステップS7において生成した音圧ヒートマップ、並びにステップS8において検知した指向方向に存在する無人飛行体dnを表す識別マーク(不図示)を重畳して表示することを指示する(S9)。
When the unmanned flying object dn is detected as a result of the detection determination process, the
第1モニタMN1は、監視装置10からの指示に従い、全方位画像IMG1に、音圧ヒートマップを合成(重畳)して表示するとともに、無人飛行体dnを表す識別マーク(不図示)を合成(重畳)して表示する(S10)。この後、無人飛行体検知システム5の処理はステップS3に戻り、例えば電源がオフに操作される等の所定のイベントが検知されるまで、ステップS3〜S10の各処理が繰り返される。
The first monitor MN1 synthesizes (superimposes) a sound pressure heat map on the omnidirectional image IMG1 and displays it according to the instruction from the
図10は、図9のステップS8の無人飛行体検知判定の動作手順の詳細の一例を説明するフローチャートである。音源検知ユニットUDkにおいて、指向性処理部63は、マスキングエリア設定部69aにより設定されたマスキングエリアの情報を用いて、マスキングエリア外であってかつ音源方向検知部34によって推定された音源位置に基づく指向範囲BF1を、指向方向BF2の初期位置として設定する(S21)。マスキングエリアの情報とは、マイクアレイMAkから見たマスキングエリアを向く方向の座標である。
FIG. 10 is a flowchart illustrating a detailed example of the operation procedure of the unmanned vehicle detection determination in step S8 of FIG. In the sound source detection unit UDk, the directivity processing unit 63 uses the information of the masking area set by the masking
図11は、監視エリア8内で指向方向BF2が順に走査され、無人飛行体dnが検知される様子の一例を示す図である。なお、初期位置は、マスキングエリア設定部69aにより設定されたマスキングエリア外であればよく、音源方向検知部34により推定された監視エリア8の音源位置に基づく指向範囲BF1に限定されなくてもよい。つまり、マスキングエリア設定部69aにより設定されたマスキングエリア外であれば、ユーザにより指定された任意の位置を初期位置として設定して、監視エリア8内が順次、走査されてもよい。初期位置が限定されないことで、推定された音源位置に基づく指向範囲BF1に含まれる音源が無人飛行体でなかった場合でも、他の指向方向に飛来する無人飛行体を早期に検知することが可能となる。
FIG. 11 is a diagram showing an example of how the directivity direction BF2 is sequentially scanned in the
指向性処理部63は、マイクアレイMAkで収音され、A/D変換器An1〜Aqでデジタル値に変換された音データがメモリ38に一時的に記憶されたか否かを判定する(S22)。記憶されていない場合(S22、NO)、指向性処理部63の処理はステップS21に戻る。 The directivity processing unit 63 determines whether or not the sound data collected by the microphone array MAk and converted into digital values by the A / D converters An1 to Aq is temporarily stored in the memory 38 (S22). .. If it is not stored (S22, NO), the process of the directivity processing unit 63 returns to step S21.
マイクアレイMAにより収音された音データがメモリ38に一時的に記憶されていると(S22、YES)、指向性処理部63は、マスキングエリア設定部69aにより設定されたマスキングエリア外であって、かつ監視エリア8の指向範囲BF1における任意の指向方向BF2に対してビームフォーミングし、この指向方向BF2の音データを抽出処理する(S23)。
When the sound data collected by the microphone array MA is temporarily stored in the memory 38 (S22, YES), the directivity processing unit 63 is outside the masking area set by the masking
周波数分析部64は、抽出処理された音データの周波数及びその音圧を検知する(S24)。
The
対象物検知部65は、メモリ38のパターンメモリに登録された検知音のパターンと、周波数分析処理の結果得られた検知音のパターンとを比較し、無人飛行体の検知を行う(S25)。
The
検知結果判定部66は、この比較の結果を出力制御部35に通知するとともに、検知方向制御部68へ検知方向移行について通知する(S26)。
The detection
例えば対象物検知部65は、周波数分析処理の結果得られた検知音のパターンと、メモリ38のパターンメモリに登録されている4つの周波数f1,f2,f3,f4とを比較する。対象物検知部65は、比較の結果、両検知音のパターンにおいて同じ周波数を少なくとも2つ有し、かつ、これらの周波数の音圧が第1閾値th1より大きい場合、両者の検知音のパターンが近似し、無人飛行体dnが存在すると判定する。
For example, the
なお、ここでは、少なくとも2つの周波数が一致している場合を想定したが、対象物検知部65は、1つの周波数が一致し、この周波数の音圧が第1閾値th1より大きい場合、近似していると判定してもよい。
Here, it is assumed that at least two frequencies match, but the
また、対象物検知部65は、それぞれの周波数に対し、許容される周波数の誤差を設定し、この誤差範囲内の周波数は同じ周波数であるとして、上記近似の有無を判定してもよい。
Further, the
また、対象物検知部65は、周波数及び音圧の比較に加えて、それぞれの周波数の音の音圧比が略一致することを判定条件に加えて判定してもよい。この場合、判定条件が厳しくなるので、音源検知ユニットUDkは、検知された無人飛行体dnを予め登録された対象物であるとして特定し易くなり、無人飛行体dnの検知精度を向上できる。
Further, the
検知結果判定部66は、ステップS26の結果、無人飛行体dnが存在するか存在しないかを判別する(S27)。
As a result of step S26, the detection
無人飛行体dnが存在する場合(S27、YES)、検知結果判定部66は、出力制御部35に無人飛行体dnが存在する旨(無人飛行体dnの検知結果)を通知する(S28)。
When the unmanned air vehicle dn exists (S27, YES), the detection
一方、無人飛行体dnが存在しない場合(S27、NO)、検知結果判定部66は、監視エリア8内における走査対象の指向方向BF2を次の異なる方向に移動する旨を走査制御部67に指示する。走査制御部67は、検知結果判定部66からの指示に応じて、監視エリア8内における走査対象の指向方向BF2を次の異なる方向に移動させる(S29)。なお、無人飛行体dnの検知結果の通知は、1つの指向方向の検知処理が終了したタイミングでなく、全方位走査完了した後にまとめて行われてもよい。
On the other hand, when the unmanned flying object dn does not exist (S27, NO), the detection
また、監視エリア8で指向方向BF2を順番に移動させる順序は、マスキングエリア設定部69aにより設定されたマスキングエリア外であれば、例えば監視エリア8の指向範囲BF1内或いは監視エリア8の全範囲内で、外側の円周から内側の円周に向かうように、又は内側の円周から外側の円周に向かうように、螺旋状(渦巻状)の順序でもよい。
Further, the order in which the directivity direction BF2 is sequentially moved in the
また、検知方向制御部68は、一筆書きのように連続して指向方向を走査するのではなく、監視エリア8内に予め位置を設定しておき、マスキングエリア設定部69aにより設定されたマスキングエリア外であれば、任意の順序で各位置に指向方向BF2を移動させてもよい。これにより、監視装置10は、例えば無人飛行体dnが侵入し易い位置から検知処理を開始でき、検知処理を効率化できる。
Further, the detection
走査制御部67は、監視エリア8における全方位の走査を完了したか否かを判定する(S30)。全方位の走査が完了していない場合(S30、NO)、信号処理部33の処理はステップS23に戻り、ステップS23〜S30までの処理が繰り返される。つまり、指向性処理部63は、マスキングエリア設定部69aにより設定されたマスキングエリア外において、ステップS29で移動された位置の指向方向BF2にビームフォーミングし、この指向方向BF2の音データを抽出処理する。これにより、音源検知ユニットUDkは、1つの無人飛行体dnが検知されても、他にも存在する可能性のある無人飛行体dnの検知を続行するので、複数の無人飛行体dnの検知が可能である。
The
一方、ステップS30で全方位の走査が完了すると(S30、YES)、指向性処理部63は、メモリ38に一時的に記憶された、マイクアレイMAkで収音された音データを消去する(S31)。また、指向性処理部63は、マイクアレイMAkで収音された音データをメモリ38から消去し、かつレコーダRCに保存してもよい。
On the other hand, when the scanning in all directions is completed in step S30 (S30, YES), the directivity processing unit 63 erases the sound data temporarily stored in the
音データの消去後、信号処理部33は、無人飛行体dnの検知処理を終了するか否かを判別する(S32)。この無人飛行体dnの検知処理の終了は、所定のイベントに応じて行われる。例えばステップS26で無人飛行体dnが検知されなかった回数をメモリ38に保持し、この回数が所定回数以上となった場合、無人飛行体dnの検知処理を終了してもよい。また、タイマによるタイムアップや、操作部32が有するUI(User Interface)(不図示)に対するユーザ操作に基づいて、信号処理部33が無人飛行体dnの検知処理を終了してもよい。また、監視装置10の電源がオフとなる場合に、終了してもよい。
After erasing the sound data, the
なお、ステップS24の処理では、周波数分析部64は、周波数を分析するとともに、その周波数の音圧も計測する。検知結果判定部66は、周波数分析部64によって測定された音圧レベルが時間経過とともに徐々に大きくなっていると、音源検知ユニットUDkに対して無人飛行体dnが接近していると判定してもよい。
In the process of step S24, the
例えば時刻t11で測定された所定の周波数の音圧レベルが、時刻t11よりも後の時刻t12で測定された同じ周波数の音圧レベルよりも小さい場合、時間経過とともに音圧が大きくなっており、無人飛行体dnが接近していると判定されてもよい。また、3回以上にわたって音圧レベルを測定し、統計値(例えば分散値、平均値、最大値、最小値等)の推移に基づいて、無人飛行体dnが接近していると判定されてもよい。 For example, when the sound pressure level of a predetermined frequency measured at time t11 is smaller than the sound pressure level of the same frequency measured at time t12 after time t11, the sound pressure increases with the passage of time. It may be determined that the unmanned air vehicle dn is approaching. Further, even if the sound pressure level is measured three times or more and it is determined that the unmanned air vehicle dn is approaching based on the transition of statistical values (for example, variance value, average value, maximum value, minimum value, etc.). Good.
また、測定された音圧レベルが警戒レベルである警戒閾値より大きい場合に、検知結果判定部66が、無人飛行体dnが警戒エリアに侵入したと判定してもよい。
Further, when the measured sound pressure level is larger than the alert threshold value which is the alert level, the detection
なお、警戒閾値は、例えば上述した第3閾値th3よりも大きな値である。警戒エリアは、例えば監視エリア8と同じエリア、又は監視エリア8に含まれ監視エリア8よりも狭いエリアである。警戒エリアは、例えば無人飛行体dnの侵入が規制されたエリアである。また、無人飛行体dnの接近判定や侵入判定は、検知結果判定部66により実行されてもよい。
The alert threshold is, for example, a value larger than the above-mentioned third threshold th3. The caution area is, for example, the same area as the
図12は、マスキングエリアMSK3が設定されていない場合の第1モニタMN1の表示画面例を示す図である。図12では、第1モニタMN1において、全方位画像IMG1の図12紙面の右上側に、監視装置10により検知された無人飛行体dnが映っている。さらに、無人飛行体dnや、全方位カメラCAkの撮像画角の範囲内において発生している音源にそれぞれ対応する音圧ヒートマップが重畳されて表示されている。
FIG. 12 is a diagram showing an example of a display screen of the first monitor MN1 when the masking area MSK3 is not set. In FIG. 12, the unmanned aircraft dn detected by the
図9を参照して説明したように、本実施形態では、音源方向検知部34により算出された画素毎の音圧値が第1閾値th1以下であれば無色で表示され、音圧値が第1閾値th1より大きくかつ第2閾値th2以下であれば青色で表示され、音圧値が第2閾値th2より大きくかつ第3閾値th3以下であればピンク色で表示され、音圧値が第3閾値th3より大きければ赤色で表示されている。
As described with reference to FIG. 9, in the present embodiment, if the sound pressure value for each pixel calculated by the sound source
図12では、例えば無人飛行体dnの筐体中心の周囲の回転翼やロータ付近では音圧値が第3閾値th3より大きいため、赤領域RD1,RD2,RD3,RD4で描画されている。同様に、赤領域の周囲には、赤領域の次に音圧値が大きいことを示すピンク領域PD1,PD2,PD3,PD4が描画されている。同様に、さらにピンク領域の周囲には、ピンク領域の次に音圧値が大きいことを示す青領域BD1,BD2,BD3,BD4が描画されている。 In FIG. 12, for example, since the sound pressure value is larger than the third threshold value th3 in the vicinity of the rotor and the rotor around the center of the housing of the unmanned flying object dn, the sound pressure values are drawn in the red regions RD1, RD2, RD3, and RD4. Similarly, around the red region, pink regions PD1, PD2, PD3, PD4 indicating that the sound pressure value is the second largest after the red region are drawn. Similarly, around the pink region, blue regions BD1, BD2, BD3, and BD4 indicating that the sound pressure value is the second largest after the pink region are drawn.
また、図12では、オフィスビルにおいても音源が存在していることが示されており、音源方向検知部34により算出された画素毎の音圧値が第3閾値th3を超えている画素又はその集合に対しては赤領域R1,R2,R3,R4,R5,R6,R7が描画されている。同様に、オフィスビルの赤領域の周囲には、赤領域の次に音圧値が大きいことを示すピンク領域P1,P2,P3,P4,P5が描画されている。同様に、オフィスビルのピンク領域の周囲には、ピンク領域の次に音圧値が大きいことを示す青領域B1,B2が描画されている。なお、全方位画像IMG1のその他の領域では、音圧値が第1閾値th1以下であるため、無色領域N1で描画されており、背景となる全方位画像IMG1の視認性を劣化させていない。
Further, FIG. 12 shows that a sound source also exists in an office building, and the pixel or a pixel whose sound pressure value for each pixel calculated by the sound source
次に、本実施形態におけるマスキングエリアの設定の詳細について、図13、図14及び図15を参照して説明する。図13は、自動学習処理時におけるマスキングエリアの表示例を時系列に示す説明図である。図14は、第1の実施形態における、マスキングエリアの設定の動作手順の一例を説明するシーケンス図である。図15は、マスキングエリアが設定された場合の第1モニタの表示画面例を示す図である。図14に示すシーケンスは、図9に示すシーケンスの動作の開始前に実行される、所謂、初期設定である。 Next, the details of setting the masking area in the present embodiment will be described with reference to FIGS. 13, 14 and 15. FIG. 13 is an explanatory diagram showing a display example of the masking area during the automatic learning process in chronological order. FIG. 14 is a sequence diagram illustrating an example of an operation procedure for setting the masking area in the first embodiment. FIG. 15 is a diagram showing an example of a display screen of the first monitor when a masking area is set. The sequence shown in FIG. 14 is a so-called initial setting that is executed before the start of the operation of the sequence shown in FIG.
図14において、ユーザは例えば操作部32を用いて、監視装置10に対して、マスキングエリアの自動学習処理の開始を指示する(T1)。監視装置10は、全方位カメラCAkに対し、画像配信要求を行う(T2)。全方位カメラCAkは、この画像配信要求に従い、電源の投入に応じた撮像処理を開始する。全方位カメラCAkは、ネットワークNWを介して、撮像により得られた全方位画像(例えば静止画、動画)のデータを監視装置10に送信する(T3)。監視装置10は、全方位カメラCAkから送信された全方位画像データをNTSC等の表示データに変換し、第1モニタMN1に出力して全方位画像データの表示を指示する(T4)。これにより、第1モニタMN1は、監視装置10から送信された表示データを入力すると、画面に全方位カメラCAkによる全方位画像IMG1のデータを表示する(図13紙面左上参照)。
In FIG. 14, the user instructs the
また、監視装置10は、マイクアレイMAkに対し、音声配信要求を行う(T5)。マイクアレイMAは、この音声配信要求に従い、電源の投入に応じた収音処理を開始する。マイクアレイMAkは、ネットワークNWを介して、収音により得られた監視エリア8の音声データを符号化して監視装置10に送信する(T6)。監視装置10では、音源方向検知部34が、全方位カメラCAkで撮像された全方位画像データとマイクアレイMAkで収音された音声データとを基に、監視エリア8の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出する。
Further, the
さらに、マスキングエリア設定部69aは、音源方向検知部34による音圧の算出値が所定のマスキングエリア閾値(例えば上述した第3閾値th3)以上となった画素又はその集合を判定する。マスキングエリア設定部69aは、判定された画素又はその集合を示す情報を、マスキングエリアを示す情報としてメモリ38に保存して登録する(T7)。マスキングエリアを示す情報とは、具体的には、音圧の算出値がマスキングエリア閾値以上となった画素の位置を特定する全方位画像上の座標である。マスキングエリア設定部69aは、出力制御部35を介して、マスキングエリアを示す情報とマスキングエリア(つまり、音圧の算出値がマスキングエリア閾値以上となった画素又はその集合)を所定色(例えば赤色)で塗りつぶす旨の指示を第1モニタMN1に出力する(T8)。これにより、第1モニタMN1は、監視装置10から送信された指示により、全方位画像IMG上の、マスキングエリアMSK1に対応する座標の位置を所定色で塗りつぶす処理を行う(図13紙面右上参照)。なお、図13紙面右上の全方位画像IMG1では、マスキングエリアMSK1は、所定色で塗りつぶされたエリアの全体を示す。
Further, the masking
同様に、マイクアレイMAは、監視装置10からの音声配信要求に従い、ネットワークNWを介して、継続して行っている収音により得られた監視エリア8の音声データを符号化して監視装置10に送信する(T9)。監視装置10では、音源方向検知部34が、全方位カメラCAkで撮像された全方位画像データとマイクアレイMAkで収音された音声データとを基に、監視エリア8の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出する。
Similarly, the microphone array MA encodes the voice data of the
さらに、マスキングエリア設定部69aは、音源方向検知部34による音圧の算出値がマスキングエリア閾値以上となった画素又はその集合を判定する。マスキングエリア設定部69aは、判定された画素又はその集合を示す情報を、マスキングエリアを示す情報としてメモリ38に保存して登録する(T10)。マスキングエリア設定部69aは、出力制御部35を介して、マスキングエリアを示す情報とマスキングエリアを所定色(例えば赤色)で塗りつぶす旨の指示を第1モニタMN1に出力する(T11)。これにより、第1モニタMN1は、監視装置10から送信された指示により、全方位画像IMG上の、マスキングエリアMSK1に対して累積されたマスキングエリアMSK2に対応する座標の位置を所定色で塗りつぶす処理を行う(図13紙面右下参照)。なお、図13紙面右下の全方位画像IMG1では、マスキングエリアMSK2は、所定色で塗りつぶされたエリアの全体を示す。
Further, the masking
ここで、操作部32を用いたユーザ操作により、監視装置10に対して、マスキングエリアの自動学習処理の終了が指示される(T12)。監視装置10は、この指示により、マイクアレイMAkに対し、音声配信停止要求を送信する(T13)。これにより、マイクアレイMAkは、収音により得た監視エリア8の音声データの監視装置10への配信(送信)を停止する。
Here, the
また、操作部32を用いたユーザ操作により、図13紙面右下のマスキングエリアMSK2が示された第1モニタMN1に対して、マスキングエリアの修正(つまり、マスキングエリアの追加、削除)の操作がなされると(T14)、監視装置10では、マスキングエリア設定部69aは、ユーザ操作により、指定された全方位画像IMG1上の位置をマスキングエリアとして追加し、又はマスキングエリアから削除した上で、その修正後のマスキングエリアMSK3を示す情報をメモリ38に保存して登録する(T15)。
Further, by a user operation using the
例えばステップT14では、図13紙面右下のマスキングエリアMSK2が示された第1モニタMN1に対して、ユーザの判断の下でマスキングエリアとして不要な領域GOM1,GOM2,GOM3を削除するための操作(例えば範囲指定操作)がなされたり、マスキングエリアMSK2により覆われる背景のオフィスビル一帯をマスキングエリアとして追加するための操作(つまり、描画操作)がなされたりする。 For example, in step T14, an operation for deleting unnecessary areas GOM1, GOM2, and GOM3 as masking areas at the user's discretion with respect to the first monitor MN1 in which the masking area MSK2 at the lower right of FIG. 13 is shown ( For example, a range designation operation) is performed, or an operation (that is, a drawing operation) is performed to add the entire area of the office building in the background covered by the masking area MSK2 as a masking area.
マスキングエリア設定部69aは、出力制御部35を介して、マスキングエリアを示す情報とマスキングエリアを所定色(例えば赤色)で塗りつぶす旨の指示を第1モニタMN1に出力する(T16)。これにより、第1モニタMN1は、監視装置10から送信された指示により、全方位画像IMG上の、マスキングエリアMSK1,MSK2に対して累積されたマスキングエリアMSK3に対応する座標の位置を所定色で塗りつぶす処理を行う(図13紙面左下参照)。なお、図13紙面左下の全方位画像IMG1では、マスキングエリアMSK3は、所定色で塗りつぶされたエリアの全体を示す。従って、上空はマスキングエリアMSK3から設定除外されたことになる。
The masking
これにより、図14に示すシーケンスによれば、本実施形態の検知対象としての無人飛行体dnは、全方位カメラCAkの撮像画角の範囲内において、周囲に音源が殆ど存在していない上空を飛翔する傾向があることに鑑み、マイクアレイMAkからの音声データの解析によってマスキングエリア閾値以上となる音圧が発した音源が上空では見当たらなかったので、上空を無人飛行体dnの検知対象として設定可能となる。その一方で、周囲に音源が数多く存在するようなオフィスビル一帯をマスキングエリアと設定することで、無人飛行体dn以外の音源を本来検知したい無人飛行体dnとして誤検知してしまうことを回避することができ、無人飛行体dnの検知精度及び検知処理速度を向上することが可能となる。 As a result, according to the sequence shown in FIG. 14, the unmanned flying object dn as the detection target of the present embodiment is in the sky where there is almost no sound source in the surroundings within the range of the imaging angle of view of the omnidirectional camera CAk. In view of the tendency to fly, the sound source that generated the sound pressure above the masking area threshold was not found in the sky by analyzing the voice data from the microphone array MAk, so the sky was set as the detection target of the unmanned flying object dn. It will be possible. On the other hand, by setting the area around the office building where many sound sources exist as a masking area, it is possible to avoid erroneous detection of sound sources other than the unmanned air vehicle dn as the unmanned air vehicle dn that is originally desired to be detected. This makes it possible to improve the detection accuracy and detection processing speed of the unmanned aircraft dn.
言い換えると、図15に示すように、全方位画像IMG1において、マスキングエリアMSK3外の他のエリアにおいてのみ無人飛行体dnの検知がなされる。その結果として、図12に示す全方位画像IMG1と比べて、マスキングエリアMSK3を除く他のエリアにおいて検知された無人飛行体dnの周囲の音源位置に、その音源位置で発生した音の音圧値が視覚画像に変換された音圧ヒートマップが重畳して表示されている。その一方で、マスキングエリアMSK3において検知された無人飛行体ではない他の音源(例えばオフィスビルにいる人の怒鳴り声)の周囲には、その音源位置で発生した音の音圧値が視覚画像に変換された音圧ヒートマップの重畳表示は省かれている。 In other words, as shown in FIG. 15, in the omnidirectional image IMG1, the unmanned flying object dn is detected only in another area outside the masking area MSK3. As a result, compared to the omnidirectional image IMG1 shown in FIG. 12, the sound pressure value of the sound generated at the sound source position at the sound source position around the unmanned flying object dn detected in the area other than the masking area MSK3. The sound pressure heat map converted into a visual image is superimposed and displayed. On the other hand, around other sound sources that are not unmanned flying objects (for example, the yelling of a person in an office building) detected in the masking area MSK3, the sound pressure value of the sound generated at that sound source position is displayed in a visual image. The superimposed display of the converted sound pressure heat map is omitted.
なお、本実施形態では、マスキングエリア設定部69aによりマスキングエリアが設定された場合に、図15に示すように、無人飛行体dnの周囲に、その音源位置で発生した音の音圧値が視覚画像に変換された音圧ヒートマップが重畳して表示されている。しかし、マスキングエリア設定部69aによりマスキングエリアが設定されていない場合には、図12に示すように、全方位画像IMG1上において、検知された音源の音圧値に対応する音圧ヒートマップが重畳して表示されても構わない。
In the present embodiment, when the masking area is set by the masking
以上により、本実施形態の無人飛行体検知システム5では、監視装置10は、マイクアレイMAkにより収音された音声データを用いて、監視エリア8の撮像画像(全方位画像IMG1)に現れる無人飛行体dnの検知を除外するためのマスキングエリアをマスキングエリア設定部69aにより設定する。監視装置10は、マイクアレイMAkにより収音された音声データとマスキングエリアを示す情報とを用いて、マスキングエリアを除く他のエリアにおい無人飛行体dnを検知する。また、監視装置10は、マスキングエリア外で無人飛行体dnを検知した場合に、全方位画像IMG1における無人飛行体dnの音源位置に、その音源位置における音の大きさを示す音源視覚画像(つまり、赤領域RD1,ピンク領域PD1,青領域BD1,…の視覚画像)を重畳して第1モニタMN1に表示する。
As described above, in the unmanned flight
これにより、無人飛行体検知システム5は、全方位カメラCAkの撮像対象となる監視エリア8に対して、検知対象となる無人飛行体dnの検知処理を除外するためのマスキングエリアを自動的に設定できるので、マスキングエリア内の音源位置の物体を無人飛行体dnとして誤検知する確率を低減でき、無人飛行体dnの検知精度の劣化を抑制することができる。また、無人飛行体検知システム5は、全方位カメラCAkの撮像画角(つまり、全方位画像IMG1の全域)にわたって無人飛行体dnを検知する必要がなく、マスキングエリアを省いたエリアに対して無人飛行体dnの検知判定を行えばよいので、無人飛行体dnの検知処理も一層向上できる。
As a result, the unmanned flying
また、無人飛行体検知システム5では、音源方向検知部34は、マイクアレイMAkにより収音された音声データを基に、監視エリア8の音の大きさを特定する音圧を、全方位画像IMG1を構成する画素の所定単位毎に算出する。マスキングエリア設定部69aは、音圧の算出値が音の大きさに関するマスキングエリア閾値以上となった音源の位置又はその位置を含む領域を第1モニタMN1に重畳して表示し、さらに、ユーザ確定操作により、第1モニタMN1に表示された音源領域をマスキングエリアとして設定する。これにより、ユーザは、無人飛行体dnが飛翔する可能性は少ないがその他の音源(例えば人物の怒鳴り声)が発生しそうな場所を、無人飛行体dnの検知対象のエリアから省くためのマスキングエリアとして、第1モニタMN1を目視で確認しながら簡易に設定できる。
Further, in the unmanned
また、マスキングエリア設定部69aは、第1モニタMN1に表示された音源領域(つまり、マスキングエリアの候補となる領域)をさらに追加するためのユーザ追加操作により、ユーザ追加操作後の音源領域をマスキングエリアとして設定する。これにより、ユーザは、監視装置10により自動的にマスキングエリアの候補として所定色に塗りつぶされた箇所を第1モニタMN1上で目視によって確認しながら、自らの判断でさらにマスキングエリアに追加したい箇所を簡単に指定しながらマスキングエリアを設定でき、ユーザの使い勝手が向上する。
Further, the masking
また、マスキングエリア設定部69aは、第1モニタMN1に表示された音源領域(つまり、マスキングエリアの候補となる領域)の少なくとも一部を削除するためのユーザ削除操作により、ユーザ削除操作後の音源領域をマスキングエリアとして設定する。これにより、ユーザは、監視装置10により自動的にマスキングエリアの候補として所定色に塗りつぶされた箇所を第1モニタMN1上で目視によって確認しながら、自らの判断で所定色で塗りつぶされている箇所からマスキングエリアとして除外したい一部の箇所を簡単に指定しながらマスキングエリアを設定でき、ユーザの使い勝手が向上する。
Further, the masking
また、出力制御部35は、音圧の算出値と音の大きさに関する複数の閾値との比較に応じて、音圧を異なる視覚画像に段階的に変換した音源視覚画像を、監視エリア8の全方位画像IMG1を構成する画素の所定単位毎に重畳して第1モニタMN1に表示する。これにより、ユーザは、第1モニタMN1を見ることで、全方位カメラCAkにより撮像された監視エリア8の全方位画像IMG1の中で、監視エリア8の広範な様子を全方位画像として知ることができるだけでなく、その監視エリア8のマスキングエリア外において発生した音の発生源(例えば無人飛行体dn)の場所、さらにその音の大きさを視覚的な画像として分かり易く確認することができる。
Further, the
(第2の実施形態に至る経緯)
上述した特許文献1には、ヘリコプターやセスナ等の飛行物体に特有の周波数における音圧を既定の設定レベルと比較することで、設定レベル以上であれば、監視対象の飛行物体と判断することは開示されている。
(Background to the second embodiment)
In
しかしながら、上述した特許文献1には、測定された音圧が複数の段階が規定された音圧のうちいずれの段階であるかを定量的に示すことは考慮されていない。このため、カメラ装置の撮像エリア内で何かしらの音が検知された場合に、その検知された音源位置における音の大きさの大小に拘わりなく、その音の大きさをきめ細かい音の視覚情報で具体的に提示することはできないという課題があった。
However,
そこで、第2の実施形態では、カメラ装置の撮像エリアで検知された音源位置における音の大きさの大小に拘わらず、その音源位置における音の大きさをきめ細かく段階的に提示し、その音源位置における音の大きさのユーザへの正確な把握に資するモニタリングシステムの例について説明する。 Therefore, in the second embodiment, regardless of the loudness of the sound at the sound source position detected in the imaging area of the camera device, the loudness at the sound source position is presented in detail and stepwise, and the sound source position is presented. An example of a monitoring system that contributes to an accurate grasp of the loudness of the sound source in the above will be described.
(第2の実施形態)
第2の実施形態において、無人飛行体検知システム5を構成する各装置の内部構成は第1の実施形態の無人飛行体検知システム5を構成する各装置の内部構成を同様であるため、同一の内容については同一の符号を付して説明を省略し、異なる内容について説明する。
(Second embodiment)
In the second embodiment, the internal configurations of the devices constituting the unmanned flying
第2の実施形態では、監視装置10は、第1の実施形態において説明した音圧ヒートマップを生成して第1モニタMN1に表示した後、ユーザの操作部32に対する操作(後述参照)により、その音圧ヒートマップの生成に必要となった音圧の算出値と複数の閾値(後述参照)との関係に応じて、音圧ヒートマップをきめ細かく解析して表示する。以下、3通りの解析方法を説明していく。
In the second embodiment, the
(第1の解析方法)
第1の解析方法では、監視装置10は、全方位画像IMG2に対応する音圧ヒートマップを全方位画像IMG2に重畳して第1モニタMN1に表示した後、ユーザが全方位画像IMG2の一部の範囲を指定すると、その指定された範囲の音圧ヒートマップの表示解像度を、全体となる全方位画像IMG2の表示解像度と同一となるように変更する。この第1の解析方法の動作例について、図16及び図17を参照して説明する。図16は、第2の実施形態における、音圧ヒートマップの表示解像度の動的変更の概要説明図である。図17は、第2の実施形態における、音圧ヒートマップの表示解像度の動的変更の動作手順の一例を説明するフローチャートである。
(First analysis method)
In the first analysis method, the
図17において、監視装置10は、マイクアレイMAkから送信された監視エリア8の音声データを入力している(S41)。操作部32を用いたユーザ操作により、第1モニタMN1上に対する全方位画像IMG2(図16紙面左上参照)の一部の切り出し範囲が指定されたかどうかが判断される(S42)。
In FIG. 17, the
ここで、図16紙面左上において、第1モニタMN1に表示された全方位画像IMG2は、全方位画像IMG2のX方向の表示サイズが「Wmax」かつY方向の表示サイズが「Hmax」とした場合に、「Wmax×Hmax」の表示解像度を有する。また、ユーザ操作により指定される、全方位画像IMG2の一部となる切り出し範囲の端点の座標は、(X1,Y1),(X1,Y2),(X2,Y1),(X2,Y2)の矩形である。図16では、同矩形の対角線上に存在する(X1,Y1)及び(X2,Y2)のみ図示されている。 Here, in the upper left of the paper of FIG. 16, the omnidirectional image IMG2 displayed on the first monitor MN1 is a case where the display size of the omnidirectional image IMG2 in the X direction is "Wmax" and the display size in the Y direction is "Hmax". Has a display resolution of "Wmax x Hmax". Further, the coordinates of the end points of the cutout range that is a part of the omnidirectional image IMG2 specified by the user operation are (X1, Y1), (X1, Y2), (X2, Y1), (X2, Y2). It is a rectangle. In FIG. 16, only (X1, Y1) and (X2, Y2) existing on the diagonal line of the same rectangle are shown.
ユーザ操作により、(X1,Y1),(X1,Y2),(X2,Y1),(X2,Y2)の4点を端点とする矩形が指定されていない場合には(S42、NO)、監視装置10の音源方向検知部34は、全方位画像IMG2の全体に対する音圧マップを生成するために、(X,Y)=(0,0)と設定し(S43)、座標(X,Y)=(0,0)における音圧P(X,Y)を算出する(S45)。
If a rectangle having four points (X1, Y1), (X1, Y2), (X2, Y1), and (X2, Y2) as end points is not specified by the user operation (S42, NO), monitoring The sound source
さらに、音源方向検知部34は、全方位画像IMG2のX座標が最大値のWmaxに一致していない場合には(S46、NO)、全方位画像IMG2の全体に対する音圧マップを生成するために、X座標を1インクリメントし(S47)、インクリメント後の(X,Y)において音圧P(X,Y)を算出する。
Further, when the X coordinate of the omnidirectional image IMG2 does not match the maximum value Wmax (S46, NO), the sound source
音源方向検知部34は、全方位画像IMG2のX座標が最大値Wmaxに一致した場合に(S46、YES)、全方位画像IMG2のY座標が最大値のHmaxに一致していない場合には(S48、NO)、全方位画像IMG2の全体に対する音圧マップを生成するために、X座標を0に戻しかつY座標を1インクリメントし(S49)、インクリメント後の(X,Y)において音圧P(X,Y)を算出する。音源方向検知部34は、全方位画像IMG2のY座標が最大値Hmaxに一致するまでステップ45〜S49の各処理を繰り返すことで、第1の実施形態と同様に、全方位画像IMG2の全体に対する音圧マップを生成することができ、メモリ38に保存して登録する(S50)。
When the X coordinate of the omnidirectional image IMG2 matches the maximum value Wmax (S46, YES), the sound source
一方、ユーザ操作により、(X1,Y1),(X1,Y2),(X2,Y1),(X2,Y2)の4点を端点とする矩形が指定された場合には(S42、YES)、監視装置10の音源方向検知部34は、全方位画像IMG2のうちユーザ操作により指定された範囲に対する音圧マップを生成するために、(X,Y)=(X1,Y1)と設定し(S44)、座標(X,Y)=(X1,Y1)における音圧P(X,Y)を算出する(S45)。
On the other hand, when a rectangle having four points (X1, Y1), (X1, Y2), (X2, Y1), and (X2, Y2) as end points is specified by the user operation (S42, YES), The sound source
さらに、音源方向検知部34は、全方位画像IMG2のX座標が最大値のWmaxに一致していない場合には(S46、NO)、全方位画像IMG2のうちユーザ操作により指定された範囲に対する音圧マップを生成するために、X座標を(X2−X1)/Wmaxほど増加し(S47)、増加後の(X,Y)において音圧P(X,Y)を算出する。
Further, when the X coordinate of the omnidirectional image IMG2 does not match the maximum value Wmax (S46, NO), the sound source
音源方向検知部34は、全方位画像IMG2のX座標が最大値Wmaxに一致した場合に(S46、YES)、全方位画像IMG2のY座標が最大値のHmaxに一致していない場合には(S48、NO)、全方位画像IMG2のうちユーザ操作により指定された範囲に対する音圧マップを生成するために、X座標をX1に戻しかつY座標を(Y2−Y1)/Hmaxほど増加し(S49)、増加後の(X,Y)において音圧P(X,Y)を算出する。音源方向検知部34は、全方位画像IMG2のY座標が最大値Hmaxに一致するまでステップ45〜S49の各処理を繰り返すことで、全方位画像IMG2のうちユーザ操作により指定された範囲に対する音圧マップを生成することができ、メモリ38に保存して登録する(S50)。ステップS50の後、監視装置10の処理はステップS41に戻り、ステップS41において入力された音声データに対し、ステップS42〜S50の処理が繰り返される。
When the X coordinate of the omnidirectional image IMG2 matches the maximum value Wmax (S46, YES), the sound source
従って、監視装置10は、図16紙面右上に示すように、ユーザ操作により指定された範囲を単に切り出してその範囲を構成する画素毎の音圧値に応じて、音声ヒートマップを生成して第1モニタMN1に重畳すると、表示解像度が低い(つまり、粗い)画像を表示することしかできない。
Therefore, as shown in the upper right of the paper of FIG. 16, the
ところが、本実施形態の第1の解析方法により、監視装置10は、ユーザ操作により指定された全方位画像IMG2の一部の切り出し範囲について、その切り出し範囲の表示解像度を全方位画像IMG2全体の表示解像度と同一となるように、音圧P(X,Y)をきめ細かい単位(つまり、X方向においては(X2−X1)/Wmax毎、Y方向においては(Y2−Y1)/Hmax毎)で算出する。これにより、監視装置10は、図16紙面右下に示すように、ユーザ操作により指定された切り出し範囲の音圧ヒートマップを、単に切り出した時の音圧ヒートマップにおける表示解像度よりもきめ細かい分解能(単位)で高精度に第1モニタMN1に表示することができ、ユーザに対して、ユーザ操作により指定された切り出し範囲における音源の分布の詳細をより正確に把握させることができる。
However, according to the first analysis method of the present embodiment, the
(第2の解析方法)
第2の解析方法を説明する前に、図18〜図20に共通する事項として、本実施形態では、音の大きさを段階的に規定する複数の閾値の幅について説明する。図18は、第2の実施形態における、音圧値の度数分布に応じた閾値の幅調整と幅調整に伴う撮像画像の表示結果との概要説明図である。図18〜図20では、音圧値が下限から上限に向かって、閾値間に対応する音源視覚画像が、群青色画像、藍色画像、青色画像、水色画像、青緑画像、黄緑画像、黄色画像、橙色画像、赤色画像、紅色画像が使用されると規定されている。音圧値が最小(つまり下限)の場合には群青色画像が使用され、音圧値が最大(つまり上限)の場合には紅色画像が使用される。
(Second analysis method)
Before explaining the second analysis method, as a matter common to FIGS. 18 to 20, in the present embodiment, the widths of a plurality of threshold values that gradually define the loudness of the sound will be described. FIG. 18 is a schematic explanatory view of the width adjustment of the threshold value according to the frequency distribution of the sound pressure value and the display result of the captured image accompanying the width adjustment in the second embodiment. In FIGS. 18 to 20, as the sound pressure value moves from the lower limit to the upper limit, the sound source visual images corresponding to the thresholds are ultramarine blue image, indigo blue image, blue image, light blue image, blue green image, yellow green image, and the like. It is stipulated that yellow images, orange images, red images, and crimson images are used. When the sound pressure value is the minimum (that is, the lower limit), the ultramarine blue image is used, and when the sound pressure value is the maximum (that is, the upper limit), the crimson image is used.
例えば図18紙面左側に示すように、音圧値の大きさに対応するように閾値が計10個規定されており、例えば図18紙面左側の例では、それぞれの音圧値の軸に設けられた目盛りがそれぞれ閾値に相当している。このため、この図18紙面左側の例では、音圧値がある閾値(例えば5)と次に大きい閾値(例えば6)との間に含まれる場合には、音圧ヒートマップの生成時には、その音圧値が含まれる閾値間に対応する色画像(例えば黄緑画像)がその音圧値を視覚的に示すための音源視覚画像として使用される。 For example, as shown on the left side of FIG. 18 paper, a total of 10 threshold values are defined so as to correspond to the magnitude of the sound pressure value. For example, in the example on the left side of FIG. 18 paper, the threshold values are provided on the respective sound pressure value axes. Each scale corresponds to the threshold value. Therefore, in the example on the left side of the page of FIG. 18, when the sound pressure value is included between a certain threshold value (for example, 5) and the next largest threshold value (for example, 6), the sound pressure heat map is generated when the sound pressure heat map is generated. A color image (for example, a yellow-green image) corresponding to the threshold value including the sound pressure value is used as a sound source visual image for visually indicating the sound pressure value.
第2の解析方法では、監視装置10の閾値調整部69bは、出力制御部35が全方位画像に対応する音圧ヒートマップを生成する際、全方位画像を構成する画素毎(画素の所定単位毎でも可。以下同様。)に算出した音圧値の発生頻度(言い換えると、度数分布)を基に、計10個の閾値又はその閾値間の幅を動的に変更する。つまり、閾値調整部69bは、複数の閾値と音源視覚画像との対応関係の設定を、全方位画像に応じて動的に変更する。例えば図18を参照すると、閾値調整部69bは、音圧値が閾値5〜閾値6の間であれば音源視覚画像として黄緑画像を使用する設定を保持していたが、音圧値が閾値5〜閾値6となる出現頻度が全方位画像の全体の画素の中で高い場合には、黄緑画像を使用するための閾値間の幅LG1(例えば閾値5〜閾値6)を、より狭くなった幅LG2(例えば閾値4.5〜閾値4.8)に変更する。
In the second analysis method, when the
従って、全方位画像を構成する画素毎の音圧値が特定の色画像が使用されるための閾値間の幅AR1に集中している場合には、図18紙面左下に示すように、音圧ヒートマップVMP1として、同一の色画像又は視覚的に似たような色画像(例えば黄緑画像と青緑画像)が音源視覚画像として使用されてしまい、全方位画像に出現する音源の分布をきめ細かくユーザに提示することが難しい。 Therefore, when the sound pressure value for each pixel constituting the omnidirectional image is concentrated in the width AR1 between the thresholds for using a specific color image, the sound pressure is as shown in the lower left of FIG. As the heat map VMP1, the same color image or a visually similar color image (for example, a yellow-green image and a blue-green image) is used as a sound source visual image, and the distribution of sound sources appearing in the omnidirectional image is finely tuned. Difficult to present to the user.
しかしながら、本実施形態の第2の解析方法によれば、監視装置10は、閾値調整部69bにより、全方位画像を構成する画素毎の音圧値の出現頻度(度数分布)に応じて、音源視覚画像と複数の閾値との対応関係の設定を動的に変更し、その変更を反映した上で全方位画像に対応する音圧ヒートマップVMP2を第1モニタMN1に表示する。これにより、監視装置10は、図18紙面右下に示すように、音圧ヒートマップVMP2として、きめ細かな音圧分布をユーザに対して提示でき、音源位置の分布をユーザにより正確に把握させることができる。
However, according to the second analysis method of the present embodiment, the
(第3の解析方法)
第3の解析方法では、監視装置10は、操作部32を用いたユーザ操作により、音源視覚画像(つまり、色画像)の使用を規定するためのそれぞれの閾値の上限、下限又はその両方を任意に指定可能である。図19(A)及び(B)は、第2の実施形態における、音源視覚画像の使用を規定する閾値間の幅の設定変更の概要説明図である。
(Third analysis method)
In the third analysis method, the
例えば図19(A)では、音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定するための閾値(上端閾値)間の幅が閾値9〜閾値10から、閾値6〜閾値10に変更され、さらに、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定するための閾値(下端閾値)間の幅が閾値0〜閾値1から、閾値0〜閾値2に変更されている。これにより、監視装置10は、残りの8個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された2つの閾値間の幅とは異なるように閾値間の幅を変更することができる。
For example, in FIG. 19A, the width between thresholds (upper threshold) for defining the use of a sound source visual image (ie, a crimson image) indicating that the sound pressure value is the highest (ie, the upper limit) is the threshold. To specify the use of a sound source visual image (ie, an ultramarine image) that is changed from 9 to
また例えば図19(B)では、図19(A)に示すように変更された後に、音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定するための閾値(上端閾値)間の幅が閾値6〜閾値10から、閾値9.3〜閾値10に変更され、さらに、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定するための閾値(下端閾値)間の幅が閾値0〜閾値2から、閾値0〜閾値5に変更されている。これにより、監視装置10は、同様に残りの8個の閾値について、図19(A)に示す例とはそれぞれの閾値は異なるが、残り8個の閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された2つの閾値間の幅とは異なるように閾値間の幅を変更することができる。
Further, for example, in FIG. 19 (B), the use of a sound source visual image (that is, a crimson image) showing that the sound pressure value is the highest (that is, the upper limit) after being changed as shown in FIG. 19 (A). The width between the threshold values (upper limit threshold value) for defining is changed from the threshold value 6 to the
また図19(A)及び(B)では、音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定するための閾値(上端閾値)間の幅と、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定するための閾値(下端閾値)間の幅との両方が変更される例を説明したが、いずれか一方だけの変更においても同様である。 Further, in FIGS. 19A and 19B, between threshold values (upper threshold values) for defining the use of a sound source visual image (that is, a crimson image) indicating that the sound pressure value is the highest (that is, the upper limit). Changed both the width of and the width between the thresholds (bottom thresholds) to define the use of the sound source visual image (ie, the ultramarine image) indicating the lowest (ie, the lower limit) of the sound pressure value. Although the example is described, the same applies to the change of only one of them.
つまり、音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定するための閾値(上端閾値)間の幅のみが変更された場合には、監視装置10は、同様に残りの9個の閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された1つの閾値間の幅とは異なるように閾値間の幅を変更することができる。
That is, if only the width between the thresholds (upper thresholds) for defining the use of the sound source visual image (ie, the crimson image) indicating that the sound pressure value is the highest (ie, the upper limit) is changed. Similarly, the
また、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定するための閾値(下端閾値)間の幅のみが変更された場合には、監視装置10は、同様に残りの9個の閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された1つの閾値間の幅とは異なるように閾値間の幅を変更することができる。
Also, when only the width between the thresholds (bottom threshold) for defining the use of the sound source visual image (that is, the ultramarine image) indicating that the sound pressure value is the lowest (that is, the lower limit) is changed. Similarly, the
ここで、第3の解析方法による、閾値幅の設定変更に関する動作について、図20及び図21を参照して説明する。図20は、第2の実施形態における、紅色画像及び群青色画像の使用を規定する閾値間の幅の設定変更に伴う撮像画像の表示の概要説明図である。図21は、第2の実施形態における、閾値間の幅の設定変更の動作手順の一例を説明するフローチャートである。 Here, the operation related to the setting change of the threshold width by the third analysis method will be described with reference to FIGS. 20 and 21. FIG. 20 is a schematic explanatory view of the display of the captured image due to the change of the width setting between the threshold values defining the use of the crimson image and the ultramarine blue image in the second embodiment. FIG. 21 is a flowchart illustrating an example of an operation procedure for changing the setting of the width between the threshold values in the second embodiment.
図20に示すように、音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)と、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)とのそれぞれの使用を規定する閾値間の幅がともに変更されたとする。この場合、監視装置10では、閾値調整部69bは、図21に示すように、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブル(不図示、対応関係)の設定を動的に変更する。
As shown in FIG. 20, a sound source visual image (that is, a crimson image) indicating that the sound pressure value is the highest (that is, the upper limit) and a sound pressure value that is the lowest (that is, the lower limit) are shown. It is assumed that the width between the thresholds that define each use with the sound source visual image (that is, the ultramarine image) is changed. In this case, in the
従って、監視装置10は、図20に示す例では、全方位画像(つまり、撮像画像)に重畳される音圧ヒートマップVMP2が紅色画像のみであったが、ユーザ操作により、きめ細かい色の種類の音源視覚画像を用いた音圧ヒートマップVMP2Aを生成し、その音圧ヒートマップVMP2Aを全方位画像(つまり、撮像画像)に重畳して第1モニタMN1に表示する。ユーザ操作は、例えば第1モニタMN1上に表示された閾値又は閾値間の幅の入力画面(不図示)に対する入力操作、又は第1モニタMN1上に表示された閾値間の幅の表示画面に対するドラッグ操作が該当するが、これらの操作に限定されない。
Therefore, in the example shown in FIG. 20, in the
図21において、閾値調整部69bは、操作部32を用いたユーザ操作により、音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定する閾値間の幅が変更されたか否かを判断する(S61)。音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定する閾値間の幅が変更された場合(S61、YES)、閾値調整部69bは、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定する閾値間の幅が変更されたか否かを判断する(S62)。
In FIG. 21, the
閾値調整部69bは、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定する閾値間の幅が変更された場合に(S62、YES)、その変更結果に応じて、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブルを修正する(S63)。例えば閾値調整部69bは、残りの8個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された2つの閾値間の幅とは異なるように閾値間の幅を変更する。これにより、監視装置10は、例えば紅色画像の使用を規定する閾値と群青色画像の使用を規定する閾値との間の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。
The threshold
閾値調整部69bは、音圧値が最も低い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定する閾値間の幅が変更されない場合に(S62、NO)、その変更結果に応じて、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブルを修正する(S64)。例えば閾値調整部69bは、残りの9個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された1つの閾値間の幅とは異なるように閾値間の幅を変更する。これにより、監視装置10は、例えば紅色画像の使用を規定する閾値以下の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。
The
一方、ステップS61において、音圧値が最も高い(つまり、上限である)ことを示す音源視覚画像(つまり、紅色画像)の使用を規定する閾値間の幅が変更されない場合(S61、NO)、閾値調整部69bは、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定する閾値間の幅が変更されたか否かを判断する(S65)。なお、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定する閾値間の幅が変更されない場合には(S65、NO)、閾値調整部69bの処理はステップS61に戻る。
On the other hand, in step S61, when the width between the thresholds defining the use of the sound source visual image (that is, the crimson image) indicating that the sound pressure value is the highest (that is, the upper limit) is not changed (S61, NO). The
閾値調整部69bは、音圧値が最も低い(つまり、下限である)ことを示す音源視覚画像(つまり、群青色画像)の使用を規定する閾値間の幅が変更された場合に(S65、YES)、その変更結果に応じて、音源視覚画像と音源視覚画像の使用を規定する閾値又は閾値間の幅との対応テーブルを修正する(S66)。例えば閾値調整部69bは、残りの9個の閾値について、それらの閾値間の幅が等間隔となるように動的に変更し、ユーザ操作により変更された1つの閾値間の幅とは異なるように閾値間の幅を変更する。これにより、監視装置10は、例えば群青色画像の使用を規定する閾値以上の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。
The threshold
以上により、本実施形態の無人飛行体検知システム5では、監視装置10は、マイクアレイMAkにより収音された音声データを用いて、監視エリア8の音の大きさを特定する音圧を、監視エリア8の撮像画像(全方位画像IMG2)を構成する画素の所定単位毎に算出する。監視装置10は、音圧の算出値と音の大きさに関する複数の閾値との比較に応じて、音圧を異なる視覚画像に段階的に変換した音源視覚画像を、撮像画像を構成する画素の所定単位毎に重畳して第1モニタMN1に表示する。監視装置10は、音源視覚画像が重畳された撮像画像の中でいずれかの音源位置が指定されると、その音源位置を含む矩形範囲を構成する画素の所定単位を撮像画像と矩形範囲とのサイズ比で除した値毎に、音圧を算出する。
As described above, in the unmanned flying
これにより、監視装置10は、ユーザ操作により指定された矩形範囲(つまり、切り出し範囲)の音圧ヒートマップを、単に切り出した時の音圧ヒートマップにおける表示解像度よりもきめ細かい分解能(単位)で高精度に第1モニタMN1に表示することができ、ユーザに対して、ユーザ操作により指定された切り出し範囲における音源の分布の詳細をより正確に把握させることができる。言い換えると、監視装置10は、全方位カメラCAkの監視エリア8で検知された音源位置における音の大きさの大小に拘わらず、その音源位置における音の大きさをきめ細かく段階的に提示し、その音源位置における音の大きさのユーザへの正確な把握に資することができる。
As a result, the
また、本実施形態の無人飛行体検知システム5では、監視装置10は、マイクアレイMAkにより収音された音声データを用いて、監視エリア8の音の大きさを特定する音圧を、監視エリア8の撮像画像(全方位画像IMG2)を構成する画素の所定単位毎に算出する。監視装置10は、音の大きさを段階的に規定する複数の閾値の各閾値と、各閾値との比較に応じて音圧が異なる視覚画像に段階的に変換される音源視覚画像との対応関係の設定を、監視エリア8の撮像画像(つまり、全方位画像)に応じて動的に変更する。監視装置10は、音圧の算出値と変更された対応関係の設定とを基に、撮像画像を構成する画素の所定単位毎に、音圧の算出値に対応する音源視覚画像を撮像画像に重畳して第1モニタMN1に表示する。
Further, in the unmanned
これにより、監視装置10は、全方位カメラCAkにより撮像された撮像画像に応じて、監視エリア8で収音された音源の位置を視覚的に示すための音圧ヒートマップとして、きめ細かな音圧分布をユーザに対して提示でき、音源位置の分布をユーザにより正確に把握させることができる。
As a result, the
また、監視装置10の閾値調整部69bは、監視エリア8の撮像画像を構成する画素の所定単位毎の音圧の出現頻度を基に、音源視覚画像を規定する各閾値間の幅を変更する。これにより、監視装置10は、出現頻度の高い音圧算出値に対応する画素には音源視覚画像の種類を増加し、一方、出現頻度の低い音圧算出値に対応する画素には音源視覚画像の種類を減少した上で音圧ヒートマップを生成するので、単調な色合いではなく、きめ細かく多様な色合いの音圧分布を提示でき、音源位置の分布をユーザにより正確に把握させることができる。
Further, the threshold
また、監視装置10の閾値調整部69bは、音圧の上限値に対応する音源視覚画像(つまり、紅色画像)の使用を規定する閾値間の幅の変更操作に応じて、その幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する。これにより、監視装置10は、例えば紅色画像の使用を規定する閾値以下の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。
Further, the threshold
また、監視装置10の閾値調整部69bは、音圧の下限値に対応する音源視覚画像(つまり、群青色画像)の使用を規定する閾値間の幅の変更操作に応じて、その幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する。これにより、監視装置10は、例えば群青色画像の使用を規定する閾値以上の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。
Further, the threshold
また、監視装置10の閾値調整部69bは、音圧の上限値に対応する音源視覚画像(つまり、紅色画像)の使用を規定する閾値間の幅と音圧の下限値に対応する音源視覚画像(つまり、群青色画像)の使用を規定する閾値間の幅の変更操作に応じて、それらの幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する。これにより、監視装置10は、例えば紅色画像の使用を規定する閾値と群青色画像の使用を規定する閾値との間の音圧値が多く得られている場合には、ユーザによる閾値間の幅の調整操作により、数多くの音圧値が集中している画素周囲の分布をきめ細かく音圧ヒートマップとして表示できる。
Further, the threshold
(第3の実施形態に至る経緯)
上述した特許文献1では、監視領域内の任意の方向に撮影方向を変向可能な監視カメラが設けられており、ヘリコプターやセスナ等の飛行物体が検出されると、この監視カメラの撮影方向を変向させることは開示されている。言い換えると、検出された飛行物体を注目して撮像するために、監視カメラの撮影方向を変向することは開示されている。
(Background to the third embodiment)
In
しかしながら、上述した特許文献1には、撮像エリアに対するカメラ装置の画角の範囲内で検知された無人飛行体を含む周囲の撮像画像を広範に表示することは考慮されていない。このため、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、ユーザにとって視覚的に提示することはできないという課題があった。
However,
そこで、第3の実施形態では、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、カメラ装置の撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示するモニタリングシステムの例について説明する。 Therefore, in the third embodiment, the camera detects what kind of sound source exists in what kind of place in the image pickup area of the camera device, and in what other place in the same image pickup area. An example of a monitoring system that visually presents to the user without deteriorating the visibility of the captured image of the device will be described.
(第3の実施形態)
第3の実施形態において、無人飛行体検知システム5を構成する各装置の内部構成は第1の実施形態の無人飛行体検知システム5を構成する各装置の内部構成を同様であるため、同一の内容については同一の符号を付して説明を省略し、異なる内容について説明する。
(Third Embodiment)
In the third embodiment, the internal configurations of the devices constituting the unmanned flying
第3の実施形態では、監視装置10は、第1の実施形態において説明した音圧ヒートマップ(音パラメータマップ)を生成した後、その音圧ヒートマップの半透明画像(半透明マップ)となる半透明音圧ヒートマップを生成し、この半透明音圧ヒートマップを全方位画像に重畳して第1モニタMN1に表示する(図22参照)。図22は、第3の実施形態における、全方位画像と半透明音圧ヒートマップとのオーバーレイ表示の概要説明図である。
In the third embodiment, the
本実施形態では、監視装置10は、図22に示すように、全方位カメラCAkにより撮像された全方位画像IMG1を第1モニタMN1に表示する。また、監視装置10は、全方位画像IMG1を構成する画素毎又はその画素の所定単位毎に算出した音圧値を異なる視覚画像に段階的に変換した音源視覚画像を用いて、全方位画像IGM1に対応する音圧ヒートマップを生成し、さらに、この音圧ヒートマップを半透明画像に変換した半透明音圧ヒートマップTRL1を生成して第2モニタMN2に表示する。
In the present embodiment, as shown in FIG. 22, the
なお、図22では、監視装置10は、全方位画像IMG1を第1モニタMN1、半透明音圧ヒートマップTRL1を第2モニタMN2と別々のモニタに表示しているが、全方位画像IMG1において、例えばウインドウに全方位画像IMG1を表示し、別のウインドウに半透明音圧ヒートマップTRL1を表示してもよい。
In FIG. 22, the
さらに、監視装置10は、全方位画像IMG1に半透明音圧ヒートマップTRL1を重畳した全方位画像IMG1Aを第1モニタMN1に表示する(図23参照)。図23は、全方位画像IMG1と半透明音圧ヒートマップTRL1とがオーバーレイ表示された第1モニタMN1の表示画面例を示す図である。
Further, the
図23では、第1モニタMN1において、全方位画像IMG1Aの図23紙面の右上側に、監視装置10により検知された無人飛行体dnが映っている。さらに、無人飛行体dnや、全方位カメラCAkの撮像画角の範囲内において発生している音源にそれぞれ対応する半透明音圧ヒートマップが重畳されて表示されている。
In FIG. 23, the unmanned flying object dn detected by the
図24を参照して説明するように、本実施形態では、音源方向検知部34により算出された画素毎の音圧値が第1閾値th1以下であれば無色の半透明色(つまり、無色)で表示され、音圧値が第1閾値th1より大きくかつ第2閾値th2以下であれば青色の半透明色で表示され、音圧値が第2閾値th2より大きくかつ第3閾値th3以下であればピンク色の半透明色で表示され、音圧値が第3閾値th3より大きければ赤色の半透明色で表示されている。
As will be described with reference to FIG. 24, in the present embodiment, if the sound pressure value for each pixel calculated by the sound source
図23では、例えば無人飛行体dnの筐体中心の周囲の回転翼やロータ付近では音圧値が第3閾値th3より大きいため、半透明赤領域RD1A,RD2A,RD3A,RD4Aで描画されている。同様に、半透明赤領域の周囲には、半透明赤領域の次に音圧値が大きいことを示す半透明ピンク領域PD1A,PD2A,PD3A,PD4Aが描画されている。同様に、さらに半透明ピンク領域の周囲には、半透明ピンク領域の次に音圧値が大きいことを示す半透明青領域BD1A,BD2A,BD3A,BD4Aが描画されている。 In FIG. 23, for example, since the sound pressure value is larger than the third threshold value th3 in the vicinity of the rotor and the rotor around the center of the housing of the unmanned flying object dn, it is drawn in the translucent red regions RD1A, RD2A, RD3A, and RD4A. .. Similarly, around the translucent red region, semitransparent pink regions PD1A, PD2A, PD3A, and PD4A indicating that the sound pressure value is the second largest after the translucent red region are drawn. Similarly, around the translucent pink region, semitransparent blue regions BD1A, BD2A, BD3A, and BD4A indicating that the sound pressure value is the second largest after the translucent pink region are drawn.
また、図23では、オフィスビルにおいても音源が存在していることが示されており、音源方向検知部34により算出された画素毎の音圧値が第3閾値th3を超えている画素又はその集合に対しては半透明赤領域R1A,R2A,R3A,R4A,R5A,R6A,R7Aが描画されている。同様に、オフィスビルの半透明赤領域の周囲には、半透明赤領域の次に音圧値が大きいことを示す半透明ピンク領域P1A,P2A,P3A,P4A,P5Aが描画されている。同様に、オフィスビルの半透明ピンク領域の周囲には、半透明ピンク領域の次に音圧値が大きいことを示す半透明青領域B1A,B2Aが描画されている。なお、全方位画像IMG1Aのその他の領域では、音圧値が第1閾値th1以下であるため、無色領域で描画されている。
Further, FIG. 23 shows that a sound source also exists in an office building, and the pixel or a pixel whose sound pressure value for each pixel calculated by the sound source
このように、本実施形態では、監視装置10は、第1の実施形態とは異なる半透明音圧ヒートマップTRL1を全方位画像IMG1に重畳して第1モニタMN1に表示するので、全方位画像IMG1に出現する音源の位置やその位置における音の大きさを視覚的にユーザに判別させることができ、さらに、全方位画像IMG1の視認性も劣化させないことができる。
As described above, in the present embodiment, the
次に、本実施形態の無人飛行体検知システム5の動作について、図24を参照して詳細に説明する。
Next, the operation of the unmanned
図24は、第3の実施形態における、全方位画像IMG1と半透明音圧ヒートマップTRL1とのオーバーレイ表示の動作手順の一例を説明するシーケンス図である。無人飛行体検知システム5の各装置(例えば第1モニタMN1、監視装置10、全方位カメラCAk、マイクアレイMAk)にそれぞれ電源が投入されると、無人飛行体検知システム5は動作を開始する。また、図24の説明では、第1の実施形態において説明したマスキングエリアを用いてもよいし用いなくてもよい。図24では例えばマスキングエリアを用いる場合を例示して説明する。マスキングエリアを用いる場合には、そのマスキングエリアを示す情報はメモリ38に登録されているとする。
FIG. 24 is a sequence diagram illustrating an example of an operation procedure of overlay display of the omnidirectional image IMG1 and the translucent sound pressure heat map TRL1 in the third embodiment. When each device of the unmanned vehicle detection system 5 (for example, the first monitor MN1, the
監視装置10は、全方位カメラCAkに対し、画像配信要求を行う(S71)。全方位カメラCAkは、この画像配信要求に従い、電源の投入に応じた撮像処理を開始する。また、監視装置10は、マイクアレイMAkに対し、音声配信要求を行う(S72)。マイクアレイMAは、この音声配信要求に従い、電源の投入に応じた収音処理を開始する。
The
初期動作が終了すると、全方位カメラCAkは、ネットワークNWを介して、撮像により得られた全方位画像(例えば静止画、動画)のデータを監視装置10に送信する(S73)。なお、図24では説明を簡単にするために、全方位カメラCAkから全方位画像データが送信されるとして説明しているが、2次元パノラマ画像データが送信されてもよい。監視装置10は、全方位カメラCAkから送信された全方位画像データをNTSC等の表示データに変換し、第1モニタMN1に出力して全方位画像データの表示を指示する(S74)。第1モニタMN1は、監視装置10から送信された表示データを入力すると、画面に全方位カメラCAkによる全方位画像IMG1のデータ(図22紙面左上参照)を表示する。
When the initial operation is completed, the omnidirectional camera CAk transmits the data of the omnidirectional image (for example, still image, moving image) obtained by imaging to the
また、マイクアレイMAkは、ネットワークNWを介して、収音により得られた監視エリア8の音声データを符号化して監視装置10に送信する(S75)。監視装置10では、音源方向検知部34が、全方位カメラCAkで撮像された全方位画像データとマイクアレイMAkで収音された音声データとを基に、監視エリア8の全方位画像データを構成する一つ一つの画素毎に、音パラメータとしての音圧を算出し、さらに、監視エリア8内の音源位置を推定する(S76)。この推定された音源位置は、監視装置10が無人飛行体dnを検知する際、初期の指向方向が設定されるために必要となる指向範囲BF1の基準位置として使用される。
Further, the microphone array MAk encodes the voice data of the
また、監視装置10では、出力制御部35が、音源方向検知部34により算出された全方位画像データを構成する画素毎の音圧値を用いて、全方位画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。さらに、出力制御部35は、ユーザにとって視覚的で判別し易くなるように、生成した音圧マップの画素毎の音圧値を、視覚画像(例えば色付きの画像)に色変換処理を行うことで、図22紙面右上に示すような半透明音圧ヒートマップを生成する(S77)。半透明音圧ヒートマップの生成方法は、例えば出力制御部35が第1次的に音圧ヒートマップ(図9のステップS7参照)を生成し、第2次的にその音圧ヒートマップを半透明処理することで、半透明音圧ヒートマップを生成するという手順である。
Further, in the
さらに、監視装置10では、信号処理部33が、ステップS75においてマイクアレイMAkから送信された音声データを用いて、マスキングエリア設定部69aにより設定されたマスキングエリアの領域外に対して順次指向性を形成することで、指向性を形成した指向方向毎に無人飛行体dnの検知判定を行う(S78)。この無人飛行体dnの検知判定処理の詳細については、図10及び図11を参照して説明したので、ここでは説明を割愛する。
Further, in the
検知判定処理の結果、無人飛行体dnが検知された場合、監視装置10内の出力制御部35は、第1モニタMN1の画面に表示された全方位画像IMG1に、ステップS77において生成した半透明音圧ヒートマップ、並びにステップS78において検知した指向方向に存在する無人飛行体dnを表す識別マーク(不図示)を重畳して表示することを指示する(S79)。
When the unmanned flying object dn is detected as a result of the detection determination process, the
第1モニタMN1は、監視装置10からの指示に従い、全方位画像IMG1に、半透明音圧ヒートマップを合成(重畳)して表示するとともに、無人飛行体dnを表す識別マーク(不図示)を合成(重畳)して表示する(S80)。この後、無人飛行体検知システム5の処理はステップS73に戻り、例えば電源がオフに操作される等の所定のイベントが検知されるまで、ステップS73〜S80の各処理が繰り返される。
The first monitor MN1 synthesizes (superimposes) a translucent sound pressure heat map on the omnidirectional image IMG1 and displays it according to the instruction from the
以上により、本実施形態の無人飛行体検知システム5では、監視装置10は、マイクアレイMAkにより収音された音声データを用いて、監視エリア8の音の大きさを特定する音圧を、監視エリア8の撮像画像(全方位画像IMG1)を構成する画素の所定単位毎に算出する。監視装置10は、音圧の算出値と音の大きさに関する閾値との比較に応じて、画素の所定単位毎の、音圧を視覚画像に変換した音源視覚画像を、監視エリア8の全方位画像の大きさに対応するように連結した半透明音圧ヒートマップを生成する。監視装置10は、半透明音圧ヒートマップを監視エリア8の撮像画像に重畳して第1モニタMN1に表示する。
As described above, in the unmanned flying
これにより、無人飛行体検知システム5では、全方位カメラCAkの監視エリア8内のどのような場所で無人飛行体が検知され、同じ監視エリア8内で他にどのような場所でどんな音源が存在しているかを、全方位カメラCAkの撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示することができる。
As a result, in the unmanned flying
また、音の大きさに関する閾値は複数設けられ、監視装置10は、音圧と複数の閾値との比較に応じて、画素の所定単位毎の、音圧を異なる視覚画像に段階的に変換した音源視覚画像を用いて、複数種類の音源視覚画像を有する半透明音圧ヒートマップを生成する。これにより、監視装置10は、全方位カメラCAkにより撮像された全方位画像の中で、複数の閾値によって規定される複数種類の段階を有する音圧の存在を、視覚的な音源視覚画像によって、ユーザに対してより一層明示的に判別させることができる。
Further, a plurality of threshold values relating to the loudness of sound are provided, and the
また、本実施形態においても、監視装置10は、第1の実施形態において説明したマスキングエリアを設定し、マイクアレイMAkにより収音された音声データとマスキングエリアを示す情報とを用いて、マスキングエリア外において無人飛行体を検知する。監視装置10は、マスキングエリア外で無人飛行体を検知した場合に、全方位画像中の無人飛行体の周囲(言い換えると、無人飛行体の音源位置)に、無人飛行体から出ている音の大きさを示す音源視覚画像を半透明化して第1モニタMN1に表示する。これにより、監視装置10は、マスキングエリア内を無人飛行体の検知対象から除外できるので、マスキングエリアの検知精度の劣化を抑制でき、無人飛行体の検知スピードも向上できる。また、監視装置10は、マスキングエリア外で検知した無人飛行体dnの音源位置に、無人飛行体から出ている音の大きさのレベルを音源視覚画像の半透明化画像によってその大きさだけでなく、周囲の撮像画像の視認性を劣化させないことができる。
Further, also in the present embodiment, the
また、本実施形態においても、監視装置10は、音の大きさを段階的に規定する複数の閾値の各閾値と複数種類の音源視覚画像との対応関係の設定を、撮像エリアの撮像画像に応じて変更する。監視装置10は、音圧の算出値と変更された対応関係とを基に、画素の所定単位毎の音源視覚画像を撮像エリアの撮像画像の大きさに対応するように連結した半透明音圧ヒートマップを生成する。これにより、監視装置10は、全方位カメラCAkにより撮像された全方位画像(撮像画像)の内容に応じて、その撮像画像を構成する画素毎又は画素の所定単位毎に得た音圧の算出値とその音圧の算出値に対応する音源視覚画像との対応関係を可変にできる。従って、監視装置10は、例えば特定の音圧算出値が集中している箇所では、その辺りでの音源視覚画像を単一色の音源視覚画像ではなく複数種類色の音源視覚画像を用いて、より鮮明かつきめ細かに撮像画像に現れた音源における音の大きさの分布をユーザに対して詳細に把握させることができる。
Further, also in the present embodiment, the
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present invention. Understood.
本発明は、カメラ装置の撮像エリア内のどのような場所で無人飛行体が検知され、同じ撮像エリア内で他にどのような場所でどんな音源が存在しているかを、カメラ装置の撮像画像の視認性を劣化することなく、ユーザに対して視覚的に提示するモニタリングシステム及びモニタリング方法として有用である。 According to the present invention, an unmanned vehicle is detected in what place in the image pickup area of the camera device, and what kind of sound source exists in what other place in the same image pickup area. It is useful as a monitoring system and monitoring method that visually presents to the user without deteriorating visibility.
5 無人飛行体検知システム
10 監視装置
31 通信部
32 操作部
33 信号処理部
34 音源方向検知部
35 出力制御部
37 スピーカ装置(SPK)
38 メモリ
39 設定管理部
63 指向性処理部
64 周波数分析部
65 対象物検知部
66 検知結果判定部
67 走査制御部
68 検知方向制御部
69a マスキングエリア設定部
69b 閾値調整部
CA1,CAk,CAn 全方位カメラ
CZ1,CZk,CZn PTZカメラ
MA1,MAk,MAn マイクアレイ
MN1 第1モニタ
MN2 第2モニタ
NW ネットワーク
RC レコーダ
UD1,UDn 音源検知ユニット
5 Unmanned flying
38
本発明は、例えば無人飛行体が飛翔しているカメラ装置の撮像エリアをモニタリングする画像処理装置、モニタリングシステム及び画像処理方法に関する。 The present invention relates to, for example, an image processing device, a monitoring system, and an image processing method for monitoring an imaging area of a camera device in which an unmanned vehicle is flying.
本発明は、撮像装置により撮像される撮像エリアにおいて収音装置により収音された音声の大きさを特定する音パラメータを、前記撮像エリアの撮像画像に対応付けて導出する音パラメータ導出部と、前記音パラメータと音の大きさに関する閾値とを比較することにより、前記撮像エリアの撮像領域に対して閾値を超えた音パラメータを有する領域を非検出領域として設定する非検出領域設定部と、を備え、前記音パラメータは所定のタイミングで更新され、前記非検出領域は前記音パラメータが更新されるたびに累積して設定される、画像処理装置を提供する。 The present invention includes a sound parameter deriving unit that derives a sound parameter that specifies the loudness of sound picked up by the sound collecting device in the imaging area imaged by the imaging device in association with the captured image of the imaging area. By comparing the sound parameter with the threshold value related to the loudness of the sound, a non-detection area setting unit that sets a region having a sound parameter exceeding the threshold value as a non-detection region with respect to the imaging region of the imaging area. Provided is an image processing apparatus, wherein the sound parameter is updated at a predetermined timing, and the non-detection region is cumulatively set each time the sound parameter is updated.
また、本発明は、撮像装置により撮像される撮像エリアにおいて収音装置により収音された音声の大きさを特定する音パラメータを、前記撮像エリアの撮像画像に対応付けて導出するステップと、前記撮像エリアの撮像領域に対して閾値を超えた音パラメータを有する領域を非検出領域として設定するステップと、を備え、前記音パラメータは所定のタイミングで更新され、前記非検出領域は前記音パラメータが更新されるたびに累積して設定される、画像処理方法を提供する。 Further, the present invention includes a step of deriving a sound parameter that specifies the loudness of the sound picked up by the sound collecting device in the image pickup area imaged by the image pickup device in association with the captured image of the image pickup area. A step of setting a region having a sound parameter exceeding a threshold value as a non-detection region with respect to the imaging region of the imaging area is provided, the sound parameter is updated at a predetermined timing, and the non-detection region has the sound parameter. It provides an image processing method that is cumulatively set each time it is updated.
Claims (5)
前記撮像エリアの音声を収音するマイクアレイと、
前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、
前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出する音パラメータ導出部と、
前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成する信号処理部と、を備え、
前記信号処理部は、前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、
モニタリングシステム。 A camera that captures the imaging area and
A microphone array that collects sound from the imaging area, and
A monitor that displays a captured image of the imaging area captured by the camera, and
Based on the sound picked up by the microphone array, a sound parameter deriving unit that derives a sound parameter for specifying the loudness of the sound in the imaging area for each predetermined unit of pixels constituting the image captured in the imaging area. ,
According to the comparison between the sound parameter derived by the sound parameter derivation unit and the threshold value related to the loudness of the sound, a sound source visual image obtained by converting the sound parameter into a visual image for each predetermined unit of the pixel is captured. It is equipped with a signal processing unit that generates a semi-transparent map of sound parameter maps that are connected so as to correspond to the size of the captured image of the area.
The signal processing unit superimposes the translucent map on the captured image of the imaging area and displays it on the monitor.
Monitoring system.
前記音の大きさに関する閾値は複数設けられ、
前記信号処理部は、前記音パラメータと前記複数の閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を用いて、複数種類の前記音源視覚画像を有する前記音パラメータマップの半透明マップを生成する、
モニタリングシステム。 The monitoring system according to claim 1.
A plurality of threshold values regarding the loudness of the sound are provided.
The signal processing unit uses a sound source visual image in which the sound parameter is stepwise converted into a different visual image for each predetermined unit of the pixel according to the comparison between the sound parameter and the plurality of threshold values. Generate a translucent map of the sound parameter map with the type of sound source visual image.
Monitoring system.
前記マイクアレイにより収音された音声を基に、前記撮像エリアの撮像画像に現れる無人飛行体の検知を除外するためのマスキングエリアを設定するマスキングエリア設定部と、
前記マイクアレイにより収音された音声と前記マスキングエリア設定部により設定された前記マスキングエリアとを基に、前記無人飛行体を検知する検知部と、をさらに備え、
前記信号処理部は、前記マスキングエリア外で前記無人飛行体が検知された場合に、前記撮像エリアの撮像画像中の前記無人飛行体の周囲に、前記無人飛行体の音の大きさを示す前記音源視覚画像を半透明化して前記モニタに表示する、
モニタリングシステム。 The monitoring system according to claim 1.
A masking area setting unit that sets a masking area for excluding the detection of an unmanned vehicle appearing in the captured image of the imaging area based on the sound picked up by the microphone array.
A detection unit that detects the unmanned vehicle based on the sound picked up by the microphone array and the masking area set by the masking area setting unit is further provided.
When the unmanned vehicle is detected outside the masking area, the signal processing unit indicates the loudness of the sound of the unmanned vehicle around the unmanned vehicle in the captured image of the imaging area. Make the sound source visual image semi-transparent and display it on the monitor.
Monitoring system.
音の大きさを段階的に規定する複数の閾値の各閾値と複数種類の前記音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更する閾値調整部、をさらに備え、
前記信号処理部は、前記音パラメータ導出部により導出された前記音パラメータと前記閾値調整部により変更された前記対応関係とを基に、前記画素の所定単位毎の音源視覚画像を前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成する、
モニタリングシステム。 The monitoring system according to claim 2.
Further provided with a threshold value adjusting unit that changes the setting of the correspondence between each threshold value of a plurality of threshold values for stepwisely defining the loudness of the sound source and the plurality of types of the sound source visual images according to the captured image of the imaging area. ,
The signal processing unit captures a sound source visual image for each predetermined unit of the pixel in the imaging area based on the sound parameter derived by the sound parameter deriving unit and the corresponding relationship changed by the threshold value adjusting unit. Generate a translucent map of sound parameter maps linked to correspond to the size of the captured image,
Monitoring system.
前記カメラにより、撮像エリアを撮像し、
前記マイクアレイにより、前記撮像エリアの音声を収音し、
前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、
前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出し、
導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成し、
生成された前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、
モニタリング方法。 A monitoring method in a monitoring system having a camera and a microphone array.
The imaging area is imaged by the camera.
The microphone array collects the sound in the imaging area and collects the sound.
The captured image of the imaging area captured by the camera is displayed on the monitor, and the image is displayed on the monitor.
Based on the sound picked up by the microphone array, a sound parameter for specifying the loudness of the sound in the imaging area is derived for each predetermined unit of pixels constituting the image captured in the imaging area.
According to the comparison between the derived sound parameter and the threshold value related to the loudness, the sound source visual image obtained by converting the sound parameter into a visual image for each predetermined unit of the pixel is the size of the captured image in the imaging area. Generate a semi-transparent map of the sound parameter map concatenated to correspond to
The generated translucent map is superimposed on the captured image of the imaging area and displayed on the monitor.
Monitoring method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044572A JP7122708B2 (en) | 2016-03-24 | 2021-03-18 | Image processing device, monitoring system and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060975A JP6865371B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
JP2021044572A JP7122708B2 (en) | 2016-03-24 | 2021-03-18 | Image processing device, monitoring system and image processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016060975A Division JP6865371B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021097416A true JP2021097416A (en) | 2021-06-24 |
JP7122708B2 JP7122708B2 (en) | 2022-08-22 |
Family
ID=59972370
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016060975A Active JP6865371B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
JP2021044572A Active JP7122708B2 (en) | 2016-03-24 | 2021-03-18 | Image processing device, monitoring system and image processing method |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016060975A Active JP6865371B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6865371B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11727579B2 (en) | 2017-11-13 | 2023-08-15 | Nec Corporation | Information processing apparatus, control method, and program |
CN109003425A (en) * | 2018-08-10 | 2018-12-14 | 北京车和家信息技术有限公司 | A kind of method for early warning and relevant device |
JP7070693B2 (en) * | 2018-09-28 | 2022-05-18 | 日本電気株式会社 | Detection system, detection method and program |
CN112147570A (en) * | 2019-06-27 | 2020-12-29 | 上海银基信息安全技术股份有限公司 | Positioning method and system |
CN112004028B (en) * | 2020-09-03 | 2021-06-15 | 南京国础工程技术有限公司 | Intelligent security monitoring management system for smart community based on machine vision |
US11646046B2 (en) | 2021-01-29 | 2023-05-09 | Qualcomm Incorporated | Psychoacoustic enhancement based on audio source directivity |
CN113851002B (en) * | 2021-10-15 | 2022-04-22 | 江阴市人人达科技有限公司 | Ectopic facility interactive synchronization system and method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005004518A (en) * | 2003-06-12 | 2005-01-06 | Sharp Corp | Monitoring device |
US20060122841A1 (en) * | 2004-12-08 | 2006-06-08 | Samsung Electronics Co., Ltd. | Method of managing sound source and apparatus therefor |
JP2006261900A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Imaging apparatus, and imaging control program |
JP2010232888A (en) * | 2009-03-26 | 2010-10-14 | Ikegami Tsushinki Co Ltd | Monitor device |
US20130342730A1 (en) * | 2012-06-25 | 2013-12-26 | Lg Electronics Inc. | Mobile terminal and audio zooming method thereof |
JP2015198413A (en) * | 2014-04-03 | 2015-11-09 | 日本電信電話株式会社 | Sound collection system and sound emitting system |
-
2016
- 2016-03-24 JP JP2016060975A patent/JP6865371B2/en active Active
-
2021
- 2021-03-18 JP JP2021044572A patent/JP7122708B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005004518A (en) * | 2003-06-12 | 2005-01-06 | Sharp Corp | Monitoring device |
US20060122841A1 (en) * | 2004-12-08 | 2006-06-08 | Samsung Electronics Co., Ltd. | Method of managing sound source and apparatus therefor |
JP2006261900A (en) * | 2005-03-16 | 2006-09-28 | Casio Comput Co Ltd | Imaging apparatus, and imaging control program |
JP2010232888A (en) * | 2009-03-26 | 2010-10-14 | Ikegami Tsushinki Co Ltd | Monitor device |
US20130342730A1 (en) * | 2012-06-25 | 2013-12-26 | Lg Electronics Inc. | Mobile terminal and audio zooming method thereof |
JP2015198413A (en) * | 2014-04-03 | 2015-11-09 | 日本電信電話株式会社 | Sound collection system and sound emitting system |
Also Published As
Publication number | Publication date |
---|---|
JP2017175475A (en) | 2017-09-28 |
JP6865371B2 (en) | 2021-04-28 |
JP7122708B2 (en) | 2022-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6865371B2 (en) | Monitoring system and monitoring method | |
JP5979458B1 (en) | Unmanned air vehicle detection system and unmanned air vehicle detection method | |
WO2017163688A1 (en) | Monitoring system and monitoring method | |
JP2018026792A (en) | Unmanned flying object detection system and unmanned flying object detection method | |
US10791395B2 (en) | Flying object detection system and flying object detection method | |
US10190869B2 (en) | Information processing device and information processing method | |
JP6598064B2 (en) | Object detection apparatus, object detection system, and object detection method | |
JP6664119B2 (en) | Monitoring system and monitoring method | |
JP5939341B1 (en) | Monitoring system and monitoring method | |
JP2017092938A (en) | Audio source detection system and audio source detection method | |
US20210152750A1 (en) | Information processing apparatus and method for controlling the same | |
JP2018101987A (en) | Sound source display system in monitoring area and sound source display method | |
JP2017138947A (en) | Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program | |
JP2017517232A (en) | System and method for remote monitoring of at least one observation area | |
WO2019225147A1 (en) | Airborne object detection device, airborne object detection method, and airborne object detection system | |
JP6938237B2 (en) | Information processing equipment, information processing methods and programs | |
KR101839456B1 (en) | Outdoor-type selfie support Camera System Baseon Internet Of Thing | |
JP2005252660A (en) | Photographing system and photographing control method | |
JP2017175473A (en) | Monitoring system and monitoring method | |
WO2018020965A1 (en) | Unmanned aerial vehicle detection system and unmanned aerial vehicle detection method | |
KR102104406B1 (en) | Surveillance camera performing panning and tilting | |
JP2022105047A (en) | Imaging apparatus, flight device, imaging method, and program | |
KR101552407B1 (en) | System and Method for Taking a Picture with Partner Have a Same Place but Different Time | |
JP4846203B2 (en) | Image area setting apparatus and image area setting method | |
TW201601118A (en) | Screen center tracing system and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210414 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220728 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7122708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |