CN112270680A - 基于声音和图像融合的低空无人机探测的方法 - Google Patents

基于声音和图像融合的低空无人机探测的方法 Download PDF

Info

Publication number
CN112270680A
CN112270680A CN202011308185.4A CN202011308185A CN112270680A CN 112270680 A CN112270680 A CN 112270680A CN 202011308185 A CN202011308185 A CN 202011308185A CN 112270680 A CN112270680 A CN 112270680A
Authority
CN
China
Prior art keywords
target
zooming
far
microphone array
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011308185.4A
Other languages
English (en)
Other versions
CN112270680B (zh
Inventor
焦庆春
王小龙
王利军
白慧慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN202011308185.4A priority Critical patent/CN112270680B/zh
Publication of CN112270680A publication Critical patent/CN112270680A/zh
Application granted granted Critical
Publication of CN112270680B publication Critical patent/CN112270680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/24—Position of single direction-finder fixed by determining direction of a plurality of spaced sources of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/26—Spatial arrangements of separate transducers responsive to two or more frequency ranges
    • H04R1/265—Spatial arrangements of separate transducers responsive to two or more frequency ranges of microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明涉及一种基于声音和图像融合的低空无人机探测的方法，采用低空无人机探测装置所述装置包括支架、近场麦克风阵列、远场麦克风阵列、全景摄像机、变焦红外摄像机、变焦双目摄像机和控制器；本发明主要由入侵检测、目标联动跟踪、多参数融合目标识别三部分组成；入侵检测用于实时侦测监控区域内是否有不明入侵者；目标联动跟踪用于实时精确跟踪入侵目标；多参数融合目标识别用于对入侵目标进行识别判断。本发明通过声音、热成像、视频图像进行融合识别，识别准确率更高，整体工作效率也得到提升；另外可以提高整个系统的有效监控范围。

Description

基于声音和图像融合的低空无人机探测的方法
技术领域
本发明属于信息技术领域，涉及一种低空安防技术，具体地说是涉及一种基于声音和图像融合的低空无人机探测的方法。
背景技术
近年来，无人机市场发展迅猛，在物流、娱乐、航拍、搜救等方面都有着广泛的应用，与此同时，无人机“黑飞”带来的问题也越来越多，对公共安全和个人隐私造成了严重的影响。因此，无人机的监控防范越来越受学术界和工业界的重视。
目前无人机的检测手段主要有雷达、音频、视频以及射频。
中国专利CN 111121541 A提出了一种具有无线电干扰功能的反无人机雷达系统，该系统利用雷达阵列探测无人机。但是由于低空无人机的雷达散射截面较小，雷达探测精度不高，而且对于低空空域，尤其是在城市环境中，因受极强地面杂波以及地面反射波干扰，绝大部分雷达基本无法准确探测到低空无人机；中国专利CN 111190140 A提出了一种基于射频探测的黑飞无人机探测系统，该系统能够通过检测射频信号监控部分无人机，但是射频主要用于检测无人机的图传信号和遥控信号，当无人机设定为GPS导航时无法检测，且射频在低空城市环境中受干扰严重。
中国专利CN 107884749 A提出了一种低空无人机被动声探测定位装置，该装置可以通过音频识别、定位无人机，但是该发明中使用的麦克风未配备聚声罩，探测的距离较短，其麦克风阵列没有近场、远场之间的切换配合，此外其噪声过滤也未按照目标的距离来进行选择性滤波；中国专利CN 109708659 A提出了一种分布式智能光电低空防护系统，该系统可以利用视频监控手段识别、跟踪无人机，但是该方法仅使用视频设备无法精确定位无人机的位置，且易受复杂环境干扰，易被遮挡，此外该方法对目标无人机的识别只使用了图像进行识别，未提及使用多元素融合识别方法来提高识别的准确率。
发明内容
为了克服传统单一参数识别无人机准确率不高等的问题，本发明提供了一种基于声音和图像融合的低空无人机探测的方法，通过多传感器联动跟踪、多元素融合识别目标，能够高效、准确的识别和跟踪入侵的低空无人机。
本发明采用的技术方案为：
一种基于声音和图像融合的低空无人机探测的方法，采用低空无人机探测装置，所述装置包括支架、近场麦克风阵列、远场麦克风阵列、全景摄像机、变焦红外摄像机、变焦双目摄像机和控制器，所述近场麦克风阵列等间距的安装在支架的顶部、底部、左部、右部，用于监控近场低空区域；远场麦克风阵列平行于近场麦克风阵列安装在支架上并设置在支架的外端部，用于监控远场低空区域；全景摄像机、变焦红外摄像机、变焦双目摄像机均安装在支架的中心部位，用于监控、识别无人机；所述近场麦克风阵列、远场麦克风阵列、全景摄像机、变焦红外摄像机、变焦双目摄像机分别与控制器通信连接；
所述方法，包括如下步骤：
步骤一：全景摄像机实时监控目标区域，通过光流法进行入侵检测；
步骤二：全景摄像机检测到入侵目标后，全景摄像机、变焦双目摄像机及远场麦克风阵列联动跟踪入侵目标；
步骤三：变焦红外摄像机、变焦双目摄像机、远场麦克风阵列能够稳定跟踪入侵目标后，分别采集目标的热成像、图像信息、声音信息，然后进行多参数融合的入侵目标识别；
步骤四：识别出入侵目标为无人机时，变焦红外摄像机、变焦双目摄像机、远场麦克风阵列继续跟踪入侵的无人机；
步骤五：当无人机进入近场麦克风阵列范围内时，近场麦克风阵列开始工作，远场麦克风阵列待机。
作为优选，所述近场麦克风阵列包括若干个近场麦克风，所述远场麦克风阵列包括若干个远场麦克风、若干个音频探测云台和若干个聚声罩，所述远场麦克风的拾音头分别安装在相应聚声罩内，所述远场麦克风分别固定在相应的音频探测云台上，由音频探测云台控制运动；变焦红外摄像机与变焦双目摄像机并排固定在一起并安装在红外双目云台上。
作为优选，所述近场麦克风阵列包括四个近场麦克风，所述远场麦克风阵列包括四个远场麦克风、四个音频探测云台和四个聚声罩，所述聚声罩是以抛物线围绕原点旋转成的抛物面，所述远场麦克风的拾音头分别安装在相应聚声罩的焦点处，所述远场麦克风分别固定在音频探测云台上。
作为优选，所述控制器包括五路云台控制、八路音频流、三路视频流、一块主要用以控制的CPU、一块主要用以识别的GPU和一个存储器，所述云台控制通过相应的云台控制传感器与音频探测云台、红外双目云台相连，音频流通过相应的音频流传感器与音频探测云台相连，视频流通过相应的视频流传感器与全景摄像机、变焦红外摄像机、变焦双目摄像机相连；所述CPU与GPU相互连通，所述CPU、GPU分别与存储器相互连通。所述云台控制用以输出高速云台的控制信号及接收高速云台的姿态信息；音频流用以接收麦克风阵列的音频信息；视频流用以接收全景摄像机、变焦红外摄像机及变焦双目摄像机的图像信息。
作为优选，步骤二中，全景摄像机、变焦双目摄像机及远场麦克风阵列联动跟踪入侵目标的步骤具体为：
(A1)以全景图像中点为原点建立坐标系，单位长度为一个像素值，确定入侵目标的中心点像素坐标Ppixel(x1，y1)传送给控制器；
(A2)控制器根据式(1-1)控制变焦双目摄相机由近及远搜索入侵目标，若变焦双目摄相机搜索不到入侵目标，则向全景摄像机再请求一次最新的入侵目标像素坐标重新搜索，搜索到对应目标后，调整变焦双目摄像机得焦距f2使双目拍摄的目标像素点数不低满足识别算法要求的最低像素数K，然后根据双目算法得出其深度h；
CPTZ-7(θ1，θ2)＝FPTZ-Binocular camera(x1，y1，f1，f2) (1-1)
式中θ1：红外双目云台的水平旋转角，θ2：红外双目云台的垂直旋转角，(x1,y1)：入侵目标的像素坐标，f1：全景摄像机的焦距，f2：变焦双目摄像机的焦距；
随后通过式(1-2)得出入侵目标在变焦双目摄像机坐标系下的坐标PBinocular camera(xs，ys，zs)；
PBinocular camera(ys，ys，zs)＝Ftra(h，θ1，θ2) (1-2)
(A3)远场麦克风阵列的控制器通过各个麦克风与变焦双目摄像机的相对位置，分别将入侵目标在变焦双目摄像机坐标系中的坐标PBinocular camera(xs，ys，zs)转换成各自坐标系中的坐标Pmic-i(xi，yi，zi)；
再通过云台控制函数(1-3)分别控制各个远场麦克风覆盖向目标区域，覆盖目标后获取目标音频信息；
CPTZ(α，β)＝FPTZ(x，y，z) (1-3)
式中α：音频探测云台的水平旋转角，β：音频探测云台的垂直旋转角，(x，y，z)：入侵目标的坐标；
然后通过式(1-4)得出入侵目标在以支架中点为原点的坐标系下的空间坐标Pbeacket(x，y，z)；
Pbeacket(x，y，z)＝TDOA(t1，t2，t3，t4) (1-4)
(A4)将空间坐标及对应的时刻值PREinput(x，y，z，t)输入到训练好的轨迹预测模型中，得出入侵目标的下一时刻的预测坐标Ppre(xp，yp，zp)；
(A5)将预测坐标Ppre(xp，yp，zp)先分别转换成远场麦克风阵列各个麦克风坐标系下的坐标
Figure BDA0002788940330000031
及变焦双目摄像机的坐标系下的坐标
Figure BDA0002788940330000032
然后分别通过云台控制函数(1-3)控制远场麦克风阵列、变焦红外摄像机、变焦双目摄像机实时准确跟踪入侵目标。
作为优选，TDOA算法具体如下：
以安装支架的中心为原点建立空间坐标系，由麦克风安装位置可知其坐标Pi(xi，yi，zi)，设目标的坐标为Q(x，y，z)，则：
Figure BDA0002788940330000041
Ri 2-R1 2＝2x(x1-xi)+2y(y1-yi)+2z(z1-zi)+xi 2+yi 2+zi 2-x1 2-y1 2-z1 2 (1-6)
令x1，i＝x1-xi，y1，i＝y1-yi，z1，i＝z1-zi，Ki＝xi 2+yi 2+zi 2，得出：
Figure BDA0002788940330000042
分别将i＝2、3、4代入(1-7)得到：
Figure BDA0002788940330000043
又R2 2-R1 2＝(R2-R1)2+2R1(R2-R1) (1-9)
R2，1＝(R2-R1)＝c(t2-t1) (1-10)
将(1-9)、(1-10)代入(1-8)中可得：
Figure BDA0002788940330000044
由(1-5)可得
Figure BDA0002788940330000045
联解(1-11)、(1-12)，再代入各个麦克风接收到音频信号的时刻值即可得到目标坐标Q(x，y，z)。
作为优选，步骤三中，多参数融合的入侵目标识别的步骤为：
(B1)远场麦克风阵列或近场麦克风阵列获取入侵目标的音频信号V、全景摄像机获取目标视频图像Pp、变焦红外摄像机获取目标的热成像图Pt、变焦双目摄像机获取目标的视频图像Pb；
(B2)对(B1)中的音频信号V先进行预处理得到Vpre；
Veig＝MFCC(Vpre) (2-1)
再通过式(2-1)提取其频域特征Veig；对(B1)中的热成像图Pt进行预处理得到Pt-pre；
Pt-eig＝PCA(Pt-pre) (2-2)
随后通过式(2-2)提取热成像图特征Pt-eig；对(B1)中的视频图像Pp先进行预处理得到Pp-pre；
Pp-eig＝HOG(Pp-pre) (2-3)
然后通过式(2-3)提取图像特征Pp-eig；
(B3)将步骤(B2)所获得的相关特征Veig、Pt-eig、Pp-eig作为第一SVM分类器的输入数据，通过第一SVM分类器的分类识别模型识别目标是否为无人机，第一SVM分类器的输出为无人机或非无人机，第一SVM分类器的分类识别模型如下：
Y1＝SVMuob(Veig，Pt-eig，Pp-eig) (2-4)
(B4)当步骤(B3)识别出入侵目标为无人机时，对(B1)中的视频图像Pb先进行预处理得到Pb-pre；
Pb-eig＝HOG(Pb-pre) (2-5)
然后通过式(2-5)提取图像特征Pb-eig；
(B5)将步骤(B2)中获得的声音特征Veig及步骤(B4)获得的图像特征Pb-eig作为第二SVM分类器的输入数据，通过第二SVM分类器的分类识别模型识别无人机类型，具体输出包括旋翼机、滑翔机、飞艇、热气球，第二SVM分类器的分类识别模型如下：
Y2＝SVMkou(Veig，Pb-eig) (2-6)。
作为优选，对(B1)中的音频信号V先进行的预处理包括滤波、预加重、加窗、分帧，所述滤波是根据得到的目标的空间坐标求出目标与麦克风阵列的距离范围，然后根据此距离范围进行选择性滤波。
作为优选，第一SVM分类器、第二SVM分类器的分类识别模型通过如下步骤获得：
(C1)通过获取的生物、旋翼机、滑翔机、飞艇、热气球的音频、热成像、视频图像，经过预处理、特征提取、归一化处理后建立训练数据集和测试数据集；
(C2)使用优化后的惩罚因子C和高斯核函数的宽度参数σ2以及所述训练数据集，采用交叉验证法开始训练SVM分类器，训练后得到含有最优超平面的识别模型，并将训练后的SVM分类器的识别模型保存下来；
(C3)使用步骤(C2)中保存下来的SVM分类器的识别模型及所述测试数据集，测试所述SVM分类器的识别模型的分类识别效果，输出测试的分类结果；
(C4)如果测试的分类结果达到要求，则作为所述分类识别模型；如果未达到要求，则重复步骤(C2)、(C3)。
本发明的技术效果在于：
(1)本发明通过声音、热成像、视频图像进行融合识别，识别准确率更高，整体工作效率也得到提升；
(2)本发明可以较大程度的解放远场麦克风阵列中每个麦克风的探测面积，故而能够有效的提升麦克风阵列的探测距离，提高整个系统的有效监控范围。
附图说明
图1是本发明低空无人机探测装置的结构示意图；
图2是本发明低空无人机探测的方法过程图；
图3是本发明多传感器联动跟踪入侵目标的方法过程图；
图4是本发明多参数融合识别低空无人机的方法过程图；
图5是本发明低空无人机探测装置的原理框图。
具体实施方式
下面结合具体实施例对本发明作进一步说明，但本发明所要保护的范围并不限于此。
参照图1，一种基于声音和图像融合的低空无人机探测的方法，采用低空无人机探测装置，所述装置包括支架1、近场麦克风阵列、远场麦克风阵列、全景摄像机4、变焦红外摄像机5、变焦双目摄像机6和控制器8，所述近场麦克风阵列等间距的安装在支架1的顶部、底部、左部、右部，用于监控近场低空区域；远场麦克风阵列平行于近场麦克风阵列安装在支架1上并设置在支架1的外端部，用于监控远场低空区域；全景摄像机4、变焦红外摄像机5、变焦双目摄像机6均安装在支架1的中心部位，用于监控、识别无人机；所述近场麦克风阵列、远场麦克风阵列、全景摄像机4、变焦红外摄像机5、变焦双目摄像机6分别与控制器8通信连接。
所述近场麦克风阵列包括近场麦克风2A、近场麦克风2B、近场麦克风2C、近场麦克风2D，所述远场麦克风阵列包括远场麦克风3A、远场麦克风3B、远场麦克风3C、远场麦克风3D、音频探测云台3E、音频探测云台3F、音频探测云台3G、音频探测云台3H和聚声罩3I、聚声罩3J、聚声罩3K、聚声罩3L，所述聚声罩是以抛物线围绕原点旋转成的抛物面，所述远场麦克风3A、远场麦克风3B、远场麦克风3C、远场麦克风3D的拾音头分别安装在相应聚声罩3I、聚声罩3J、聚声罩3K、聚声罩3L的焦点处，所述远场麦克风3A、远场麦克风3B、远场麦克风3C、远场麦克风3D分别固定在音频探测云台3E、音频探测云台3F、音频探测云台3G、音频探测云台3H上，由音频探测云台控制运动；变焦红外摄像机5与变焦双目摄像机6并排固定在一起并安装在红外双目云台7上。
参照图5，所述控制器包括五路云台控制、八路音频流、三路视频流、一块主要用以控制的CPU、一块主要用以识别的GPU和一个存储器；所述云台控制通过相应的云台控制传感器与音频探测云台、红外双目云台相连，音频流通过相应的音频流传感器与音频探测云台相连，视频流通过相应的视频流传感器与全景摄像机4、变焦红外摄像机5、变焦双目摄像机6相连；所述CPU与GPU相互连通，所述CPU、GPU分别与存储器相互连通，存储器可以供CPU、GPU做运算的临时存储。上述传感器可以采用电子罗盘、陀螺仪传感器等；所述云台控制用以输出高速云台的控制信号及接收高速云台的姿态信息；音频流用以接收麦克风阵列的音频信息；视频流用以接收全景摄像机4、变焦红外摄像机5及变焦双目摄像机6的图像信息；可以通过以太接口、光接口、4G/5G、WIFI等有线和无线通信方式实现通信连接。所述全景摄像机、变焦红外摄像机、变焦双目摄像机、近场麦克风阵列、远场麦克风阵列还分别与外部的一个储存装置相连接，外部的储存装置可用于事件记录存储视频音频文件，可供查看。
参照图2～4，上述装置用于低空无人机探测的方法，主要包括入侵检测、目标联动跟踪、多参数融合目标识别，入侵检测用于实时侦测监控区域内是否有不明入侵者；目标联动跟踪用于实时精确跟踪入侵目标；多参数融合目标识别用于对入侵目标进行识别判断；具体实现过程如下：
步骤一：全景摄像机4实时监控目标区域的视频信息，通过光流法进行入侵检测；光流指的是视频图像上像素点之间灰度值的变化，由可位移值除以时间差求得，监控区域中，背景图像基本处于静止状态，而入侵目标处于运动状态，因此可由入侵目标和背景之间的光流信息差异来实现入侵检测。
步骤二：全景摄像机4检测到入侵目标后，全景摄像机4、变焦双目摄像机6及远场麦克风阵列联动跟踪入侵目标：
(A1)以全景图像中点为原点建立坐标系，单位长度为一个像素值，确定入侵目标的中心点像素坐标Ppixel(x1，y1)传送给控制器8；
(A2)控制器8根据控制函数(1-1)控制变焦双目摄相机6由近及远搜索入侵目标，若变焦双目摄相机6搜索不到入侵目标，则向全景摄像机4再请求一次最新的入侵目标像素坐标重新搜索，搜索到对应目标后，调整变焦双目摄像机6得焦距f2使双目拍摄的目标像素点数不低K(满足识别算法要求的最低像素数)，然后根据双目算法得出其深度h；
CPTZ-7(θ1，θ2)＝FPTZ-Binocular camera(x1，y1，f1，f2) (1-1)
式中θ1：红外双目云台7的水平旋转角，θ2：红外双目云台7的垂直旋转角，(x1,y1)：入侵目标的像素坐标，f1：全景摄像机4的焦距，f2：变焦双目摄像机6的焦距；
随后通过函数(1-2)得出入侵目标在变焦双目摄像机6坐标系下的坐标PBinocular camera(xs，ys，zs)；
PBinocular camera(xs，ys，zs)＝Ftra(h，θ1，θ2) (1-2)
(A3)远场麦克风阵列的控制器通过各个麦克风与变焦双目摄像机6的相对位置，分别将入侵目标在变焦双目摄像机6坐标系中的坐标PBinocular camera(xs，ys，zs)转换成各自坐标系中的坐标Pmic-i(xi，yi，zi)；
再通过云台控制函数(1-3)分别控制各个远场麦克风覆盖向目标区域，覆盖目标后获取目标音频信息；
CPTZ(α，β)＝FPTZ(x，y，z) (1-3)
式中α：音频探测云台的水平旋转角，β：音频探测云台的垂直旋转角，(x，y，z)：入侵目标的坐标；
然后通过式(1-4)得出入侵目标在以支架1中点为原点的坐标系下的空间坐标Pbeacket(x，y，z)；
Pbeacket(x，y，z)＝TDOA(t1，t2，t3，t4) (1-4)
TDOA算法具体如下：
以安装支架的中心为原点建立空间坐标系，由麦克风安装位置可知其坐标Pi(xi，yi，zi)，设目标的坐标为Q(x，y，z)，则：
Figure BDA0002788940330000081
Ri 2-R1 2＝2x(x1-xi)+2y(y1-yi)+2z(z1-zi)+xi 2+yi 2+zi 2-x1 2-y1 2-z1 2 (1-6)
令x1，i＝x1-xi，y1，i＝y1-yi，z1，i＝z1-zi，Ki＝xi 2+yi 2+zi 2，得出：
Figure BDA0002788940330000082
分别将i＝2、3、4代入(1-7)得到：
Figure BDA0002788940330000083
又R2 2-R1 2＝(R2-R1)2+2R1(R2-R1) (1-9)
R2，1＝(R2-R1)＝c(t2-t1) (1-10)
将(1-9)、(1-10)代入(1-8)中可得：
Figure BDA0002788940330000091
由(1-5)可得
Figure BDA0002788940330000092
联解(1-11)、(1-12)，再代入各个麦克风接收到音频信号的时刻值即可得到目标坐标Q(x，y，z)；
(A4)将空间坐标及对应的时刻值PREinput(x，y，z，t)输入到训练好的轨迹预测模型中，得出入侵目标的下一时刻的预测坐标Ppre(xp，yp，zp)；
(A5)将预测坐标Ppre(xp，yp，zp)先分别转换成远场麦克风阵列各个麦克风坐标系下的坐标
Figure BDA0002788940330000093
及变焦双目摄像机6的坐标系下的坐标
Figure BDA0002788940330000094
然后分别通过云台控制函数(1-3)控制远场麦克风阵列、变焦红外摄像机5、变焦双目摄像机6实时准确跟踪入侵目标。
步骤三：变焦红外摄像机5、变焦双目摄像机6、远场麦克风阵列能够稳定跟踪入侵目标后，分别采集目标的热成像、图像信息、声音信息，然后进行多参数融合的入侵目标识别；具体实现过程如下：
(B1)远场麦克风阵列或近场麦克风阵列获取入侵目标的音频信号V、全景摄像机4获取目标视频图像Pp、变焦红外摄像机5获取目标的热成像图Pt、变焦双目摄像机6获取目标的视频图像Pb；
(B2)对(B1)中的音频信号V先进行预处理得到Vpre；所述预处理包括滤波、预加重、加窗、分帧，所述滤波是根据得到的目标的空间坐标求出目标与麦克风阵列的距离范围，然后根据此距离范围进行选择性滤波；
Veig＝MFCC(Vpre) (2-1)
再通过式(2-1)提取其频域特征Veig；对(B1)中的热成像图Pt进行预处理得到Pt-pre；
Pt-eig＝PCA(Pt-pre) (2-2)
随后通过式(2-2)提取热成像图特征Pt-eig；对(B1)中的视频图像Pp先进行预处理得到Pp-pre；
Pp-eig＝HOG(Pp-pre) (2-3)
然后通过式(2-3)提取图像特征Pp-eig；
(B3)将步骤(B2)所获得的相关特征Veig、Pt-eig、Pp-eig作为第一SVM分类器的输入数据，通过第一SVM分类器的分类识别模型识别目标是否为无人机，第一SVM分类器的输出为无人机或非无人机，第一SVM分类器的分类识别模型如下：
Y1＝SVMuob(Veig，Pt-eig，Pp-eig) (2-4)
(B4)当步骤(B3)识别出入侵目标为无人机时，对(B1)中的视频图像Pb先进行预处理得到Pb-pre；
Pb-eig＝HOG(Pb-pre) (2-5)
然后通过式(2-5)提取图像特征Pb-eig；
(B5)将步骤(B2)中获得的声音特征Veig及步骤(B4)获得的图像特征Pb-eig作为第二SVM分类器的输入数据，通过第二SVM分类器的分类识别模型识别无人机类型，具体输出包括旋翼机、滑翔机、飞艇、热气球，第二SVM分类器的分类识别模型如下：
Y2＝SVMkou(Veig，Pb-eig) (2-6)
第一SVM分类器、第二SVM分类器的分类识别模型通过如下步骤获得：
(C1)通过获取的生物、旋翼机、滑翔机、飞艇、热气球的音频、热成像、视频图像，经过预处理、特征提取、归一化处理后建立训练数据集和测试数据集；
(C2)使用优化后的惩罚因子C和高斯核函数的宽度参数σ2以及所述训练数据集，采用交叉验证法开始训练SVM分类器，训练后得到含有最优超平面的识别模型，并将训练后的SVM分类器的识别模型保存下来；
(C3)使用步骤(C2)中保存下来的SVM分类器的识别模型及所述测试数据集，测试所述SVM分类器的识别模型的分类识别效果，输出测试的分类结果；
(C4)如果测试的分类结果达到要求，则作为所述分类识别模型；如果未达到要求，则重复步骤(C2)、(C3)。
步骤四：识别出入侵目标为无人机时，变焦红外摄像机5、变焦双目摄像机6、远场麦克风阵列继续跟踪入侵的无人机；
步骤五：当无人机进入近场麦克风阵列范围内时，近场麦克风阵列开始工作，远场麦克风阵列待机。
本发明通过全景摄像机进行入侵检测，然后通过多传感器联动跟踪方法实时跟踪入侵目标，最后通过双层SVM分类器进行多元素融合的入侵目标识别。本发明具有比较高的准确率，此外，本发明基于双层SVM分类识别模型，双层SVM结构的设计极大的提升了系统整体工作效率；同时，多传感器的联动跟踪配合，较大程度的解放远场麦克风阵列中每个麦克风的探测面积，故而能够有效的提升麦克风阵列的探测距离，提高整个系统的有效监控范围。
本发明适用于一些重要区域的低空无人机监控，用以确保该低空区域的安全。应当指出的是，上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1.一种基于声音和图像融合的低空无人机探测的方法，其特征在于：采用低空无人机探测装置，所述装置包括支架(1)、近场麦克风阵列、远场麦克风阵列、全景摄像机(4)、变焦红外摄像机(5)、变焦双目摄像机(6)和控制器(8)，所述近场麦克风阵列等间距的安装在支架(1)的顶部、底部、左部、右部，远场麦克风阵列平行于近场麦克风阵列安装在支架(1)上并设置在支架(1)的外端部，全景摄像机(4)、变焦红外摄像机(5)、变焦双目摄像机(6)均安装在支架(1)的中心部位；所述近场麦克风阵列、远场麦克风阵列、全景摄像机(4)、变焦红外摄像机(5)、变焦双目摄像机(6)分别与控制器(8)通信连接；所述方法包括如下步骤：
步骤一：全景摄像机(4)实时监控目标区域，通过光流法进行入侵检测；
步骤二：全景摄像机(4)检测到入侵目标后，全景摄像机(4)、变焦双目摄像机(6)及远场麦克风阵列联动跟踪入侵目标；
步骤三：变焦红外摄像机(5)、变焦双目摄像机(6)、远场麦克风阵列能够稳定跟踪入侵目标后，分别采集目标的热成像、图像信息、声音信息，然后进行多参数融合的入侵目标识别；
步骤四：识别出入侵目标为无人机时，变焦红外摄像机(5)、变焦双目摄像机(6)、远场麦克风阵列继续跟踪入侵的无人机；
步骤五：当无人机进入近场麦克风阵列范围内时，近场麦克风阵列开始工作，远场麦克风阵列待机。
2.根据权利要求1所述基于声音和图像融合的低空无人机探测的方法，其特征在于：所述近场麦克风阵列包括若干个近场麦克风，所述远场麦克风阵列包括若干个远场麦克风、若干个音频探测云台和若干个聚声罩，所述远场麦克风的拾音头分别安装在相应聚声罩内，所述远场麦克风分别固定在相应的音频探测云台上，由音频探测云台控制运动；变焦红外摄像机(5)与变焦双目摄像机(6)并排固定在一起并安装在红外双目云台(7)上。
3.根据权利要求2所述基于声音和图像融合的低空无人机探测的方法，其特征在于：所述近场麦克风阵列包括四个近场麦克风(2A、2B、2C、2D)，所述远场麦克风阵列包括四个远场麦克风(3A、3B、3C、3D)、四个音频探测云台(3E、3F、3G、3H)和四个聚声罩(3I、3J、3K、3L)，所述聚声罩是以抛物线围绕原点旋转成的抛物面，所述远场麦克风(3A、3B、3C、3D)的拾音头分别安装在相应聚声罩(3I、3J、3K、3L)的焦点处，所述远场麦克风(3A、3B、3C、3D)分别固定在音频探测云台(3E、3F、3G、3H)上。
4.根据权利要求3所述基于声音和图像融合的低空无人机探测的方法，其特征在于：所述控制器包括五路云台控制、八路音频流、三路视频流、一块CPU、一块GPU和一个存储器，所述云台控制通过相应的云台控制传感器与音频探测云台、红外双目云台相连，音频流通过相应的音频流传感器与音频探测云台相连，视频流通过相应的视频流传感器与全景摄像机(4)、变焦红外摄像机(5)、变焦双目摄像机(6)相连；所述CPU与GPU相互连通，所述CPU、GPU分别与存储器相互连通。
5.根据权利要求1所述基于声音和图像融合的低空无人机探测的方法，其特征在于：步骤二中，全景摄像机(4)、变焦双目摄像机(6)及远场麦克风阵列联动跟踪入侵目标的步骤具体为：
(A1)以全景图像中点为原点建立坐标系，单位长度为一个像素值，确定入侵目标的中心点像素坐标Ppixel(x1，y1)传送给控制器(8)；
(A2)控制器(8)根据式(1-1)控制变焦双目摄相机(6)由近及远搜索入侵目标，若变焦双目摄相机(6)搜索不到入侵目标，则向全景摄像机(4)再请求一次最新的入侵目标像素坐标重新搜索，搜索到对应目标后，调整变焦双目摄像机(6)得焦距f2使双目拍摄的目标像素点数不低满足识别算法要求的最低像素数K，然后根据双目算法得出其深度h；
CPTZ-7(θ1，θ2)＝FPTZ-Binocular camera(x1，y1，f1，f2) (1-1)
式中θ1：红外双目云台(7)的水平旋转角，θ2：红外双目云台(7)的垂直旋转角，(x1，y1)：入侵目标的像素坐标，f1：全景摄像机(4)的焦距，f2：变焦双目摄像机(6)的焦距；
随后通过式(1-2)得出入侵目标在变焦双目摄像机(6)坐标系下的坐标PBinocular camera(xs，ys，zs)；
PBinocular camera(xs，ys，zs)＝Ftra(h，θ1，θ2) (1-2)
(A3)远场麦克风阵列的控制器通过各个麦克风与变焦双目摄像机(6)的相对位置，分别将入侵目标在变焦双目摄像机(6)坐标系中的坐标PBinocular camera(xs，ys，zs)转换成各自坐标系中的坐标Pmic-i(xi，yi，zi)；
再通过云台控制函数(1-3)分别控制各个远场麦克风覆盖向目标区域，覆盖目标后获取目标音频信息；
CPTZ(α，β)＝FPTZ(x，y，z) (1-3)
式中α：音频探测云台的水平旋转角，β：音频探测云台的垂直旋转角，(x，y，z)：入侵目标的坐标；
然后通过式(1-4)得出入侵目标在以支架(1)中点为原点的坐标系下的空间坐标Pbeacket(x，y，z)；
Pbeacket(x，y，z)＝TDOA(t1，t2，t3，t4) (1-4)
(A4)将空间坐标及对应的时刻值PREinput(x，y，z，t)输入到训练好的轨迹预测模型中，得出入侵目标的下一时刻的预测坐标Ppre(xp，yp，zp)；
(A5)将预测坐标Ppre(xp，yp，zp)先分别转换成远场麦克风阵列各个麦克风坐标系下的坐标
Figure FDA0002788940320000031
及变焦双目摄像机(6)的坐标系下的坐标
Figure FDA0002788940320000032
然后分别通过云台控制函数(1-3)控制远场麦克风阵列、变焦红外摄像机(5)、变焦双目摄像机(6)实时准确跟踪入侵目标。
6.根据权利要求6所述基于声音和图像融合的低空无人机探测的方法，其特征在于：TDOA算法具体如下：
以安装支架的中心为原点建立空间坐标系，由麦克风安装位置可知其坐标Pi(xi，yi，zi)，设目标的坐标为Q(x，y，z)，则：
Figure FDA0002788940320000033
Ri 2-R1 2＝2x(x1-xi)+2y(y1-yi)+2z(z1-zi)+xi 2+yi 2+zi 2-x1 2-y1 2-z1 2 (1-6)
令x1，i＝x1-xi，y1，i＝y1-yi，z1，i＝z1-zi，Ki＝xi 2+yi 2+zi 2，得出：
Figure FDA0002788940320000034
分别将i＝2、3、4代入(1-7)得到：
Figure FDA0002788940320000035
又R2 2-R1 2＝(R2-R1)2+2R1(R2-R1) (1-9)
R2，1＝(R2-R1)＝c(t2-t1) (1-10)
将(1-9)、(1-10)代入(1-8)中可得：
Figure FDA0002788940320000036
由(1-5)可得
Figure FDA0002788940320000037
联解(1-11)、(1-12)，再代入各个麦克风接收到音频信号的时刻值即可得到目标坐标Q(x，y，z)。
7.根据权利要求1所述基于声音和图像融合的低空无人机探测的方法，其特征在于：步骤三中，多参数融合的入侵目标识别的步骤为：
(B1)远场麦克风阵列或近场麦克风阵列获取入侵目标的音频信号V、全景摄像机(4)获取目标视频图像Pp、变焦红外摄像机(5)获取目标的热成像图Pt、变焦双目摄像机(6)获取目标的视频图像Pb；
(B2)对(B1)中的音频信号V先进行预处理得到Vpre；
Veig＝MFCC(Vpre) (2-1)
再通过式(2-1)提取其频域特征Veig；对(B1)中的热成像图Pt进行预处理得到Pt-pre；
Pt-eig＝PCA(Pt-pre) (2-2)
随后通过式(2-2)提取热成像图特征Pt-eig；对(B1)中的视频图像Pp先进行预处理得到Pp-pre；
Pp-eig＝HOG(Pp-pre) (2-3)
然后通过式(2-3)提取图像特征Pp-eig；
(B3)将步骤(B2)所获得的相关特征Veig、Pt-eig、Pp-eig作为第一SVM分类器的输入数据，通过第一SVM分类器的分类识别模型识别目标是否为无人机，第一SVM分类器的输出为无人机或非无人机，第一SVM分类器的分类识别模型如下：
Y1＝SVMuob(Veig，Pt-eig，Pp-eig) (2-4)
(B4)当步骤(B3)识别出入侵目标为无人机时，对(B1)中的视频图像Pb先进行预处理得到Pb-pre；
Pb-eig＝HOG(Pb-pre) (2-5)
然后通过式(2-5)提取图像特征Pb-eig；
(B5)将步骤(B2)中获得的声音特征Veig及步骤(B4)获得的图像特征Pb-eig作为第二SVM分类器的输入数据，通过第二SVM分类器的分类识别模型识别无人机类型，具体输出包括旋翼机、滑翔机、飞艇、热气球，第二SVM分类器的分类识别模型如下：
Y2＝SVMkou(Veig，Pb-eig) (2-6)。
8.根据权利要求7所述基于声音和图像融合的低空无人机探测的方法，其特征在于：对(B1)中的音频信号V先进行的预处理包括滤波、预加重、加窗、分帧，所述滤波是根据得到的目标的空间坐标求出目标与麦克风阵列的距离范围，然后根据此距离范围进行选择性滤波。
9.根据权利要求7所述基于声音和图像融合的低空无人机探测的方法，其特征在于：第一SVM分类器、第二SVM分类器的分类识别模型通过如下步骤获得：
(C1)通过获取的生物、旋翼机、滑翔机、飞艇、热气球的音频、热成像、视频图像，经过预处理、特征提取、归一化处理后建立训练数据集和测试数据集；
(C2)使用优化后的惩罚因子C和高斯核函数的宽度参数σ2以及所述训练数据集，采用交叉验证法开始训练SVM分类器，训练后得到含有最优超平面的识别模型，并将训练后的SVM分类器的识别模型保存下来；
(C3)使用步骤(C2)中保存下来的SVM分类器的识别模型及所述测试数据集，测试所述SVM分类器的识别模型的分类识别效果，输出测试的分类结果；
(C4)如果测试的分类结果达到要求，则作为所述分类识别模型；如果未达到要求，则重复步骤(C2)、(C3)。
CN202011308185.4A 2020-11-20 2020-11-20 基于声音和图像融合的低空无人机探测的方法 Active CN112270680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011308185.4A CN112270680B (zh) 2020-11-20 2020-11-20 基于声音和图像融合的低空无人机探测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011308185.4A CN112270680B (zh) 2020-11-20 2020-11-20 基于声音和图像融合的低空无人机探测的方法

Publications (2)

Publication Number Publication Date
CN112270680A true CN112270680A (zh) 2021-01-26
CN112270680B CN112270680B (zh) 2022-11-25

Family

ID=74340788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011308185.4A Active CN112270680B (zh) 2020-11-20 2020-11-20 基于声音和图像融合的低空无人机探测的方法

Country Status (1)

Country Link
CN (1) CN112270680B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509384A (zh) * 2021-02-03 2021-03-16 深圳协鑫智慧能源有限公司 一种基于智慧路灯的飞行器管制方法及智慧路灯
CN112862914A (zh) * 2021-02-04 2021-05-28 浙江科技学院 基于多层级多核心的低空飞行器防御区域可视化融合方法
CN113627570A (zh) * 2021-10-12 2021-11-09 北京创米智汇物联科技有限公司 一种区域入侵检测方法、装置、电子设备及存储介质
CN113823054A (zh) * 2021-11-24 2021-12-21 中国南方电网有限责任公司超高压输电公司广州局 换流站的综合安防管理系统、方法、装置和计算机设备
CN115809422A (zh) * 2021-09-13 2023-03-17 国家电网有限公司 一种基于svm的无人机rf信号识别方法及系统
CN116543141A (zh) * 2022-12-16 2023-08-04 无锡恺韵来机器人有限公司 一种基于声信号与图像融合的无人机识别与定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170192089A1 (en) * 2014-12-19 2017-07-06 Xidrone Systems, Inc. Deterent for unmanned aerial systems
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法
CN107566078A (zh) * 2017-09-14 2018-01-09 成都安则科技有限公司 一种无人机低空防御系统
CN107846258A (zh) * 2017-09-07 2018-03-27 新疆美特智能安全工程股份有限公司 一种无人机防御系统
CN108761403A (zh) * 2018-05-31 2018-11-06 智飞智能装备科技东台有限公司 一种基于雷达的反无人机防御系统
CN110244762A (zh) * 2019-06-17 2019-09-17 中国科学院自动化研究所 基于听声辨位的飞行设备防撞方法及设备、安全系统
WO2020226239A1 (ko) * 2018-08-21 2020-11-12 윤성욱 저고도 무인항공기 감시 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170192089A1 (en) * 2014-12-19 2017-07-06 Xidrone Systems, Inc. Deterent for unmanned aerial systems
CN107016690A (zh) * 2017-03-06 2017-08-04 浙江大学 基于视觉的无人机入侵检测与识别系统及方法
CN107846258A (zh) * 2017-09-07 2018-03-27 新疆美特智能安全工程股份有限公司 一种无人机防御系统
CN107566078A (zh) * 2017-09-14 2018-01-09 成都安则科技有限公司 一种无人机低空防御系统
CN108761403A (zh) * 2018-05-31 2018-11-06 智飞智能装备科技东台有限公司 一种基于雷达的反无人机防御系统
WO2020226239A1 (ko) * 2018-08-21 2020-11-12 윤성욱 저고도 무인항공기 감시 시스템
CN110244762A (zh) * 2019-06-17 2019-09-17 中国科学院自动化研究所 基于听声辨位的飞行设备防撞方法及设备、安全系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
STAMATIONS SAMARAS等: "Deep learning on multi Sensor Data for Counter UAV Applications-A Syetematic Review", 《DEEP LEARNING FOR MULTI-SENSOR FUSION》 *
李招华等: "基于Chan的TDOA三维定位算法", 《现代电信科技》 *
赵秀粉: "基于麦克风阵列的声源定位技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509384A (zh) * 2021-02-03 2021-03-16 深圳协鑫智慧能源有限公司 一种基于智慧路灯的飞行器管制方法及智慧路灯
CN112862914A (zh) * 2021-02-04 2021-05-28 浙江科技学院 基于多层级多核心的低空飞行器防御区域可视化融合方法
CN112862914B (zh) * 2021-02-04 2024-02-20 浙江科技学院 基于多层级多核心的低空飞行器防御区域可视化融合方法
CN115809422A (zh) * 2021-09-13 2023-03-17 国家电网有限公司 一种基于svm的无人机rf信号识别方法及系统
CN115809422B (zh) * 2021-09-13 2023-11-21 国家电网有限公司 一种基于svm的无人机rf信号识别方法及系统
CN113627570A (zh) * 2021-10-12 2021-11-09 北京创米智汇物联科技有限公司 一种区域入侵检测方法、装置、电子设备及存储介质
CN113823054A (zh) * 2021-11-24 2021-12-21 中国南方电网有限责任公司超高压输电公司广州局 换流站的综合安防管理系统、方法、装置和计算机设备
CN116543141A (zh) * 2022-12-16 2023-08-04 无锡恺韵来机器人有限公司 一种基于声信号与图像融合的无人机识别与定位方法

Also Published As

Publication number Publication date
CN112270680B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN112270680B (zh) 基于声音和图像融合的低空无人机探测的方法
US11915502B2 (en) Systems and methods for depth map sampling
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN108052097B (zh) 用于训练异构感测系统的方法和异构感测系统
US10970878B2 (en) Camera calibration using reference map
US10671068B1 (en) Shared sensor data across sensor processing pipelines
KR102266996B1 (ko) 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
KR20180133745A (ko) 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법
KR102472075B1 (ko) 실시간 도로영상 및 레이다 신호를 분석한 결과에 기초하여 돌발상황 자동검지 서비스를 지원하는 시스템 및 방법
CN110619276A (zh) 基于无人机移动监控的异常及暴力检测系统和方法
CN111127837A (zh) 一种报警方法、摄像机及报警系统
US20210221502A1 (en) Method and a system for real-time data processing, tracking, and monitoring of an asset using uav
CN112183330A (zh) 基于点云的目标检测方法
CN109960278B (zh) 一种基于lgmd的无人机仿生避障控制系统和方法
CN115291219A (zh) 利用单目摄像头实现无人机动态避障方法、装置及无人机
JP7406656B2 (ja) 航空機の相関動作及び検知
CN213754654U (zh) 一种基于声音和图像融合的低空无人机探测装置
JP2022537557A (ja) 運転可能な領域情報を決定するための方法及び装置
CN116543141A (zh) 一种基于声信号与图像融合的无人机识别与定位方法
CN115035470A (zh) 一种基于混合视觉的低小慢目标识别与定位方法及系统
CN110827257B (zh) 一种嵌入式机载红外图像视觉导航定位方法
CN115390582A (zh) 一种基于点云的多旋翼无人机跟踪拦截方法及系统
CN115131756A (zh) 一种目标检测方法及装置
Scotti et al. A novel pedestrian classification algorithm for a high definition dual camera 360 degrees surveillance system
Vora et al. DroneChase: A Mobile and Automated Cross-Modality System for Continuous Drone Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant