CN116543141A - 一种基于声信号与图像融合的无人机识别与定位方法 - Google Patents

一种基于声信号与图像融合的无人机识别与定位方法 Download PDF

Info

Publication number
CN116543141A
CN116543141A CN202211620708.8A CN202211620708A CN116543141A CN 116543141 A CN116543141 A CN 116543141A CN 202211620708 A CN202211620708 A CN 202211620708A CN 116543141 A CN116543141 A CN 116543141A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
camera
angle
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211620708.8A
Other languages
English (en)
Inventor
于振华
曹中心
赵渊
孟利平
丁国良
李坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi A Carrier Robot Co ltd
Original Assignee
Wuxi A Carrier Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi A Carrier Robot Co ltd filed Critical Wuxi A Carrier Robot Co ltd
Priority to CN202211620708.8A priority Critical patent/CN116543141A/zh
Publication of CN116543141A publication Critical patent/CN116543141A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明涉及无人机定位相关技术领域，更具体地说，本发明提供了一种基于声信号与图像融合的无人机识别与定位方法，所述方法包括以下步骤：S1：七元阵列设置多个声音采集件，将图像采集件间隔设置在其中一个声音采集件一侧；S2：通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到初步位置；S3：通过无人机的初步位置将图像采集件的视角调节至可以采集到无人机的角度；通过设置多个声音采集件，能够得到较为精确的无人机的初步位置，从而便于判定是否需要调节图像采集件的视角，并在图像采集件的视角调整后，对预检测区域进行无人机识别，并利用距离信息确定无人机的准确位置，从而能够实现无人机全方位的高精度识别与定位。

Description

一种基于声信号与图像融合的无人机识别与定位方法
技术领域
本发明涉及无人机定位相关技术领域，更具体地说，是一种基于声信号与图像融合的无人机识别与定位方法。
背景技术
近些年民用无人机的使用增多，在摄影和测绘等等方面展现出了它独有的优势。但同时也带来了很多其他问题，例如：很多民用无人机由于操作不当或者恶意操作而飞入机场和公民私人场所等地方，对群众安全、隐私甚至国家安全都产生了不小的威胁。因此需要探测器对无人进行识别的定位十分重要。
在现有技术中，探测器探测无人机主要通过四种方法：无线电探测法、雷达探测法、光学探测法和声学探测法。
光学探测法通过相机对无人机进行目标识别，该方法的探测精度、识别准确性高，但是高像素全方位相机价格较高，容易受到恶劣天气和强光线的影响，相机在探测过程中易受到障碍物阻挡且易被外形相近的物体干扰，而且探测目标位置信息的算法复杂，因此存在探测范围有盲区、定位算法复杂以及对整个图像进行识别存在干扰较多，容易造成误判的问题。
声学探测法针对无人机发出的特殊噪声进行探测，所用设备价格低廉、布设要求简单、功耗低，算法复杂程度也相对较低，但是容易受到噪声影响导致目标识别不准确，且在噪声较大的环境中目标位置信息的测量精度也会降低，因此存在目标识别不准确以及定位精度低的问题。
发明内容
本发明的目的在于提供一种基于声信号与图像融合的无人机识别与定位方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于声信号与图像融合的无人机识别与定位方法，所述方法包括以下步骤：
S1：七元阵列设置多个声音采集件，将图像采集件间隔设置在其中一个声音采集件一侧；
S2：通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到无人机的初步位置；
S3：通过无人机的初步位置将图像采集件的视角调节至可以采集到无人机的角度；
S4：通过图像采集件内参矩阵得到无人机的预检测区域和距离信息；
S5：对无人机的预测区域使用深度学习进行无人机识别，得到人机的准确位置。
本申请再进一步的技术方案：所述S1中，声音采集件包括麦克风，图像采集件包括相机。
本申请再进一步的技术方案：所述步骤S1中，麦克风和相机均安装在平台坐标系b中xb、yb和zb三轴上，其中相机中心位于yb轴上，相机坐标系c的yc轴与yb轴重合，xc与xb平行，zb与zc平行。
本申请再进一步的技术方案：所述S2中，得到无人机的初步位置包括无人机的初步方位角与俯仰角。
本申请再进一步的技术方案：所述S2中通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到无人机的初步方位角与俯仰角的方法包括：
S21：记麦克风七元阵列M0,M1...M6的安装位置分别为M0(0,0,0)、M1(D,0,0)、M2(-D,0,0)、M3(0,D,0)、M4(-D,0,0)、M5(0,0,D)和M6(0,0,-D)，设空间坐标系中无人机声源的坐标(含误差)为S(x,y,z)，无人机声源的方位角为无人机俯仰角为θ，无人机声源与每个麦克风阵元之间的距离表示为方程(1)：
S22：对麦克风七元阵列获取的声信号进行处理，得到阵元Mi(i＝1,2...6)与中心阵元M0之间时间延迟τi，满足方程(2)：
SMi-SM0＝vcτi (2)；
其中vc为声速，取vc＝340m/s；
S23：结合方程(1)和方程(2)可以得到：
本申请再进一步的技术方案：所述S2中通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到无人机的初步方位角与俯仰角的方法还包括：
S24：记R＝SM0，由声信号解算得到无人机初步坐标为
本申请再进一步的技术方案：所述S3中通过无人机的初步位置将图像采集件的视角调节至可以采集到无人机的角度的方法包括：
S31：记相机水平视场角为α，垂直视场角为β，光心坐标为M7(0,L,0)，设无人机初步坐标S点在相机坐标系下的位置为S′(x0,y0,z0)，满足公式：
S32：记无人机的坐标S′在相机坐标系下的方位角为俯仰角为θc，计算方位角为/>和俯仰角为θc的公式为：
S33：当和θc分别在相机的视场角内，且/>时，相机的视角调节完毕。
本申请再进一步的技术方案：所述S4中通过图像采集件内参矩阵得到无人机的预检测区域的方法包括：
S41：通过相机内参矩阵可以得到S′(x0,y0,z0)在相机像素坐标系的位置：
S42：根据R以及相机的分辨率设定预检测区域阈值ε，预检测区域中的像素点满足：
本申请再进一步的技术方案：所述S5中对无人机的预测区域使用深度学习进行无人机识别，得到人机的准确位置的方法包括：
S51：对预检测区域进行无人机识别，记识别出的目标二维框中心点为(ucp,vcp)，记无人机的准确坐标为
S52：根据相机内参矩阵解算出的坐标值，公式为：
其中以S31中的z0作为物距。
本发明还提供了一种技术方案：一种基于声信号与图像融合的无人机识别与定位装置，应用于一种基于声信号与图像融合的无人机识别与定位方法，所述装置包括检测件、转向机构和检测平台，所述检测件通过转向机构安装在检测平台上，所述检测件包括图像采集件和声音采集件，所述转向机构用于调节图像采集件的角度。
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
1、本发明通过七元阵列设置多个声音采集件，能够对不同方位的声音采集件采集到的声源进行计算，得到较为精确的无人机的初步位置，从而便于判定是否需要调节图像采集件的视角，并在图像采集件的视角调整后，得到无人机的预检测区域，采用深度学习对预检测区域进行无人机识别，并利用距离信息确定无人机的准确位置，从而能够实现无人机全方位的高精度识别与定位。解决了传统采用光学探测法的探测器存在探测范围有盲区、定位算法复杂以及对整个图像进行识别存在干扰较多，容易造成误判的问题；也解决了传统采用声学探测法的探测器存在目标识别不准确以及定位精度低的问题。
2、本发明通过麦克风七元阵列获取的声信号的方式来确定无人机声源的方位角和无人机俯仰角θ，为相机的准确检测提供了前提，也为相机多方位检测提供数据基础，以便于判定是否需要调节相机的视角，克服了仅仅使用相机进行探测存在视场盲区的问题。
3、本发明中相机的视角能够在得到无人机的初步方位角与俯仰角的数据后调节，使得相机能够采集到无人机的图像信息，为后续的计算无人机的精准位置提供技术和数据的支持。
4、本发明通过麦克风阵列获取的声信号来确定图像的预检测区域以及距离信息，能够有效缩小了检测区域，提升了定位效率与准确度，克服单目相机尺度信息缺失，设置多目相机存在成本高的问题。
附图说明
图1为本发明提供的一种基于声信号与图像融合的无人机识别与定位方法的流程图；
图2为本发明提供的麦克风七元阵列与相机安装位置的示意图；
图3为本发明提供的一种基于声信号与图像融合的无人机识别与定位装置的三维示意图。
示意图中的标号说明：
1、检测件；2、转向机构；3、检测平台。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围，下面结合实施例对本发明作进一步的描述。
请参阅图1，本申请的一个实施例中，一种基于声信号与图像融合的无人机识别与定位方法，所述方法包括以下步骤：
S1：七元阵列设置多个声音采集件，将图像采集件间隔设置在其中一个声音采集件一侧；
S2：通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到无人机的初步位置；
S3：通过无人机的初步位置将图像采集件的视角调节至可以采集到无人机的角度；
S4：通过图像采集件内参矩阵得到无人机的预检测区域和距离信息；
S5：对无人机的预测区域使用深度学习进行无人机识别，得到人机的准确位置。
在本实施例中，通过七元阵列设置多个声音采集件，能够对不同方位的声音采集件采集到的声源进行计算，得到较为精确的无人机的初步位置，从而便于判定是否需要调节图像采集件的视角，并在图像采集件的视角调整后，得到无人机的预检测区域，采用深度学习对预检测区域进行无人机识别，并利用距离信息确定无人机的准确位置，从而能够实现无人机全方位的高精度识别与定位。解决了传统采用光学探测法的探测器存在探测范围有盲区、定位算法复杂以及对整个图像进行识别存在干扰较多，容易造成误判的问题；也解决了传统采用声学探测法的探测器存在目标识别不准确以及定位精度低的问题。
请参阅图2，作为本申请一个优选的实施例，所述S1中，声音采集件包括麦克风，图像采集件包括相机。
在本实施例的一种情况中，所述步骤S1中，麦克风和相机均安装在平台坐标系b中xb和yb和zb三轴上，其中相机中心位于yb轴上，相机坐标系c的yc轴与yb轴重合，xb与xb平行，zb与zb平行。
请参阅图3，作为本申请另一个优选的实施例，一种基于声信号与图像融合的无人机识别与定位装置，应用于一种基于声信号与图像融合的无人机识别与定位方法，所述装置包括检测件1、转向机构2和检测平台3，所述检测件1通过转向机构2安装在检测平台3上，所述检测件1包括图像采集件和声音采集件，所述转向机构2用于调节图像采集件的角度。
在本实施例中，当需要调节相机的视角时，通过转向机构2调节整个检测件1的角度来实现，有必要说明的是，所述转向机构2为现有技术中具有可调节角度功能的机构，本发明在此不作具体限定。
在实际应用时，本发明的一种基于声信号与图像融合的无人机识别与定位装置可以监听周围150米范围内在七元阵列方向的声音，此外通过螺旋桨的旋转声辨识无人机的声音，具体的：当麦克风探测到检测平台3上空的可疑无人机后，将探测到的音频与无人机音频数据库进行比对，来确定是否为无人机，当探测到的音频确定为无人机后，计算出无人机的初步位置，将相机调节至无人机在相机的视角内，通过相机拍摄的无人机照片以及麦克风采集的无人机螺旋桨声音判定无人机的类型，通过无人机在相机内参矩阵得到无人机的预检测区域和距离信息；然后对无人机的预测区域进行无人机识别，得到人机的准确位置。
作为优选的，可以将得到的无人机的类型和无人机的准确位置作为预警信息发送至上位机。
作为本申请一个优选的实施例，通过七元阵列的多个麦克风获取的声信号对无人机的位置进行初步解算，并得到无人机的初步位置的方法包括：
S21：记麦克风七元阵列M0,M1...M6的安装位置分别为M0(0,0,0)、M1(D,0,0)、M2(-D,0,0)、M3(0,D,0)、M4(-D,0,0)、M5(0,0,D)和M6(0,0,-D)，设空间坐标系中无人机声源的坐标(含误差)为S(x,y,z)，无人机声源的方位角为无人机俯仰角为θ，无人机声源与每个麦克风阵元之间的距离表示为方程(1)：
S22：对麦克风七元阵列获取的声信号进行处理，得到阵元Mi(i＝1,2...6)与中心阵元M0之间时间延迟τi，满足方程(2)：
SMi-SM0＝vcτi (2)；
其中vc为声速，取vc＝340m/s；
S23：结合方程(1)和方程(2)可以得到SM0、无人机声源的方位角和无人机俯仰角θ：
S24：记R＝SM0，由声信号解算得到无人机初步坐标为
在本实施例中，通过麦克风七元阵列获取的声信号的方式来确定无人机声源的方位角和无人机俯仰角θ，为相机的准确检测提供前提，也为相机多方位检测提供数据基础，以便于判定是否需要调节相机的视角，克服了仅仅使用相机进行探测存在视场盲区的问题。
作为本申请一个优选的实施例，通过无人机的初步位置坐标将相机的视角调节至可以采集到无人机的角度的方法包括；
S31：记相机水平视场角为α，垂直视场角为β，光心坐标为M7(0,L,0)，设无人机初步坐标S点在相机坐标系下的位置为S′(x0,y0,z0)，满足公式：
S32：记无人机的坐标S′在相机坐标系下的方位角为俯仰角为θc，计算方位角为/>和俯仰角为θc的公式为：
S33：当和θc分别在相机的视场角内，且/>时，相机的视角调节完毕，然后进行S4和S5的步骤；否则将装置绕zc逆时针转动/>绕yc顺时针转动θc后，再进行S31-S33的步骤至满足条件。
在本实施例中，相机的视角能够在得到无人机的初步方位角与俯仰角的数据后调节，使得相机能够采集到无人机的图像信息，可克服了传统仅仅使用相机作为检测件1而存在的视场盲区的问题；同时，也为后续的计算无人机的精准位置提供技术支持。
为本申请一个优选的实施例，通过图像采集件内参矩阵得到无人机的预检测区域的方法包括：
S41：通过相机内参矩阵可以得到S′(x0,y0,z0)在相机像素坐标系的位置：
S42：根据R以及相机的分辨率设定预检测区域阈值ε，预检测区域中的像素点满足：
在本实施例中，通过麦克风阵列获取的声信号来确定图像的预检测区域以及距离信息，能够有效缩小了检测区域，提升了定位效率与准确度，克服单目相机尺度信息缺失；设置多目相机存在成本高的问题。
作为本申请一个优选的实施例，对无人机的预测区域使用深度学习进行无人机识别，得到人机的准确位置的方法包括：
S51：对预检测区域进行无人机识别，记识别出的目标二维框中心点为(ucp,vcp)，记无人机的准确坐标为
S52：根据相机内参矩阵解算出的坐标值，公式为：
其中以S31中的z0作为物距。
在本实施例中，在确定了预检测区域后，通过相机内参矩阵解算出无人机的准确坐标
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
此外，应当理解，虽然本发明按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，本发明的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将本发明作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述方法包括以下步骤：
S1：七元阵列设置多个声音采集件，将图像采集件间隔设置在其中一个声音采集件一侧；
S2：通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到无人机的初步位置；
S3：通过无人机的初步位置将图像采集件的视角调节至可以采集到无人机的角度；
S4：通过图像采集件内参矩阵得到无人机的预检测区域；
S5：对无人机的预测区域使用深度学习进行无人机识别，得到人机的准确位置。
2.根据权利要求1所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述S1中，声音采集件包括麦克风，图像采集件包括相机。
3.根据权利要求2所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述步骤S1中，麦克风和相机均安装在平台坐标系b中xb、yb和zb三轴上，其中相机中心位于yb轴上，相机坐标系c的yc轴与yb轴重合，xc与xb平行，zb与zc平行。
4.根据权利要求2所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述S2中，得到无人机的初步位置包括无人机的初步方位角与俯仰角。
5.根据权利要求4所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述S2中通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到无人机的初步方位角与俯仰角的方法包括：
S21：记麦克风七元阵列M0,M1…M6的安装位置分别为M0(0,0,0)、M1(D,0,0)、M2(-D,0,0)、M3(0,D,0)、M4(-D,0,0)、M5(0,0,D)和M6(0,0,-D)，设空间坐标系中无人机声源的坐标为S(x,y,z)，无人机声源的方位角为无人机俯仰角为θ，无人机声源与每个麦克风阵元之间的距离表示为方程(1)：
S22：对麦克风七元阵列获取的声信号进行处理，得到阵元Mi(i＝1,2...6)与中心阵元M0之间时间延迟τi，满足方程(2)：
SMi-SM0＝vcτi (2)；
其中vc为声速，取vc＝340m/s；
S23：结合方程(1)和方程(2)可以得到：
6.根据权利要求5所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述S2中通过多个声音采集件获取的声信号对无人机的位置进行初步解算，得到无人机的初步方位角与俯仰角的方法还包括：
S24：记R＝SM0，由声信号解算得到无人机初步坐标为
7.根据权利要求6所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述S3中通过无人机的初步位置将图像采集件的视角调节至可以采集到无人机的角度的方法包括：
S31：记相机水平视场角为α，垂直视场角为β，光心坐标为M7(0,L,0)，设无人机初步坐标S点在相机坐标系下的位置为S′(x0,y0,z0)，满足公式：
S32：记无人机的坐标S′在相机坐标系下的方位角为俯仰角为θc，计算方位角为/>和俯仰角为θc的公式为：
S33：当相机的视角调节至和θc分别在相机的视场角内，且/>θc∈β时，相机的视角调节完毕。
8.根据权利要求7所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述S4中通过图像采集件内参矩阵得到无人机的预检测区域的方法包括：
S41：通过相机内参矩阵可以得到S′(x0,y0,z0)在相机像素坐标系的位置：
S42：根据R以及相机的分辨率设定预检测区域阈值ε，预检测区域中的像素点满足：
9.根据权利要求8所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述S5中对无人机的预测区域使用深度学习进行无人机识别，得到人机的准确位置的方法包括：
S51：对预检测区域进行无人机识别，记识别出的目标二维框中心点为(ucp,vcp)，记无人机的准确坐标为
S52：根据相机内参矩阵解算出的坐标值，公式为：
其中以S31中的z0作为物距。
10.一种基于声信号与图像融合的无人机识别与定位装置，应用于权利要求1-9任意一项所述的一种基于声信号与图像融合的无人机识别与定位方法，其特征在于，所述装置包括检测件(1)、转向机构(2)和检测平台(3)，所述检测件(1)通过转向机构(2)安装在检测平台(3)上，所述检测件(1)包括图像采集件和声音采集件，所述转向机构(2)用于调节图像采集件的角度。
CN202211620708.8A 2022-12-16 2022-12-16 一种基于声信号与图像融合的无人机识别与定位方法 Pending CN116543141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211620708.8A CN116543141A (zh) 2022-12-16 2022-12-16 一种基于声信号与图像融合的无人机识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211620708.8A CN116543141A (zh) 2022-12-16 2022-12-16 一种基于声信号与图像融合的无人机识别与定位方法

Publications (1)

Publication Number Publication Date
CN116543141A true CN116543141A (zh) 2023-08-04

Family

ID=87445792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211620708.8A Pending CN116543141A (zh) 2022-12-16 2022-12-16 一种基于声信号与图像融合的无人机识别与定位方法

Country Status (1)

Country Link
CN (1) CN116543141A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117452336A (zh) * 2023-10-25 2024-01-26 东北大学 一种无人机声事件检测定位装置
CN117452336B (zh) * 2023-10-25 2024-06-04 东北大学 一种无人机声事件检测定位装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076331A (zh) * 2014-06-18 2014-10-01 南京信息工程大学 一种七元麦克风阵列的声源定位方法
CN104281157A (zh) * 2013-07-05 2015-01-14 天津浩洋环宇科技有限公司 无线追踪数码相机
WO2018020965A1 (ja) * 2016-07-28 2018-02-01 パナソニックＩｐマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法
CN110065074A (zh) * 2019-05-29 2019-07-30 北京禾泽方圆智能科技有限公司 一种采摘机器人的视觉伺服激光定位系统及方法
CN111083360A (zh) * 2019-12-09 2020-04-28 北京航空航天大学杭州创新研究院 一种基于像素坐标的摄像监视设备匹配控制方法
CN112270680A (zh) * 2020-11-20 2021-01-26 浙江科技学院 基于声音和图像融合的低空无人机探测的方法
CN113281706A (zh) * 2021-04-02 2021-08-20 南方科技大学 一种目标定位方法、装置及计算机可读存储介质
CN114900609A (zh) * 2022-04-29 2022-08-12 北京数字绿土科技股份有限公司 一种无人机的自动化拍摄控制方法和系统
CN115314609A (zh) * 2022-06-21 2022-11-08 中南大学 一种铝电解槽火眼视频的自动化采集方法和装置
CN115357052A (zh) * 2022-10-19 2022-11-18 复亚智能科技(太仓)有限公司 一种无人机自动探索视频画面中兴趣点的方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281157A (zh) * 2013-07-05 2015-01-14 天津浩洋环宇科技有限公司 无线追踪数码相机
CN104076331A (zh) * 2014-06-18 2014-10-01 南京信息工程大学 一种七元麦克风阵列的声源定位方法
WO2018020965A1 (ja) * 2016-07-28 2018-02-01 パナソニックＩｐマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法
CN110065074A (zh) * 2019-05-29 2019-07-30 北京禾泽方圆智能科技有限公司 一种采摘机器人的视觉伺服激光定位系统及方法
CN111083360A (zh) * 2019-12-09 2020-04-28 北京航空航天大学杭州创新研究院 一种基于像素坐标的摄像监视设备匹配控制方法
CN112270680A (zh) * 2020-11-20 2021-01-26 浙江科技学院 基于声音和图像融合的低空无人机探测的方法
CN113281706A (zh) * 2021-04-02 2021-08-20 南方科技大学 一种目标定位方法、装置及计算机可读存储介质
CN114900609A (zh) * 2022-04-29 2022-08-12 北京数字绿土科技股份有限公司 一种无人机的自动化拍摄控制方法和系统
CN115314609A (zh) * 2022-06-21 2022-11-08 中南大学 一种铝电解槽火眼视频的自动化采集方法和装置
CN115357052A (zh) * 2022-10-19 2022-11-18 复亚智能科技(太仓)有限公司 一种无人机自动探索视频画面中兴趣点的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯仕轩: "基于麦克风阵列的无人机定位方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, pages 031 - 611 *
宋丽梅 等: "《机器视觉与机器学习：算法原理、框架应用与代码实现》", 30 June 2020, 机械工业出版社, pages: 103 - 105 *
毛琳;曾庆超;张静;: "实时视频定位的麦克风阵列参数初始化算法", 大连民族大学学报, no. 05, pages 482 - 485 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117452336A (zh) * 2023-10-25 2024-01-26 东北大学 一种无人机声事件检测定位装置
CN117452336B (zh) * 2023-10-25 2024-06-04 东北大学 一种无人机声事件检测定位装置

Similar Documents

Publication Publication Date Title
US11486548B2 (en) System for detecting crack growth of asphalt pavement based on binocular image analysis
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN108447075B (zh) 一种无人机监测系统及其监测方法
CN106403900B (zh) 飞行物追踪定位系统及方法
CN104902246A (zh) 视频监视方法和装置
CN101563581A (zh) 用于图像中的平面对象的识别和位置确定的方法和设备
CN113359097A (zh) 一种毫米波雷达和相机联合标定的方法
CN105203023A (zh) 一种车载三维激光扫描系统安置参数的一站式标定方法
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN112270680A (zh) 基于声音和图像融合的低空无人机探测的方法
AU2019353165B2 (en) Optics based multi-dimensional target and multiple object detection and tracking method
CN114252884A (zh) 路侧雷达定位监测方法、装置、计算机设备和存储介质
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
TWI632347B (zh) 立體影像與雷射掃描測距整合方法
CN110426675A (zh) 一种基于图像处理的声相仪声源定位结果评定方法
TWM552589U (zh) 雷射全斷面掃描測距裝置
CN114252859A (zh) 目标区域的确定方法、装置、计算机设备和存储介质
CN114252883A (zh) 目标检测方法、装置、计算机设备和介质
CN116543141A (zh) 一种基于声信号与图像融合的无人机识别与定位方法
CN111402324B (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN107727059B (zh) 目标位置确定系统及目标方位确定装置
CN114485613B (zh) 一种多信息融合水下机器人定位方法
RU126846U1 (ru) Устройство пеленгации и определения координат беспилотных летательных аппаратов
CN112378385B (zh) 一种关注信息的位置确定方法、装置、介质及电子设备
CN113763457B (zh) 落差地形的标定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination