CN113281706A - 一种目标定位方法、装置及计算机可读存储介质 - Google Patents
一种目标定位方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113281706A CN113281706A CN202110362098.5A CN202110362098A CN113281706A CN 113281706 A CN113281706 A CN 113281706A CN 202110362098 A CN202110362098 A CN 202110362098A CN 113281706 A CN113281706 A CN 113281706A
- Authority
- CN
- China
- Prior art keywords
- sound source
- information
- positioning
- target
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 230000003287 optical effect Effects 0.000 claims description 28
- 230000004807 localization Effects 0.000 claims description 21
- 230000001360 synchronised effect Effects 0.000 claims description 20
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 238000003032 molecular docking Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种目标定位方法、装置及计算机可读存储介质，所述方法包括：采集环境中的声源信息；根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息；对所述粗定位信息对应的声源区域进行画面检测，生成所述声源物品对应的定位图像；和/或，对所述粗定位信息对应的声源区域进行扫描定位，生成所述声源物品对应的雷达信息；根据所述定位图像和/或所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标。本发明联合了声源，以及图像和/或雷达，实现对无人机的精确定位。
Description
技术领域
本发明涉及目标定位领域，尤其涉及一种目标定位方法、装置及计算机可读存储介质。
背景技术
近年来，随着无人机的普及和民用化，越来越多的无人机出现在人们生活环境中。由于无人机具有体积小、飞行速度快、难以拦截等特点，也带来了各种难以预料的低空安全隐患，因此加强对无人机的监管对低空领域的安全防范尤为重要。传统的对航空器件的监管主要通过雷达检测系统实现，但雷达监测系统无法对小目标物体进行精确监测和区分。故也有人提出了通过相机进行无人机的识别，从而达到检测的效果。结合计算机视觉技术来检测物体是当下目标检测领域的最热门方法，这也是现有无人机检测相关专利技术中的主流方法，例如《一种基于深度学习的无人机检测方法》(CN201811587293.2)，《一种结合成像仿真技术的可移植的无人机检测系统》(CN201811649068.7)。然而纯计算机视觉的方法在实际情况中受限于相机的光学性能限制，有效视场(Field of View，FOV)角有限导致只能检测局部区域，并且对外界光线较为敏感，无论是高光还是暗光，对拍摄后的图像都会造成一定的影响，因此鲁棒性差。
因此，目前的对无人机的检测极易受到外界干扰，因此无法准确对无人进行定位，现有的无人机检测技术需要继续优化。
发明内容
本发明的主要目的在于提供一种目标定位方法、装置及计算机可读存储介质，旨在解决现有技术中无人机检测精确度低的问题。
为实现上述目的，本发明提供一种目标定位方法，所述目标定位方法包括如下步骤：
采集环境中的声源信息；
根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息；
对所述粗定位信息对应的声源区域进行画面检测，生成所述声源物品对应的定位图像；和/或，
对所述粗定位信息对应的声源区域进行扫描定位，生成所述声源物品对应的雷达信息；
根据所述定位图像和/或所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标。
可选地，所述的目标定位方法，其中，所述声源信息包括麦克风阵列中的各个麦克风阵元采集的音频信息；所述根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息，具体包括：
根据预设的筛选规则，对所述声源信息进行筛选，得到若干个目标声源；
针对每一个所述目标声源，对该目标声源进行时间同步，得到同步声源；
针对每一个所述同步声源，对该同步声源进行声源定位，得到所述声源物品对应的粗定位信息。
可选地，所述的目标定位方法，其中，所述根据预设的筛选规则，对所述声源信息进行筛选，得到若干个目标声源，具体包括：
针对每一个音频信息，对该音频信息进行频域转换，生成该音频信息对应的频谱信息；
将该频谱信息输入已训练的声源检测模型中，并通过所述声源检测模型对该频谱信息进行声源识别，确定所述音频信息是否包含目标音频；
若是，则确定该音频信息为目标声源。
可选地，所述的目标定位方法，其中，所述音频信息包括标定信息，所述标定信息为采集标定音频得到的信息，其中，所述标定音频为根据预设的播放时刻播放的预设的规则音频；所述针对每一个所述目标声源，对该目标声源进行时间同步，得到同步声源，具体包括：
针对每一个所述目标声源，根据该目标声源中的标定信息，对该目标声源进行相位补偿，得到所述同步声源。
可选地，所述的目标定位方法，其中，所述对所述粗定位信息对应的声源区域进行扫描定位，生成所述声源物品对应的雷达信息，具体包括：
根据所述定位图像，确定所述声源物品的光学坐标；
根据所述光学坐标，进行扫描定位，得到雷达信息。
可选地，所述的目标定位方法，其中，所述根据所述定位图像和所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标，具体包括：
根据所述定位图像，确定所述声源物品的光学坐标；
根据所述雷达信息，确定所述声源物品对应的雷达距离；
根据所述光学坐标和所述雷达距离，确定所述声源物品对应的声源坐标。
可选地，所述的目标定位方法，其中，所述根据所述定位图像，确定所述声源物品的光学坐标，具体包括：
将所述定位图像输入已训练的目标检测模型中，并通过所述物品检测模型对所述定位图像进行目标检测，得到所述声源物品的光学坐标。
此外，为实现上述目的，本发明还提供一种目标定位装置，其中，所述定位装置包括声源采集组件、云台、处理器和精定位组件，其中，所述精定位组件包括摄像头和/或激光雷达；
所述声源采集组件、所述云台、所述精定位组件分别与所述处理器通讯连接；
所述声源采集组件用于对环境进行音频采集，生成所述声源信息并发送至所述处理器；
所述处理器用于根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息并发送至所述云台；以及，
当检测到所述摄像组件发送的定位图像和/或所述激光雷达组件发送的雷达信息时，根据所述定位图像和/或所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标；
所述云台用于当检测到所述处理器发送的粗定位信息时，旋转所述精定位组件至所述精定位组件的工作区域包含所述声源区域；和/或，
当所述工作区域包含所述声源区域时，发送拍摄指令至所述摄像头，以及发送扫描指令至所述激光雷达；
所述摄像头用于当检测到所述拍摄指令时，对所述声源区域进行画面检测，生成所述定位图像并发送至所述处理器；
所述激光雷达用于当检测所述扫描指令时，对所述声源区域进行扫描，生成所述雷达信息并发送至所述处理器。
可选地，所述的目标定位装置，其中，所述声源采集组件包括基部以及分布于所述基部的麦克风阵列，所述基部的形状包括片状、球体和/或若干个球体组成的球组。
可选地，所述的目标定位装置，其中，所述声源采集组件与所述云台旋转连接；所述云台还用于旋转所述声源采集组件。
可选地，所述的目标定位装置，其中，所述麦克风阵列中的各个麦克风阵元在所述基部上呈不规则分布。
可选地，所述的目标定位装置，其中，所述定位装置还包括外放组件，所述外放组件与所述处理器通讯连接；
所述处理器还用于根据预设的外放时刻，向所述外放组件发送外放指令；
所述外放组件用于当检测到所述外放指令时，播放预设的规则音频。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有目标定位程序，所述目标定位程序被处理器执行时实现如上所述的目标定位方法的步骤。
本发明首先通过麦克风组件采集环境中的声源信息，基于目前的无人机在飞行时会震荡空气产生声音，因此根据声源信息，可对声源信息对应的声源物品，也就是无人机进行定位。由于麦克风组件不受视野的限制，可实现全方位的检测，且不受光线影响，因此可有效地检测出无人机的存在。但另一方面，基于麦克风组件的检测精度低，只能定位一个较大的范围，也就是声源物品所对应的粗定位信息，因此本发明在粗定位信息的基础上上，控制摄像机对粗定位信息对应的区域进行画面检测，以及激光雷达对该区域进行扫描，分别得到定位图像和雷达信息，然后根据定位图像进行图像定位，以及根据雷达信息进行雷达定位，从而计算得到声源物品更为精确的位置。本发明结合了声源定位、图像定位和/或雷达定位，通过对三者的结合，实现精确定位。
附图说明
图1是本发明目标定位方法提供的较佳实施例的流程图；
图2为本发明装置的较佳实施例的运行环境示意图；
图3是基于声达时差定位方法的原理示意图；
图4是本发明目标定位方法提供的较佳实施例中远场场景下生源定位模型；
图5是本发明目标定位方法提供的较佳实施例中近场场景下生源定位模型；
图6是本发明目标定位方法提供的较佳实施例中对音频信息进行频域转换的示意图；
图7是本发明目标定位方法提供的较佳实施例中声源检测模型的处理示意图；
图8是本发明目标定位方法提供的较佳实施例中获取雷达信息和光学坐标的示意图；
图9为本发明装置的较佳实施例的结构示意图；
图10为本发明装置的较佳实施例中平面的声源采集组件的结构示意图；
图11为本发明装置的较佳实施例中球体的声源采集组件的结构示意图；
图12为本发明装置的较佳实施例中分布式分布的球体声源采集组件的结构示意图；
图13为本发明装置的较佳实施例的云台转动和采集声源的示意图；
图14为本发明装置的较佳实施例中麦克风阵元之间的连接方式；
图15为本发明装置的较佳实施例中对麦克风阵列采集的声源进行放大的示意图；
图16为本发明装置的较佳实施例中确定麦克风阵列中每一个麦克风郑源的位置坐标的示意图；
图17为本发明装置的较佳实施例中通过外放设备发出的规则音频进行信息同步的示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的目标定位方法，该目标定位方法可通过目标定位装置实现。如图1和图2所示，所述目标定位方法包括以下步骤：
步骤S100，采集环境中的声源信息。
具体地，在本实施例中，目标定位装置实时采集环境中的声源信息。采集可通过声源采集组件实现，声源采集组件可采用麦克风阵列、声强探头等，本实施例优选的声源采集组件为麦克风阵列。麦克风阵列包含若干个麦克风阵元，每一个麦克风阵元都会采集环境中的音频，生成音频信息。因此，本实施例中的声源信息包括各个麦克风阵元采集的音频信息。
步骤S200，根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息。
具体地，得到声源信息后，先根据声源信息，对发出该声源信息的声源物品进行粗定位。
得到声源信息后，利用多个麦克风阵元之间的信号相位差，可计算声源物品的位置，即粗定位信息。可采用的计算方式包括基于波束形成的定位方法；基于高分辨率谱估计的定位方法；基于声达时差(Time Difference of Arrival，TDOA)的定位方法，上述三种方式都可实现对声源物品的粗定位，本实施例以基于TDOA的定位方法为例进行粗定位过程的说明。其过程为：
预设的筛选规则，对所述声源信息进行筛选，得到若干个目标声源；
针对每一个所述目标声源，对该目标声源进行时间同步，得到同步声源；
针对每一个所述同步声源，对该同步声源进行声源定位，得到所述声源物品对应的粗定位信息。
在本发明的第一种实施方式中，先预先设定一筛选规则，对所述声源信息进行筛选，得到若干个目标声源。对声源信息的筛选可视为一种声音事件的监测，声音事件监测是指在长时序音频输入中检测出特定发生的事件，只有检测到特定发生的事件时，才进行后续的计算等工作。本实施例中的筛选规则可基于声音的强度、振幅、频域或者音频特征等方面设置。
声源定位是指对发出声源的位置进行定位，以基于TDOA的定位方法的原理描述本实施例的声源定位过程。如图3所示，对于在二维平面上分布的不同位置的麦克风阵元，同一个声源发出的声波到达不同麦克风阵元所用的路径长短不同，而在同样的声速下，从发出到麦克风阵元的时间也不同，因此可以以麦克风阵元接收到声波的时间差来估测声源的空间位置，称为声达时差定位技术。此类声源定位算法主要分两步，首先要获取不同传感器阵元间的声音延迟，在结合已知的传感器阵列空间位置来定位声源位置。
音源定位的模型根据音源距离分为远场模型和近场模型，以远场模型为例。如图4所示，远场模型将声源到达麦克风阵列的波形视为平面波，其中，y1(k)和y2(k)为两个分布距离为d的麦克风阵元，x1(k)为声波从声源物品到麦克风阵元y1(k)的路径，x2(k)为声波从声源物品到麦克风阵元y2(k)的路径，由于声源到达麦克风阵列的波形视为平面波，因此根据几何关系，声源物品与两个麦克风阵元之间的夹角的计算公式为
其中，c为声速，
其中，τ1和τ2分别为声波到达y1(k)和y2(k)的时刻，得到了麦克风阵元之间的夹角后，根据预先设定的麦克风阵元的位置坐标，即可确定声源物品位于所述麦克风阵列的方位，从而得到粗定位信息。以近场模型为例，如图5，其中，y1(k)、y2(k)和y3(k)是三个麦克风阵元，y2(k)分别与y1(k)和y3(k)距离为d，xn(k)为声源物品到达yn(k)的路径，θn是路径xn(k)与麦克风阵元yn(k)所在平面的夹角，rn是路径xn(k)的长度，其中n＝1、2和3。由三角形集合公式可得：
联合上述公式以及余弦定理，即可求得θ2和θ3，结合r2和r3即可粗略求得声源物品与麦克风阵列的方位与距离，在已经麦克风阵列中各个阵元的坐标的基础上，可进一步求得声源物品存在的一个大致范围，即粗定位信息。
基于TDOA进行粗定位的关键在于时延计算的准确性，如果麦克风阵元在记录采集时刻是不一致时，必然导致距离误差的加大。因此在得到目标声源后，首先针对每一个目标声源，对该目标声源进行时间同步，得到同步声源。目前的同步方式可以采用广播信号、脉冲调制等方式。但广播信号不适用麦克风阵列，需要对硬件进行较大改进，而脉冲调制是通过电荷累计计算时间，对物理硬件要求较高。因此本实施例采用规则音频的方式进行。在预设的外放时刻外放预设的一个规则音频，由于外放与麦克风阵列距离非常接近，因此，麦克风阵列中的阵元是几乎同时采集到规则音频，因此这一规则音频可以作为每一个麦克风阵列采集到的音频信息中的标定信息。外放时刻可通过设定一个外放周期实现，例如3s外放一次，则第1s作为外放时刻外放一次后，第4s作为下一个外放时刻进行下一次外放。进一步的，控制外放可通过脉冲触发实现，以提高时间的精确度。在确定目标声源后，针对每一个所述目标声源，根据该目标声源中的标定信息，对该目标声源进行相位补偿，以每个目标声源对应的时间是一致的，从而得到同步声源。
在得到同步声源后，基于上述计算原理，针对每一个所述同步声源，对该同步声源进行时延估计，计算该同步声源与其他的同步声源之间的时间差，最后根据各个所述同步声源对应的时间差和麦克风阵元的阵元坐标，计算所述声源物品对应的粗定位信息。
由于麦克风阵列在不停地采集音频，若每一个采集的音频都进行上述的粗定位，会消耗大量的计算资源且效率低下。进一步地，本实施例中的声音筛选规则为基于音频特征实现。具体过程为：
针对每一个音频信息，对该音频信息进行频域转换，生成该音频信息对应的频谱信息；
将该频谱信息输入已训练的声源检测模型中，并通过所述声源检测模型对该频谱信息进行声源识别，确定所述音频信息是否包含目标音频；
若包含，则确定该音频信息为目标声源。
具体地，首先将麦克风阵列中的每一个麦克风阵元获取的音频信息进行频域转换，将原始的时域形式的音频信息转换为频域形式。频域转换的方式很多，例如目前常用的短时傅里叶变换，如图6所示，先将音频信息切分为多个短音频的形式，该短音频的长度可以自行设定，例如以一帧为长度，然后加上窗函数，减少切片帧切除收到非信号周期长度的影响，然后对每一个加窗后的短音频进行傅里叶变换，得到多个频域结果，然后对这些频域结果进行堆叠，得到该音频信息对应的频谱图，即频谱信息。
得到频谱信息后将该频谱信息输入已训练的声源检测模型中，通过声源检测模型来进行声源识别，以判断输入的音频信息是否包含目标音频。本实施例中的声源检测模型可以是基于深度学习得到的模型，也可以与预设的数据库进行相关计算实现目标音频识别的模型。以深度学习得到的模型为例进行描述。如图7所示，该模型的主体为一个卷积神经网络，输入的是频谱图，即频谱信息，输出的是频谱信息中为包含目标物品频谱图，本实施例中目标物品即无人机，以及包含的是空白噪音的频谱图的概率，可简单表示为(p1，p2)，其中，p1表示包含目标物品的频谱图的概率，p2表示包含空白噪音的频谱图的概率，p值的范围为[0，1]。在对模型进行训练时，训练样本为大量的目标物品运行时的音频，并基于训练样本对原始的卷积模型进行参数调整，从而得到已训练的声源检测模型。
若通过声源检测模型判断音频信息中包含有目标音频，也就是说，音频信息中包含了无人机飞行时的声音，则确定该音频信息包含了无人机飞行时的声音，因此将该音频信息确定为目标声源，只有目标声源进行后续的粗定位。通过以上方式，可实现一个高精度的无人机音频事件监测，减轻计算量以及提高计算精确度。
步骤S300，对所述粗定位信息对应的声源区域进行画面检测，生成所述声源物品对应的定位图像；和/或，对所述粗定位信息对应的声源区域进行扫描，生成所述声源物品对应的雷达信息。
步骤S400，根据所述定位图像和/或所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标。
具体地，在得到粗定位信息后，也就是声源物品大致存在的区域，也就是声源区域，进行画面检测和/或扫描，分别生成该声源物品对应的定位图像和/或雷达信息。
在本实施例的第一种实现方式中，画面检测采用的方式是对这一区域进行拍照，只对声源物品进行拍照，目前可进行摄像头的定位算法很多，例如基于单目摄像头的算法，基于双目摄像头的定位算法等等。以单目摄像头为例，拍摄后得到的定位图像为彩色图像。预先设定已知长度和已知距离的物品作为标定物，在拍摄过程将该标定物也拍入定位图像中。得到定位图像后，先通过预先设定的目标检测模型目标检测出定位图像中的标定物和声源物品，然后基于标定物的长度和距离，计算声源物品的距离，从而得到声源物品对应的光学坐标，将该光学坐标作为声源物品对应的声源坐标。除单目摄像头外，深度摄像头，或者双目摄像头都可作为拍摄工具。
在本实施例的第二种实现方式中，只对声源区域进行雷达扫描，目前雷达扫描已较为常见，本实施例采用常见的激光发射器为例进行说明，激光发射向声源区域发射激光脉冲，再由光电元件接收声源物品返回的激光，同时计算从发射到接收的时间，得到雷达信息。基于雷达信息和之前的声源区域，可进一步对声源物品进行精定位，生成声源坐标。
在本实施例的第三种实现方式中，如图8所示，在得到定位图像后，先确定所述声源物品的光学坐标。在第三种实现方式中的光学坐标可以为如第一种实现方式那种三维坐标，也可以是单纯基于图像的二维坐标。通过物体识别算法，可识别定位图像中的声源物品，从而识别出定位图像中的物品以及确定该声源物品在定位图像中的具体位置坐标，即本实现方式中的光学坐标。得到光学坐标后，对该光学坐标所在区域进行雷达扫描定位，从而得到如第二种实现方式所述的雷达信息。基于雷达信息和二维光学坐标，可进一步确定声源物品的精确位置，得到声源物品的声源坐标。
进一步地，本实现方式中的物体识别定位通过基于深度学习训练得到的目标检测模型所实现，基于深度学习的目标检测算法有很多种，基于目标检测模型的检测类型还包括单次检测型(one-stage detection)、二次检测型(two-stage detection)以及多次检测型(multi-stage detection)。本实施例采用基于单次检测型(one-stage detection)的深度学习模型作为目标检测模型，进行物体识别定位的说明。将所述定位图像输入已训练的目标检测模型中，并通过所述物品检测模型对所述定位图像进行目标检测，得到所述声源物品的光学坐标。目标检测模型输出两个部分，分别由分类器输出和回归器输出。先对定位图像设定多个不同大小的锚框，然后对每个锚框是否包含目标，即无人机，分类器通过边框过滤，判断定位图像中是否包含声源物品，也就是无人机，若不包含，光学坐标自然是空，可不再进行后续的雷达扫描。若是，回归器会通过对锚框的调整等方式定位图像中无人机的坐标。在对目标检测模型进行训练时，训练样本为一定数量的无人机图像，对训练样本的标定为标注无人机的坐标。
在本实施例的第四种实现方式中，由于视野容易受到遮蔽物和光线的干扰，因此，拍摄与雷达扫描同时进行，得到定位图像和雷达信息。根据定位图像，确定声源物品的光学坐标。根据所述雷达信息，确定声源物品对应的雷达距离。然后结合光学坐标和雷达距离，确定声源对应的声源物品对应的声源坐标。具体计算光学坐标和雷达信息的过程可参阅前三种实现方式，在此不在赘述。
进一步地，如图9所述，基于上述目标定位方法，本发明还相应提供了一种目标定位装置，所述目标定位装置用于执行上述的目标定位方法，基于该方法，所述目标定位装置包括声源采集组件100、云台300、处理器200和精定位组件400，所述声源采集组件100、所述云台300、所述精定位组件400分别与所述处理器200通讯连接。图9仅示出了目标定位装置的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述声源采集组件100用于对环境进行音频采集，生成所述声源信息并发送至所述处理器200。
所述处理器200用于根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息并发送至所述云台300；以及当检测到所述摄像组件发送的定位图像和/或所述激光雷达420组件发送的雷达信息时，根据所述定位图像和/或所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标；
所述云台300用于当检测到所述处理器200发送的粗定位信息时，旋转所述精定位组件400至所述精定位组件400的工作区域包含所述声源区域；和/或，
当所述工作区域包含所述声源区域时，发送拍摄指令至所述摄像头410，以及发送扫描指令至所述激光雷达420；
所述摄像头410用于当检测到所述拍摄指令时，对所述声源区域进行拍照，生成所述定位图像并发送至所述处理器200；
所述激光雷达420用于当检测所述扫描指令时，对所述声源区域进行扫描，生成所述雷达信息并发送至所述处理器200。
具体地，目标定位装置的具体工作流程可参阅前文的目标定位方法，在此不再赘述。其中，所述云台300分别与所述摄像头410和所述激光雷达420的连接处可进行旋转，以实现旋转摄像头410和激光雷达420。此外，摄像组件与雷达组件与处理器200的通讯连接可以采用图9所示的直接连接，也可以通过云台300进行中转连接。
本实施例中，声源采集组件100优选为基于麦克风阵列的定位组件，包括基部和分布于所述基部的麦克风阵列。基部的形状可以包括片状，片状包括分布面为平整的片状或分布面为不平整的片面，若为平整的片面则如图10所示，每一个圆标示一个麦克风阵元，主要用于侦测麦克风阵元所在平面以上的声源。还可包括球体，如图11所示，可以实现360°侦测，实现对方向角和垂直角方向的声源的采集。基部还可以是由若干个球体组成的球组，如图12所示，球体呈分布式分布，可以进行更广范围的声源的采集，在定位上也更为准确。此外，若采用的是片状的基部，为探测不同方向的声源，声源采集组件100可与云台300旋转连接，如图13所示，云台300可用于旋转声源采集组件100。
进一步地，本实施例中，麦克风阵元通过并联的方式接入处理器200，如图14所示，通过这种并联的方式提升整个麦克风阵列的信噪比。由于无人机常常距离麦克风阵列较远，因此本实施例中的麦克风阵列还采用多级放大和多级采集电路，以提高动态信号探测。如图15所示，通过多个放大器，实现对采集的音频进行级联放大，其中，图中的fmin和fmax分别表示最小功率和最大功率，Vmin和Vmax分别标识最小电压和最大电压。此外，由于麦克风阵列中麦克风阵元之间的距离并不远，因此在采集是存在空间重复采样，以及声音混叠。为了对麦克风阵列所采集的音频进行优化，实现主瓣最大、旁瓣最小，打破常规的麦克风阵列的周期性，如图16所示，在麦克风阵列中麦克风阵元的分布是不规则分布。虽然称为不规则分布但不是随机分布，而是对阵列增益构建为麦克风位置的非线性函数，将麦克风阵列的位置布局作为参数变量，构造用于评价波束成型效果好坏的损失函数。此时会出现若干个局部最大值，本实施例后续采用启发式搜索求最优解，例如针对麦克风阵列的遗传算法，最终得到的解即每一个麦克风阵元的分布位置。经过不规则分布，每一个麦克风阵元所采集的音频分辨率更高，对声源物品更具有相对性，在后续进行定位时也更为准确。在保证麦克风阵元的基础上，极大的减少了麦克风阵元的数量，而降低了麦克风阵列的成本。
此外，本实施例中的目标定位装置还包括外放组件，外放组件与处理器200通讯连接。所述处理器200还用于根据预设的外放时刻，向所述外放组件发送外放指令。当接收到外放指令时，所述外放组件播放预设的规则音频。规则音频用于定位，由于预先知道外放时刻，因此声源采集组件100即可采集包含标定信息的音频信息。如图17所示，本实施例中的外放组件可包括蜂鸣器、扩音器等。外放指令可以触发脉冲的形式发送，以提高时刻的精确度。其中，MCU为微控制单元(Microcontroller Unit)，处理器200的一种形式，也可称为数据采集处理器200；Actor是指声源物品；Mic array是指麦克风阵列(Microphone Array)；Encoded audio是指外放组件，包括蜂鸣器等；trigger指外放指令，图中的外放指令的形式为触发脉冲。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有目标定位程序，所述目标定位程序被处理器执行时实现如上所述的目标定位方法的步骤。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (13)
1.一种目标定位方法，其特征在于，所述目标定位方法包括：
采集环境中的声源信息；
根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息；
对所述粗定位信息对应的声源区域进行画面检测，生成所述声源物品对应的定位图像；和/或，
对所述粗定位信息对应的声源区域进行扫描定位，生成所述声源物品对应的雷达信息；
根据所述定位图像和/或所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标。
2.根据权利要求1所述的目标定位方法，其特征在于，所述声源信息包括麦克风阵列中的各个麦克风阵元采集的音频信息；所述根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息，具体包括：
根据预设的筛选规则，对所述声源信息进行筛选，得到若干个目标声源；
针对每一个所述目标声源，对该目标声源进行时间同步，得到同步声源；
针对每一个所述同步声源，对该同步声源进行声源定位，计算得到所述声源物品对应的粗定位信息。
3.根据权利要求2所述的目标定位方法，其特征在于，所述根据预设的筛选规则，对所述声源信息进行筛选，得到若干个目标声源，具体包括：
针对每一个音频信息，对该音频信息进行频域转换，生成该音频信息对应的频谱信息；
将该频谱信息输入已训练的声源检测模型中，并通过所述声源检测模型对该频谱信息进行声源识别，确定所述音频信息是否包含目标音频；
若是，则确定该音频信息为目标声源。
4.根据权利要求2所述的目标定位方法，其特征在于，所述音频信息包括标定信息，所述标定信息为采集标定音频得到的信息，其中，所述标定音频为根据预设的播放时刻播放的预设的规则音频；所述针对每一个所述目标声源，对该目标声源进行时间同步，得到同步声源，具体包括：
针对每一个所述目标声源，根据该目标声源中的标定信息，对该目标声源进行相位补偿，得到所述同步声源。
5.根据权利要求4所述的目标定位方法，其特征在于，所述对所述粗定位信息对应的声源区域进行扫描定位，生成所述声源物品对应的雷达信息，具体包括：
根据所述定位图像，确定所述声源物品的光学坐标；
根据所述光学坐标，进行扫描定位，得到雷达信息。
6.根据权利要求4所述的目标定位方法，其特征在于，所述根据所述定位图像和所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标，具体包括：
根据所述定位图像，确定所述声源物品的光学坐标；
根据所述雷达信息，确定所述声源物品对应的雷达距离；
根据所述光学坐标和所述雷达距离，确定所述声源物品对应的声源坐标。
7.根据权利要求5所述的目标定位方法，其特征在于，所述根据所述定位图像，确定所述声源物品的光学坐标，具体包括：
将所述定位图像输入已训练的目标检测模型中，并通过所述物品检测模型对所述定位图像进行目标检测，得到所述声源物品的光学坐标。
8.一种目标定位装置，其特征在于，所述定位装置包括声源采集组件、云台、处理器和精定位组件，其中，所述精定位组件包括摄像头和/或激光雷达；
所述声源采集组件、所述云台、所述精定位组件分别与所述处理器通讯连接；
所述声源采集组件用于对环境进行音频采集，生成所述声源信息并发送至所述处理器；
所述处理器用于根据所述声源信息，对所述声源信息对应的声源物品进行粗定位，生成所述声源物品对应的粗定位信息并发送至所述云台；以及，
当检测到所述摄像组件发送的定位图像和/或所述激光雷达组件发送的雷达信息时，根据所述定位图像和/或所述雷达信息，对所述声源物品进行精定位，生成所述声源物品对应的声源坐标；
所述云台用于当检测到所述处理器发送的粗定位信息时，旋转所述精定位组件至所述精定位组件的工作区域包含所述声源区域；和/或，
当所述工作区域包含所述声源区域时，发送拍摄指令至所述摄像头，以及发送扫描指令至所述激光雷达；
所述摄像头用于当检测到所述拍摄指令时，对所述声源区域进行画面检测，生成所述定位图像并发送至所述处理器；
所述激光雷达用于当检测所述扫描指令时，对所述声源区域进行扫描，生成所述雷达信息并发送至所述处理器。
9.根据权利要求8所述的目标定位装置，其特征在于，所述声源采集组件包括基部以及分布于所述基部的麦克风阵列，所述基部的形状包括片状、球体和/或若干个球体组成的球组。
10.根据权利要求9所述的目标定位装置，其特征在于，所述声源采集组件与所述云台旋转连接；所述云台还用于旋转所述声源采集组件。
11.根据权利要求9所述的目标定位装置，其特征在于，所述麦克风阵列中的各个麦克风阵元在所述基部上呈不规则分布。
12.根据权利要求8所述的目标定位装置，其特征在于，所述定位装置还包括外放组件，所述外放组件与所述处理器通讯连接；
所述处理器还用于根据预设的外放时刻，向所述外放组件发送外放指令；
所述外放组件用于当检测到所述外放指令时，播放预设的规则音频。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有目标定位程序，所述目标定位程序被处理器执行时实现如权利要求1-7任一项所述的目标定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110362098.5A CN113281706B (zh) | 2021-04-02 | 2021-04-02 | 一种目标定位方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110362098.5A CN113281706B (zh) | 2021-04-02 | 2021-04-02 | 一种目标定位方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113281706A true CN113281706A (zh) | 2021-08-20 |
| CN113281706B CN113281706B (zh) | 2024-01-05 |
Family
ID=77276226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110362098.5A Active CN113281706B (zh) | 2021-04-02 | 2021-04-02 | 一种目标定位方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113281706B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762219A (zh) * | 2021-11-03 | 2021-12-07 | 恒林家居股份有限公司 | 一种移动会议室内人物识别方法、系统和存储介质 |
| CN114173273A (zh) * | 2021-12-27 | 2022-03-11 | 科大讯飞股份有限公司 | 麦克风阵列检测方法、相关设备及可读存储介质 |
| CN114442143A (zh) * | 2022-01-25 | 2022-05-06 | 武汉新朗光电科技有限公司 | 基于音频的生命探测与定位系统、方法、设备和介质 |
| CN114756045A (zh) * | 2022-05-18 | 2022-07-15 | 电子科技大学 | 一种用于气象雷达标定的无人机控制方法 |
| CN114755842A (zh) * | 2022-04-06 | 2022-07-15 | 南方科技大学 | 一种基于重构光场的裸眼3d显示装置及方法 |
| CN115862682A (zh) * | 2023-01-03 | 2023-03-28 | 杭州觅睿科技股份有限公司 | 声音检测方法及相关设备 |
| CN116543141A (zh) * | 2022-12-16 | 2023-08-04 | 无锡恺韵来机器人有限公司 | 一种基于声信号与图像融合的无人机识别与定位方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002247679A (ja) * | 2001-02-16 | 2002-08-30 | Fukuda Gakuen | 集合型マイクロフォン装置 |
| CN103841357A (zh) * | 2012-11-21 | 2014-06-04 | 中兴通讯股份有限公司 | 基于视频跟踪的麦克风阵列声源定位方法、装置及系统 |
| CN104991573A (zh) * | 2015-06-25 | 2015-10-21 | 北京品创汇通科技有限公司 | 一种基于声源阵列的定位跟踪方法及其装置 |
| CN109683135A (zh) * | 2018-12-28 | 2019-04-26 | 科大讯飞股份有限公司 | 一种声源定位方法及装置、目标抓拍系统 |
| US20190297462A1 (en) * | 2016-07-12 | 2019-09-26 | Daniel Aljadeff | Methods and systems for the location and monitoring of mobile units |
| CN111722186A (zh) * | 2020-06-30 | 2020-09-29 | 中国平安人寿保险股份有限公司 | 基于声源定位的拍摄方法、装置、电子设备及存储介质 |
-
2021
- 2021-04-02 CN CN202110362098.5A patent/CN113281706B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002247679A (ja) * | 2001-02-16 | 2002-08-30 | Fukuda Gakuen | 集合型マイクロフォン装置 |
| CN103841357A (zh) * | 2012-11-21 | 2014-06-04 | 中兴通讯股份有限公司 | 基于视频跟踪的麦克风阵列声源定位方法、装置及系统 |
| CN104991573A (zh) * | 2015-06-25 | 2015-10-21 | 北京品创汇通科技有限公司 | 一种基于声源阵列的定位跟踪方法及其装置 |
| US20190297462A1 (en) * | 2016-07-12 | 2019-09-26 | Daniel Aljadeff | Methods and systems for the location and monitoring of mobile units |
| CN109683135A (zh) * | 2018-12-28 | 2019-04-26 | 科大讯飞股份有限公司 | 一种声源定位方法及装置、目标抓拍系统 |
| CN111722186A (zh) * | 2020-06-30 | 2020-09-29 | 中国平安人寿保险股份有限公司 | 基于声源定位的拍摄方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 冯仕轩: "基于麦克风阵列的无人机定位方法研究", 《中国优秀硕士学位论文全文数据库工程科技II辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762219A (zh) * | 2021-11-03 | 2021-12-07 | 恒林家居股份有限公司 | 一种移动会议室内人物识别方法、系统和存储介质 |
| CN114173273A (zh) * | 2021-12-27 | 2022-03-11 | 科大讯飞股份有限公司 | 麦克风阵列检测方法、相关设备及可读存储介质 |
| CN114173273B (zh) * | 2021-12-27 | 2024-02-13 | 科大讯飞股份有限公司 | 麦克风阵列检测方法、相关设备及可读存储介质 |
| CN114442143A (zh) * | 2022-01-25 | 2022-05-06 | 武汉新朗光电科技有限公司 | 基于音频的生命探测与定位系统、方法、设备和介质 |
| CN114755842A (zh) * | 2022-04-06 | 2022-07-15 | 南方科技大学 | 一种基于重构光场的裸眼3d显示装置及方法 |
| CN114755842B (zh) * | 2022-04-06 | 2024-04-02 | 南方科技大学 | 一种基于重构光场的裸眼3d显示装置及方法 |
| CN114756045A (zh) * | 2022-05-18 | 2022-07-15 | 电子科技大学 | 一种用于气象雷达标定的无人机控制方法 |
| CN116543141A (zh) * | 2022-12-16 | 2023-08-04 | 无锡恺韵来机器人有限公司 | 一种基于声信号与图像融合的无人机识别与定位方法 |
| CN115862682A (zh) * | 2023-01-03 | 2023-03-28 | 杭州觅睿科技股份有限公司 | 声音检测方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113281706B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113281706B (zh) | 一种目标定位方法、装置及计算机可读存储介质 | |
| US9749738B1 (en) | Synthesizing audio corresponding to a virtual microphone location | |
| CN104794894B (zh) | 一种汽车鸣笛噪声监视装置、系统及方法 | |
| US10045120B2 (en) | Associating audio with three-dimensional objects in videos | |
| CN106772246B (zh) | 基于声阵列的无人机实时检测和定位系统及方法 | |
| US20180132042A1 (en) | Laser microphone utilizing mirrors having different properties | |
| CN111044973B (zh) | 一种用于麦克风方阵的mvdr目标声源定向拾音方法 | |
| CN113702909B (zh) | 一种基于声音信号到达时间差的声源定位解析解计算方法及装置 | |
| EP3227704B1 (en) | Method for tracking a target acoustic source | |
| Manamperi et al. | Drone audition: Sound source localization using on-board microphones | |
| CN108828501B (zh) | 在室内声场环境中对移动声源进行实时跟踪定位的方法 | |
| Zhao et al. | Open‐Lake Experimental Investigation of Azimuth Angle Estimation Using a Single Acoustic Vector Sensor | |
| WO2019221613A1 (en) | Systems and methods for audio capture | |
| Blanchard et al. | Acoustic localization and tracking of a multi-rotor unmanned aerial vehicle using an array with few microphones | |
| CN105223551A (zh) | 一种可穿戴的声源定位跟踪系统及方法 | |
| Wang et al. | Tracking a moving sound source from a multi-rotor drone | |
| Zunino et al. | Seeing the sound: A new multimodal imaging device for computer vision | |
| Dokmanić et al. | Hardware and algorithms for ultrasonic depth imaging | |
| Sanchez-Matilla et al. | Multi-modal localization and enhancement of multiple sound sources from a micro aerial vehicle | |
| CN115453300B (zh) | 一种基于声传感器阵列的局部放电定位系统及方法 | |
| CN116299156A (zh) | 一种水听器垂直阵阵元位置估计方法及其优化策略 | |
| Cao | Survey on acoustic vector sensor and its applications in signal processing | |
| Bhardwaj et al. | Wireless smart system for intruder detection at borders with far-field microphone and TDOA | |
| CN114740482B (zh) | 一种基于声学和视觉联合的水下爆炸定位方法 | |
| Martinson et al. | Robotic discovery of the auditory scene |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |