CN117934600A - 基于无人机对于远距离标志物快速识别与三维位置解算方法 - Google Patents
基于无人机对于远距离标志物快速识别与三维位置解算方法 Download PDFInfo
- Publication number
- CN117934600A CN117934600A CN202410339226.8A CN202410339226A CN117934600A CN 117934600 A CN117934600 A CN 117934600A CN 202410339226 A CN202410339226 A CN 202410339226A CN 117934600 A CN117934600 A CN 117934600A
- Authority
- CN
- China
- Prior art keywords
- coordinates
- marker
- coordinate system
- pixel
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000003550 marker Substances 0.000 claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 238000009499 grossing Methods 0.000 claims abstract description 9
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000004804 winding Methods 0.000 claims description 6
- 238000003825 pressing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 14
- 238000012545 processing Methods 0.000 abstract description 13
- 230000009466 transformation Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000012088 reference solution Substances 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于无人机对于远距离标志物快速识别与三维位置解算方法，首先对两个单目相机进行标定，获得内参矩阵和畸变系数，并通过双目图像进行外参标定以获取相机模型。利用相机同时采集两张RGB图像，通过一系列图像处理步骤，完成对标志物图像的获取。随后，通过SIFT图像特征点匹配确定匹配点像素位置，并使用奇异值分解及坐标变换求解标志物质心点的世界坐标。进一步地，通过动态时间规整异常值检测与局部加权回归平滑方法优化轨迹池，对获取的三维坐标进行综合处理，进一步提升位置定位的精度与追踪的稳定性。本发明不仅实现了远距离目标的快速定位与追踪，提高了检测效率和精度，还为无人机上的精准目标定位提供了创新性解决方案。
Description
技术领域
本发明涉及基于无人机对于远距离标志物快速识别与三维位置解算方法，属于立体视觉和定位处理技术领域。
背景技术
目标检测是计算机视觉的一个重要应用方向，深度神经网络的提出极大地帮助基于视觉的目标检测提高了准确度。自2014年以来，深度神经网络在基于视觉的目标检测中被广泛应用，首次提出是Girshick R等人在2014年提出了R-CNN（Girshick R, Donahue J,Darrell T, Malik J. Rich feature hierarchies for accurate object detectionand semantic segmentation. In: Proc. of the Computer Vision and PatternRecognition. 2014. 580-587），目标识别速度相比于传统提高了30%，但还是远远达不到实时的需求。2015年He KM等人提出SPP-net（He KM, Zhang XY, Ren SQ, et al. Spatialpyramid pooling in deep convolutional networks for visual recognition. IEEETransactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.DOI:10.1109/TPAMI.2015.2389824），在CNN的最后一个卷积层加入空间金字塔池化，大幅度提高目标检测速度，相比于R-CNN提高了数十倍。2019年Gkioxari G等人基于MaskR-CNN进一步提出了Mesh R-CNN（Gkioxari G, Malik J, Johnson J. Mesh r-cnn[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.2019: 9785-9795），首次实现了2D目标检测和目标三维重构的融合。相比于传统的目标识别方法，深度神经网络显著提高了基于视觉的目标检测的准确度，同时由于其所需算力要求高，所以也有很多学者进行了网络压缩等工作，使得应用神经网络的目标检测算法在嵌入式系统中也能运行，为算法的真正落地应用创造可能性。
针对于目标物体三维位置重建，国外起步较早，已经运用在许多方面。Boyer和Kak提出彩色编码结构光主动三维测量法（K.Boyer, A.Kak. Color-encoded structuredlight for rapid active ranging.IEEE transactions on pattern analysis andmachine intelligence,1987,9(1):14-28）。Timothy J .Schaewe等人将双目视觉应用在脑肿瘤切除手术上（Timothy J. Schaewe, Xiaoyao Fan, Songbai Ji. Integration ofintraoperative stereovision imaging for brain shift visualization duringimage-guided cranial procedures. Proceedings of the SPIE, Volume 9036, id.90360X 6 pp. (2014). DOI: 10.1117/12.2043757），通过双目视觉原理定位手术区域，可以通过重构局部区域来改善手术效率。但是由于小型无人机等平台上现有目标检测系统在复杂环境中的应用受限于其对动态因素如光照、天气和移动速度的适应性不足，导致远距离或部分遮挡目标的检测不稳定且准确率低。此外，传统方法在三维位置估计上缺乏精度，特别是在处理深度信息时，进一步影响了目标追踪的效果。因此在小型无人机平台上，如何完成实时快速有效的目标位置定位与追踪是一项极大的挑战。
发明内容
本发明所要解决的技术问题是：提供基于无人机对于远距离标志物快速识别与三维位置解算方法，实现了复杂环境下小型无人机平台远距离目标的快速定位与追踪。
本发明为解决上述技术问题采用以下技术方案：
基于无人机对远距离标志物快速识别与三维位置解算方法，包括如下步骤：
步骤1，在无人机上对称设置两个单目相机，标定每个相机的内参矩阵，并对每个相机进行畸变矫正；
步骤2，利用相机的内参矩阵计算相应的外参矩阵；
步骤3，基于步骤1和2，利用两个单目相机实时获取远距离图像，对获取的图像进行标志物提取，实时获取标志物图像框在相机坐标系下的像素位置，并对提取出的标志物图像进行预处理，得到预处理后的标志物图像；
步骤4，对于同一帧两个单目相机经预处理后得到的标志物图像进行SIFT特征点匹配，得到匹配点像素坐标，根据匹配点像素坐标进行标志物质心点计算；
步骤5，对步骤4计算得到的质心点进行奇异值分解，结合无人机自身在世界坐标系下的位姿，计算标志物质心点的世界坐标；
步骤6，设定轨迹池内的坐标数量，将当前帧计算得到的质心点世界坐标压栈入轨迹池中，利用动态时间规整方法检测异常值，并通过局部加权回归平滑方法优化轨迹池，从而得到标志物三维坐标。
作为本发明的一种优选方案，所述步骤1中，相机的内参矩阵由以下公式得到：
，
其中，为图像坐标系到像素坐标系的内参矩阵/>，/>表示棋盘格标定板上目标点在像素坐标下的坐标，/>表示棋盘格标定板上目标点在图像坐标系下的坐标，/>表示图像坐标系原点在像素坐标系下的坐标，/>表示一个像素点在一行中所占的大小，/>为表示一个像素点在一列中所占的大小；
利用以下公式对相机进行畸变矫正：
，
其中，表示畸变矫正后的像素点坐标，/>为曲率半径， />，均为径向畸变矫正系数，/>均为切向畸变矫正系数。
作为本发明的一种优选方案，所述步骤2中，相机的外参矩阵包括旋转矩阵和平移向量；其中，
旋转矩阵为：
，
其中，分别表示绕/>轴的旋转矩阵，/>通过下式得到，同理，得到/>和/>：
，
其中，表示棋盘格标定板上目标点旋转前在三维空间中的坐标，表示棋盘格标定板上目标点旋转后在三维空间中的坐标，/>为绕/>轴旋转的角度；
平移向量通过以下公式得到：
，
其中，表示棋盘格标定板上目标点在相机坐标系下的坐标，表示棋盘格标定板上目标点在世界坐标系下的坐标，/>为世界坐标系到相机坐标系的平移向量。
作为本发明的一种优选方案，所述步骤3中，利用YoloFastestV2神经网络提取标志物，在YoloFastestV2神经网络最后一个特征提取层通过SimAM引入自注意力机制，通过能量函数分配输入特征图的注意力权重，SimAM自注意力机制的最小能量函数如下：
，
其中，为能量值，/>为输入特征的单通道目标神经元，/>和/>分别为通道中除/>以外的所有神经元的均值和方差，/>是正则化参数；
最小能量函数由以下公式得出：
，
其中，是规范化后/>在所有通道和空间维度的汇总，/>为/>的倒数，/>为原始所有通道和空间维度的汇总，/>函数用来映射约束过大值，/>表示逐元素乘法；
对提取出的标志物进行图像预处理包括图像分割、阈值掩膜、中值滤波、高斯滤波、灰度转换以及图形开操作。
作为本发明的一种优选方案，所述步骤4中，通过近邻匹配算法得到同一帧两个单目相机经预处理后得到的标志物图像的匹配点，对每个单目相机对应的标志物图像的匹配点的横、纵坐标分别求和，并利用横坐标之和除以匹配点数目，纵坐标之和除以匹配点数目，从而得到标志物质心点坐标。
作为本发明的一种优选方案，所述步骤5的具体过程如下：
根据标志物质心点坐标，计算其深度：
，
其中，为质心点深度值，/>分别为质心点在两单目相机的投影位置，/>为质心点在像素坐标系的像素坐标，/>为两个单目相机的模拟基线，/>为相机焦距；
质心点在以无人机为世界坐标系原点的世界坐标公式如下：
，
其中，表示质心点在像素坐标下的坐标，/>表示图像坐标系原点在像素坐标系下的坐标，/>表示一个像素点在一行中所占的大小，/>为表示一个像素点在一列中所占的大小，/>为旋转矩阵，/>为平移向量，/>为质心点在以无人机为世界坐标系原点的世界坐标；
根据质心点在世界坐标下的坐标，计算得到标志物质心点的世界坐标：
，
其中，为标志物质心点的世界坐标。
作为本发明的一种优选方案，所述步骤6的具体过程如下：
设定轨迹池内的坐标数量为，每个帧将轨迹池内的第一个数据压出轨迹池，并将当前帧获得的质心点世界坐标/>进行压栈处理，即将其添加到轨迹池末尾，预设新序列宽度为/>，历史序列与新序列所相差帧数为/>，/>，新序列为，历史序列为/>，利用动态时间规整方法计算/>和/>之间的距离，即：
，
其中，表示新序列和历史序列的DTW距离，/>表示世界坐标/>与/>的欧几里得距离；
利用动态调整阈值判断新添加的世界坐标/>是否为异常点，即若，则/>为异常点；
，
其中，和/>分别为历史DTW距离的均值与标准差，/>为调整系数；
若为非异常点，则利用局部加权回归平滑方法对/>进行平滑，从而得到标志物三维坐标：
，
其中，为/>的三维位置点平滑值，/>为基于高斯核的权重，/>为轨迹池内的世界坐标，/>为核宽度参数。
一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于无人机对于远距离标志物快速识别与三维位置解算方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于无人机对于远距离标志物快速识别与三维位置解算方法的步骤。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明在相机选择方面，采用了两个单目相机代替双目相机来作为图像采集模块，解决了对于小型无人机上原本相机位置摆放受限，基线过短的问题，拓展了飞机布局的合理性和远距离目标位置估计的准确性；在图像识别模块，融合了YOLO与SimAM以达到在复杂环境下更佳的识别与追踪效果；图像在标志物检测部分，通过图像识别分割来最小化框选目标，避免了原图像全局预处理和特征点匹配时的有效数据率低的问题，在大大加快了目标点识别的速度的同时显著减少了算力的需求；在三维位置轨迹池处理部分，采用动态时间规整（DTW）排除异常波动点，并引入局部加权回归平滑（LOWESS）方法确保轨迹池中三位位置点平滑稳定。
附图说明
图1是本发明基于无人机对于远距离标志物快速识别与三维位置解算方法的流程图；
图2是图像坐标系到像素坐标系的示意图；
图3是世界坐标系到相机坐标系的示意图；
图4是融合SimAM的改进Yolo模型网络结构图；
图5是原始Yolo和添加了SimAM的改进Yolo识别效果对比图；
图6是三维位置处理效果图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明针对在复杂环境中小型无人机平台上，实时快速有效的目标位置定位与追踪，提出一种基于无人机对远距离标志物快速识别与三维位置解算方法，如图1所示，包括如下步骤：
S1.预设两个单目相机相对于无人机的相对位置并固定，在不同位置和姿态下拍摄多张照片，利用标定板的角点进行两个相机的内参矩阵和畸变参数的标定。
打印一张棋盘格标定图纸，将其贴在平面物体的表面。分别等角度转动两个单目相机，获取一组不同方向棋盘标定板的图片。对于每张拍摄的标定板图片，检测图片中所有棋盘格的角点，求得相机的内参矩阵，代表着从实际图像坐标系到像素坐标系的转换矩阵。
由于像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不同。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel。一般可以用图2表示，其中为像素坐标系原点， />为图像坐标系原点在像素坐标系下的坐标，为角点在像素坐标系下的坐标。从实际图像坐标系到像素坐标系的变换可由以下公式推出：
，
其中，是目标点在像素坐标系下的坐标；/>是目标点在图像坐标系下的坐标；/>和/>表示一个像素点每一行和每一列分别代表多少mm，即/>。为了简洁显示，使用以下公式代替从实际图像坐标系到像素坐标系的变换：
，
其中，是图像坐标系到像素坐标系的内参矩阵。
接下来进行两个单目相机的畸变矫正，以提高算法重建的精度。
首先，径向畸变由于相机制造过程中镜片厚度难以保持均匀，容易出现中间厚、两边薄的情况，在光线远离透镜中心的地方容易出现扭曲。对于径向畸变，可以用以下公式矫正：
，
其中，为曲率半径，有/>；/>为径向畸变系数；/>为发生畸变后像点的坐标，也就是实际看到的；/>为畸变矫正过后的正确像点。通常只用/>来矫正相机。
接着，切向畸变是由于在相机制造过程中，成像平面与透镜平面不平行，产生了透视变换，可以用以下公式来矫正：
，
其中，为切向畸变矫正系数，其他含义与径向畸变公式中相同。
考虑径向畸变和切向畸变合并，可以得到以下公式：
，
在成像过程中，这两种畸变发生时相互独立且同步的，完整畸变矫正公式将径向畸变公式和切向畸变公式合并即可。
本次标定完的相机畸变参数和内参矩阵是相机本身的固有属性，标定一次即可一直使用，之后更换相机位置以达到更好的实验效果只需要重新标定外参即可。
S2.利用S1得到的两个单目相机的内参矩阵，同时拍摄并保证视野重叠，计算相对的外参矩阵。
具体地，外参求解本质上是一个PNP问题，利用多个控制点在三维场景中的坐标及其在图像中的透视投影坐标即可求解出从世界坐标系到相机坐标系的位姿关系，包括旋转矩阵以及平移向量。
其中仿射变换中绕轴的变换公式如下：
，
其中，和/>为绕/>轴旋转变换中的角度函数值；/>是目标点旋转后在三维空间的新坐标；/>是目标点在旋转前在三维空间中的原始坐标；/>为绕轴的旋转矩阵，同理可以获得绕/>轴的旋转矩阵/>。由此我们可以获得在目标点在三维空间的旋转矩阵/>。
平移向量为一个对应的的向量，其符号对应着在坐标轴上的移动。由于在上述标定过程中除了平移向量的其余值已知，所以可以通过以下公式反推出平移向量：
，
其中，是目标点在相机坐标系的坐标；/>是同一点在世界坐标系中的坐标；/>和/>是世界坐标系到相机坐标系的旋转向量和平移向量。由于目标点在相机坐标系和世界坐标系的坐标我们可以测量得到， />在上一步已经求的，所以反解出平移向量/>即可。由相机坐标系到世界坐标系的转换关系如图3所示。
S3.通过S2标定好的相机进行图像的获取，并根据所Yolo获取的图像进行标志物框选与融合SimAM注意力机制进行追踪，对于筛选出的目标进行图像预处理。
将相机实时采集到的图像进行Yolo神经网络识别，在特征提取层通过SimAM来引入自注意力机制，通过能量函数分配输入特征图的注意力权重，以进行识别框的追踪以达到更加稳定的识别结果，融合SimAM的改进Yolo模型网络结构图如图4所示。在实时获取标志物图像框在相机坐标系下的像素位置后，并对于框选出的区域进行图像分割、阈值掩膜、中值滤波、高斯滤波、灰度转换、图形学开操作，获取得到预处理后的图像信息。
由于分置两个单目相机，等效模型内的基线长度显著增长，以便于在尽量远的地方就能够捕捉到标志物信息，并且采用了现在最快的YoloFastestV2，可以控制处理单张图片在20ms以内，满足实时性的同时大大减轻系统算力负荷。但是由于复杂环境背景下，往往全局识别效果不佳。为了更好的最终识别结果，引入SimAM自注意力机制，从而排除无关特征，从而增强网络对于目标标志物的关注能力，从而提升在复杂、模糊和光照条件不佳的环境下的抗干扰能力，减少误判和漏判。SimAM 注意机制的最小能量函数如下：
，
其中，是能量值；/>是输入特征的单通道目标神经元；/>和/>是该通道中除/>以外的所有神经元的均值和方差；/>是正则化参数。/>的值越小代表着该神经元的重要程度越高，所以最小能量函数可以由以下公式得出，对识别特征进行增强处理：
，
其中，是规范化后/>在所有通道和空间维度的汇总；/>是原始所有通道和空间维度的汇总；/>是用来映射约束过大值；/>是/>的倒数，用来表示神经元重要性；相比于原始Yolo和添加了SimAM的改进Yolo识别效果对比图如图5所示。
在图像中检测到了标志物信息后，根据Yolo-SimAM网络的输出矩形框在相机坐标系下的像素位置，将所需要的标志物截取出进行进一步处理。由于采用的标志物为两种颜色的圆环，通过hsv阈值将圆环图像从繁杂的背景中筛选出来，得到纯净背景下的圆环图像坐标中的信息。为了避免随机噪声以及原图质量对于接下来的特征点匹配造成不良印象，采用了中值滤波、高斯滤波、灰度转换、图形开操作对图像进行处理，最后实时输出到S4特征点匹配处。
S4.对于经过S3预处理的标志物图像进行SIFT特征点匹配，筛选出匹配恰当的特征点，存储对应的像素坐标。根据获取的匹配点像素坐标进行标志物质心点计算。
由于S3对于原图像进行的预处理，使得特征点匹配的处理量和处理效果有了大幅度提升。通过近邻匹配算法筛选出因误匹配出现的异常的匹配点问题。根据求出的匹配点坐标，将所有匹配点的横坐标和纵坐标求和，并除以匹配点数量得到质心点坐标。
S5. 根据S4获取的匹配点像素坐标进行SVD奇异值分解计算，综合无人机自身在世界坐标下的位姿，求解出像素点对应的三维坐标的位置。
通过以下公式进行深度计算：
，
其中，为质心点深度值，/>为质心点在两相机的投影位置，/>为质心点在像素坐标系下的像素坐标，/>为两个单目像的模拟基线。
结合上述坐标转换关系可以得知质心点在以无人机为世界坐标系的原点的世界坐标的公式：
，
其中，为质心点在像素坐标系下的坐标，/>为质心点在以无人机为世界坐标系的原点的世界坐标。
由于事先已知实时的质心点在世界坐标系下的坐标可得：
，
至此，得到了标志物上质心点的世界坐标。
S6. 根据S5获取的三维坐标位置压入轨迹池中，在进行动态时间调整DTW异常值检测后，引入LOWESS方法优化轨迹池以进一步综合处理获取精确的标志物三维坐标。
保持轨迹池中坐标数量为，每一帧将最初一个数据压出轨迹池，将新获取的三维坐标数据/>进行压栈处理，将其添加到一个队列的末尾。预设/>为小序列的宽度，/>为新序列和历史序列所相差帧数。对于每个新到达的小序列与历史数据序列/>使用DTW算法计算/>和/>之间的距离，即：
，
其中，为新序列和历史序列的DTW距离； />表示序列中对应点欧几里得距离。
同时根据基于历史DTW距离动态调整阈值，如果/>，则认为/>为异常点：
，
其中，是动态调整阈值；/>和/>分别是过去DTW距离的均值与标注差；/>是调整系数。如果是检测为异常值，便将此帧三维点异常值舍弃。
对于非异常值，对其三维坐标进行加权移动平均减少噪声的影响。然后，应用LOWESS方法对序列进行平滑处理，以更好处理目标轨迹。对于压入的坐标，LOWESS平滑值可以通过以下步骤计算得到：
，
其中，是在时间t的三维位置点平滑值，/>为基于高斯核的权重，/>是在历史三维位置点中时间点/>的值，/>为核宽度参数，控制了局部邻域的大小。
根据计算出的圆环数据集进行坐标处理，可以看到，经过S6处理过后可以得到连续稳定且准确的三维位置坐标，如图6所示，从而获取连续并且稳定精确的三维位置。
基于同一发明构思，本申请实施例提供一种计算机设备，包括存储器、处理器，以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述的基于无人机对远距离标志物快速识别与三维位置解算方法的步骤。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现前述的基于无人机对远距离标志物快速识别与三维位置解算方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程以及流程图中的流程的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (9)
1.基于无人机对于远距离标志物快速识别与三维位置解算方法，其特征在于，包括如下步骤：
步骤1，在无人机上对称设置两个单目相机，标定每个相机的内参矩阵，并对每个相机进行畸变矫正；
步骤2，利用相机的内参矩阵计算相应的外参矩阵；
步骤3，基于步骤1和2，利用两个单目相机实时获取远距离图像，对获取的图像进行标志物提取，实时获取标志物图像框在相机坐标系下的像素位置，并对提取出的标志物图像进行预处理，得到预处理后的标志物图像；
步骤4，对于同一帧两个单目相机经预处理后得到的标志物图像进行SIFT特征点匹配，得到匹配点像素坐标，根据匹配点像素坐标进行标志物质心点计算；
步骤5，对步骤4计算得到的质心点进行奇异值分解，结合无人机自身在世界坐标系下的位姿，计算标志物质心点的世界坐标；
步骤6，设定轨迹池内的坐标数量，将当前帧计算得到的质心点世界坐标压栈入轨迹池中，利用动态时间规整方法检测异常值，并通过局部加权回归平滑方法优化轨迹池，从而得到标志物三维坐标。
2.根据权利要求1所述的基于无人机对于远距离标志物快速识别与三维位置解算方法，其特征在于，所述步骤1中，相机的内参矩阵由以下公式得到：
，
其中，为图像坐标系到像素坐标系的内参矩阵/>，/>表示棋盘格标定板上目标点在像素坐标下的坐标，/>表示棋盘格标定板上目标点在图像坐标系下的坐标，/>表示图像坐标系原点在像素坐标系下的坐标，/>表示一个像素点在一行中所占的大小，/>为表示一个像素点在一列中所占的大小；
利用以下公式对相机进行畸变矫正：
，
其中，表示畸变矫正后的像素点坐标，/>为曲率半径， />，/>均为径向畸变矫正系数，/>均为切向畸变矫正系数。
3.根据权利要求1所述的基于无人机对于远距离标志物快速识别与三维位置解算方法，其特征在于，所述步骤2中，相机的外参矩阵包括旋转矩阵和平移向量；其中，
旋转矩阵为：
，
其中，分别表示绕/>轴的旋转矩阵，/>通过下式得到，同理，得到和/>：
，
其中，表示棋盘格标定板上目标点旋转前在三维空间中的坐标， />表示棋盘格标定板上目标点旋转后在三维空间中的坐标，/>为绕/>轴旋转的角度；
平移向量通过以下公式得到：
，
其中，表示棋盘格标定板上目标点在相机坐标系下的坐标， />表示棋盘格标定板上目标点在世界坐标系下的坐标，/>为世界坐标系到相机坐标系的平移向量。
4.根据权利要求1所述的基于无人机对于远距离标志物快速识别与三维位置解算方法，其特征在于，所述步骤3中，利用YoloFastestV2神经网络提取标志物，在YoloFastestV2神经网络最后一个特征提取层通过SimAM引入自注意力机制，通过能量函数分配输入特征图的注意力权重，SimAM自注意力机制的最小能量函数如下：
，
其中，为能量值，/>为输入特征的单通道目标神经元，/>和/>分别为通道中除/>以外的所有神经元的均值和方差，/>是正则化参数；
最小能量函数由以下公式得出：
，
其中，是规范化后/>在所有通道和空间维度的汇总，/>为/>的倒数，/>为原始所有通道和空间维度的汇总，/>函数用来映射约束过大值，/>表示逐元素乘法；
对提取出的标志物进行图像预处理包括图像分割、阈值掩膜、中值滤波、高斯滤波、灰度转换以及图形开操作。
5.根据权利要求1所述的基于无人机对于远距离标志物快速识别与三维位置解算方法，其特征在于，所述步骤4中，通过近邻匹配算法得到同一帧两个单目相机经预处理后得到的标志物图像的匹配点，对每个单目相机对应的标志物图像的匹配点的横、纵坐标分别求和，并利用横坐标之和除以匹配点数目，纵坐标之和除以匹配点数目，从而得到标志物质心点坐标。
6.根据权利要求1所述的基于无人机对于远距离标志物快速识别与三维位置解算方法，其特征在于，所述步骤5的具体过程如下：
根据标志物质心点坐标，计算其深度：
，
其中，为质心点深度值，/>分别为质心点在两单目相机的投影位置，/>为质心点在像素坐标系的像素坐标，/>为两个单目相机的模拟基线，/>为相机焦距；
质心点在以无人机为世界坐标系原点的世界坐标公式如下：
，
其中，表示质心点在像素坐标下的坐标，/>表示图像坐标系原点在像素坐标系下的坐标，/>表示一个像素点在一行中所占的大小，/>为表示一个像素点在一列中所占的大小，/>为旋转矩阵，/>为平移向量，/>为质心点在以无人机为世界坐标系原点的世界坐标；
根据质心点在世界坐标下的坐标，计算得到标志物质心点的世界坐标：
，
其中，为标志物质心点的世界坐标。
7.根据权利要求1所述的基于无人机对于远距离标志物快速识别与三维位置解算方法，其特征在于，所述步骤6的具体过程如下：
设定轨迹池内的坐标数量为，每个帧将轨迹池内的第一个数据压出轨迹池，并将当前帧获得的质心点世界坐标/>进行压栈处理，即将其添加到轨迹池末尾，预设新序列宽度为/>，历史序列与新序列所相差帧数为/>，/>，新序列为，历史序列为/>，利用动态时间规整方法计算/>和/>之间的距离，即：
，
其中，表示新序列和历史序列的DTW距离，/>表示世界坐标/>与的欧几里得距离；
利用动态调整阈值判断新添加的世界坐标/>是否为异常点，即若，则/>为异常点；
，
其中，和/>分别为历史DTW距离的均值与标准差，/>为调整系数；
若为非异常点，则利用局部加权回归平滑方法对/>进行平滑，从而得到标志物三维坐标：
，
其中，为/>的三维位置点平滑值，/>为基于高斯核的权重，/>为轨迹池内的世界坐标，/>为核宽度参数。
8.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于无人机对于远距离标志物快速识别与三维位置解算方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于无人机对于远距离标志物快速识别与三维位置解算方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410339226.8A CN117934600A (zh) | 2024-03-25 | 2024-03-25 | 基于无人机对于远距离标志物快速识别与三维位置解算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410339226.8A CN117934600A (zh) | 2024-03-25 | 2024-03-25 | 基于无人机对于远距离标志物快速识别与三维位置解算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117934600A true CN117934600A (zh) | 2024-04-26 |
Family
ID=90761249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410339226.8A Pending CN117934600A (zh) | 2024-03-25 | 2024-03-25 | 基于无人机对于远距离标志物快速识别与三维位置解算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934600A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927787A (zh) * | 2014-04-30 | 2014-07-16 | 南京大学 | 一种基于矩阵恢复的提高三维重建精度的方法及其装置 |
| CN104376552A (zh) * | 2014-09-19 | 2015-02-25 | 四川大学 | 一种3d模型与二维图像的虚实配准算法 |
| CN112509125A (zh) * | 2020-12-14 | 2021-03-16 | 广州迦恩科技有限公司 | 一种基于人工标志物和立体视觉的三维重建方法 |
| US20220046220A1 (en) * | 2019-11-22 | 2022-02-10 | Dalian University Of Technology | Multispectral stereo camera self-calibration algorithm based on track feature registration |
| CN115830103A (zh) * | 2022-11-28 | 2023-03-21 | 北京石油化工学院 | 一种基于单目彩色的透明物体定位方法、装置及存储介质 |
| CN116309844A (zh) * | 2023-03-24 | 2023-06-23 | 沈阳航空航天大学 | 一种基于无人机单张航空图片的三维测量方法 |
| CN117078717A (zh) * | 2023-07-28 | 2023-11-17 | 天津大学 | 基于无人机单目相机的道路车辆轨迹提取方法 |
-
2024
- 2024-03-25 CN CN202410339226.8A patent/CN117934600A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103927787A (zh) * | 2014-04-30 | 2014-07-16 | 南京大学 | 一种基于矩阵恢复的提高三维重建精度的方法及其装置 |
| CN104376552A (zh) * | 2014-09-19 | 2015-02-25 | 四川大学 | 一种3d模型与二维图像的虚实配准算法 |
| US20220046220A1 (en) * | 2019-11-22 | 2022-02-10 | Dalian University Of Technology | Multispectral stereo camera self-calibration algorithm based on track feature registration |
| CN112509125A (zh) * | 2020-12-14 | 2021-03-16 | 广州迦恩科技有限公司 | 一种基于人工标志物和立体视觉的三维重建方法 |
| CN115830103A (zh) * | 2022-11-28 | 2023-03-21 | 北京石油化工学院 | 一种基于单目彩色的透明物体定位方法、装置及存储介质 |
| CN116309844A (zh) * | 2023-03-24 | 2023-06-23 | 沈阳航空航天大学 | 一种基于无人机单张航空图片的三维测量方法 |
| CN117078717A (zh) * | 2023-07-28 | 2023-11-17 | 天津大学 | 基于无人机单目相机的道路车辆轨迹提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
| CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
| CN107194991B (zh) | 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法 | |
| CN108171715B (zh) | 一种图像分割方法及装置 | |
| CN110992263B (zh) | 一种图像拼接方法及系统 | |
| CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
| CN111640157A (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
| CN111144213B (zh) | 一种对象检测方法和相关设备 | |
| CN111428575A (zh) | 一种基于孪生网络的针对模糊目标的跟踪方法 | |
| CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN113160335A (zh) | 一种基于双目视觉的模型点云及三维表面重建方法 | |
| CN112907493A (zh) | 无人机蜂群协同侦察下的多源战场图像快速镶嵌融合算法 | |
| JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
| CN115345942A (zh) | 空间标定方法、装置、计算机设备和存储介质 | |
| CN117196955A (zh) | 一种全景图像拼接方法及终端 | |
| CN111161143A (zh) | 一种光学定位技术辅助的手术视野全景拼接方法 | |
| CN116823895A (zh) | 基于可变模板的rgb-d相机多视角匹配的数字图像计算方法及系统 | |
| CN117934600A (zh) | 基于无人机对于远距离标志物快速识别与三维位置解算方法 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| CN113963107B (zh) | 一种基于双目视觉的大型目标三维重建方法及系统 | |
| CN115393187A (zh) | 一种高自由度的微观图像拼接融合方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |