CN117058231A - 一种基于视觉深度信息的分体式飞行汽车定位对接方法 - Google Patents

Abstract

本发明涉及飞行汽车技术领域，尤其涉及一种基于视觉深度信息的分体式飞行汽车定位对接方法。步骤如下：S1：通过双码式标识物增加对接时的定位精准；S2：构建目标检测场景库；S3：将结构光获取的深度信息引入位姿矩阵，经过多源信息融合修正得到精确的相对坐标。本发明提供的一种基于视觉深度信息的分体式飞行汽车定位对接方法，通过多层级标识物精确度高、容错性强、灵活性高，适用于各类复杂环境，即使在被50%遮挡情况下，仍可以提供稳定可靠的位姿信息，从而提高视觉引导系统的可靠性和稳定性。

Description

一种基于视觉深度信息的分体式飞行汽车定位对接方法

技术领域

本发明涉及飞行汽车技术领域，尤其涉及一种基于视觉深度信息的分体式飞行汽车定位对接方法。

背景技术

分体式飞行汽车是具有陆地行驶能力以及空中飞行能力的“全域化、智能化、分布式”集成装备，分体式飞行汽车同时具备无人机垂直起降和地面汽车道路行驶的功能，会在未来交通领域发挥重要作用。为实现无人机与地面车体的精准定位与对接；

无人机执行户外对接作业时，本身容易受到风力干扰导致悬停寻找目标时产生晃动，使得相机无法准确检测到目标平台。不同的光照、倾斜、遮挡也会改变和削弱目标物的特征，进一步增加了机载检测系统丢失目标物的可能性；

单一视觉定位方法，无论是单目定位还是双目定位，都无法达到较高的精度，并且稳定性较差，已有的目标检测算法对于运动中的目标也无法做到精确定位；

分体式飞行汽车尚未普及，致使针对该应用场景的对接机构发展也并不完善。

为此，我们设计一种基于视觉深度信息的分体式飞行汽车定位对接方法，用于对上述技术问题提供另一种技术方案。

发明内容

基于此，有必要针对上述技术问题，提供一种基于视觉深度信息的分体式飞行汽车定位对接方法，用于解决上述背景技术中提出的技术问题。

为了解决上述的技术问题，本发明采用了如下技术方案：

一种基于视觉深度信息的分体式飞行汽车定位对接方法，步骤如下：

S1：通过双码式标识物增加对接时的定位精准；

S2：构建目标检测场景库；

S3：将结构光获取的深度信息引入位姿矩阵，经过多源信息融合修正得到精确的相对坐标。

作为本发明提供的所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法的一种优选实施方式，所述S1步骤中，双码式标识物由外框、H图形和双Apriltag码组成；

所述外框在无人机远距离搜寻目标时能够被快速找到并列为备选对接区域；

所述H图形通过明显的角点特征和对称结构能够为筛选过程提供鲜明的形态学特征，确保筛选过程的准确性；

所述双Apriltag码用于通过8个角点提供稳定的位置信息用于估算空间位置和三维姿态。

作为本发明提供的所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法的一种优选实施方式，所述外框在像素点聚类计算时，凸四边形形状能够更加高效的被识别到。

作为本发明提供的所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法的一种优选实施方式，所述H图形明显的角点特征中通过各角点的像素坐标初步计算出标识物的中心位置，为无人机提供合适的方位引导。

作为本发明提供的所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法的一种优选实施方式，所述S2步骤中构建目标检测场景库，步骤如下：

通过收集环境信息及目标信息进行模型构建，对于不同的对接场景，结合对接平台的外形特征，设置合适的全连接层数、神经元个数、调整不同的神经网络层，训练出适用于不同平台特征的模型。

作为本发明提供的所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法的一种优选实施方式，所述S3步骤中，将结构光获取的深度信息引入位姿矩阵，经过多源信息融合修正得到精确的相对坐标，步骤如下：

通过对标识物进行自适应阈值、连续边界分割、拟合四边形、单应变换、解码后与Apriltag库进行匹配，获取目标点的位置和方向信息，通过配置depth流与color流后将深度帧与颜色帧对齐，融合深度信息。

可以毫无疑义的看出，通过本申请的上述的技术方案，必然可以解决本申请要解决的技术问题。

同时，通过以上技术方案，本发明至少具备以下有益效果：

本发明提供的一种基于视觉深度信息的分体式飞行汽车定位对接方法，通过多层级标识物精确度高、容错性强、灵活性高，适用于各类复杂环境，即使在被50%遮挡情况下，仍可以提供稳定可靠的位姿信息，从而提高视觉引导系统的可靠性和稳定性；

在对接过程中融合了来源于视觉及深度相机的位姿信息，降低了单一传感器误差的影响，提供了更全面、精确的定位与对接结果，实现了更准确的场景理解和位置推断，对接精度达到毫米级。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的测距数据曲线示意图；

图2为本发明的实验数据示意图；

图3为本发明的角度测量结果对比实验示意图；

图4为本发明的对接流程示意图；

图5为本发明的标识物设计示意图；

图6为本发明的双码与单码的稳定性实验对比示意图；

图7为本发明的不同环境下的中心点识别结果示意图；

图8为本发明的融合深度信息示意图；

图9为本发明的标识物识别逻辑示意图；

图10为本发明的结构光三维视觉透视模型示意图；

图11为本发明的对接流程示意图；

图12为本发明的复杂环境中的“H”字样识别示意图；

图13为本发明的下落落点示意图。

实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

参照图1-图13，一种基于视觉深度信息的分体式飞行汽车定位对接方法，步骤如下：

通过在传统的视觉系统上引入深度信息，并且从主动端（视觉信息与其他信息耦合）与被动端（标识物设计与对接装置设计），包含了从无人机飞抵汽车上方到完成对接任务全过程引导，有效提高了对接稳定性，并且将精度从厘米级提升到毫米级。在末端对接过程中，本申请融合了D435i相机获取的深度信息来进一步修正视觉系统解算得到的位姿信息，将末端精度保持在6mm以内，分别开展了末端精度对比实验和机载对比实验。

在地面开展验证精度实验时，利用滑轨和相机支架固定深度相机，在其中一端放置标识物。缓慢移动滑轨，物理测量相机距标识物的真实值，再读取输出的深度值和单目测距值。利用高斯函数对三种方式获得的数据进行拟合，得到测距数据曲线，如图2所示；

根据实验数据散点图经高斯曲线拟合后可以发现，当距离在500mm以内时，深度相机相较于单目视觉测距更具优势。从距离区间500~600mm后，深度相机的精确度优势便不再存在，误差快速增大。距离超过600mm后，单目视觉测距误差的拟合曲线虽然误差数值较低，但波动范围大，稳定性降低。

为对比三种方法在实际无人机降落对接过程中的稳定性，本发明应用GNSS测距模块、单目视觉测距、深度信息测距三种方法分别获取实验值。一共开展了20实验，其中第3次实验结果如图2所示；

GNSS测距模块敏感度较差，信息反馈频率较低，最小变化检测单位为0.1m，这显然不能成为对接引导系统的数据来源，但其优势在于线性度较好，能稳定的输出高度信息。视觉测距在实际飞行中能准确的输出实际高度信息，精度控制在厘米级，但由于无人机的晃动问题，随着距离逐渐减小，存在标识物移出视野范围的情况。深度信息不存在丢失的情况，在末端(<600mm)以内精度高于视觉测距系统，并且稳定性良好；

在无人机对接时，三维姿态角的估算是飞控系统的必要数据，其精度会极大影响对接结果。俯仰角、横滚角和方位角的估算都是基于同一内参矩阵，故只需测量其中一个角度的精度即可推算出另外两个角的估算结果。在实际实验中，将标识物放置在带有基准线坐标纸上，通过测量视觉图像画面—标识物—基准线三者之间的夹角来计算真实值，再与视觉系统输出的测量值和GPS模块导出的角度对比，一共开展了20次实验，测量第14次实验数据得到如图3；

在角度测量结果对比实验中可以发现，得益于双码的中心点位置相距较大的优势，视觉引导系统能够提供非常准确的角度信息。GPS在实验全程最高误差在12度左右，而视觉引导系统能将误差值稳定控制在0.5度以内，在对角度的检测方面优势明显，能够为机载计算机估算三维姿态角提供更好的数据支撑。全程对接流程如图4；

多层级标识物

不同距离范围内均具有良好的视觉精度，标识物为双码式设计，通过交叉融合算法得到准确的位姿信息，明显的角点特征可为筛选过程提供鲜明的形态学特征，并使得定位基点拥有更多的冗余信息以保证无人机在晃动过程中仍具有良好的识别精度。通过8角点信息进行空间位置和三维姿态计算，为目标检测创造良好的识别条件，实现精准末端对接。

空间位置和三维姿态计算，通过PnP(全称Perspective-n-Points)，一种计算两平面相对三维位姿的算法，参与的角点越多则计算精度越高，“n”是指角点的个数，8个角点则是P8P算法。最低需要3个点才能进行计算，即P3P，解决3D到2D点对的物体运动定位问题，即已知物体在世界坐标系下的坐标，以及物体在相机的图像平面的像素坐标，求解相机的位姿（六个自由度，位置坐标和三个方向角）。

标识物由外框、H图形、双Apriltag码三部分组成，分别成为不同阶段的视觉识别对象。外框在无人机远距离搜寻目标时能够被快速找到并列为备选对接区域，进行像素点聚类计算时，凸四边形形状能够更加高效的被识别到。在外框识别完成后对所有检测到的凸四边形进行筛选时，H图形明显的角点特征和对称结构能够为筛选过程提供鲜明的形态学特征，确保筛选过程的准确性，并通过各角点的像素坐标初步计算出标识物的中心位置，为无人机提供合适的方位引导。

像素点聚类计算具体采用k-means算法，一种基于颜色的无监督学习聚类算法，无需样本，对图像根据某种规则进行“分割”，把相同或相近的目标像素点放在一起。从而将某个物体从整个画面中提取出来，步骤如下：

将相同或相近的目标像素点防在一起，并对像素点进行指定类的个数，设定像素点分为三类；

S1：选取三个类的初始中心，初始中心点通过完全随机的方式进行选择；

S2：计算剩余点到这三个中心的距离；

S3：将距离中心点距离最短的点归为一类；

S4：依次划分好所有的数据点；

S5：重新计算中心；

S6：重复S2-S5的步骤，直到中心点不会在变化为止。

按此算法，就可以在图像中分割出标识物图像外轮廓，即四边形轮，从而能够在没有学习样本的情况下，分割出各种环境下的标识物外轮廓，根据分割出来的轮廓信息计算中心坐标值，引导无人机进行初始定位。

无人机依据上一步获取的位置信息下降到指定高度后，开启Apriltag的双码识别，8个角点可以提供稳定的位置信息用于估算空间位置和三维姿态，进而实现精准末端对接。无人及逐渐接近车体的过程中，标识物分层级提供2维和3维信息，帮助无人机不断调整位置和姿态。标识物设计如图5，标识物外轮廓和次外轮廓可以时无人机在远端时快速准确的发现对接目标。角点布局明确和独有的轮廓使得标识物在被初步识别时具有较好的抗环境干扰能力。内层则主要注重近端对接时的精度和稳定性，通过多角点冗余信息提升视觉系统在无人机晃动条件下的识别稳定性；

基于机器学习构建了目标检测场景库；

对于不同的对接场景，结合对接平台的外形特征，设置了合适的全连接层数、神经元个数、调整不同的神经网络层，训练出适用于不同平台特征的模型，使其在倾斜、光照、遮挡影响下仍能准确稳定的识别到目标物。通过训练采集数据，优化模型参数，构建分体式飞行汽车目标检测场景数据库模型；不同环境下的中心点识别结果如图7。

在应对复杂的环境和对接平台时，引入机器学习显得尤为重要，通过大量数据训练神经网络模型，不断优化神经元以提高识别成功率。建立面对不同环境和不同对接平台的神经网络模型，研究不同角度、遮挡等情况对成功率的影响。通过收集环境及目标信息进行模型构建，对于不同的对接场景，结合对接平台的外形特征，设置合适的全连接层数、神经元个数、调整不同的神经网络层，训练出适用于不同平台特征的模型，使其在倾斜、光照、遮挡影响下仍能准确稳定的识别到目标物。对采集数据集进行训练，优化模型参数，提高目标检测的精度和速度，构建出分体式飞行汽车目标检测场景数据库模型。

无人机依靠GPS与惯性导航系统运动到降落点上空，当垂直高度为3±0.2m、水平距离为0±0.2m时开启视觉引导系统。视觉引导系统基于所获取的位置信息进一步定位，通过对标识物进行自适应阈值、连续边界分割、拟合四边形、单应变换、解码后与Apriltag库进行匹配，最终获取目标点的位置和方向信息，之后将无人机引导至高度1±0.02m、水平误差0±0.02m处。进入末端定位后开启深度相机，配置depth流与color流后将深度帧与颜色帧对齐，融合深度信息，将精度提高至6mm以内并进行精准降落。

综合视觉和深度信息的多源融合技术。

末端对接过程中近距离视觉误差会被放大，将结构光获取的深度信息引入位姿矩阵，经过多源信息融合修正得到精确的相对坐标。通过对标识物进行自适应阈值、连续边界分割、拟合四边形、单应变换、解码后与Apriltag库进行匹配，获取目标点的位置和方向信息，通过配置depth流与color流后将深度帧与颜色帧对齐，融合深度信息，如图8。

单目视觉测距与双目视觉测距是应用视觉系统获取深度信息的两种常用办法。然而，完全基于图像匹配的方法有很大的困难，匹配的精度和正确性很难保证。此外，在无人机在对接过程中，图像容易受到光照、倾转角、机械结构的干扰，仅仅依靠视觉引导很难完成高精度对接作业。综合应用结构光技术，对投射光源进行编码或特征化处理，得到被物体表面的深度调制过的图像。结构光光源带有很多特征点或者编码，因此提供了很多的匹配角点，可以很方便地进行特征点的匹配。深度相机具有更高的精度、更快的计算速度，并且不受视野范围限制。选用RealSense D435i深度相机进行测距，测距原理图如图10所示。

磁吸锥杆式对接系统

基于锥杆结构和磁吸原理，构建自适应对接平台，基于锥杆形状检测建立视觉传感器反馈系统，实现视觉位置信息的实时反馈，根据视觉信息自动调整对接装置的位置和姿态。通过实时监测和分析对接过程中的引导系统数据，添加碰撞传感器或力传感器来检测意外碰撞或异常力的情况，确保对接装置能够及时响应变化，实现了更准确的对接，从而基于力反馈的锥杆式磁吸对接装置本身可作为机器视觉目标物，提供相对偏航角度测算信息，磁吸式设计提高了无人机与地面车体的机动性，对接装置能够及时响应意外碰撞或异常力的情况。

对接实验

通过对图像进行预处理，获得二值图像，之后对轮廓进行筛选，确定符合预设轮廓关系的“H”字样为目标标识物，识别逻辑流程图如图9所示。二值图像只存在黑白两种颜色(即只存在0和1)。应用suzuki轮廓跟踪算法进行轮廓查找，步骤如下：

首先，确定边界开始点，即轮廓追踪的起始像素点(一般为最左上方在轮廓上的像素点)；

其次，以相应的追踪规则标记不同边界的序列数，再根据序列数确定外边界或空洞，搜索出所有轮廓，最终建立轮廓关系树。

在获取边界后，将两直线边界的交点确定拐点，统计拐点的数量和相对位置后即可确定是否为目标“H”字样。通过判断“边框—H字样—双码”三者的边界关系是否满足该角点数量层级关系树：。满足该关系树的“H”字样则可认为是目标标识物，从而可以筛选掉环境中的干扰小，大大降低误判率，在实验中可以达到100%正确识别，复杂环境中的“H”字样识别情况如图12；

不同方法的落点实验对比：

无论哪种引导方法，在应用于分体式飞行汽车真实对接降落场景时，都只能带来一定程度上的精度提升，最终的降落精度还受到飞控、无人机硬件、环境风等诸多因素的影响。但在相同的其他条件下，仍然可以通过改变引导方法来最大限度提升降落精度。因此，可通过实验直观的看出各种引导手段对精度提升的帮助。将无人机从某一固定地点起飞后，每次往任意方向飞行任意距离后，分别依靠GPS自主返航和依靠该系统引导降落后得到如下落点，统计落点与起飞原点的位置和角度偏差即可将该引导系统在精度方面的优势可视化。在圆形靶标上开展落点实验，分别采用两种引导方法各自完成20次起降，去除误差过大的无效数据，保留落点的相对位置和无人机最终着陆朝向，得到落点图图13。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种基于视觉深度信息的分体式飞行汽车定位对接方法，其特征在于，步骤如下：

S1：通过双码式标识物增加对接时的定位精准；

S2：构建目标检测场景库；

S3：将结构光获取的深度信息引入位姿矩阵，经过多源信息融合修正得到精确的相对坐标。

2.根据权利要求1所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法，其特征在于，所述S1步骤中，双码式标识物由外框、H图形和双Apriltag码组成；

所述外框在无人机远距离搜寻目标时能够被快速找到并列为备选对接区域；

所述H图形通过明显的角点特征和对称结构能够为筛选过程提供鲜明的形态学特征，确保筛选过程的准确性；

所述双Apriltag码用于通过8个角点提供稳定的位置信息用于估算空间位置和三维姿态。

3.根据权利要求2所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法，其特征在于，所述外框在像素点聚类计算时，凸四边形形状能够更加高效的被识别到。

4.根据权利要求2所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法，其特征在于，所述H图形明显的角点特征中通过各角点的像素坐标初步计算出标识物的中心位置，为无人机提供合适的方位引导。

5.根据权利要求1所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法，其特征在于，所述S2步骤中构建目标检测场景库，步骤如下：

通过收集环境信息及目标信息进行模型构建，对于不同的对接场景，结合对接平台的外形特征，设置合适的全连接层数、神经元个数、调整不同的神经网络层，训练出适用于不同平台特征的模型。

6.根据权利要求1所述的一种基于视觉深度信息的分体式飞行汽车定位对接方法，其特征在于，所述S3步骤中，将结构光获取的深度信息引入位姿矩阵，经过多源信息融合修正得到精确的相对坐标，步骤如下：

通过对标识物进行自适应阈值、连续边界分割、拟合四边形、单应变换、解码后与Apriltag库进行匹配，获取目标点的位置和方向信息，通过配置depth流与color流后将深度帧与颜色帧对齐，融合深度信息。