CN114782841B - 基于降落图案的校正方法和装置 - Google Patents

Abstract

本申请提供一种基于降落图案的校正方法和装置，通过在降落平台上设置包括Apriltag标签以及几何图形元素的降落图案，在无人机飞行降落过程中，在预设位置采集含降落图案的标定图像。将标定图像与降落图案的原始图像基于Apriltag标签进行光谱比对，获得光谱差异信息，并将标定图像与原始图像基于几何图形元素进行几何信息比对，获得几何差异信息。基于光谱差异信息和几何差异信息对采集的各张图像进行光谱校正和几何形状校正。该方案，将包括Apriltag标签以及几何图形元素的降落图案作为标准参照，以实现对无人机拍摄的图像的校正，从而保障校正后的图像在光谱和几何特征上的准确性，以避免后续基于图像的识别失误的问题。

Description

基于降落图案的校正方法和装置

技术领域

本申请涉及无人机技术领域，具体而言，涉及一种基于降落图案的校正方法和装置。

背景技术

随着无人控制技术的发展，无人机如今广泛应该在不同的领域中。例如，利用无人机采集地形、地貌图像等，进而基于无人机采集的图像对地区内的土地、水源、农田、森林等进行分析。在进行这类信息的分析处理时，一般是基于图像识别处理的方式实现，包括如基于颜色的识别、基于图形的分析处理等。

而这就需要基于无人机所获取的图像中色彩以及图形能够与真实情况相一致。而由于搭载于无人机上的摄像设备在拍摄图像时可能存在其中的颜色和图形上的失真，从而导致直接利用拍摄的图像进行后续的处理存在识别准确率低或识别失误等缺陷。

发明内容

本申请的目的包括，例如，提供了一种基于降落图案的校正方法和装置，其能够保障校正后的图像在色彩和几何特征上的准确性。

本申请的实施例可以这样实现：

第一方面，本申请提供一种基于降落图案的校正方法，所述降落图案包括Apriltag标签以及几何图形元素，所述降落图案设置于降落平台上，所述方法包括：

获取无人机在飞行过程中，在预设位置所采集的包括所述降落图案的标定图像；

将所述标定图像与包括所述降落图案的原始图像基于其中的Apriltag标签进行光谱比对，获得所述标定图像的光谱差异信息；

将所述标定图像与所述原始图像基于其中的几何图形元素进行几何信息比对，获得所述标定图像的几何差异信息；

基于所述光谱差异信息对所述无人机在飞行过程中所采集的各张图像进行光谱校正，并基于所述几何差异信息对各张图像进行几何形状校正。

在可选的实施方式中，所述方法还包括：

获取所述无人机在降落过程中连续采集的包括所述降落图案的多帧图像帧；

根据所述多帧图像帧中的降落图案的信息获得所述无人机当前的位置偏移量；

根据所述位置偏移量对所述无人机的飞行角度和飞行速度进行调整，以使所述无人机降落至所述降落平台的中心位置。

在可选的实施方式中，所述Apriltag标签为RGB图像；

所述将所述标定图像与包括所述降落图案的原始图像基于其中的Apriltag标签进行光谱比对，获得所述标定图像的光谱差异信息的步骤，包括：

获得所述降落图案的原始图像在RGB颜色空间中各颜色通道的标准参数；

获得所述标定图像在RGB颜色空间中各颜色通道的标定参数；

将对应的标准参数与标定参数进行比较，获得所述标定图像在各颜色通道的光谱差异信息。

在可选的实施方式中，所述将所述标定图像与所述原始图像基于其中的几何图形元素进行几何信息比对，获得所述标定图像的几何差异信息的步骤，包括：

获得所述标定图像中几何图形元素所标定的关键点的世界坐标值；

将所述标定图像中各所述关键点的世界坐标值转换为直角坐标值，并将所述原始图像中各对应的关键点的世界坐标值转换为直角坐标值；

基于所述直角坐标值将各所述关键点转换至极坐标系中，并获得各所述关键点在极坐标系中的极坐标值和极径值；

根据所述原始图像中的关键点的极坐标值和极径值，以及所述标定图像中对应关键点的极坐标值和极径值，计算得到所述标定图像的几何差异信息。

在可选的实施方式中，所述基于所述几何差异信息对各张图像进行几何形状校正的步骤，包括：

针对各张图像，获得所述图像中各像素点的直角坐标值；

将各所述像素点的直角坐标值转换为极坐标值，并根据所述极坐标值和所述几何差异信息计算得到校正后的极坐标值；

根据校正后的极坐标值得到校正后的直角坐标值；

根据各像素点校正后的直角坐标值以及各像素点的像素值，得到校正后的图像。

在可选的实施方式中，所述位置偏移量包括无人机当前的降落加速度以及降落平台相对于无人机当前位置的3D方位；

所述根据所述多帧图像帧中的降落图案的信息获得所述无人机当前的位置偏移量的步骤，包括：

针对各帧图像帧，提取出所述图像帧中降落图案包含的Apriltag标签；

根据每相邻两帧之间对应的Apriltag标签的差异信息，计算得到无人机的降落加速度；

根据当前帧图像帧以及其前预设帧图像帧中Apriltag标签的信息，计算得到Apriltag标签所在的降落平台相对于无人机当前位置的3D方位。

在可选的实施方式中，所述根据所述位置偏移量对所述无人机的飞行角度和飞行速度进行调整，以使所述无人机降落至所述降落平台的中心位置的步骤，包括：

根据所述3D方位调整所述无人机相对于所述降落平台的飞行角度；

根据所述3D方位和无人机当前位置，获得所述降落平台相对于所述无人机的距离；

根据所述降落加速度和所述距离，调整所述无人机的飞行速度，以使所述无人机降落至所述降落平台的中心位置。

在可选的实施方式中，所述Apriltag标签由至少两个尺寸不同的Apriltag图标进行嵌套形成，以使所述无人机在相对于所述Apriltag标签不同高度的位置处，能够对其中一个Apriltag图标进行识别。

在可选的实施方式中，所述降落图案中的几何图形元素包括位于最外围的正方形、内切于所述正方形的圆形以及所述正方形的两条对角线，其中，所述两条对角线将所述正方形和圆形划分为多个子区域；

其中，所述Apriltag标签包括多个三原色Apriltag图标，各个子区域内具有三种颜色的三原色Apriltag图标，以使所述无人机能够基于任意一个子区域内的三原色Apriltag图标的信息进行光谱校正。

第二方面，本申请提供一种基于降落图案的校正装置，所述降落图案包括Apriltag标签以及几何图形元素，所述降落图案设置于降落平台上，所述装置包括：

获取模块，用于获取无人机在飞行过程中，在预设位置所采集的包括所述降落图案的标定图像；

第一比对模块，用于将所述标定图像与包括所述降落图案的原始图像基于其中的Apriltag标签进行光谱比对，获得所述标定图像的光谱差异信息；

第二比对模块，用于将所述标定图像与所述原始图像基于其中的几何图形元素进行几何信息比对，获得所述标定图像的几何差异信息；

校正模块，用于基于所述光谱差异信息对所述无人机在飞行过程中所采集的各张图像进行光谱校正，并基于所述几何差异信息对各张图像进行几何形状校正。

本申请实施例的有益效果包括，例如：

本申请提供一种基于降落图案的校正方法和装置，通过在降落平台上设置包括Apriltag标签以及几何图形元素的降落图案，在无人机飞行过程中，在预设位置采集包括降落图案的标定图像，将标定图像与降落图案的原始图像基于Apriltag标签进行光谱比对，从而获得标定图像的光谱差异信息，并将标定图像与原始图像基于几何图形元素进行几何信息比对，获得标定图像的几何差异信息。从而基于光谱差异信息和几何差异信息对无人机采集的各张图像进行光谱校正和几何形状校正。该方案中，将包括Apriltag标签以及几何图形元素的降落图案作为标准参照，以实现对无人机拍摄的图像的校正，从而保障校正后的图像在色彩和几何特征上的准确性，以避免后续基于图像的识别失误的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的基于降落图案的校正方法的流程图；

图2为本申请实施例提供的基于降落图案的校正方法中，降落校正方法的流程图；

图3为图2中步骤S202包含的子步骤的流程图；

图4为图2中步骤S203包含的子步骤的流程图；

图5为图1中步骤S102包含的子步骤的流程图；

图6为图1中步骤S103包含的子步骤的流程图；

图7为本申请实施例提供的降落图案的示意图之一；

图8为图1中步骤S104包含的子步骤；

图9为本申请实施例提供的降落图案的示意图之二；

图10为本申请实施例提供的电子设备的结构框图；

图11为本申请实施例提供的基于降落图案的校正装置的功能模块框图。

图标：110-存储介质；120-处理器；130-基于降落图案的校正装置；131-获取模块；132-第一比对模块；133-第二比对模块；134-校正模块；140-通信接口。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

请参阅图1，为本申请实施例提供的基于降落图案的校正方法的流程图，该基于降落图案的校正方法有关的流程所定义的方法步骤可以由无人机所实现，例如，由无人机上的处理设备来实现。其中，降落图案设置于降落平台上，降落图案包括Apriltag标签以及几何图形元素。

下面将对图1所示的具体流程进行详细阐述。

S101，获取无人机在飞行过程中，在预设位置所采集的包括所述降落图案的标定图像。

S102，将所述标定图像与包括所述降落图案的原始图像基于其中的Apriltag标签进行光谱比对，获得所述标定图像的光谱差异信息。

S103，将所述标定图像与所述原始图像基于其中的几何图形元素进行几何信息比对，获得所述标定图像的几何差异信息。

S104，基于所述光谱差异信息对所述无人机在飞行过程中所采集的各张图像进行光谱校正，并基于所述几何差异信息对各张图像进行几何形状校正。

本实施例中，无人机上搭载有摄像设备，如多光谱相机。多光谱相机是无人机常用的载荷，对相机的几何参数和光谱特性的标定是保证无人机精准测量和高精度监测的基本要求。

而降落图案在设计好之后，可以生成包含该降落图案的原始图像，并将该原始图像贴附于降落平台上。此外，生成降落图案的电子设备也可以将该原始图像以及原始图像的相关信息发送至无人机，以便于无人机后续可以以该原始图像作为标准进行校正。

无人机在飞行过程中，在预设位置可以通过摄像设备采集包括降落图案的标定图像。该预设位置可以是多个不同的位置，例如相对于降落图案不同高度、不同角度的位置。

无人机所采集的标定图案中包含降落图案，该降落图案中包含Apriltag标签以及几何图形元素。

无人机的遥感图像的采集由于不同时间天气、光照以及传感器配置等条件差异，所以存在同一地物影像上的亮度值、色彩不一致。如不进行色彩调整，就把这种图像进入后续处理，比如镶嵌，即使几何配准的精度很高，重叠区符合得很好，但镶嵌后两边的影像色调差异明显，接缝线十分突出、不美观，也影响对地物影像与专业信息的分析与识别，降低应用效果。又或者是作为不同时期同一地物的对比依据，失去信息分析识别可信度。

要想准确地比较这些图像，就需要让摄像设备采集的图像中的色彩重现效果实现标准化，进而实现高精度，包括高色彩保真度。对色彩重现进行标准化的过程就被称为光谱校准。

此外，摄像设备的成像过程中涉及到不同坐标系之间的转换，例如，空间中的点由世界坐标系转换到相机坐标系，然后再将其投影到成像平面，最后再将成像平面上的数据转换到图像像素坐标系。但是由于透镜制造精度以及组装工艺的偏差会引入畸变，导致图像的失真。例如镜头的畸变分为径向畸变和切向畸变。

其中，径向畸变是沿着透镜半径方向分布的畸变，产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲，这种畸变在普通的镜头中表现地更加明显。径向畸变主要包括桶形畸变和枕形畸变。

而切向畸变是由于透镜本身与相机传感器平面或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致的。

由此可见，摄像设备所拍摄获得的图像中通常会存在几何畸变以及色彩的失真。

因此，在本实施例中，可基于无人机在飞行过程中所采集的标定图像得到可用于校正的信息。由于包含降落图案的原始图像是基于降落图案的生成信息所直接导出的，因此，可以以原始图像作为标准。

标定图像和原始图像中均包含Apriltag标签，Apriltag标签是一种可通过视觉识别的视觉基准标签。Apriltag标签可以由三基色标准色所构成，具有一定编码规则的类似二维码图案，并且呈现出色彩图案。因此，可以基于标定图像和原始图像中的Apriltag标签进行光谱比对，从而获得标定图像的光谱差异信息。

此外，标定图像和原始图像中均包含有降落图案中的几何图形元素，几何图形元素可以是降落图案中的一些体现标准形状的图形或线条，例如圆形、正方形、对角线等。

本实施例中，可以基于标定图像与原始图像中的几何图形元素进行几何信息比对，获得标定图像的几何差异信息。

无人机拍摄的标定图像的光谱差异信息和几何差异信息，同样适用于无人机所拍摄的其他所有图像，例如无人机所拍摄的水源的图像、农田的图像、高地的图像等。因此，基于由降落图案所计算得到的光谱差异信息和几何差异信息可以分别用于对无人机在飞行过程中所采集的各张图像进行光谱校正和几何形状校正。

如此，可以保障无人机的校正后的图像在色彩信息和几何形状信息上的准确性，校正后的图像可以投入到后续的分析处理中。

本实施例所提供的校正方案中，将包括Apriltag标签和几何图形元素的降落图案作为标准参照，以实现对无人机拍摄的图像的校正，可以实现保障校正后的图像在色彩和图形上的准确性的目的，可以避免后续基于图像的识别失误的问题。

此外，无人机智能飞行技术和载荷技术的发展极大地促进了无人机遥感应用的广度和深度，无人化和智能化的需求也越来越迫切，从而也催生了无人机机巢技术。智能机巢可实现自动存储无人机、远程精准起降、智能自动充电、状态实时监控、自动传输数据等功能，保障高频次、连续性、常态化巡飞的业务要求。

为了保障无人机安全、精准降落，在本实施例中，可以利用降落平台上的降落图案以辅助无人机的降落，对无人机的降落过程中的飞行信息进行校正。请参阅图2，本实施例所提供的校正方法还可包括以下步骤：

S201，获取所述无人机在降落过程中连续采集的包括所述降落图案的多帧图像帧。

S202，根据所述多帧图像帧中的降落图案的信息获得所述无人机当前的位置偏移量。

S203，根据所述位置偏移量对所述无人机的飞行角度和飞行速度进行调整，以使所述无人机降落至所述降落平台的中心位置。

从触发无人机执行降落任务开始，无人机在降落的同时，可利用摄像设备进行图像的拍摄。可以连续拍摄得到多帧图像帧，每帧图像帧中可包括降落图案。

Apriltag标签是一种具有一定编码规则的类似二维码图案的标签图形，无人机在多个不同的位置和角度下，例如三个不同位置和角度的6个自由度参数下，可以通过Apriltag标签的编码信息计算出降落图案相对于无人机的相对位置。也即，无人机当前的位置偏移量包括无人机相对于降落平台的相对位置，该相对位置可为3D位置。

为了保障无人机能够安全、精准降落在降落平台上，除了需要调整无人机向降落平台的方向进行降落外，还需保障无人机降落在降落平台时的速度能够极小或为0，从而保障无人机降落时不存在碰撞。

因此，本实施例中，可以根据计算出的位置偏移量对无人机的飞行角度和飞行速度进行调整，从而保障无人机降落至降落平台的中心位置。

本实施例中，以降落平台上的降落图案作为降落过程中飞行速度和飞行方位校正的基准信息，可以保障无人机安全、精准地降落。

本实施例中，基于多帧图像帧中的降落图案所计算得到的无人机当前的位置偏移量，包括无人机当前的降落加速度以及降落平台相对于无人机当前位置的3D方位。而上述位置偏移量的计算，可以通过以下方式实现，请结合参阅图3：

S2021，针对各帧图像帧，提取出所述图像帧中降落图案包含的Apriltag标签。

S2022，根据每相邻两帧之间对应的Apriltag标签的差异信息，计算得到无人机的降落加速度。

S2023，根据当前帧图像帧以及其前预设帧图像帧中Apriltag标签的信息，计算得到Apriltag标签所在的降落平台相对于无人机当前位置的3D方位。

基于无人机在降落过程中拍摄得到的每帧图像帧中的Apriltag标签的编码信息，可计算得到降落平台与无人机之间实时的变化的相对位置信息。

此外，由于每帧图像帧可以得到对应的相对位置，而相邻两帧图像帧之间的采集时间差可以获得，因此，还可以基于不同图像帧所计算出的相对位置之间的差异，得到无人机在降落过程中的降落加速度。

本实施例中，在计算降落平台相对于无人机当前位置的3D方位时，若当前帧图像帧中包含的Apriltag标签的图像信息清晰，一般地，可以直接基于当前帧图像帧中的Apriltag标签的信息计算出降落平台的3D方位。而当前帧图像帧中图像信息不清晰，导致可能计算的过程超时，也未得到最终的计算结果。此种情形下，可以根据当前帧的前预设帧图像帧，分别基于前预设帧中各个图像帧中的Apriltag标签的信息计算出拍摄各个图像帧时无人机与降落平台之间的3D方位。

基于前预设帧对应的多个3D方位进行拟合，从而可以得到关于3D方位的拟合曲线。基于拟合曲线可以预测到无人机拍摄当前帧图像帧时，降落平台相对于无人机的3D方位。

在上述获得降落平台相当于无人机当前位置的3D方位以及无人机当前的降落加速度的基础上，请参阅图4，本实施例中，可以通过以下方式对无人机的降落过程进行校正：

S2031，根据所述3D方位调整所述无人机相对于所述降落平台的飞行角度。

S2032，根据所述3D方位和无人机当前位置，获得所述降落平台相对于所述无人机的距离。

S2033，根据所述降落加速度和所述距离，调整所述无人机的飞行速度，以使所述无人机降落至所述降落平台的中心位置。

本实施例中，根据降落平台相对于无人机的3D方位调整无人机的飞行角度，从而使得无人机朝向降落平台的方向进行降落飞行。

降落平台相对于无人机当前位置的3D方位可知，并且无人机的当前位置可知，因此，可以计算出无人机与降落平台之间的距离。而无人机当前的速度、降落加速度、与降落平台之间的距离可知，想要无人机最终平稳、安全停放于降落平台，则可以通过调整无人机当前的飞行速度，从而保障在经过该段距离之后，最终平稳停放在降落平台，避免碰撞发生。

可见，本实施例中，可以基于设置在降落平台上的降落图案实现无人机拍摄图像的几何畸变校正、光谱校正以及精准定位降落校正。在这些校正处理过程中，均以降落图案作为参照物，可以实现基于降落图案的多方面的校正功能实现。

本实施例中，降落图案中的Apriltag标签为RGB图像，也即，Apriltag标签中包含有三原色的色彩信息。在上述基于原始图像和标定图像进行光谱比对，获得标定图像的光谱差异信息时，请参阅图5，可以通过以下方式实现：

S1021，获得所述降落图案的原始图像在RGB颜色空间中各颜色通道的标准参数。

S1022，获得所述标定图像在RGB颜色空间中各颜色通道的标定参数。

S1023，将对应的标准参数与标定参数进行比较，获得所述标定图像在各颜色通道的光谱差异信息。

由于Apriltag标签由三原色基准色所构成，因此，降落图案中各个像素点均为三原色基准色单独呈现的色彩，或者是三原色基准色组合后呈现的色彩。

本实施例中，包含降落图案的原始图像在生成后，可以记录原始图像在RGB颜色空间中各颜色通道的标准参数，也即三原色各基准色的标准参数。

在无人机采集标定图像后，可以基于标定图像中的Apriltag标签获得标定图像在RGB颜色空间中各个颜色通道的标定参数。

若原始图像中各个颜色通道的标准参数与标定图像中各个颜色通道的标定参数之间存在差异，则将导致标定图像和原始图像中即使是同一物体、同一点，在颜色上也将存在差异，也即无人机拍摄的图像存在色彩偏差。

因此，可以将标定图像的标定参数与对应的标准参数进行比较，从而获得标定图像在各个颜色通道的光谱差异信息。

在此基础上，在无人机后续拍摄获得图像后，则可以基于获得的光谱差异信息对各张图像进行光谱校正。具体地，可以基于各个颜色通道的光谱差异信息，对各张图像中的各个颜色通道的光谱进行校正，实现无人机拍摄的图像的色彩标准化。

请参阅图6，本实施例中，上述在进行标定图像和原始图像的几何信息比对，获得标定图像的几何差异信息时，可以通过以下方式实现：

S1031，获得所述标定图像中几何图形元素所标定的关键点的世界坐标值。

S1032，将所述标定图像中各所述关键点的世界坐标值转换为直角坐标值，并将所述原始图像中各对应的关键点的世界坐标值转换为直角坐标值。

S1033，基于所述直角坐标值将各所述关键点转换至极坐标系中，并获得各所述关键点在极坐标系中的极坐标值和极径值。

S1034，根据所述原始图像中的关键点的极坐标值和极径值，以及所述标定图像中对应关键点的极坐标值和极径值，计算得到所述标定图像的几何差异信息。

由上述可知，降落图案中的几何图形元素可为降落图案中一些标准化的图形或线条。几何图形元素可标定出图像中的一些关键点，例如，降落图案可以是如图7中所示的图形。其中，降落图案中的几何图形元素包括最外围的正方形、内切于正方形的圆形以及正方形的两条对角线，其中，两条对角线将所述正方形和圆形划分为多个子区域。

而几何图形元素标定的关键点可以是如正方形的角点、对角线的交点等。

摄像设备所拍摄得到的标定图像中，各个关键点在世界坐标系下的世界坐标值可知。在此基础上，可以将各个关键点的世界坐标值转换为直角坐标值，即图像坐标系下的坐标值。再将各个关键点的直角坐标值转换到极坐标系下，获得各个关键点的极坐标值和极径值。

同样地，将原始图像中的各个关键点的世界坐标值转换为直角坐标值，并转换至极坐标系下。

通过比对标定图像和原始图像中对应的关键点的极坐标值和极径值，从而得到各个关键点畸变校正系数、图像偏转角度等几何差异信息。综合多个关键点的几何差异信息，例如取各个多个关键点的几何差异信息的平均值，可以得到标定图像的几何差异信息。

请参阅图8，在此基础上，在基于标定图像的几何差异信息对无人机拍摄的各张图像进行几何形状校正时，可以通过以下方式实现：

S1041，针对各张图像，获得所述图像中各像素点的直角坐标值。

S1042，将各所述像素点的直角坐标值转换为极坐标值，并根据所述极坐标值和所述几何差异信息计算得到校正后的极坐标值。

S1043，根据校正后的极坐标值得到校正后的直角坐标值。

S1044，根据各像素点校正后的直角坐标值以及各像素点的像素值，得到校正后的图像。

在基于几何差异信息对无人机拍摄的各张图像进行校正时，同样地需要将图像中的像素点转换到极坐标系下。获得像素点在极坐标系下的极坐标值的基础上，利用几何差异信息计算出校正后的极坐标值。然后再基于校正后的极坐标值恢复至直角坐标系下，并结合各个像素点的像素值，在保持各个像素点的像素值不变的情况下，生成校正后的图像。

本实施例中，为了保障无人机在不同的高度下采集到的图像中具有清晰、信息完备的Apriltag标签。本实施例中，所设计的Apriltag标签还可如图9中所示，其中，Apriltag标签由至少两个尺寸不同的Apriltag图标进行嵌套形成，例如可以是两个尺寸不同的Apriltag图标嵌套形成，也可以是三个尺寸不同的Apriltag图标嵌套形成。以使无人机在相对于Apriltag标签不同高度的位置处，能够对其中一个Apriltag图标进行识别。

如此，通过嵌套不同尺寸的Apriltag图标形成Apriltag标签，可以确保无人机与降落图案之间识别距离动态改变过程中至少有一个Apriltag图标可被识别。

此外，在降落图案如图7中所示时，其中，所述Apriltag标签包括多个三原色Apriltag图标，各个子区域内具有三种颜色的三原色Apriltag图标，以使所述无人机能够基于任意一个子区域内的三原色Apriltag图标的信息进行光谱校正。

具体地，如图7中所示，在设计降落图案时，内切于正方形内的圆形可形成极坐标系。可在一条对角线上部署两个较大的Apriltag图标，该两个Apriltag图标之间的距离与正方形角边的较小的Apriltag图标的对角线等长，色彩可分别设置为红色和绿色。在另外一条对角先上可部署两个较小Apriltag图标，该两个Apriltag图标之间的距离可为对角线长度的一半，色彩可均设置为蓝色。在四个角顶部可部署四个较小的Apriltag图标，在圆形内可再部署两个较小的Apriltag图标，并优化配置各个子区域内的Apriltag图标的配色，使得各个子区域内均包含有三种颜色的三原色Apriltag图标。

需要说明的是，图7中所示的降落图案的设计仅为举例说明，本实施例并不对此进行限定。

请参阅图10，为本申请实施例提供的电子设备的示例性组件示意图，该电子设备可以是上述的无人机。该电子设备可包括存储介质110、处理器120、基于降落图案的校正装置130及通信接口140。本实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

基于降落图案的校正装置130可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述基于降落图案的校正方法的软件功能模块。

如图11所示，上述基于降落图案的校正装置130可以包括获取模块131、第一比对模块132、第二比对模块133和校正模块134。下面分别对该基于降落图案的校正装置130的各个功能模块的功能进行详细阐述。

获取模块131，用于获取无人机在飞行过程中，在预设位置所采集的包括所述降落图案的标定图像。

可以理解，该获取模块131可以用于执行上述步骤S101，关于该获取模块131的详细实现方式可以参照上述对步骤S101有关的内容。

第一比对模块132，用于将所述标定图像与包括所述降落图案的原始图像基于其中的Apriltag标签进行光谱比对，获得所述标定图像的光谱差异信息。

可以理解，该第一比对模块132可以用于执行上述步骤S102，关于该第一比对模块132的详细实现方式可以参照上述对步骤S102有关的内容。

第二比对模块133，用于将所述标定图像与所述原始图像基于其中的几何图形元素进行几何信息比对，获得所述标定图像的几何差异信息。

可以理解，该第二比对模块133可以用于执行上述步骤S103，关于该第二比对模块133的详细实现方式可以参照上述对步骤S103有关的内容。

校正模块134，用于基于所述光谱差异信息对所述无人机在飞行过程中所采集的各张图像进行光谱校正，并基于所述几何差异信息对各张图像进行几何形状校正。

可以理解，该校正模块134可以用于执行上述步骤S104，关于该校正模块134的详细实现方式可以参照上述对步骤S104有关的内容。

在一种可能的实施方式中，所述基于降落图案的校正装置130还包括调整模块，该调整模块可以用于：

获取所述无人机在降落过程中连续采集的包括所述降落图案的多帧图像帧；

根据所述多帧图像帧中的降落图案的信息获得所述无人机当前的位置偏移量；

根据所述位置偏移量对所述无人机的飞行角度和飞行速度进行调整，以使所述无人机降落至所述降落平台的中心位置。

在一种可能的实施方式中，所述Apriltag标签为RGB图像，上述第一比对模块132可以用于：

获得所述降落图案的原始图像在RGB颜色空间中各颜色通道的标准参数；

获得所述标定图像在RGB颜色空间中各颜色通道的标定参数；

将对应的标准参数与标定参数进行比较，获得所述标定图像在各颜色通道的光谱差异信息。

在一种可能的实施方式中，上述第二比对模块133可以用于：

获得所述标定图像中几何图形元素所标定的关键点的世界坐标值；

将所述标定图像中各所述关键点的世界坐标值转换为直角坐标值，并将所述原始图像中各对应的关键点的世界坐标值转换为直角坐标值；

基于所述直角坐标值将各所述关键点转换至极坐标系中，并获得各所述关键点在极坐标系中的极坐标值和极径值；

根据所述原始图像中的关键点的极坐标值和极径值，以及所述标定图像中对应关键点的极坐标值和极径值，计算得到所述标定图像的几何差异信息。

在一种可能的实施方式中，上述校正模块134可以用于：

针对各张图像，获得所述图像中各像素点的直角坐标值；

将各所述像素点的直角坐标值转换为极坐标值，并根据所述极坐标值和所述几何差异信息计算得到校正后的极坐标值；

根据校正后的极坐标值得到校正后的直角坐标值；

根据各像素点校正后的直角坐标值以及各像素点的像素值，得到校正后的图像。

在一种可能的实施方式中，所述位置偏移量包括无人机当前的降落加速度以及降落平台相对于无人机当前位置的3D方位，上述调整模块可以用于：

针对各帧图像帧，提取出所述图像帧中降落图案包含的Apriltag标签；

根据每相邻两帧之间对应的Apriltag标签的差异信息，计算得到无人机的降落加速度；

根据当前帧图像帧以及其前预设帧图像帧中Apriltag标签的信息，计算得到Apriltag标签所在的降落平台相对于无人机当前位置的3D方位。

在一种可能的实施方式中，上述调整模块可以用于：

根据所述3D方位调整所述无人机相对于所述降落平台的飞行角度；

根据所述3D方位和无人机当前位置，获得所述降落平台相对于所述无人机的距离；

根据所述降落加速度和所述距离，调整所述无人机的飞行速度，以使所述无人机降落至所述降落平台的中心位置。

在一种可能的实施方式中，所述Apriltag标签由至少两个尺寸不同的Apriltag图标进行嵌套形成，以使所述无人机在相对于所述Apriltag标签不同高度的位置处，能够对其中一个Apriltag图标进行识别。

在一种可能的实施方式中，所述降落图案中的几何图形元素包括位于最外围的正方形、内切于所述正方形的圆形以及所述正方形的两条对角线，其中，所述两条对角线将所述正方形和圆形划分为多个子区域；

其中，所述Apriltag标签包括多个三原色Apriltag图标，各个子区域内具有三种颜色的三原色Apriltag图标，以使所述无人机能够基于任意一个子区域内的三原色Apriltag图标的信息进行光谱校正。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的基于降落图案的校正方法。

具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述基于降落图案的校正方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。

综上所述，本申请实施例提供的基于降落图案的校正方法和装置，通过在降落平台上设置包括Apriltag标签以及几何图形元素的降落图案，在无人机飞行过程中，在预设位置采集包括降落图案的标定图像，将标定图像与降落图案的原始图像基于Apriltag标签进行光谱比对，从而获得标定图像的光谱差异信息，并将标定图像与原始图像基于几何图形元素进行几何信息比对，获得标定图像的几何差异信息。从而基于光谱差异信息和几何差异信息对无人机采集的各张图像进行光谱校正和几何形状校正。该方案中，将包括Apriltag标签以及几何图形元素的降落图案作为标准参照，以实现对无人机拍摄的图像的校正，从而保障校正后的图像在色彩和几何特征上的准确性，以避免后续基于图像的识别失误的问题。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于降落图案的校正方法，其特征在于，所述降落图案包括Apriltag标签以及几何图形元素，所述降落图案设置于降落平台上，所述方法包括：

获取无人机在飞行过程中，在预设位置所采集的包括所述降落图案的标定图像；

将所述标定图像与包括所述降落图案的原始图像基于其中的Apriltag标签进行光谱比对，获得所述标定图像的光谱差异信息；

将所述标定图像与所述原始图像基于其中的几何图形元素进行几何信息比对，获得所述标定图像的几何差异信息；

基于所述光谱差异信息对所述无人机在飞行过程中所采集的各张图像进行光谱校正，并基于所述几何差异信息对各张图像进行几何形状校正；

所述Apriltag标签为RGB图像，获得所述光谱差异信息的步骤包括：

获得所述降落图案的原始图像在RGB颜色空间中各颜色通道的标准参数；获得所述标定图像在RGB颜色空间中各颜色通道的标定参数；将对应的标准参数与标定参数进行比较，获得所述标定图像在各颜色通道的光谱差异信息；

获得所述几何差异信息的步骤，包括：

获得所述标定图像中几何图形元素所标定的关键点的世界坐标值；将所述标定图像中各所述关键点的世界坐标值转换为直角坐标值，并将所述原始图像中各对应的关键点的世界坐标值转换为直角坐标值；基于所述直角坐标值将各所述关键点转换至极坐标系中，并获得各所述关键点在极坐标系中的极坐标值和极径值；根据所述原始图像中的关键点的极坐标值和极径值，以及所述标定图像中对应关键点的极坐标值和极径值，计算得到所述标定图像的几何差异信息。

2.根据权利要求1所述的基于降落图案的校正方法，其特征在于，所述方法还包括：

获取所述无人机在降落过程中连续采集的包括所述降落图案的多帧图像帧；

根据所述多帧图像帧中的降落图案的信息获得所述无人机当前的位置偏移量；

根据所述位置偏移量对所述无人机的飞行角度和飞行速度进行调整，以使所述无人机降落至所述降落平台的中心位置。

3.根据权利要求1所述的基于降落图案的校正方法，其特征在于，所述基于所述几何差异信息对各张图像进行几何形状校正的步骤，包括：

针对各张图像，获得所述图像中各像素点的直角坐标值；

将各所述像素点的直角坐标值转换为极坐标值，并根据所述极坐标值和所述几何差异信息计算得到校正后的极坐标值；

根据校正后的极坐标值得到校正后的直角坐标值；

根据各像素点校正后的直角坐标值以及各像素点的像素值，得到校正后的图像。

4.根据权利要求2所述的基于降落图案的校正方法，其特征在于，所述位置偏移量包括无人机当前的降落加速度以及降落平台相对于无人机当前位置的3D方位；

所述根据所述多帧图像帧中的降落图案的信息获得所述无人机当前的位置偏移量的步骤，包括：

针对各帧图像帧，提取出所述图像帧中降落图案包含的Apriltag标签；

根据每相邻两帧之间对应的Apriltag标签的差异信息，计算得到无人机的降落加速度；

根据当前帧图像帧以及其前预设帧图像帧中Apriltag标签的信息，计算得到Apriltag标签所在的降落平台相对于无人机当前位置的3D方位。

5.根据权利要求4所述的基于降落图案的校正方法，其特征在于，所述根据所述位置偏移量对所述无人机的飞行角度和飞行速度进行调整，以使所述无人机降落至所述降落平台的中心位置的步骤，包括：

根据所述3D方位调整所述无人机相对于所述降落平台的飞行角度；

根据所述3D方位和无人机当前位置，获得所述降落平台相对于所述无人机的距离；

根据所述降落加速度和所述距离，调整所述无人机的飞行速度，以使所述无人机降落至所述降落平台的中心位置。

6.根据权利要求1-5任意一项所述的基于降落图案的校正方法，其特征在于，所述Apriltag标签由至少两个尺寸不同的Apriltag图标进行嵌套形成，以使所述无人机在相对于所述Apriltag标签不同高度的位置处，能够对其中一个Apriltag图标进行识别。

7.根据权利要求1-5任意一项所述的基于降落图案的校正方法，其特征在于，所述降落图案中的几何图形元素包括位于最外围的正方形、内切于所述正方形的圆形以及所述正方形的两条对角线，其中，所述两条对角线将所述正方形和圆形划分为多个子区域；

其中，所述Apriltag标签包括多个三原色Apriltag图标，各个子区域内具有三种颜色的三原色Apriltag图标，以使所述无人机能够基于任意一个子区域内的三原色Apriltag图标的信息进行光谱校正。

8.一种基于降落图案的校正装置，其特征在于，所述降落图案包括Apriltag标签以及几何图形元素，所述降落图案设置于降落平台上，所述装置包括：

获取模块，用于获取无人机在飞行过程中，在预设位置所采集的包括所述降落图案的标定图像；

第一比对模块，用于将所述标定图像与包括所述降落图案的原始图像基于其中的Apriltag标签进行光谱比对，获得所述标定图像的光谱差异信息；

第二比对模块，用于将所述标定图像与所述原始图像基于其中的几何图形元素进行几何信息比对，获得所述标定图像的几何差异信息；

校正模块，用于基于所述光谱差异信息对所述无人机在飞行过程中所采集的各张图像进行光谱校正，并基于所述几何差异信息对各张图像进行几何形状校正；

所述第一比对模块，用于获得所述降落图案的原始图像在RGB颜色空间中各颜色通道的标准参数；获得所述标定图像在RGB颜色空间中各颜色通道的标定参数；将对应的标准参数与标定参数进行比较，获得所述标定图像在各颜色通道的光谱差异信息；

所述第二比对模块，用于获得所述标定图像中几何图形元素所标定的关键点的世界坐标值；将所述标定图像中各所述关键点的世界坐标值转换为直角坐标值，并将所述原始图像中各对应的关键点的世界坐标值转换为直角坐标值；基于所述直角坐标值将各所述关键点转换至极坐标系中，并获得各所述关键点在极坐标系中的极坐标值和极径值；根据所述原始图像中的关键点的极坐标值和极径值，以及所述标定图像中对应关键点的极坐标值和极径值，计算得到所述标定图像的几何差异信息。