CN108873943B - 一种无人机厘米级精准降落的图像处理方法 - Google Patents

Abstract

本发明提供了一种无人机厘米级精准降落的图像处理方法，制作目标识别图形，无人机飞到降落位置附近，将拍摄图像，若在当前位置的相机视角内未识别到目标图像，则按转动相机云台扫描周围地面环境，搜寻目标图像，调整无人机移动到降落点上空，开始正式降落；从高处降落过程中，首先识别到最明显的大矩形；降落到一定高度后，再识别到三个小矩形，降落到近地面，最好识别到图形中心的二维码，获取目标二维码后，确定二维码的中心点位置并获取厘米级精度的水平距离，实现厘米级精准降落。本发明提供的方法识别准确、可靠、适用度强的精准度为厘米级，而且克服高处以识别二维码图像为主时的识别高度受限，难以适应不同亮度，以及抗干扰能力弱的问题。

Description

一种无人机厘米级精准降落的图像处理方法

技术领域

本发明属于无人机降落技术，具体而言涉及一种基于图像识别的无人机精准降落方法，特别涉及一种无人机厘米级精准降落的图像处理方法。

背景技术

常规方法是单纯依靠GPS定位来辅助降落，但是民用GPS测量误差从0.5米到数米不等，且易受干扰影响；进一步，使用目前先进的RTK定位技术来辅助降落，可提供最小厘米级定位精度，但是设备成本昂贵；于是，基于图像识别的软件方法受到重视，通过无人机标配的摄像机采集目标图像，并进行图像识别，从而提供目标降落点的位置和角度等信息。下述两篇专利文献是目前基于图像识别技术的典型概括，其各自存在相应缺点。

现有技术中，公开号为CN107943090A的专利文献公开了一种无人机的降落方法及系统，其通过无人机的摄像装置拍摄图像，与存储的无人机第一飞行高度对应模板图像进行匹配，获取无人机偏离目标降落点的位置，进而控制无人机以一定速度降落到目标降落点。该方法通用性比较强，模板图像多样，但是图像特征匹配对计算能力要求高，而且不同模板图像间识别效果差异大，稳定性无法保证，同时角度不易获取。

另一篇公开号为CN107450590A的专利文献公开了一种无人机辅助降落方法，其在降落场地设置二维码及标志码图像，通过机载摄像头采集地面降落区域中的图像，对其中的二维码及标志码进行图像算法处理，获得对应的像素和方向，从而控制无人机进行精准降落。该方法降低了图像识别的计算力要求，并且能实现正常光照下的精准降落，但是因高处二维码的细节模糊，识别高度受限；同时没有考虑天暗天黑等亮度弱时的应用场景，适应能力不足。

发明内容

1、所要解决的技术问题：

常规方法是单纯依靠GPS定位来辅助降落，但是民用GPS测量误差从0.5米到数米不等，且易受干扰影响；进一步，使用目前先进的RTK定位技术来辅助降落，可提供最小厘米级定位精度，但是设备成本昂贵。

2、技术方案：

为了解决以上问题，本发明提供了一种无人机厘米级精准降落的图像处理方法，包括以下步骤，

步骤一：制作目标识别图形，放置于目标降落点；所述的目标识别图形为大的大矩形和三个小矩形以及单个二维码组成，所述的大矩形的中心、三个小矩形的中心、二维码的中心重合；所述的大矩形和小矩形的颜色不相同；

步骤二：无人机飞到降落位置附近，将相机垂直向下拍摄图像，当垂直向下的相机稳定后，通过多幅图像获取当前环境下的平均亮度值，从而选用合适的目标图形颜色识别参数；

步骤三：若在当前位置的相机视角内未识别到目标图像，则按一定俯仰角转动相机云台扫描周围地面环境，搜寻目标图像；

步骤四：搜寻时无人机位于高处，识别到最明显的大矩形，获取矩形目标并确定矩形中心点位置后，则结合相机位置，获取水平距离；

步骤五：寻找到目标图像后，调整无人机移动到降落点上空，开始正式降落；

步骤六：从高处降落过程中，第一阶段首先识别到最明显的大矩形，获取大矩形目标并确定矩形中心点位置后，获取水平距离，供无人机调整使用；

步骤七：降落到一定高度后，第二阶段优先识别到三个小矩形，获取小矩形目标后，确定三个小矩形组合的中心点位置并获取水平距离，确定三个小矩形组合的正方向并结合无人机当前机头指向获取正方向角度，供无人机调整使用；

步骤八：降落到近地面，第三阶段优先识别到图形中心的二维码，获取目标二维码后，确定二维码的中心点位置并获取厘米级精度的水平距离，确定二维码的正方向并结合无人机当前机头指向获取正方向角度，进行最终的精细修正，实现厘米级精准降落。

3、有益效果：

本发明提供的无人机厘米级精准降落的图像处理方法识别准确、可靠、适用度强的精准度为厘米级，解决模板图像使用特征点匹配时算力要求高，不同模板图像间识别效果差异大，稳定性无法保证，并且角度不易获取的缺点；同时克服高处以识别二维码图像为主时的识别高度受限，难以适应不同亮度，以及抗干扰能力弱的问题。

附图说明

图1为无人机厘米级精准降落的图像处理方法的流程。

图2为本发明中的目标识别图形的示意图。

图3为本发明中的横侧方向实际相对误差计算示意图。

图4 为本发明中的图像亮度的具体计算流程。

图5为本发明中的图像识别具体流程。

图6为本发明中的矩形识别具体流程。

图7为本发明中直角三角形中的方向识别示意图。

图8为本发明中的二维码中的方向识别。

具体实施方式

下面通过附图来对本发明进行详细说明。

如图1所示，为本发明无人机厘米级精准降落的图像处理方法的流程。

如图2所示，有四个矩形，分别为大矩形1，第一小矩形21，第二小矩形22，第三小矩形23，二维码3，目标识别图形为大的大矩形和三个小矩形以及单个二维码组成，所述的大矩形的中心、三个小矩形的中心、二维码的中心重合；所述的大矩形和小矩形的颜色不相同。本发明中大矩形采用红色，三个小矩形为绿色。红色矩形和绿色矩形的颜色不唯一，满足两者RGB差异性大即可；红色矩形和绿色矩形的尺寸及相对位置不唯一，红色矩形边长典型值：30cm~3000cm，绿色矩形边长典型值：10cm~1500cm，前者边长是后者的3~6倍；中心二维码不唯一，可以选择OpenCV中的其它二维码。

步骤二中，所述的标图形颜色识别参数通过计算图像亮度进行选择，如图4所示，步骤为：第一步：每次精准降落开始前，等待切换调整时间，包括相机从水平朝向切换到垂直朝向时间及相机自适应调整时间；第二步：相机获取有效图像；第三步：将获取的彩色图像转换成灰度图像，灰度值和亮度值在“色相无关性”方面是一致的，因此灰度常被用来表示亮度；第四步：获取灰度图中每一个像素点的灰度值，并求和取平均，得到图像的平均灰度值，等价于平均亮度值；第五步：重复步骤第二步、第三步、第四步多次，求取多幅图像的平均亮度值，排除随机误差；第六步：根据平均亮度值，选取匹配的图像识别阈值参数，平均亮度值与图像识别阈值参数的关系需在前期通过实验获得，实验为通过获取不同亮度环境且无人机降落过程中拍摄的图像，并调试出合适的图像识别阈值参数，进而得出匹配关系。

所述的目标图像识别优先级：二维码≥三个小矩形≥单个大矩形。通常从高处降落过程中，由远到近依次可识别到单个红色矩形、三个绿色矩形、二维码。如图5所示，：所述的目标图像的获取的方法为：①识别相机采集的图像；②判断是否识别到二维码；③若识别到二维码，则计算并提供厘米级水平距离和正方向角度；④若未识别到二维码，则判断是否识别到三个小矩形；⑤若识别到三个小矩形，则计算并提供水平距离和正方向角度；⑥若未识别到三个绿色矩形，则判断是否识别到单个红色矩形；⑦若识别到大矩形，则计算并提供水平距离；⑧若未识别到大矩形，则继续图像识别，直到满足条件结束识别。

如图6所示，矩形目标的获取步骤为：①制作腐蚀或膨胀操作的内核，形状为矩形，锚点默认为中心点；②按制定的内核对图像进行膨胀操作；③将图像从RGB颜色空间转换到灰度空间；④遍历灰度图中点，将图像信息二值化；⑤设置存储遍历结果的内存块大小，典型值为64k字节；⑥从二值图像中检索轮廓，并返回检测到的轮廓个数，检索时，检索所有的轮廓，并将它们组织为两层：顶层是各部分的外部边界，第二层是空洞的边界；采用边缘近似方法，将所有的连码点转换成点；⑦计算各点集的最外面矩形边界，以获取各点集对应矩形的像素宽度、像素高度及左上角顶点的像素坐标；⑧通过各矩形本身各边的最小像素尺寸、极限长宽比，剔除干扰矩形；⑨通过矩形间位置、尺寸比、数量关系，进一步剔除干扰矩形；⑩根据挑选出的有效矩形，计算出位置或角度信息，单个大矩形只能提供位置信息，三个小矩形组合能提供位置和角度信息。

对于水平距离的获取，为了便于说明，将相机拍摄图片：水平向右为定义X轴正方向，竖直向下定义为Y轴正方向；对于无人机：机身朝前，对应图片竖直向上，定义为X轴正方向，机身朝右，对应图片水平向右定义为Y轴正方向。

所述水平距离的获取方法为水平距离获取的核心是通过找到目标中心点在图像中的像素位置，然后求出目标中心点像素位置距离图像中心像素位置的x和y方向的像素距离，再将像素距离从图像坐标系转换到无人机坐标系，并结合实际高度将像素距离转换为实际水平距离，传递给无人机。其中，目标中心点指降落目标图形的中心点，包括大矩形的中心点、三个小矩形组合的中心点、二维码的中心点，且三者的中心点重合；图像中心点指相机拍摄图像的中心点，代表无人机相机所在位置。

所述的目标中心点有三种，分别大矩形目标中心点，小矩形目标中心点和二维码目标中心点。三类目标中心点的具体识别方法如下：①识别单个大矩形的中心位置，将其作为目标中心点。矩形中心位置可通过矩形目标识别过程中获取到矩形的像素宽度、像素高度及左上角顶点的像素坐标求得；② 识别三个小矩形各自的中心位置，并将三个中心位置组合成直角三角形或类似直角三角形，然后找到最长斜边的中点位置，将其作为目标中心，小矩形各自中心位置的求取方法同大矩形；③ 识别二维码的中心位置，并将其作为目标中心点。可通过调用OpenCV相关库函数，按顺时针识别出二维码四个顶点及对应坐标，进而求出二维码中心点坐标。

如图3所示，所述实际水平距离的求取方法为：获得实际高度后，通过相似三角形定则可以计算横侧方向上的实际相对误差距离，计算公式为： 其中 H为相机距离目标点的高度， 为相机焦距， 为横侧方向上实际相对误差距离，N为图片中的像素数量， 为图片中的单位像素长度。

如图7所示，所述矩形正方形角度的获取方法为：通过识别三个小矩形的中心，从而组成直角三角形，进而找到最长的斜边，以及位于直角右边的顶点，最终以直角顶点和右边顶点连线的中点指向斜边中点的方向为无人机最终的机头目标指向；无人机从当前指向转到目标指向的转动角度为θ，图像中的位置以像素点的位置来表示；寻找直角顶点的右边顶点时，依据过直角顶点和斜边中点连线的直线与直角左右两顶点的位置关系，数学中直线将区域分成了两部分，从而找出右边顶点及坐标。

如图8所示，所述的二维码的正方形角度的获取方法为：有四个顶点，分别为第一顶点11、第二顶点2、第三顶点33、第四顶点4，以二维码的中心指向第一顶点11和第二顶点2连线的中点的方向为无人机最终的机头目标指向，无人机从当前指向转到目标指向的转动角度为θ，图像中的位置以像素点的位置来表示。

本发明提供的无人机厘米级精准降落的图像处理方法，平衡了图像识别计算能力要求和识别准确、可靠、适用度强的矛盾。通过选用灰度化和二值化处理矩形图像和二维码图像替代通过特征点匹配模板图像的方式降低了对算力的要求；通过提供多矩形图像和二维码图像的固定组合图像模板，结合毫米波雷达、超声波雷达、GPS、图像识别等提供的高度信息，整个过程都能提供位置和角度控制信息，尤其在靠近最终降落点时，位置信息达到厘米级精度；通过计算相机采集图像的亮度，选用合适识别参数，以适应不同亮度的应用场景；在能准确识别二维码之前，通过识别矩形组合图的颜色、形状、相互位置和尺寸关系等综合信息，克服高处识别单一二维码图像时的受限问题，提高识别准确度，增强抗干扰能力。

虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (9)

1.一种无人机厘米级精准降落的图像处理方法，包括以下步骤，

步骤一：制作目标识别图形，放置于目标降落点；所述的目标识别图形为大的大矩形和三个小矩形以及单个二维码组成，所述的大矩形的中心、三个小矩形的中心、二维码的中心重合；所述的大矩形和小矩形的颜色不相同；

步骤二：无人机飞到降落位置附近，将相机垂直向下拍摄图像，当垂直向下的相机稳定后，通过多幅图像获取当前环境下的平均亮度值，从而选用合适的目标图形颜色识别参数；

步骤三：若在当前位置的相机视角内未识别到目标图像，则按一定俯仰角转动相机云台扫描周围地面环境，搜寻目标图像；

步骤四：搜寻时无人机位于高处，识别到最明显的大矩形，获取矩形目标并确定矩形中心点位置后，则结合相机位置，获取水平距离；矩形目标的获取步骤为：①制作腐蚀或膨胀操作的内核，形状为矩形，锚点默认为中心点；②按制定的内核对图像进行膨胀操作；③将图像从RGB颜色空间转换到灰度空间；④遍历灰度图中点，将图像信息二值化；⑤设置存储遍历结果的内存块大小，典型值为64k字节；⑥从二值图像中检索轮廓，并返回检测到的轮廓个数，检索时，检索所有的轮廓，并将它们组织为两层：顶层是各部分的外部边界，第二层是空洞的边界；采用边缘近似方法，将所有的连码点转换成点；⑦计算各点集的最外面矩形边界，以获取各点集对应矩形的像素宽度、像素高度及左上角顶点的像素坐标；⑧通过各矩形本身各边的最小像素尺寸、极限长宽比，剔除干扰矩形；⑨通过矩形间位置、尺寸比、数量关系，进一步剔除干扰矩形；⑩根据挑选出的有效矩形，计算出位置或角度信息，单个大矩形只能提供位置信息，三个小矩形组合能提供位置和角度信息；

步骤五：寻找到目标图像后，调整无人机移动到降落点上空，开始正式降落；

步骤六：从高处降落过程中，第一阶段首先识别到最明显的大矩形，获取大矩形目标并确定矩形中心点位置后，获取水平距离，供无人机调整使用；

步骤七：降落到一定高度后，第二阶段优先识别到三个小矩形，获取小矩形目标后，确定三个小矩形组合的中心点位置并获取水平距离，确定三个小矩形组合的正方向并结合无人机当前机头指向获取正方向角度，供无人机调整使用；

步骤八：降落到近地面，第三阶段优先识别到图形中心的二维码，获取目标二维码后，确定二维码的中心点位置并获取厘米级精度的水平距离，确定二维码的正方向并结合无人机当前机头指向获取正方向角度，进行最终的精细修正，实现厘米级精准降落。

2.如权利要求1所述的方法，其特征在于：所述的大矩形为红色，小矩形为绿色。

3.如权利要求1所述的方法，其特征在于：步骤二中，所述的标图形颜色识别参数通过计算图像亮度进行选择，步骤为：第一步：每次精准降落开始前，等待切换调整时间，包括相机从水平朝向切换到垂直朝向时间及相机自适应调整时间；第二步：相机获取有效图像；第三步：将获取的彩色图像转换成灰度图像，灰度值和亮度值在“色相无关性”方面是一致的，因此灰度常被用来表示亮度；第四步：获取灰度图中每一个像素点的灰度值，并求和取平均，得到图像的平均灰度值，等价于平均亮度值；第五步：重复步骤第二步、第三步、第四步多次，求取多幅图像的平均亮度值，排除随机误差；第六步：根据平均亮度值，选取匹配的图像识别阈值参数，平均亮度值与图像识别阈值参数的关系需在前期通过实验获得，实验为通过获取不同亮度环境且无人机降落过程中拍摄的图像，并调试出合适的图像识别阈值参数，进而得出匹配关系。

4.如权利要求1所述的方法，其特在于：所述的目标图像的获取的方法为：①识别相机采集的图像；②判断是否识别到二维码；③若识别到二维码，则计算并提供厘米级水平距离和正方向角度；④若未识别到二维码，则判断是否识别到三个小矩形；⑤若识别到三个小矩形，则计算并提供水平距离和正方向角度；⑥若未识别到三个绿色矩形，则判断是否识别到单个红色矩形；⑦若识别到大矩形，则计算并提供水平距离；⑧若未识别到大矩形，则继续图像识别，直到满足条件结束识别。

5.如权利要求1所述的方法，其特征在于：所述水平距离获取的方法为通过找到目标中心点在图像中的像素位置，然后求出目标中心点像素位置距离图像中心像素位置的x和y方向的像素距离，再将像素距离从图像坐标系转换到无人机坐标系，并结合实际高度将像素距离转换为实际水平距离，传递给无人机，相机拍摄图片：水平向右为X轴正方向，竖直向下为Y轴正方向，对于无人机：机身朝前为X轴正方向，机身朝右为Y轴正方向。

6.如权利要求5所述的方法，其特征在于：所述目标中心在图像中的像素位置有三种情况：①识别大矩形的中心位置，将其作为目标中心点，矩形中心位置通过矩形目标识别过程中获取到矩形的像素宽度、像素高度及左上角顶点的像素坐标求得；②识别三个小矩形各自的中心位置，并将三个中心位置组合成直角三角形或类似直角三角形，然后找到最长斜边的中点位置，将其作为目标中心，小矩形各自中心位置的求取方法大矩形；③识别二维码的中心位置，并将其作为目标中心点，通过调用OpenCV相关库函数，按顺时针识别出二维码四个顶点及对应坐标，进而求出二维码中心点坐标。

7.如权利要求5或6所述的方法，其特征在于：所述实际水平距离的求取方法为：获得实际高度后，通过相似三角形定则可以计算横侧方向上的实际相对误差距离，计算公式为：

其中H为相机距离目标点的高度，f为相机焦距，ΔX_e为横侧方向上实际相对误差距离，N为图片中的像素数量，ΔP为图片中的单位像素长度。

8.如权利要求1所述的方法，其特征在于；所述矩形正方形角度的获取方法为：通过识别三个小矩形的中心，从而组成直角三角形，进而找到最长的斜边，以及位于直角右边的顶点，最终以直角顶点和右边顶点连线的中点指向斜边中点的方向为无人机最终的机头目标指向；无人机从当前指向转到目标指向的转动角度为θ，图像中的位置以像素点的位置来表示；寻找直角顶点的右边顶点时，依据过直角顶点和斜边中点连线的直线与直角左右两顶点的位置关系，数学中直线将区域分成了两部分，从而找出右边顶点及坐标。

9.如权利要求1所述的方法，其特征在于：所述的二维码的正方形角度的获取方法为：有四个顶点，分别为第一顶点11、第二顶点2、第三顶点33、第四顶点4，以二维码的中心指向第一顶点11和第二顶点2连线的中点的方向为无人机最终的机头目标指向，无人机从当前指向转到目标指向的转动角度为θ，图像中的位置以像素点的位置来表示。

Images