CN114020006A - 无人机辅助降落方法、装置、存储介质以及电子设备 - Google Patents
无人机辅助降落方法、装置、存储介质以及电子设备 Download PDFInfo
- Publication number
- CN114020006A CN114020006A CN202111129645.1A CN202111129645A CN114020006A CN 114020006 A CN114020006 A CN 114020006A CN 202111129645 A CN202111129645 A CN 202111129645A CN 114020006 A CN114020006 A CN 114020006A
- Authority
- CN
- China
- Prior art keywords
- pixel
- aerial vehicle
- unmanned aerial
- landing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 23
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种无人机辅助降落方法、装置、存储介质以及电子设备，该方法包括：获取无人机对降落指示标签拍摄的图像，对图像进行灰度化处理，获得灰度图。对灰度图进行裁剪，获得裁剪后的灰度图。对裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图。根据均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值。根据所述位置偏差值，控制无人机降落至所述目标降落中心点。通过对灰度图进行裁剪，减少了降落指示标签的识别区域，进一步地，对灰度直方图进行均衡化处理，对降落指示标签过度曝光或者曝光不足进行优化，提高了降落指示标签识别的效率，从而提高了无人机降落的精准度。
Description
技术领域
本发明涉及无人机控制技术领域，特别是涉及一种无人机辅助降落方法、装置、存储介质以及电子设备。
背景技术
无人机是一种由无线电遥控设备或自身程序控制装置操纵的无人驾驶飞行器，常用于航拍。由于无人机航行路线上的不确定性，无人机航拍并不总是在拍摄环境状况良好的情况下进行，时常遇到光线不足或者逆光的情况。
由于光照条件变化的复杂性，现有技术是通过多次实验获取不同亮度环境下无人机在降落过程中拍摄的图像，对所述图像进行平均亮度值计算，从而根据所述平均亮度值来设置图像识别阈值参数。然而，现有技术并不能完全适应变化复杂的光照环境，适应能力不足，使得无人机无法准确降落至地面上的降落点。
发明内容
基于此，本发明的目的在于，提供一种无人机辅助降落方法、装置、存储介质以及电子设备，其具有提高无人机降落精准度的优点。
根据本申请实施例的第一方面，提供一种无人机辅助降落方法，包括如下步骤：
获取无人机对降落指示标签拍摄的图像，其中，在无人机的目标降落中心点设置有所述降落指示标签；
对所述图像进行灰度化处理，获得灰度图；
对所述灰度图进行裁剪，获得裁剪后的灰度图；
对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图；
根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值；
根据所述位置偏差值，控制无人机降落至所述目标降落中心点。
根据本申请实施例的第二方面，提供一种无人机辅助降落装置，包括：
图像获取模块，用于获取无人机对降落指示标签拍摄的图像，其中，在无人机的目标降落中心点设置有所述降落指示标签；
图像灰度化模块，用于对所述图像进行灰度化处理，获得灰度图；
灰度图裁剪模块，用于对所述灰度图进行裁剪，获得裁剪后的灰度图；
灰度图均衡化模块，用于对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图；
位置偏差计算模块，用于根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值；
无人机降落模块，用于根据所述位置偏差值，控制无人机降落至所述目标降落中心点。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述任意一项所述的无人机辅助降落方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的无人机辅助降落方法。
本发明通过在无人机的目标降落中心点设置有所述降落指示标签，获取无人机对降落指示标签拍摄的图像，对所述图像进行灰度化处理，获得灰度图。对所述灰度图进行裁剪，获得裁剪后的灰度图，对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图，根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值。根据所述位置偏差值，控制无人机降落至所述目标降落中心点，可使无人机准确降落至目标降落中心点，同时，本发明通过对灰度图进行裁剪，减少了降落指示标签的识别区域，进一步地，对灰度直方图进行均衡化处理，对降落指示标签过度曝光或者曝光不足进行优化，提高了降落指示标签识别的效率，从而提高了无人机降落的精准度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明无人机辅助降落方法的流程示意图；
图2为本发明无人机辅助降落方法中S30的流程示意图；
图3为本发明无人机辅助降落方法中S40的流程示意图；
图4为本发明无人机辅助降落方法中S50的流程示意图；
图5为本发明无人机辅助降落方法中S52的流程示意图；
图6为本发明无人机辅助降落方法中S60的流程示意图；
图7为本发明无人机辅助降落装置的结构框图；
图8为本发明无人机辅助降落装置灰度图裁剪模块73的结构框图；
图9为本发明无人机辅助降落装置灰度图均衡化模块74的结构框图；
图10为本发明无人机辅助降落装置位置偏差计算模块75的结构框图；
图11为本发明无人机辅助降落装置无人机降落模块76的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，本发明实施例提供一种无人机辅助降落方法，包括的步骤如下：
S10.获取无人机对降落指示标签拍摄的图像，其中，在无人机的目标降落中心点设置有所述降落指示标签。
在本申请实施例中，所述目标降落中心点为无人机降落至地面的位置。所述降落指示标签为二维码，例如Apriltag标签码，所述降落指示标签设置在目标降落中心点。
无人机的云台上搭载有高清相机，无人机在降落过程中通过开启所述高清相机，获取对降落指示标签拍摄的图像。
S20.对所述图像进行灰度化处理，获得灰度图。
灰度图像上每个像素的颜色值又称为灰度，指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0。在本申请实施例中，对所述图像进行灰度化处理，即令所述图像的R＝G＝B，获得灰度。
S30.对所述灰度图进行裁剪，获得裁剪后的灰度图。
在本申请实施例中，为了提高识别所述图像中的降落指示标签的效率，对所述灰度图进行裁剪，获得裁剪后的灰度图，进而使得识别降落指示标签的区域范围减少。
S40.对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图。
灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。直方图均衡化是一种增强图像对比度的方法，其主要思想是将一副图像的直方图分布变成近似均匀分布，从而增强图像的对比度。在本申请实施例中，对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图，从而对图像出现过度曝光或者曝光不足的情形进行调整优化，进而提高无人机识别降落指示标签的效率。
S50.根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值。
在本申请实施例中，所述均衡化的灰度图的图像对比度高，无人机对所述降落指示标签进行识别，根据所述降落指示标签在所述均衡化的灰度图中的像素坐标，计算所述无人机与所述降落指示标签之间的位置偏差值。
S60.根据所述位置偏差值，控制无人机降落至所述目标降落中心点。
在本申请实施例中，无人机与地面的遥控器通过无线电进行通信，所述遥控器与安卓设备有线连接，所述安卓设备可以为手机、平板等。所述安卓设备获得无人机与降落指示标签之间的位置偏差值后，将所述位置偏差值发送给无人机的飞行控制设备，从而所述飞行控制设备计算出降落过程中的移动速度，所述飞行控制设备根据所述移动速度，控制无人机降落至所述目标降落中心点。
应用本发明实施例，通过在无人机的目标降落中心点设置有所述降落指示标签，获取无人机对降落指示标签拍摄的图像，对所述图像进行灰度化处理，获得灰度图。对所述灰度图进行裁剪，获得裁剪后的灰度图，对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图，根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值。根据所述位置偏差值，控制无人机降落至所述目标降落中心点，可使无人机准确降落至目标降落中心点，同时，本发明通过对灰度图进行裁剪，减少了降落指示标签的识别区域，进一步地，对灰度直方图进行均衡化处理，对降落指示标签过度曝光或者曝光不足进行优化，提高了降落指示标签识别的效率，从而提高了无人机降落的精准度。
在一个可选的实施例中，请参阅图2，所述步骤S30，包括S31～S34，具体如下：
S31.获取无人机的飞行高度、所述灰度图的宽度和高度、无人机搭载的相机的视场角以及所述降落指示标签的宽和高。
视场角在光学工程中又称视场，视场角的大小决定了光学仪器的视野范围。对于照相机、摄像机类的光学设备，由于其感光面是矩形的，因此常以矩形感光面对角线的成像物直径计算视场角。在本申请实施例中，通过无人机上搭载的超声波测距装置获取无人机的飞行高度，所述灰度图的宽度和高度比值为4：3，无人机搭载的相机的视场角、所述降落指示标签的宽和高均是已知的。
S32.根据所述飞行高度、所述灰度图的宽度和所述灰度图的高度以及所述视场角，计算所述灰度图的每个像素的像素宽和每个像素的像素高；其中，计算所述每个像素的像素宽和所述每个像素的像素高的公式为：
其中，pW为所述每个像素的像素宽，pH为所述每个像素的像素高，bw为所述灰度图的宽度，bh为所述灰度图的高度，h为所述飞行高度，fov为所述视场角，tan为正切函数。
根据所述飞行高度h和所述视场角fov，计算出所述灰度图的对角线的实际距离L，即L＝tan(fov/2)*h*2。根据所述灰度图的画面宽度bw和高度bh比值为4：3，可以计算出所述灰度图的画面宽度bw代表的实际距离为tan(fov/2)*h*2*4/5，所述灰度图的画面高度bh代表的实际距离为tan(fov/2)*h*2*3/5。由于所述灰度图的分辨率是已知的，即所述灰度图的宽度方向的像素数量和高度方向的像素数量是已知的，计算所述灰度图的画面宽度bw代表的实际距离与所述灰度图的画面宽度bw的比值，可以得到所述灰度图的每个像素的像素宽。同理，计算所述灰度图的画面高度bh代表的实际距离与所述灰度图的画面高度bh的比值，可以得到所述灰度图的每个像素的像素高。
S33.将所述降落指示标签的宽与所述每个像素的像素宽的比值作为裁剪框的宽，将所述降落指示标签的高与所述每个像素的像素高的比值作为裁剪框的高。
由于所述降落指示标签的宽和高是已知的，计算所述降落指示标签的宽与每个像素的像素宽的比值，获得所述降落指示标签在所述灰度图中宽度方向占据的像素数量，同理，计算所述降落指示标签的高与每个像素的像素高的比值，获得所述降落指示标签在所述灰度图中高度方向占据的像素数量，即获得所述降落指示标签在所述灰度图中的占据的像素区域大小。
S34.对所述灰度图裁剪出所述裁剪框的2倍大小区域，获得裁剪后的灰度图；其中，所述裁剪框的中心与所述灰度图的中心重合。
在识别所述降落指示标签之前，对所述灰度图进行裁剪，裁剪区域的大小为所述降落指示标签在所述灰度图中的占据的像素区域大小的2倍，由于不是对整个所述灰度图进行所述降落指示标签的识别，而是对裁剪后的灰度图进行所述降落指示标签的识别，减少了识别的时间，从而提高了识别所述降落指示标签的效率。
在一个可选的实施例中，请参阅图3，所述步骤S40，包括S41～S42，具体如下：
S41.利用OpenCV遍历所述裁剪后的灰度图中的像素，获取每个像素的灰度值以及统计相同的所述灰度值对应的像素个数，获得直方图；
S42.对所述直方图进行均衡化处理，获得均衡化的灰度图。
OpenCV是一个基于BSD许可发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。在本申请实施例中，利用OpenCV获得直方图，所述直方图可以表示为一个离散函数h(rk)＝nk，其中，rk是第k级灰度值，nk是灰度值为rk的像素个数。直方图均衡化的过程对应于一个变换T：s＝T(r)，0≤r≤255，即对于输入灰度图的某个灰度值r，可以通过变换T得到均衡化后的灰度图对应位置的灰度值s。
在一个可选的实施例中，请参阅图4，所述步骤S50，包括S51～S52，具体如下：
S51.获取所述均衡化的灰度图中所述降落指示标签的像素坐标；
S52.根据所述像素坐标、所述每个像素的像素宽和所述每个像素的像素高，计算所述无人机与所述降落指示标签之间的位置偏差值。
在本申请实施例中，无人机的位置默认为所述均衡化的灰度图的正中心，根据所述降落指示标签的像素坐标，可以获得无人机相对于所述降落指示标签的水平方向和竖直方向的像素坐标差。根据所述单位像素的宽和所述单位像素的高，以及所述像素坐标差，计算所述无人机与所述降落指示标签之间的水平方向位置偏差值和竖直方向位置偏差值。
在一个可选的实施例中，请参阅图5，所述步骤S52，包括S521～S523，具体如下：
S521.计算所述像素坐标与所述均衡化的灰度图中心的像素坐标之间水平方向的坐标差值和竖直方向的坐标差值；
S522.将所述水平方向的坐标差值与所述每个像素的像素宽相乘，获得所述无人机与所述降落指示标签之间的水平方向位置偏差值；
S523.将所述竖直方向的坐标差值与所述每个像素的像素高相乘，获得所述无人机与所述降落指示标签之间的竖直方向位置偏差值。
在一个可选的实施例中，请参阅图6，所述步骤S60，包括S61～S62，具体如下：
S61.将所述位置偏差值与额定发送频率的比值作为无人机的移动速度；其中，所述额定发送频率为将所述位置偏差值发送给无人机飞行控制设备的固定频率；
S62.采用PID方法，控制所述移动速度使无人机降落至所述标降落中心点。
在本申请实施例中，所述额定发送频率为将位置偏差值数据发送给飞行控制设备的固定频率，一般为200ms左右。通过计算所述水平方向位置偏差值、竖直方向位置偏差值与所述额定发送频率的比值，得到所述无人机的水平方向移动速度和竖直方向移动速度。
PID方法是一种闭环控制方法，是根据控制对象输出反馈来进行校正的控制方式，它是在测量出实际与计划发生偏差时，按定额或标准来进行纠正的。采用所述PID方法，根据计算出的移动速度和无人机实际输出的移动速度，调整所述无人机的降落位置，使无人机降落至所述目标降落中心点。
相应于上述方法实施例，请参阅图7，本发明实施例提供一种无人机辅助降落装置7，包括：
图像获取模块71，用于获取无人机对降落指示标签拍摄的图像，其中，在无人机的目标降落中心点设置有所述降落指示标签；
图像灰度化模块72，用于对所述图像进行灰度化处理，获得灰度图；
灰度图裁剪模块73，用于对所述灰度图进行裁剪，获得裁剪后的灰度图；
灰度图均衡化模块74，用于对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图；
位置偏差计算模块75，用于根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值；
无人机降落模块76，用于根据所述位置偏差值，控制无人机降落至所述目标降落中心点。
可选的，请参阅图8，所述灰度图裁剪模块73，包括：
获取单元732，用于获取无人机的飞行高度、所述灰度图的宽度和高度、无人机搭载的相机的视场角以及所述降落指示标签的宽和高；
计算单元734，用于根据所述飞行高度、所述灰度图的宽度和所述灰度图的高度以及所述视场角，计算所述灰度图的每个像素的像素宽和每个像素的像素高；
裁剪框获得单元736，用于将所述降落指示标签的宽与所述每个像素的像素宽的比值作为裁剪框的宽，将所述降落指示标签的高与所述每个像素的像素高的比值作为裁剪框的高；
裁剪单元738，用于对所述灰度图裁剪出所述裁剪框的2倍大小区域，获得裁剪后的灰度图；其中，所述裁剪框的中心与所述灰度图的中心重合。
可选的，请参阅图9，所述灰度图均衡化模块74，包括：
像素遍历单元742，用于利用OpenCV遍历所述裁剪后的灰度图中的像素，获取每个像素的灰度值以及统计相同的所述灰度值对应的像素个数，获得直方图；
直方图均衡化单元744，用于对所述直方图进行均衡化处理，获得均衡化的灰度图。
可选的，请参阅图10，所述位置偏差计算模块75，包括：
坐标获取单元752，用于获取所述均衡化的灰度图中所述降落指示标签的像素坐标；
偏差值计算单元754，用于根据所述像素坐标、所述每个像素的像素宽和所述每个像素的像素高，计算所述无人机与所述降落指示标签之间的位置偏差值。
可选的，请参阅图11，所述无人机降落模块76，包括：
速度计算单元762，用于将所述位置偏差值与额定发送频率的比值作为无人机的移动速度；其中，所述额定发送频率为将所述位置偏差值发送给无人机飞行控制设备的固定频率；
无人机降落单元764，用于采用PID方法，控制所述移动速度使无人机降落至所述标降落中心点。
应用本发明实施例，通过在无人机的目标降落中心点设置有所述降落指示标签，获取无人机对降落指示标签拍摄的图像，对所述图像进行灰度化处理，获得灰度图。对所述灰度图进行裁剪，获得裁剪后的灰度图，对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图，根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值。根据所述位置偏差值，控制无人机降落至所述目标降落中心点，可使无人机准确降落至目标降落中心点，同时，本发明通过对灰度图进行裁剪，减少了降落指示标签的识别区域，进一步地，对灰度直方图进行均衡化处理，对降落指示标签过度曝光或者曝光不足进行优化，提高了降落指示标签识别的效率，从而提高了无人机降落的精准度。
本申请还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的方法步骤。
本申请还提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述实施例的方法步骤。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。
Claims (10)
1.一种无人机辅助降落方法，其特征在于，包括：
获取无人机对降落指示标签拍摄的图像，其中，在无人机的目标降落中心点设置有所述降落指示标签；
对所述图像进行灰度化处理，获得灰度图；
对所述灰度图进行裁剪，获得裁剪后的灰度图；
对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图；
根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值；
根据所述位置偏差值，控制无人机降落至所述目标降落中心点。
2.根据权利要求1所述的无人机辅助降落方法，其特征在于，所述对所述灰度图进行裁剪，获得裁剪后的灰度图，包括：
获取无人机的飞行高度、所述灰度图的宽度和高度、无人机搭载的相机的视场角以及所述降落指示标签的宽和高；
根据所述飞行高度、所述灰度图的宽度和所述灰度图的高度以及所述视场角，计算所述灰度图的每个像素的像素宽和每个像素的像素高；其中，计算所述每个像素的像素宽和所述每个像素的像素高的公式为：
其中，pW为所述每个像素的像素宽，pH为所述每个像素的像素高，bw为所述灰度图的宽度，bh为所述灰度图的高度，h为所述飞行高度，fov为所述视场角，tan为正切函数；
将所述降落指示标签的宽与所述每个像素的像素宽的比值作为裁剪框的宽，将所述降落指示标签的高与所述每个像素的像素高的比值作为裁剪框的高；
对所述灰度图裁剪出所述裁剪框的2倍大小区域，获得裁剪后的灰度图；其中，所述裁剪框的中心与所述灰度图的中心重合。
3.根据权利要求1所述的无人机辅助降落方法，其特征在于，所述对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图，包括：
利用OpenCV遍历所述裁剪后的灰度图中的像素，获取每个像素的灰度值以及统计相同的所述灰度值对应的像素个数，获得直方图；
对所述直方图进行均衡化处理，获得均衡化的灰度图。
4.根据权利要求2所述的无人机辅助降落方法，其特征在于，所述根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值，包括：
获取所述均衡化的灰度图中所述降落指示标签的像素坐标；
根据所述像素坐标、所述每个像素的像素宽和所述每个像素的像素高，计算所述无人机与所述降落指示标签之间的位置偏差值。
5.根据权利要求4所述的无人机辅助降落方法，其特征在于，所述根据所述像素坐标、所述每个像素的像素宽和所述每个像素的像素高，计算所述无人机与所述降落指示标签之间的位置偏差值，包括：
计算所述像素坐标与所述均衡化的灰度图中心的像素坐标之间水平方向的坐标差值和竖直方向的坐标差值；
将所述水平方向的坐标差值与所述每个像素的像素宽相乘，获得所述无人机与所述降落指示标签之间的水平方向位置偏差值；
将所述竖直方向的坐标差值与所述每个像素的像素高相乘，获得所述无人机与所述降落指示标签之间的竖直方向位置偏差值。
6.根据权利要求1所述的无人机辅助降落方法，其特征在于，所述根据所述位置偏差值，控制无人机降落至所述目标降落中心点，包括：
将所述位置偏差值与额定发送频率的比值作为无人机的移动速度；其中，所述额定发送频率为将所述位置偏差值发送给无人机飞行控制设备的固定频率；
采用PID方法，控制所述移动速度使无人机降落至所述标降落中心点。
7.一种无人机辅助降落装置，其特征在于，包括：
图像获取模块，用于获取无人机对降落指示标签拍摄的图像，其中，在无人机的目标降落中心点设置有所述降落指示标签；
图像灰度化模块，用于对所述图像进行灰度化处理，获得灰度图；
灰度图裁剪模块，用于对所述灰度图进行裁剪，获得裁剪后的灰度图；
灰度图均衡化模块，用于对所述裁剪后的灰度图进行灰度直方图的均衡化处理，获得均衡化的灰度图；
位置偏差计算模块，用于根据所述均衡化的灰度图，计算所述无人机与所述降落指示标签之间的位置偏差值；
无人机降落模块，用于根据所述位置偏差值，控制无人机降落至所述目标降落中心点。
8.根据权利要求7所述的无人机辅助降落装置，其特征在于，所述灰度图裁剪模块，包括：
获取单元，用于获取无人机的飞行高度、所述灰度图的宽度和高度、无人机搭载的相机的视场角以及所述降落指示标签的宽和高；
计算单元，用于根据所述飞行高度、所述灰度图的宽度和所述灰度图的高度以及所述视场角，计算所述灰度图的每个像素的像素宽和每个像素的像素高；其中，计算所述每个像素的像素宽和所述每个像素的像素高的公式为：
其中，pW为所述每个像素的像素宽，pH为所述每个像素的像素高，bw为所述灰度图的宽度，bh为所述灰度图的高度，h为所述飞行高度，fov为所述视场角，tan为正切函数；
裁剪框获得单元，用于将所述降落指示标签的宽与所述每个像素的像素宽的比值作为裁剪框的宽，将所述降落指示标签的高与所述每个像素的像素高的比值作为裁剪框的高；
裁剪单元，用于对所述灰度图裁剪出所述裁剪框的2倍大小区域，获得裁剪后的灰度图；其中，所述裁剪框的中心与所述灰度图的中心重合。
9.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至6中任意一项所述的无人机辅助降落方法。
10.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的无人机辅助降落方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129645.1A CN114020006B (zh) | 2021-09-26 | 2021-09-26 | 无人机辅助降落方法、装置、存储介质以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129645.1A CN114020006B (zh) | 2021-09-26 | 2021-09-26 | 无人机辅助降落方法、装置、存储介质以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114020006A true CN114020006A (zh) | 2022-02-08 |
| CN114020006B CN114020006B (zh) | 2023-04-07 |
Family
ID=80054915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111129645.1A Active CN114020006B (zh) | 2021-09-26 | 2021-09-26 | 无人机辅助降落方法、装置、存储介质以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020006B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060038908A1 (en) * | 2004-08-18 | 2006-02-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
| JP2006230904A (ja) * | 2005-02-28 | 2006-09-07 | Konica Minolta Medical & Graphic Inc | 画像処理装置及び画像処理方法 |
| EP2071493A2 (en) * | 2007-12-12 | 2009-06-17 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program and recording medium thereof |
| CN102929297A (zh) * | 2012-11-15 | 2013-02-13 | 天津市亚安科技股份有限公司 | 一种飞机起飞降落跟踪系统及其方法 |
| CN108460769A (zh) * | 2018-03-12 | 2018-08-28 | 北京达佳互联信息技术有限公司 | 图像处理方法及终端设备 |
| CN109144095A (zh) * | 2018-04-03 | 2019-01-04 | 奥瞳系统科技有限公司 | 用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避系统 |
| CN109521019A (zh) * | 2018-11-09 | 2019-03-26 | 华南理工大学 | 一种基于无人机视觉的桥梁底面裂缝检测方法 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| CN110602410A (zh) * | 2019-10-25 | 2019-12-20 | 深圳市道通智能航空技术有限公司 | 一种图像处理方法、装置、航拍相机及存储介质 |
| CN111596674A (zh) * | 2020-03-31 | 2020-08-28 | 广州中科云图智能科技有限公司 | 无人机的降落定位方法、装置及无人机巢 |
| CN111867932A (zh) * | 2018-02-07 | 2020-10-30 | 杭州零零科技有限公司 | 包含全向深度感测和避障空中系统的无人飞行器及其操作方法 |
| EP3812284A1 (en) * | 2019-10-22 | 2021-04-28 | Goodrich Lighting Systems GmbH | Aircraft navigation light, combination of an aircraft navigation light and a supplemental exterior aircraft light, and method of operating an exterior aircraft light |
| US20210123770A1 (en) * | 2019-10-28 | 2021-04-29 | Bombardier Inc. | Display systems and methods for aircraft |
| WO2021078264A1 (zh) * | 2019-10-25 | 2021-04-29 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
| CN112731966A (zh) * | 2020-12-22 | 2021-04-30 | 广州优飞信息科技有限公司 | 一种融合视觉的多旋翼无人机专用降落控制方法及装置 |
| US20210250539A1 (en) * | 2018-10-26 | 2021-08-12 | Autel Robotics Co., Ltd. | Image processing method and device for aerial camera, and unmanned aerial vehicle |
| CN113359843A (zh) * | 2021-07-02 | 2021-09-07 | 成都睿沿芯创科技有限公司 | 一种无人机自主降落方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-26 CN CN202111129645.1A patent/CN114020006B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060038908A1 (en) * | 2004-08-18 | 2006-02-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
| JP2006230904A (ja) * | 2005-02-28 | 2006-09-07 | Konica Minolta Medical & Graphic Inc | 画像処理装置及び画像処理方法 |
| EP2071493A2 (en) * | 2007-12-12 | 2009-06-17 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program and recording medium thereof |
| CN102929297A (zh) * | 2012-11-15 | 2013-02-13 | 天津市亚安科技股份有限公司 | 一种飞机起飞降落跟踪系统及其方法 |
| CN111867932A (zh) * | 2018-02-07 | 2020-10-30 | 杭州零零科技有限公司 | 包含全向深度感测和避障空中系统的无人飞行器及其操作方法 |
| CN108460769A (zh) * | 2018-03-12 | 2018-08-28 | 北京达佳互联信息技术有限公司 | 图像处理方法及终端设备 |
| CN109144095A (zh) * | 2018-04-03 | 2019-01-04 | 奥瞳系统科技有限公司 | 用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避系统 |
| US20210250539A1 (en) * | 2018-10-26 | 2021-08-12 | Autel Robotics Co., Ltd. | Image processing method and device for aerial camera, and unmanned aerial vehicle |
| CN109521019A (zh) * | 2018-11-09 | 2019-03-26 | 华南理工大学 | 一种基于无人机视觉的桥梁底面裂缝检测方法 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| EP3812284A1 (en) * | 2019-10-22 | 2021-04-28 | Goodrich Lighting Systems GmbH | Aircraft navigation light, combination of an aircraft navigation light and a supplemental exterior aircraft light, and method of operating an exterior aircraft light |
| CN110602410A (zh) * | 2019-10-25 | 2019-12-20 | 深圳市道通智能航空技术有限公司 | 一种图像处理方法、装置、航拍相机及存储介质 |
| WO2021078264A1 (zh) * | 2019-10-25 | 2021-04-29 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
| US20210123770A1 (en) * | 2019-10-28 | 2021-04-29 | Bombardier Inc. | Display systems and methods for aircraft |
| CN111596674A (zh) * | 2020-03-31 | 2020-08-28 | 广州中科云图智能科技有限公司 | 无人机的降落定位方法、装置及无人机巢 |
| CN112731966A (zh) * | 2020-12-22 | 2021-04-30 | 广州优飞信息科技有限公司 | 一种融合视觉的多旋翼无人机专用降落控制方法及装置 |
| CN113359843A (zh) * | 2021-07-02 | 2021-09-07 | 成都睿沿芯创科技有限公司 | 一种无人机自主降落方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| MUSA AYDIN 等: "Safe Landing Site Detection Using SRTM Data for the Unmanned Aerial Vehicles", 《2016 24TH SIGNAL PROCESSING AND COMMUNICATION APPLICATION CONFERENCE (SIU)》 * |
| 张佳敏: "无人机定点降落中的图像处理技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 穆晓曦: "货运无人机自主降落系统研究与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114020006B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10515271B2 (en) | Flight device and flight control method | |
| US10234873B2 (en) | Flight device, flight control system and method | |
| CN107784672B (zh) | 用于获取车载相机的外部参数的方法和装置 | |
| US20210289141A1 (en) | Control method and apparatus for photographing device, and device and storage medium | |
| CN110633629A (zh) | 基于人工智能的电网巡检方法、装置、设备及存储介质 | |
| CN108810423B (zh) | 一种基于图像亮度梯度的光照角度调节方法及系统 | |
| CN110086995B (zh) | 一种图像亮度调节方法、装置及无人机 | |
| CN108140245B (zh) | 测距方法、装置以及无人机 | |
| WO2018046617A1 (en) | Method and system for calibrating multiple cameras | |
| CN108513414B (zh) | 一种焦点自跟踪的舞台追光灯系统及方法 | |
| WO2018214067A1 (en) | Methods and systems for processing an image | |
| CN111260539A (zh) | 鱼眼图目标识别方法及其系统 | |
| CN211506262U (zh) | 一种基于视觉定位的导航系统 | |
| CN114708326A (zh) | 自适应调整亮度和模糊度的全自动相机标定系统及其方法 | |
| CN114020006B (zh) | 无人机辅助降落方法、装置、存储介质以及电子设备 | |
| CN111580551A (zh) | 一种基于视觉定位的导航系统与方法 | |
| US20150168809A1 (en) | Focus control apparatus and focus control method | |
| CN112292712A (zh) | 装置、摄像装置、移动体、方法以及程序 | |
| CN115883969A (zh) | 一种无人机拍摄方法、装置、设备及介质 | |
| CN114005026A (zh) | 机器人的图像识别方法、装置、电子设备及存储介质 | |
| WO2020172878A1 (zh) | 可移动平台的射击瞄准控制方法、设备及可读存储介质 | |
| JP2022089285A (ja) | 制御装置、無人飛行体および無人飛行体に搭載されたカメラの制御方法 | |
| CN111757011A (zh) | 基于pid算法的球机高精度追踪系统及方法 | |
| CN111174706A (zh) | 地板安装检测方法、电子装置及存储介质 | |
| CN114332234B (zh) | 一种基于棋盘格的自动标定方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |