CN110059701B - 一种基于不良光照下的无人机地标图像处理方法 - Google Patents

一种基于不良光照下的无人机地标图像处理方法 Download PDF

Info

Publication number
CN110059701B
CN110059701B CN201910226732.5A CN201910226732A CN110059701B CN 110059701 B CN110059701 B CN 110059701B CN 201910226732 A CN201910226732 A CN 201910226732A CN 110059701 B CN110059701 B CN 110059701B
Authority
CN
China
Prior art keywords
image
brightness
landmark
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910226732.5A
Other languages
English (en)
Other versions
CN110059701A (zh
Inventor
张琴
章韵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910226732.5A priority Critical patent/CN110059701B/zh
Publication of CN110059701A publication Critical patent/CN110059701A/zh
Application granted granted Critical
Publication of CN110059701B publication Critical patent/CN110059701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于不良光照下的无人机地标图像处理方法，首先制作地标图形，放置于无人机降落点，无人机通过高清相机拍摄地标图像，计算图像亮度均值，若图像亮度异常，则对此图像进行亮度评估，若图像评估为过度曝光，则采用图像亮度自适应算法进行亮度抑制，若图像评估为曝光不足，则采用图像低照度算法进行亮度补偿，当图像进行亮度处理后，通过设定的阈值参数提取地标特征点，获取地标轮廓，并得出地标中心点坐标发送至飞控，飞控控制无人机姿态，精准降落至地标，本发明提供的方法解决了不良光照下，设定的阈值参数无法匹配不同亮度的问题，且该方法运行时间短，符合无人机实时性的要求，提高了无人机降落的精准度。

Description

一种基于不良光照下的无人机地标图像处理方法
技术领域
本发明涉及一种图像处理方法，具体的说是一种无人机地标图像处理方法，属于无人机控制技术领域。
背景技术
近年来随着无人机的发展，无人机视觉定位系统在军事侦察、地震救灾、交通监控等领域得到广泛应用。但在无人机降落过程中，因光照、雾霾和地形等环境因素导致无人机地标图像存在对比度低、色彩失真和模糊不清等问题，进而影响无人机视觉定位的精准度。由于光照条件变化的复杂性，虽然该领域涌现了许多新的方法，如直方图均衡化、小波变换、Retinex等方法，但是各种方法均具有一定的局限性，所以仍需要进一步的完善和改进。
现有技术中，公开号为CN108873943A的专利文献中公开了一种无人机厘米级精准降落的图像处理方法，其中通过计算得到多幅图像平均亮度值，根据平均亮度值，选取匹配的图像识别阈值参数。但需要通过前期多次实验获取不同亮度环境且无人机在降落过程中拍摄的图像，并调试出合适的图像识别阈值参数，进而得出匹配关系。该方法需进行多次实验，操作复杂，且实验得出的阈值参数并不能完全适应变化复杂的光照环境，适应能力不足。
发明内容
本发明克服现有技术的不足而提供是一种基于不良光照下的无人机地标图像处理方法，消除不良光照对图像的影响，并解决了阈值参数不受光照亮度影响的问题，确保图像质量达到无人机降落的所需指标，实现无人机的精准降落。
本发明提供一种基于不良光照下的无人机地标图像处理方法，包括以下步骤：
步骤一：制作无人机地标，放置目标降落点；所述地标图形由一个大矩形、一个小矩形和一对大小于号组成；
步骤二：无人机通过高清相机采集图像，转换成灰度图并计算图像亮度均值及方差；
步骤三：当存在亮度异常时，即亮度均值会偏离均值点，方差也会偏小；通过计算灰度图的亮度均值和方差，评估图像是否存在过度曝光或曝光不足；当亮度处于正常范围内时，获取外部轮廓；
步骤四：当图像评估为过度曝光时，即采用图像亮度自适应算法进行亮度抑制；当图像评估为曝光不足时，即采用图像低照度算法进行亮度补偿；
步骤五：通过对不同亮度进行处理后，确保图像亮度处于正常范围内，再采用设定阈值提取特征点，获取地标轮廓；
步骤六：遍历所有的外部轮廓，判断外部轮廓的比例，找出大矩形后，再识别小矩形，对小矩形内的图片做模版匹配，匹配成功后算出中心点坐标；
步骤七：通过串口通信，将坐标信息发送至飞控，飞控收到坐标信息后，计算出地标所在位置，实现无人机精准降落。
作为本发明发明的进一步限定，步骤一所述大矩形边框加粗，小矩形框内的括号图形存储于无人机内部的OpenCV中，用于模版匹配。
作为本发明发明的进一步限定，步骤二所述摄像机采用高清相机，安置在无人机机体的底部，获取无人机正下方画面。
作为本发明发明的进一步限定，步骤三的亮度异常的判断方法为：遍历灰度图像中每个像素点，计算出图像的亮度均值和方差值，设定亮度均值为128，判断亮度均值是否处理正常范围内，判断方法为：判断计算出的亮度均值与设定亮度均值的偏差值是否>0,所述均值偏差值等于均值除以方差的绝对值；若均值偏差值大于0，则属于过度曝光，若均值偏差值小于0，则属于曝光不足，再则进行目标图像进行识别。
作为本发明发明的进一步限定，步骤四的图像亮度自适应算法具体为：首先创建一张跟原图像大小和类型一致的空白图像，像素值初始化为0；设置对比度和亮度值调整参数，分别为0.8和-20，读取每一行每一列的像素值，调整每个像素点的每个通道值，确保对比度和亮度处于0-255之间，再将每个通道的像素点赋值到空白图像上；其图像低照度算法步骤为：将绿色通道反色后作为系数值，所述的反色为255减去该点绿色通道像素值得到一个值，分别与该点RGB图像各个通道相乘，并除以255得到新图层b、g、r；将新图层与原图做一次滤色混合，混合函数：f(a, b) = 1 - (1 - a)*(1 - b)，对应图像滤色混合函数：f（x，y）=255 - (255 - (x))*(255 - (y))，x为该点的各个通道的像素值，y为得到新的图层b、g、r，f（x，y）为最终得到各个通道像素值，整合各个通道像素值后输出图像。
作为本发明发明的进一步限定，步骤五地标轮廓的获取方法为：通过设定的阈值参数过滤掉正常亮度范围内的图像上的其他干扰点，获取地标图形，遍历所有外部轮廓，判断外部轮廓比例，找到大矩形轮廓，确定为地标图像，控制无人机降落，当无人机降落至地标正上方10±2m处悬停，再同理识别小矩形轮廓，通过OpenCV进行模版匹配小矩形框内括号图形，匹配成功后，得出地标中心点坐标，控制无人机精准降落。
作为本发明发明的进一步限定，图像亮度处理与模版匹配均在英伟达芯片上进行处理，所得出的坐标位置发送至飞控，通过飞控控制无人机姿态。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：相对于传统单一的图像亮度处理方法，本发明解决了在不良光照条件下，根据无人机采集的图像亮度来评估图像是否过度曝光或曝光不足，并采用不同算法分别进行图像处理，且设定的阈值适应不同亮度环境下无人机精准降落的问题；因此，本发明大大降低了在室外不良光照对地标图像的影响，提高无人机降落的精准度。
附图说明
图1为本发明一种基于不良光照下的无人机地标图像处理方法的流程。
图2为本发明地标图像的示意图。
图3为本发明地标图像亮度具体算法处理流程。
图4为本发明图像处理前地标轮廓获取示意图。
图5为本发明图像处理后地标轮廓获取示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案做进一步的详细说明：
如图1所示，本发明一种基于不良光照下的无人机地标图像处理方法的流程：
步骤一：制作无人机地标，放置目标降落点；所述地标图形由一个大矩形、一个小矩形和一对大小于号组成；
步骤二：无人机通过高清相机采集图像，转换成灰度图并计算图像亮度均值及方差；
步骤三：当存在亮度异常时，即亮度均值会偏离均值点，方差也会偏小；通过计算灰度图的亮度均值和方差，评估图像是否存在过度曝光或曝光不足；当亮度处于正常范围内时，获取外部轮廓；
步骤四：当图像评估为过度曝光时，即采用图像亮度自适应算法进行亮度抑制；当图像评估为曝光不足时，即采用图像低照度算法进行亮度补偿；
步骤五：通过对不同亮度进行处理后，确保图像亮度处于正常范围内，再采用设定阈值提取特征点，获取地标轮廓；
步骤六：遍历所有的外部轮廓，判断外部轮廓的比例，找出大矩形后，再识别小矩形，对小矩形内的图片做模版匹配，匹配成功后算出中心点坐标；
步骤七：通过串口通信，将坐标信息发送至飞控，飞控收到坐标信息后，计算出地标所在位置，实现无人机精准降落。
如图2所示，本发明的地标由两个大小不同的矩形和一对括号组成，大矩形框加粗以便无人机在高空中识别目标物，小矩形框内的括号图形存储于OpenCV中，用于模版匹配，该括号图形不唯一，可选择其他图形。
摄像机采用高清相机，安置在无人机机体的底部，安装时注意方向，尤其是YAW的方向，使拍出的图片与无人机机体坐标系一致，获取无人机正下方画面，使得采集的地标图像不存在畸变现象。
地标识别的方法：高清相机采集地标图像，通过设定的阈值参数过滤掉其他干扰点，阈值参数设置为120，通过2*2滤波过滤较小的轮廓，获取地标图形，遍历所有外部轮廓，判断外部轮廓比例，找到大矩形轮廓，确定为地标图像，控制无人机降落，当无人机降落至地标正上方10m处（该高度可自行设置）悬停，再根据以上步骤识别小矩形轮廓，通过OpenCV进行模版匹配小矩形框内括号图形，匹配成功后，得出地标中心点坐标，控制无人机精准降落。
如图3所示，地标图像亮度处理方法：首先对图像作灰度处理，灰度代表图像亮度，遍历图像中每个像素点，计算出图像的平均亮度值（亮度均值）和方差值，设定亮度均值为128，判断亮度均值是否处理正常范围内，若亮度正常，则进行目标图像进行识别；若亮度异常，则继续评估图像，若图像评估为过度曝光，则采用图像亮度自适应算法进行亮度抑制，若图像评估为曝光不足，则采用图像低照度算法进行亮度补偿。
图像亮度自适应算法步骤为：首先创建一张跟原图像大小和类型一致的空白图像，像素值初始化为0；设置对比度和亮度值调整参数，分别为0.8和-20，读取每一行每一列的像素值，调整每个像素点的每个通道值，确保对比度和亮度处于0-255之间，再将每个通道的像素点赋值到空白图像上；其图像低照度算法步骤为：将绿色通道反色后作为系数值，所述的反色为255减去该点绿色通道像素值得到一个值，分别与该点RGB图像各个通道相乘，并除以255得到新图层b、g、r；将新图层与原图做一次滤色混合，混合函数：f(a, b) = 1- (1 - a)*(1 - b)，对应图像滤色混合函数：f（x，y）=255 - (255 - (x))*(255 - (y))，x为该点的各个通道的像素值，y为得到新的图层b、g、r，f（x，y）为最终得到各个通道像素值，整合各个通道像素值后输出图像。
图像亮度处理与模版匹配均在英伟达芯片上进行处理，所得出的坐标位置发送至飞控，飞控控制无人机姿态。
如图4所示，地标在过度曝光条件下的灰度图，其轮廓模糊且小矩形框以及框内图形均不可见。
如图5所示，地标图像经过亮度处理后，其轮廓清晰且小矩形框以及框内图形均清晰可见。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于不良光照下的无人机地标图像处理方法，其特征在于，包括以下步骤：
步骤一：制作无人机地标，放置目标降落点；地标图形由一个大矩形、一个小矩形和一对大小于号组成；
步骤二：无人机通过高清相机采集图像，转换成灰度图并计算图像亮度均值及方差；
步骤三：当存在亮度异常时，即亮度均值会偏离均值点，方差也会偏小；通过计算灰度图的亮度均值和方差，评估图像是否存在过度曝光或曝光不足；当亮度处于正常范围内时，获取外部轮廓，亮度异常的判断方法为：遍历灰度图像中每个像素点，计算出图像的亮度均值和方差值，设定亮度均值为128，判断亮度均值是否处理正常范围内，判断方法为：判断均值偏差值是否>0,所述均值偏差值等于均值除以方差的绝对值；若均值偏差值大于0，则属于过度曝光，若均值偏差值小于0，则属于曝光不足，再则进行目标图像进行识别；
步骤四：当图像评估为过度曝光时，即采用图像亮度自适应算法进行亮度抑制；当图像评估为曝光不足时，即采用图像低照度算法进行亮度补偿，图像亮度自适应算法具体为：首先创建一张跟原图像大小和类型一致的空白图像，像素值初始化为0；设置对比度和亮度值调整参数，分别为0.8和-20，读取每一行每一列的像素值，调整每个像素点的每个通道值，确保对比度和亮度处于0-255之间，再将每个通道的像素点赋值到空白图像上；其图像低照度算法步骤为：将绿色通道反色后作为系数值，所述的反色为255减去该点绿色通道像素值得到一个值，分别与该点RGB图像各个通道相乘，并除以255得到新图层b、g、r；将新图层与原图做一次滤色混合，混合函数：f(a, b) = 1 - (1 - a)*(1 - b)，对应图像滤色混合函数：f（x，y）=255 - (255 - (x))*(255 - (y))，x为该点的各个通道的像素值，y为得到新的图层b、g、r，f（x，y）为最终得到各个通道像素值，整合各个通道像素值后输出图像；
步骤五：通过对不同亮度进行处理后，确保图像亮度处于正常范围内，再采用设定阈值提取特征点，获取地标轮廓；
步骤六：遍历所有的外部轮廓，判断外部轮廓的比例，找出大矩形后，再识别小矩形，对小矩形内的图片做模版匹配，匹配成功后算出中心点坐标；
步骤七：通过串口通信，将坐标信息发送至飞控，飞控收到坐标信息后，计算出地标所在位置，实现无人机精准降落。
2.根据权利要求1所述的一种基于不良光照下的无人机地标图像处理方法，其特征在于，步骤一大矩形边框加粗，小矩形框内的括号图形存储于无人机内部的OpenCV中，用于模版匹配。
3.根据权利要求1所述的一种基于不良光照下的无人机地标图像处理方法，其特征在于，步骤二摄像机采用高清相机，安置在无人机机体的底部，获取无人机正下方画面。
4.根据权利要求1所述的一种基于不良光照下的无人机地标图像处理方法，其特征在于，步骤五地标轮廓的获取方法为：通过设定的阈值参数过滤掉正常亮度范围内的图像上的其他干扰点，获取地标图形，遍历所有外部轮廓，判断外部轮廓比例，找到大矩形轮廓，确定为地标图像，控制无人机降落，当无人机降落至地标正上方10±2m处悬停，再同理识别小矩形轮廓，通过OpenCV进行模版匹配小矩形框内括号图形，匹配成功后，得出地标中心点坐标，控制无人机精准降落。
5.根据权利要求1所述的一种基于不良光照下的无人机地标图像处理方法，其特征在于，图像亮度处理与模版匹配均在英伟达芯片上进行处理，所得出的坐标位置发送至飞控，通过飞控控制无人机姿态。
CN201910226732.5A 2019-03-25 2019-03-25 一种基于不良光照下的无人机地标图像处理方法 Active CN110059701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910226732.5A CN110059701B (zh) 2019-03-25 2019-03-25 一种基于不良光照下的无人机地标图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910226732.5A CN110059701B (zh) 2019-03-25 2019-03-25 一种基于不良光照下的无人机地标图像处理方法

Publications (2)

Publication Number Publication Date
CN110059701A CN110059701A (zh) 2019-07-26
CN110059701B true CN110059701B (zh) 2022-08-30

Family

ID=67317378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910226732.5A Active CN110059701B (zh) 2019-03-25 2019-03-25 一种基于不良光照下的无人机地标图像处理方法

Country Status (1)

Country Link
CN (1) CN110059701B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994947A (zh) * 2023-03-22 2023-04-21 万联易达物流科技有限公司 基于定位的智能打卡的估算方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569810B (zh) * 2019-09-11 2022-02-08 浙江大华技术股份有限公司 坐标信息的获取方法及装置、存储介质、电子装置
CN111366104A (zh) * 2020-03-26 2020-07-03 深圳市菲森科技有限公司 一种具有自动亮度调节功能的扫描方法、装置及电子设备
WO2023178476A1 (zh) * 2022-03-21 2023-09-28 深圳市大疆创新科技有限公司 无人机降落的控制方法和装置、无人机
CN116612043B (zh) * 2023-06-02 2024-04-02 萱闱(北京)生物科技有限公司 一种图像处理方法、装置、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL241200A0 (en) * 2015-09-06 2015-11-30 Unision Air Ltd System and method for self-geo-location of an unmanned aerial vehicle
CN108919830A (zh) * 2018-07-20 2018-11-30 南京奇蛙智能科技有限公司 一种无人机精准降落的飞行控制方法
CN108873943B (zh) * 2018-07-20 2021-06-29 南京奇蛙智能科技有限公司 一种无人机厘米级精准降落的图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994947A (zh) * 2023-03-22 2023-04-21 万联易达物流科技有限公司 基于定位的智能打卡的估算方法
CN115994947B (zh) * 2023-03-22 2023-06-02 万联易达物流科技有限公司 基于定位的智能打卡的估算方法

Also Published As

Publication number Publication date
CN110059701A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110059701B (zh) 一种基于不良光照下的无人机地标图像处理方法
CN107767354B (zh) 一种基于暗原色先验的图像去雾算法
CN111292257B (zh) 一种基于Retinex的暗视觉环境下图像增强方法
CN109147005B (zh) 一种用于红外图像的自适应染色方法、系统、存储介质、终端
CN103297789B (zh) 白平衡校正方法及其装置
CN108765342A (zh) 一种基于改进暗通道的水下图像复原方法
CN110827218B (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
WO2021007690A1 (zh) 曝光控制方法、装置与可移动平台
CN110232670B (zh) 一种基于高低频分离的图像视觉效果增强的方法
CN109520706A (zh) 汽车保险丝盒装配检测系统、图像识别方法及螺孔定位法
CN115578297A (zh) 一种自适应色彩补偿与细节优化的广义衰减图像增强方法
CN109587392B (zh) 监控设备的调整方法及装置、存储介质、电子装置
CN112200848A (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
CN106504216B (zh) 基于变分模型的单幅图像去雾方法
CN112335228A (zh) 图像处理方法、图像采集装置、可移动平台及存储介质
GB2522663A (en) A method of selecting a region of interest
CN112967669A (zh) 一种提高led显示屏灰度一致性的校正方法
CN109359531B (zh) 一种面向自然场景的果实采收区域自动定位方法
WO2022193132A1 (zh) 图像检测方法、装置和电子设备
CN110766755B (zh) 用于半挂车物料装填的车斗实时定位方法
CN109272462B (zh) 适用于金属工件识别的图像自校正方法、设备及存储设备
CN112102412A (zh) 一种无人机降落过程中视觉锚点的检测方法及系统
CN106960421A (zh) 基于统计特性和亮度估计的夜晚图像去雾方法
CN112699760A (zh) 一种脸部目标区域检测方法、装置和设备
CN113392723A (zh) 基于人工智能的无人机迫降区域筛选方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant