CN116310889A - 无人机环境感知数据的处理方法、控制终端以及存储介质 - Google Patents

无人机环境感知数据的处理方法、控制终端以及存储介质 Download PDF

Info

Publication number
CN116310889A
CN116310889A CN202310102713.8A CN202310102713A CN116310889A CN 116310889 A CN116310889 A CN 116310889A CN 202310102713 A CN202310102713 A CN 202310102713A CN 116310889 A CN116310889 A CN 116310889A
Authority
CN
China
Prior art keywords
noise
image data
determining
unmanned aerial
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310102713.8A
Other languages
English (en)
Inventor
伍永靖邦
施钟淇
莫淳淯
岳清瑞
董方
金松燕
金楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Original Assignee
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology Institute of Urban Public Safety Co Ltd filed Critical Shenzhen Technology Institute of Urban Public Safety Co Ltd
Priority to CN202310102713.8A priority Critical patent/CN116310889A/zh
Publication of CN116310889A publication Critical patent/CN116310889A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及无人机技术领域,尤其涉及一种无人机环境感知数据的处理方法、控制终端以及存储介质,其中,所述方法包括:确定无人机采集的图像数据对应的高频信息、像素抖动值和透光率;根据所述高频信息、所述像素抖动值和所述透光率,确定当前环境存在的噪声类型,以及所述噪声类型对应的噪声强度;根据所述噪声类型和所述噪声强度,确定用于降噪的目标降噪算法;基于所述目标降噪算法对所述图像数据作降噪处理。通过无人机采集的图像数据中的噪声特征来选定相应场景的目标降噪算法对图像数据作降噪处理,达到了降低环境因素对无人机采集的图像数据干扰的效果,解决了如何提高无人机的数据采集质量的问题。

Description

无人机环境感知数据的处理方法、控制终端以及存储介质
技术领域
本发明涉及无人机技术领域,尤其涉及一种无人机环境感知数据的处理方法、控制终端以及存储介质。
背景技术
为了提高城市安全监管效率,在一些城市监管项目中,可以通过无人机来进行自动化巡检。通过无人机对城市进行自动化巡检,能够提高城市监管的全面性和有效性,并降低人力成本。
目前对于无人机数据采集侧的方案中,通常是直接根据无人机采集的环境数据来进行相应的巡检任务。这就导致无人机只能在环境干扰因素较少的良好天气环境下工作,从而避免无人机采集到的数据失真。
因此,当无人机处于刮风、下雨、起雾等环境干扰因素较大的恶劣天气环境下工作时,便会出现采集数据大幅度失真的情况,存在数据采集质量不稳定的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种无人机环境感知数据的处理方法,旨在解决如何提高无人机的数据采集质量的问题。
为实现上述目的,本发明提供的一种无人机环境感知数据的处理方法,所述方法包括:
确定无人机采集的图像数据对应的高频信息、像素抖动值和透光率;
根据所述高频信息、所述像素抖动值和所述透光率,确定当前环境存在的噪声类型,以及所述噪声类型对应的噪声强度;
根据所述噪声类型和所述噪声强度,确定用于降噪的目标降噪算法;
基于所述目标降噪算法对所述图像数据作降噪处理。
可选地,所述根据所述高频信息、所述像素抖动值和所述透光率,确定当前环境存在的噪声类型,以及所述噪声类型对应噪声强度的步骤包括:
将所述图像数据中所述高频信息中稀疏度大于预设稀疏度阈值的部分,确定所述噪声类型为雨类噪声,并根据所述雨类噪声在所述图像数据中的占比确定雨类噪声强度;以及,
将所述像素抖动值大于预设抖动阈值的部分,确定所述噪声类型为风类噪声,并根据所述风类噪声在所述图像数据中的占比确定风类噪声强度;以及,
将所述透光率处于预设透光区间以外的部分,确定所述噪声类型为光类噪声,并根据所述光类噪声在所述图像数据中的占比确定光类噪声强度。
可选地,所述确定无人机采集的图像数据对应的高频信息、像素抖动值和透光率的步骤包括:
基于预设图像高频信息提取算法,提取所述图像数据中的高频信息;以及,
根据至少两张连续周期采集的所述图像数据之间同一像素区域的像素坐标集之间的坐标变化量,确定所述像素抖动值,和/或提取至少两张连续周期采集的所述图像数据之间的特征点,并根据所述特征点之间的特征变化量,确定所述像素抖动值;以及,
获取所述图像数据的信噪比、对比度和/或可见度,并根据所述信噪比、所述对比度和/或所述可见度,确定所述透光率。
可选地,所述根据所述噪声类型和所述噪声强度,确定用于降噪的目标降噪算法的步骤包括:
根据所述噪声类型和所述噪声强度调整预设降噪算法中的降噪参数,并将调整后的所述预设降噪算法确定为所述目标降噪算法;或,
根据所述噪声类型和所述噪声强度,从可选降噪算法中选定目标降噪算法。
可选地,所述根据所述噪声类型和所述噪声强度,调整预设降噪算法中的降噪参数包括以下至少一个:
当所述噪声类型为雨类噪声时,根据所述雨类噪声对应的雨类噪声强度确定所述图像数据的高频信息填充值,以基于所述高频信息填充值提升所述图像数据中高频信息的稀疏度;
当所述噪声类型为风类噪声时,根据所述风类噪声对应的风类噪声强度确定所述图像数据的像素稳定值,以基于所述像素稳定值降低所述图像数据中的像素抖动程度;
当所述噪声类型为光类噪声时,根据所述光类噪声对应的光类噪声强度确定所述图像数据的目标信噪比、目标对比度和/或目标可见度,以基于所述目标信噪比、所述目标对比度和/或所述目标可见度提升所述图像数据的透光率。
可选地,所述目标降噪算法包括去雾算法,所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤包括:
基于所述去雾算法对所述图像数据作降噪处理,得到去雾图像数据;
所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤之后,还包括:
确定所述去雾图像数据中的可见边界值、梯度均值和/或饱和像素点,并根据所述可见边界值、所述梯度均值和/或所述饱和像素点,确定所述去雾图像数据的去雾结果,当所述去雾结果满足预设条件时,控制所述无人机基于所述去雾图像数据执行巡检任务;
或者,确定所述去雾图像数据和所述图像数据之间的均方差、峰值信噪比和/或结构相似度,并根据所述均方差、所述峰值信噪比和/或所述结构相似度,确定所述去雾准值,当所述去雾准值大于或等于所述去雾阈值时,控制所述无人机基于所述去雾图像数据执行巡检任务。
可选地,所述无人机包括激光传感器,所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤之后,还包括:
获取所述激光传感器多个历史时刻采集的点云数据,其中,所述点云数据和所述图像数据的数据采集对象相同;
基于所述点云数据,确定降噪后的所述图像数据中满足预设几何配准关系的重叠区域;
将所述重叠区域中的所述点云数据和所述图像数据进行数据融合,得到融合数据,以根据所述融合数据识别所述数据采集对象。
可选地,所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤之前,还包括:
获取所述图像数据的图像尺寸;
根据所述图像尺寸确定所述图像数据对应的目标滤波窗口尺寸;
基于目标滤波窗口尺寸,通过暗通道先验去雾算法对所述图像数据作平滑处理。
此外,为实现上述目的,本发明还提供一种控制终端,所述控制终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人机环境感知数据的处理程序,所述无人机环境感知数据的处理程序被所述处理器执行时实现如上所述的无人机环境感知数据的处理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有无人机环境感知数据的处理程序,所述无人机环境感知数据的处理程序被处理器执行时实现如上所述的无人机环境感知数据的处理方法的步骤。
本发明实施例提供一种无人机环境感知数据的处理方法、控制终端以及存储介质,通过无人机采集的图像数据中的高频信息、像素抖动值和透光率来确定无人机所处环境中的噪声类型及对应的噪声强度,从而根据噪声类型及强度确定目标降噪算法,最后根据选定的目标降噪算法对图像数据作降噪处理。从而降低了环境因素对无人机采集的图像数据的干扰。
附图说明
图1为本发明实施例涉及的控制终端的硬件运行环境的架构示意图;
图2为本发明无人机环境感知数据的处理方法的第一实施例的流程示意图;
图3为本发明无人机环境感知数据的处理方法的第二实施例的流程示意图;
图4为本发明无人机环境感知数据的处理方法的第三实施例的流程示意图;
图5为本发明无人机环境感知数据的处理方法的第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图作进一步说明。
具体实施方式
为了更好地理解上述技术方案,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整地传达给本领域的技术人员。
作为一种实现方案,图1为本发明实施例方案涉及的控制终端的硬件运行环境的架构示意图。
如图1所示,该控制终端可以包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的控制终端架构并不构成对控制终端限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及无人机环境感知数据的处理程序。其中,操作系统是管理和控制终端的硬件和软件资源的程序,无人机环境感知数据的处理程序以及其他软件或程序的运行。
在图1所示的控制终端中,用户接口1003主要用于连接终端,与终端进行数据通信;网络接口1004主要用于后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的无人机环境感知数据的处理程序。
在本实施例中,控制终端包括:存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的无人机环境感知数据的处理程序,其中:
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
确定无人机采集的图像数据对应的高频信息、像素抖动值和透光率;
根据所述高频信息、所述像素抖动值和所述透光率,确定当前环境存在的噪声类型,以及所述噪声类型对应的噪声强度;
根据所述噪声类型和所述噪声强度,确定用于降噪的目标降噪算法;
基于所述目标降噪算法对所述图像数据作降噪处理。
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
将所述图像数据中所述高频信息中稀疏度大于预设稀疏度阈值的部分,确定所述噪声类型为雨类噪声,并根据所述雨类噪声在所述图像数据中的占比确定雨类噪声强度;以及,
将所述像素抖动值大于预设抖动阈值的部分,确定所述噪声类型为风类噪声,并根据所述风类噪声在所述图像数据中的占比确定风类噪声强度;以及,
将所述透光率处于预设透光区间以外的部分,确定所述噪声类型为光类噪声,并根据所述光类噪声在所述图像数据中的占比确定光类噪声强度。
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
基于预设图像高频信息提取算法,提取所述图像数据中的高频信息;以及,
根据至少两张连续周期采集的所述图像数据之间同一像素区域的像素坐标集之间的坐标变化量,确定所述像素抖动值,和/或提取至少两张连续周期采集的所述图像数据之间的特征点,并根据所述特征点之间的特征变化量,确定所述像素抖动值;以及,
获取所述图像数据的信噪比、对比度和/或可见度,并根据所述信噪比、所述对比度和/或所述可见度,确定所述透光率。
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
根据所述噪声类型和所述噪声强度调整预设降噪算法中的降噪参数,并将调整后的所述预设降噪算法确定为所述目标降噪算法;或,
根据所述噪声类型和所述噪声强度,从可选降噪算法中选定目标降噪算法。
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
当所述噪声类型为雨类噪声时,根据所述雨类噪声对应的雨类噪声强度确定所述图像数据的高频信息填充值,以基于所述高频信息填充值提升所述图像数据中高频信息的稀疏度;
当所述噪声类型为风类噪声时,根据所述风类噪声对应的风类噪声强度确定所述图像数据的像素稳定值,以基于所述像素稳定值降低所述图像数据中的像素抖动程度;
当所述噪声类型为光类噪声时,根据所述光类噪声对应的光类噪声强度确定所述图像数据的目标信噪比、目标对比度和/或目标可见度,以基于所述目标信噪比、所述目标对比度和/或所述目标可见度提升所述图像数据的透光率。
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
基于所述去雾算法对所述图像数据作降噪处理,得到去雾图像数据;
确定所述去雾图像数据中的可见边界值、梯度均值和/或饱和像素点,并根据所述可见边界值、所述梯度均值和/或所述饱和像素点,确定所述去雾图像数据的去雾结果,当所述去雾结果满足预设条件时,控制所述无人机基于所述去雾图像数据执行巡检任务;
或者,确定所述去雾图像数据和所述图像数据之间的均方差、峰值信噪比和/或结构相似度,并根据所述均方差、所述峰值信噪比和/或所述结构相似度,确定所述去雾准值,当所述去雾准值大于或等于所述去雾阈值时,控制所述无人机基于所述去雾图像数据执行巡检任务。
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
获取所述激光传感器多个历史时刻采集的点云数据,其中,所述点云数据和所述图像数据的数据采集对象相同;
基于所述点云数据,确定降噪后的所述图像数据中满足预设几何配准关系的重叠区域;
将所述重叠区域中的所述点云数据和所述图像数据进行数据融合,得到融合数据,以根据所述融合数据识别所述数据采集对象。
处理器1001调用存储器1005中存储的无人机环境感知数据的处理程序时,执行以下操作:
获取所述图像数据的图像尺寸;
根据所述图像尺寸确定所述图像数据对应的目标滤波窗口尺寸;
基于目标滤波窗口尺寸,通过暗通道先验去雾算法对所述图像数据作平滑处理。
基于上述基于无人机控制技术的控制终端的硬件架构,提出本发明无人机环境感知数据的处理方法的实施例。
参照图2,在第一实施例中,所述无人机环境感知数据的处理方法包括以下步骤:
步骤S10,确定无人机采集的图像数据对应的高频信息、像素抖动值和透光率;
在本实施例中,无人机上设有图像采集装置,当无人机在执行巡检任务时,会基于一定时间间隔进行图像数据的采集,当采集到图像数据后,确定出图像数据中对应的高频信息、像素抖动值和透光率。
图像信息可视为由高频信息和低频信息组合而成,图像的主要结构信息存在于图像中低频部分,而图像细节则存在于图像的高频部分。高频信息表征为图像数据中的细节部分。像素抖动值表征为连续采集的两张图像数据之间发生变化的部分。透光率表征为图像数据中可见光的透过率。
对于无人机而言,当其处于雨天天气时,由于雨在图像纹理中具有一定的稀疏性,因此表征为雨的特征部分主要存在于图像中的高频部分,因此根据图像数据中的高频信息来判断无人机采集的图像数据中是否处于雨天。
而当无人机处于大风天气时,大风天气会使得无人机及镜头发生晃动,使物体的成像发生偏差,因此根据图像中的像素抖动值来判断无人机是否处于大风天气中。
当无人机处于光线较差、光光照不均的环境中时,图像数据中的曝光会过高或过低,因此根据图像中的透光率可以判断无人机所处环境中的光线是否良好,例如,当无人机处于雾天等这一类光照情况不佳的环境下时,透光率会较低。
步骤S20,根据所述高频信息、所述像素抖动值和所述透光率,确定当前环境存在的噪声类型,以及所述噪声类型对应的噪声强度;
在本实施例中,在确定出上述信息之后,根据高频信息、像素抖动值和透光率来确定出无人机所处环境中噪声类型,以及噪声类型对应的噪声强度。由于无人机所处环境中的噪声类型可以有一种或多种,因此,当高频信息、像素抖动值和透光率这三类噪声特征满足一定预设条件时,即可判断无人机所处环境中存在该类噪声特征对应的噪声类型。此外,噪声特征的大小与其噪声类型对应的噪声强度呈正相关,因此,根据噪声特征的值大小即可确定出噪声强度。
可选地,将图像数据中所述高频信息中稀疏度大于预设稀疏度阈值的部分,确定所述噪声类型为雨类噪声。稀疏度表征为图像数据中高频信息的部分占整个图像数据的高、中、低频信息的数学量化值。当稀疏度大于预设的稀疏度阈值时,判断图像数据中存在雨类噪声。并且,建立稀疏度和雨类噪声强度之间的第一映射关系,当稀疏度大于稀疏度阈值时,基于第一映射关系即可计算出图像中雨类噪声对应的雨类噪声强度。
可选地,高频信息的提取,可以通过预设的高频信息提取算法来进行,主要包括两种方式,第一种方法是将图像先进行傅里叶变换,即将图像从空间域转到频率域,然后进行滤波操作得到低频信息,最后用原图像减去得到的低频信息就可以得到相应的高频信息。第二种方法就是直接在空间域对图像进行滤波得到低频信息,剩下的与第一种方法类似。最后用原图像减去得到的低频信息就可以得到相应的高频信息。
可选地,将像素抖动值大于预设抖动阈值的部分,确定所述噪声类型为风类噪声。并且,建立像素抖动值和风类噪声强度之间的第二映射关系,当像素抖动值大于抖动阈值时,基于第二映射关系即可计算出图像中风类噪声对应的风类噪声强度。
可选地,像素抖动值的确定可以包括三种方式,第一种是根据至少两张连续周期采集的图像数据之间同一像素区域的像素坐标集之间的坐标变化量,确定所述像素抖动值,其中,坐标变化量越大,像素抖动值越大。第二种是提取至少两张连续周期采集的图像数据之间的特征点,并根据特征点之间的特征变化量,来确定像素抖动值,其中,特征变化量越显著,像素抖动值越大。第三种,则是结合前述的坐标变化量以及特征变化量来共同确定像素抖动值,这种方式的计算量较大,适用于对降噪精度要求较高的场景。
可选地,将透光率处于预设透光区间以外的部分,确定所述噪声类型为光类噪声。当透光率处于透光区间的下限以下时,判断无人机可能处于如雾天这一类透光程度较差的天气中;而当透光率处于透光区间的上限以上时,判断无人机可能处于光强过高的场景,导致透光率异常。并且,建立透光率和光类噪声强度之间的第三映射关系,透光率处于透光区间以外时,基于第三映射关系即可计算出图像中光类噪声对应的光类噪声强度。
可选地,由于光照过明、过暗及光照不均都会使得信噪比、对比度、可见度等参数发生变化。因此透光率可以根据图像数据中的信噪比、对比度和/或可见度确定。
此外,需要说明的是,由于无人机所处环境中可能不只存在一种类型的噪声,进而根据上述的噪声特征确定出的噪声类型也可能为一种或多种,因此,可以理解的是,上述的可选实施方案是可以单选或多选的。
步骤S30,根据所述噪声类型和所述噪声强度,确定用于降噪的目标降噪算法;
在本实施例中,在确定出噪声类型和对应的噪声强度之后,根据噪声类型和噪声强度确定用于降噪的目标降噪算法。
可选地,目标降噪算法的确定方式可以为两种,一种是根据噪声类型和噪声强度调整预设降噪算法中的降噪参数,并将调整后的预设降噪算法确定为目标降噪算法;另一种是根据噪声类型和噪声强度,从可选降噪算法中选定满足无人机当前所处环境中合适的目标降噪算法。
可选地,当确定方式为调整预设降噪算法中的降噪参数时,不同类型的噪声对应的降噪参数不同。
具体的,当所述噪声类型为雨类噪声时,根据雨类噪声对应的雨类噪声强度确定图像数据的高频信息填充值,通过高频信息填充值填充图像数据中被判断为雨类噪声的部分,从而基于高频信息填充值提升所述图像数据中高频信息的稀疏度,达到去除雨类噪声的效果。
当所述噪声类型为风类噪声时,根据风类噪声对应的风类噪声强度确定图像数据的像素稳定值。通过像素稳定值稳定图像数据中被判断为风类噪声的部分,从而基于像素稳定值降低图像数据中的像素抖动程度。
当所述噪声类型为光类噪声时,根据光类噪声对应的光类噪声强度确定所述图像数据的目标信噪比、目标对比度和/或目标可见度,以基于所述目标信噪比、所述目标对比度和/或所述目标可见度对图像数据进行优化,从而提升所述图像数据的透光率。
可选地,当确定方式为选定目标降噪算法时,目标降噪算法包括去雾算法、去雨噪算法和去风噪算法三种类型,分别用于去除光类噪声、雨类噪声和风类噪声。根据不同的噪声强度设置不同降噪能力的目标降噪算法,其中,选定的目标降噪算法可以为一个或多个。
示例性地,当确定出图像数据中包含雨类噪声R和风类噪声W,其中,R对应的雨类噪声强度Rz=10,W对应的风类噪声Wz=8.则选取的目标降噪算法为:Rz10降噪算法,以及Wz8降噪算法。
步骤S40,基于所述目标降噪算法对所述图像数据作降噪处理。
在本实施例中,在确定出目标降噪算法之后,则根据目标降噪算法对图像数据作降噪处理,从而消除无人机在处于复杂环境下采集的图像数据中的噪声,以使无人机根据降噪后的图像数据执行巡检任务时,且定位、导航的精度更高。
在本实施例提供的技术方案中,通过无人机采集的图像数据中的高频信息、像素抖动值和透光率来确定无人机所处环境中的噪声类型及对应的噪声强度,从而根据噪声类型及强度确定目标降噪算法,最后根据选定的目标降噪算法对图像数据作降噪处理。从而降低了环境因素对无人机采集的图像数据的干扰。
参照图3,在第二实施例中,基于任一实施例,所述步骤S40包括:
步骤S41,基于所述去雾算法对所述图像数据作降噪处理,得到去雾图像数据;
所述步骤S40之后,还包括:
步骤S51,确定所述去雾图像数据中的可见边界值、梯度均值和/或饱和像素点,并根据所述可见边界值、所述梯度均值和/或所述饱和像素点,确定所述去雾图像数据的去雾结果,当所述去雾结果满足预设条件时,控制所述无人机基于所述去雾图像数据执行巡检任务;
或者,步骤S52,确定所述去雾图像数据和所述图像数据之间的均方差、峰值信噪比和/或结构相似度,并根据所述均方差、所述峰值信噪比和/或所述结构相似度,确定所述去雾准值,当所述去雾准值大于或等于所述去雾阈值时,控制所述无人机基于所述去雾图像数据执行巡检任务。
可选地,本实施例中的目标降噪算法为去雾算法,由于去雾算法在不同浓度的雾天中的去雾效果可能不一致,为了使去雾算法能够适应不同场景下的数据降噪,在本实施例中,对基于去雾算法得到的去雾图像数据从定性分析和定量评价两个方面进行评估,从而判断该去雾算法是否匹配无人机所处的当前场景。
具体的,若从定性分析这个角度对去雾算法进行分析,这种分析方式无参考对象,即直接根据进行去雾处理后的图像进行评估。评估步骤为:确定去雾图像数据中的可见边界值、梯度均值和/或饱和像素点,并根据所述可见边界值、所述梯度均值和/或所述饱和像素点,确定所述去雾图像数据的去雾结果。其中,可见边比值用于评价去雾算法恢复图像边缘的能力,梯度均值用于评价去雾算法恢复对比度的能力,饱和像素点用于评价去雾图像中黑、白两类像素的比例。接着,当所述去雾结果满足预设条件时,控制所述无人机基于所述去雾图像数据执行巡检任务,可选地,预设条件可以为以下条件中的一个或多个:可见边界值大于或等于预设边界阈值,梯度均值大于或等于预设梯度阈值,饱和像素点大于或等于预设像素点个数阈值。当满足该预设条件时,则判断该去雾算法符合当前场景的无人机采集图像的雾类噪声,则控制无人机基于该去雾图像数据执行后续的巡检任务。
具体的,若从定量评价这个角度对去雾算法进行分析,这种分析方式具有参考对象,即根据去雾前的原始图像数据和去雾后的去雾图像数据之间进行对比,根据对比分析后的结果进行分析。步骤为:先确定去雾图像数据和所述图像数据之间的均方差、峰值信噪比和/或结构相似度(这些参数都可以根据预设的图像数据算法得到,此处不再赘述)。均方差表征为去雾前后的图像数据之间的差异大小,其中,均方差越大,差异越大;峰值信噪比表征为去雾前后的图像数据之间的失真情况,其中,失真信噪比越大,失真情况越严重;结构相似度表征为去雾前后的图像数据之间的相似度,其中,结构相似度越大,两个图像之间越相似。
然后根据均方差、所述峰值信噪比和/或所述结构相似度,确定所述去雾准值。去雾准值越大,则以为则去雾之后得到的去雾图像数据的准确度越高,当去雾准值大于一预设的去雾阈值时,判断该去雾算法符合当前场景的无人机采集图像的雾类噪声,控制无人机基于该去雾图像数据执行后续的巡检任务。
可以理解的,无论是定性分析还是定量评价,当得到的结论为不符合降噪效果标准时,则重新调整降噪参数和/或选定目标降噪算法来对图像数据进行降噪处理。
在本实施例提供的技术方案中,通过对去雾算法从定性分析和定量评价两个方向对去雾结果进行分析,从而判断该去雾算法是否符合当前无人机所处场景,确保了图像数据经过降噪处理后,不会与原先的图像数据之间出现太大差别,提高了去雾效果的鲁棒性和稳定性。
参照图4,在第三实施例中,基于任一实施例,所述步骤S40之后包括:
步骤S60,获取所述激光传感器多个历史时刻采集的点云数据,其中,所述点云数据和所述图像数据的数据采集对象相同;
步骤S70,基于所述点云数据,确定降噪后的所述图像数据中满足预设几何配准关系的重叠区域;
步骤S80,将所述重叠区域中的所述点云数据和所述图像数据进行数据融合,得到融合数据,以根据所述融合数据识别所述数据采集对象。
可选地,在本实施例中,由于无人机在执行城市巡检过程中,城市中的建筑物及无人机周边环境会发生变化,无人机的识别范围和识别内容都会发生改变,为了保障在这种场景下的识别准确率,引入几何配准法来对无人机上不同传感器采集的多源数据进行融合。
具体的,无人机上设有激光传感器,获取激光传感器多个历史时刻采集得到的点云数据,基于预设几何配准关系在多个历史时刻的点云之间的来寻找重叠区域的点,其中,非重叠区域的点被视为差异点,这些差异点形成的几何面即为差异面。将重叠区域中的点云数据和所述图像数据进行数据融合,得到融合数据,根据融合数据来识别数据采集对象(即建筑物)。
此外,为了降低跨源点云分辨率、测量尺度、视场相差大导致的配准难度,还可以引入基于小波变换、体素重心领域及迭代最近邻点(ICP)的光学、光谱影像或激光点云多源数据配准算法,来对点云数据和图像数据进行配准。
具体的,首先构建点云的拓扑关系,提升点云搜索效率,通过体素重心最近邻点的降密度采样、点云直通滤波及离群点去除法去除冗余点云数据的目的,基于ICP算法对比不同时空下采集的目标点云数据,然后将光谱RGB、HSV影像经过小波分解得到高、低频两个部分,利用适当的融合规则对低频和高频部分别进行融合,得到融合图像,该融合图像可作为点云特征信息的补充,最后将去除冗余数据后的目标点云与图像进行融合,实现不同时空下数据采集图像的识别。
在本实施例提供的技术方案中,在对图像数据进行降噪处理后,将降噪后的图像数据同点云数据进行配准,从而使无人机能够在执行城市巡检过程中,确保对数据采集对象的识别准确率。
参照图5,在第四实施例中,基于任一实施例,所述步骤S40之前,还包括:
步骤S90,获取所述图像数据的图像尺寸;
步骤S100,根据所述图像尺寸确定所述图像数据对应的目标滤波窗口尺寸;
步骤S110,基于目标滤波窗口尺寸,通过暗通道先验去雾算法对所述图像数据作平滑处理。
可选地,在本实施例中,由于光晕效应会对图像带来的负面影响,若针对不同的图像数据均采用同一尺度的滤波窗口来进行滤波会影响到滤波效果,引用自适应阈值滤波处理算法来对图像数据作平滑处理,具体的,以暗通道先验去雾原理为基础,根据输入图像大小来调节窗口尺寸对图像进行平滑处理。
在本实施例提供的技术方案中,根据获取图像数据的图像尺寸来确定相应大小的滤波窗口尺寸,从而基于该尺寸,对图像数据作平滑处理,从而降低光晕效应对图像带来的负面影响,提高图像处理的效果。
此外,本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可以存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被控制终端中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有无人机环境感知数据的处理程序,所述无人机环境感知数据的处理程序被处理器执行时实现如上实施例所述的无人机环境感知数据的处理方法的各个步骤。
其中,所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
需要说明的是,由于本申请实施例提供的存储介质,为实施本申请实施例的方法所采用的存储介质,故而基于本申请实施例所介绍的方法,本领域所属人员能够了解该存储介质的具体结构及变形,故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种无人机环境感知数据的处理方法,其特征在于,所述方法包括:
确定无人机采集的图像数据对应的高频信息、像素抖动值和透光率;
根据所述高频信息、所述像素抖动值和所述透光率,确定当前环境存在的噪声类型,以及所述噪声类型对应的噪声强度;
根据所述噪声类型和所述噪声强度,确定用于降噪的目标降噪算法;
基于所述目标降噪算法对所述图像数据作降噪处理。
2.如权利要求1所述的方法,其特征在于,所述根据所述高频信息、所述像素抖动值和所述透光率,确定当前环境存在的噪声类型,以及所述噪声类型对应噪声强度的步骤包括:
将所述图像数据中所述高频信息中稀疏度大于预设稀疏度阈值的部分,确定所述噪声类型为雨类噪声,并根据所述雨类噪声在所述图像数据中的占比确定雨类噪声强度;以及,
将所述像素抖动值大于预设抖动阈值的部分,确定所述噪声类型为风类噪声,并根据所述风类噪声在所述图像数据中的占比确定风类噪声强度;以及,
将所述透光率处于预设透光区间以外的部分,确定所述噪声类型为光类噪声,并根据所述光类噪声在所述图像数据中的占比确定光类噪声强度。
3.如权利要求1所述的方法,其特征在于,所述确定无人机采集的图像数据对应的高频信息、像素抖动值和透光率的步骤包括:
基于预设图像高频信息提取算法,提取所述图像数据中的高频信息;以及,
根据至少两张连续周期采集的所述图像数据之间同一像素区域的像素坐标集之间的坐标变化量,确定所述像素抖动值,和/或提取至少两张连续周期采集的所述图像数据之间的特征点,并根据所述特征点之间的特征变化量,确定所述像素抖动值;以及,
获取所述图像数据的信噪比、对比度和/或可见度,并根据所述信噪比、所述对比度和/或所述可见度,确定所述透光率。
4.如权利要求1所述的方法,其特征在于,所述根据所述噪声类型和所述噪声强度,确定用于降噪的目标降噪算法的步骤包括:
根据所述噪声类型和所述噪声强度调整预设降噪算法中的降噪参数,并将调整后的所述预设降噪算法确定为所述目标降噪算法;或,
根据所述噪声类型和所述噪声强度,从可选降噪算法中选定目标降噪算法。
5.如权利要求4所述的方法,其特征在于,所述根据所述噪声类型和所述噪声强度,调整预设降噪算法中的降噪参数包括以下至少一个:
当所述噪声类型为雨类噪声时,根据所述雨类噪声对应的雨类噪声强度确定所述图像数据的高频信息填充值,以基于所述高频信息填充值提升所述图像数据中高频信息的稀疏度;
当所述噪声类型为风类噪声时,根据所述风类噪声对应的风类噪声强度确定所述图像数据的像素稳定值,以基于所述像素稳定值降低所述图像数据中的像素抖动程度;
当所述噪声类型为光类噪声时,根据所述光类噪声对应的光类噪声强度确定所述图像数据的目标信噪比、目标对比度和/或目标可见度,以基于所述目标信噪比、所述目标对比度和/或所述目标可见度提升所述图像数据的透光率。
6.如权利要求1所述的方法,其特征在于,所述目标降噪算法包括去雾算法,所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤包括:
基于所述去雾算法对所述图像数据作降噪处理,得到去雾图像数据;
所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤之后,还包括:
确定所述去雾图像数据中的可见边界值、梯度均值和/或饱和像素点,并根据所述可见边界值、所述梯度均值和/或所述饱和像素点,确定所述去雾图像数据的去雾结果,当所述去雾结果满足预设条件时,控制所述无人机基于所述去雾图像数据执行巡检任务;
或者,确定所述去雾图像数据和所述图像数据之间的均方差、峰值信噪比和/或结构相似度,并根据所述均方差、所述峰值信噪比和/或所述结构相似度,确定所述去雾准值,当所述去雾准值大于或等于所述去雾阈值时,控制所述无人机基于所述去雾图像数据执行巡检任务。
7.如权利要求1所述的方法,其特征在于,所述无人机包括激光传感器,所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤之后,还包括:
获取所述激光传感器多个历史时刻采集的点云数据,其中,所述点云数据和所述图像数据的数据采集对象相同;
基于所述点云数据,确定降噪后的所述图像数据中满足预设几何配准关系的重叠区域;
将所述重叠区域中的所述点云数据和所述图像数据进行数据融合,得到融合数据,以根据所述融合数据识别所述数据采集对象。
8.如权利要求1所述的方法,其特征在于,所述基于所述目标降噪算法对所述图像数据作降噪处理的步骤之前,还包括:
获取所述图像数据的图像尺寸;
根据所述图像尺寸确定所述图像数据对应的目标滤波窗口尺寸;
基于目标滤波窗口尺寸,通过暗通道先验去雾算法对所述图像数据作平滑处理。
9.一种控制终端,其特征在于,所述控制终端包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的无人机环境感知数据的处理程序,所述无人机环境感知数据的处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的无人机环境感知数据的处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有无人机环境感知数据的处理程序,所述无人机环境感知数据的处理程序被处理器执行时实现如权利要求1至8中任一项所述的无人机环境感知数据的处理方法的步骤。
CN202310102713.8A 2023-02-03 2023-02-03 无人机环境感知数据的处理方法、控制终端以及存储介质 Pending CN116310889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310102713.8A CN116310889A (zh) 2023-02-03 2023-02-03 无人机环境感知数据的处理方法、控制终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310102713.8A CN116310889A (zh) 2023-02-03 2023-02-03 无人机环境感知数据的处理方法、控制终端以及存储介质

Publications (1)

Publication Number Publication Date
CN116310889A true CN116310889A (zh) 2023-06-23

Family

ID=86823118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310102713.8A Pending CN116310889A (zh) 2023-02-03 2023-02-03 无人机环境感知数据的处理方法、控制终端以及存储介质

Country Status (1)

Country Link
CN (1) CN116310889A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977228A (zh) * 2023-09-25 2023-10-31 广东匠芯创科技有限公司 图像降噪方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977228A (zh) * 2023-09-25 2023-10-31 广东匠芯创科技有限公司 图像降噪方法、电子设备及存储介质
CN116977228B (zh) * 2023-09-25 2024-02-09 广东匠芯创科技有限公司 图像降噪方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108549874B (zh) 一种目标检测方法、设备及计算机可读存储介质
US10620005B2 (en) Building height calculation method, device, and storage medium
US10592754B2 (en) Shadow removing method for color image and application
CN111415363B (zh) 一种图像边缘识别方法
CN101599175B (zh) 确定拍摄背景发生改变的检测方法及图像处理设备
CN114418957A (zh) 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
JP5223675B2 (ja) 車両検知装置,車両検知方法並びに車両検知プログラム
WO2018068300A1 (zh) 图像处理方法和装置
US20130342694A1 (en) Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device
US11126824B2 (en) Face image quality evaluating method and apparatus and computer readable storage medium using the same
US20170178341A1 (en) Single Parameter Segmentation of Images
CN113505702A (zh) 基于双神经网络优化的路面病害识别方法及系统
CN110276318A (zh) 夜间公路下雨识别方法、装置、计算机设备及存储介质
CN116503388A (zh) 缺陷检测方法、装置及存储介质
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
Wang et al. An efficient method for image dehazing
CN113628202B (zh) 一种确定方法、清洁机器人和计算机存储介质
CN108090425B (zh) 一种车道线检测方法、装置及终端
JP5338762B2 (ja) ホワイトバランス係数算出装置及びプログラム
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN108268866B (zh) 一种车辆检测方法和系统
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质
Zhu et al. Optimization of image processing in video-based traffic monitoring
CN116030430A (zh) 铁轨识别方法、装置、设备及存储介质
CN112364693A (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination