CN113888630A - 一种具备置信度估计的无人机姿态检测方法及系统 - Google Patents

一种具备置信度估计的无人机姿态检测方法及系统 Download PDF

Info

Publication number
CN113888630A
CN113888630A CN202111277574.XA CN202111277574A CN113888630A CN 113888630 A CN113888630 A CN 113888630A CN 202111277574 A CN202111277574 A CN 202111277574A CN 113888630 A CN113888630 A CN 113888630A
Authority
CN
China
Prior art keywords
skyline
straight line
aerial vehicle
unmanned aerial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111277574.XA
Other languages
English (en)
Inventor
王钟犀
马钟
王莉
张栩培
毕瑞星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Microelectronics Technology Institute
Original Assignee
Xian Microelectronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Microelectronics Technology Institute filed Critical Xian Microelectronics Technology Institute
Priority to CN202111277574.XA priority Critical patent/CN113888630A/zh
Publication of CN113888630A publication Critical patent/CN113888630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种具备置信度估计的无人机姿态检测方法及系统,包括:步骤A:通过全卷积神经网络对输入图像进行像素级别的天空区域与非天空区域的分割,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合最优直线方程,得到天际线拟合直线;步骤B:通过训练好的高斯判别分析模型估计出天际线拟合直线的置信度,若天际线拟合直线的置信度高于预设的最佳分类阈值,则进行步骤C;步骤C:基于天际线拟合直线实时估计出无人机姿态角信息。本发明基于高斯判别分析的置信度估计算法在检测结果出现较大或严重误差时,有效滤去错误结果,帮助无人机规避风险。

Description

一种具备置信度估计的无人机姿态检测方法及系统
技术领域
本发明属于图像信息处理领域,具体涉及一种具备置信度估计的无人机姿态检测方法及系统。
背景技术
导航是无人机自主飞行的重要研究领域,其中,姿态角是自主飞行所需的必备导航信息。出于重量,体积和功耗等诸多因素的限制,以相机为主要传感器的计算机视觉技术成为主要的发展趋势。本发明将通过检测天际线的位置实现对无人机姿态角的实时估计。
近年来,国内外广大研究人员在天际线检测及应用研究领域取得了一定成果。可将已有的天际线检测算法分为四类:1)基于线性边界的模型方法。该方法旨在基于天际线为一条直线的假设上,对图像信息进行高斯分布建模或者霍夫变换。然而,直线地平线的假设仅仅在特定场景下才是有效的,当高度过低时,障碍和山丘会产生一个不是直线的地平线。因此,由于该假设的局限性,导致该模型方法无法满足更多的实际场景需求。2)基于边缘检测的方法。该方法通过识别天与地的分界线的边缘信息,实现天际线的轮廓提取。然而,边缘检测严重依赖参数的设置,算法泛化能力较差。其次,云、山体的轮廓也会对天际线边缘检测造成干扰,降低检测的精确度。3)基于分类器的方法通过机器学习的方法。该方法使用图像的颜色和纹理特征,如平均强度、熵、平滑、均匀性等来训练一个分类器,然后将该分类器应用到天空与非天空区域进行天际线的提取。常用的分类器有:SVM、J48和朴素贝叶斯分类器。然而,该方法对于天际线区域颜色区分度不明显的天际线检测效果不够理想。4)基于深度学习的方法。该方法是将卷积神经网络应用到天际线检测中,是一种更快速、鲁棒性更强的天际线检测方法。现有方法主要是使用CNN对天空与非天空区域以及飞行视频中的天际线进行训练,然后使用大型数据集对提出的方法进行了验证,检测精度优于SVM和随机森林。但是,目前该领域的研究尚未完全成熟,应用的卷积神经网络框架都较为简单,有后续提升的发展空间。
更重要的是,当存在云、雨、雾、山等复杂背景导致天际线检测结果出现较大误差时,估计出的无人机姿态角信息无法使用。因此针对该情况,需要针对检测结果进行置信度估计,作为对应的可靠度参考值,由此规避因错误结果导致的风险。然而,目前国内外对无人机姿态角检测结果的置信度估计却鲜有研究。
发明内容
本发明所要解决的技术问题是克服现有无人机姿态角估计技术的缺陷,提供一种具备置信度估计的无人机姿态检测方法及系统,基于全卷积神经网络的天际线检测方法,解决了原有方法使用场景单一、抗干扰能力差、泛化能力低等问题,基于高斯判别分析的置信度估计算法在检测结果出现较大或严重误差时,有效滤去错误结果,帮助无人机规避风险。
本发明是通过以下技术方案来实现:
一种具备置信度估计的无人机姿态检测方法,包括以下步骤:
步骤A:读取当前帧的输入图像,通过全卷积神经网络对输入图像进行像素级别的天空区域与非天空区域的分割,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合最优直线方程,得到天际线拟合直线;
步骤B:通过训练好的高斯判别分析模型估计出天际线拟合直线的置信度,若天际线拟合直线的置信度高于预设的最佳分类阈值,则进行步骤C,否则,返回步骤A读取下一帧的输入图像;
步骤C:基于天际线拟合直线实时估计出无人机姿态角信息。
优选的,步骤A中,所述的全卷积神经网络包括编码网络、解码网络、类别标定模块和最优直线提取模块;
步骤A具体是:采用编码网络提取图像特征并编码成对应的热图;解码网络采用上采样方式将热图放大至输入图像大小,并解码为各像素的分类概率,输出概率图;类别标定模块对概率图逐像素进行类别标定,生成分割二值图,得到天空区域的图像;最优直线提取模块从天空区域的图像提取得到天际线坐标,并根据天际线坐标拟合最优直线方程,得到天际线拟合直线。
进一步的,解码网络采用上采样方式将热图放大至输入图像大小,并解码为各像素的分类概率,输出概率图,表达为:
M=Fde(H)
Mij0=P(pij=sky)
Mij1=P(pij=nonsky)
其中,Fde代表解码网络,代表上采样;H代表热图,作为解码网络的输入;M代表概率图,解码网络的输出;Mijk表示概率图M在通道k中坐标为(i,j)的值,k取值0或1;pij表示输入图像I中坐标为(i,j)的像素。
进一步的,步骤B具体包括如下步骤:
1)根据全卷积神经网络输出的概率图和分割二值图,量化得到分割质量Q和天际线的弯曲度T;
2)运用训练好的高斯判别分析模型对分割质量Q和弯曲度T进行多元高斯建模;根据已经习得的样本分布情况,高斯判别分析模型求取天际线拟合直线的置信度P。
进一步的,步骤B中,步骤2)所述训练好的高斯判别分析模型通过如下训练方法得到:
运用m个训练样本(x(1),y(1)),(x(2),y(2)),(x(3),y(3)),…,(x(m),y(m))对高斯判别分析模型进行离线训练,其中,y(i)∈0,1;x代表多元样本数据,为分割质量Q和弯曲度T的量化值;y代表样本数据的类别,y(i)=1代表天际线拟合直线可靠;y(i)=0代表天际线拟合直线不可靠;
假设样本数据的类别y在给定的情况下服从伯努利分布,不同类别y中的样本数据x分别服从多元高斯分布:
y~Bernoulli(φ)
x|y=0~N(μ0,Σ)
x|y=1~N(μ1,Σ)
其中,Bernoulli(φ)表示的是伯努利分布,μ和Σ分别代表多元高斯分布的期望和协方差,那么有:
Figure BDA0003330013830000041
Figure BDA0003330013830000042
通过极大似然估计函数得到μ0、μ1和Σ三个参数的值:
Figure BDA0003330013830000043
Figure BDA0003330013830000044
Figure BDA0003330013830000045
根据贝叶斯公式求得已知样本数据x的情况下,样本数据的类别y为正负样本的概率值:
Figure BDA0003330013830000046
Figure BDA0003330013830000047
其中,p(y=0|x)被认为是天际线拟合直线的置信度,取值区间为[0,1],
优选的,步骤A中,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合最优直线方程,得到天际线拟合直线,具体为:提取天空区域最大轮廓的下方边界坐标作为天际线坐标,运用滤点算法将天际线坐标拟合出一条直线,得到天际线拟合直线。
优选的,步骤B中,所述最佳分类阈值的设置方法为:运用大量样本离线训练高斯判别分析模型,并通过所得训练结果获取天际线拟合直线的置信度的最佳分类阈值。
优选的,步骤C具体为:
通过获取的天际线拟合直线方程y=kx+b,通过几何解算可知,滚转角φ和俯仰角θ的计算公式分别为:
Figure BDA0003330013830000051
Figure BDA0003330013830000052
其中,fx和fy为相机内参,(u0,vo)为像主点坐标。
一种具备置信度估计的无人机姿态检测系统,包括:
全卷积神经网络,用于读取当前帧的输入图像,对输入图像进行像素级别的天空与非天空区域的分割,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合出最优直线方程,得到天际线拟合直线;
置信度估计模块,用于通过高斯判别分析模型估计出天际线拟合直线的置信度,若天际线拟合直线的置信度高于预设的最佳分类阈值,则无人机姿态角估计模块工作,否则,全卷积神经网络读取下一帧的输入图像;
无人机姿态角估计模块,用于通过几何计算和天际线拟合直线的方程实时估算无人机姿态角信息。
优选的,全卷积神经网络包括编码网络、解码网络和类别标定和最优直线提取模块;
编码网络,用于提取图像特征并编码成对应的热图;
解码网络,用于采用上采样方式将热图放大至输入图像大小,并解码为各像素的分类概率,输出概率图;
类别标定模块,用于对概率图逐像素进行类别标定,生成分割二值图,得到天空区域的图像;
最优直线提取模块,用于从天空区域的图像提取得到天际线坐标,并根据天际线坐标拟合最优直线方程,得到天际线拟合直线。
与现有技术相比,本发明具有以下有益的技术效果:
本发明检测方法,采用对天际线检测的方式进行姿态角估计,具有自主性强的优势,可以克服外界导航方式的依赖。本发明方法设计的置信度估计功能,可以针对检测结果实时提供对应的可靠度参考值,尤其在检测结果出现较大或严重误差时,有效规避风险。同时,通过视觉导航的方式不需要向外发射信号,为无人机提供了较强的隐蔽性。此外,本发明采用全卷积神经网络对图像进行像素级的分类,保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类,因此,本发明能实现逐像素进行天空、非天空的预测分类,使得其在不同环境、不同地形、复杂气象条件下具备高适应、高精准的检测能力,并能更好的应用于无人机姿态角估计。本发明具备自主性好、隐蔽性强、体积小、重量轻等优势。解决了原有方法使用场景单一、抗干扰能力差、泛化能力低等问题。
附图说明
图1为本发明基于全卷积神经网络的天际线检测方法示意图;
图2为本发明实施例图像分割过程示意图。
图3(a)为本发明实施例中置信度估计模块的ROC曲线图;图3(b)是实际为负样本的置信度值分布图;图3(c)是实际为正样本中的置信度值分布图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
本发明所述的一种具备置信度估计的无人机姿态检测方法,如图1所示,包括以下步骤:
步骤A:读取当前帧的输入图像,通过一种适用于天际线检测的全卷积神经网络,对输入图像进行像素级别的天空区域与非天空区域的分割,从天空区域提取出对应的天际线位置坐标,通过RANSAC滤点算法提取最优直线方程,即天际线拟合直线,该天际线拟合直线用来进行后续的无人机位姿计算;
步骤B:当无人机实际飞行过程中,通过已经训练好的高斯判别分析模型在线测试天际线拟合直线的有效性,输出结果为天际线拟合直线的置信度。根据置信度判断天际线拟合直线的有效性,如果置信度高于阈值,则认为天际线拟合直线有效,由此进行步骤C,并且步骤C所计算出的姿态角被导航装置所采用。反之,如果置信度低于该阈值,则认为天际线拟合直线无效,直接跳过步骤C,系统返回步骤A读取下一帧输入图像。
步骤C:通过几何解算,根据天际线拟合直线实时估计无人机的滚转角和俯仰角。
所述步骤A中全卷积神经网络结构的具体设计如下:
该全卷积神经网络Nfull的主要构成为编码网络Fen、解码网络Fde和类别标定。其网络不限制输入图像I的大小,且输出的分割二值图O始终与输入图像I大小保持一致,实现了端对端像素级别的分割。其中,
O=Nfull(I)=argmax(Fde(Fen(I)))
1)编码网络设计
编码网络主要用于提取图像特征并编码成对应的热图(heatmap)。热图的每个点代表感受野区域的目标检测结果。具体的函数表达为:
H=Fen(I)
其中,I为输入图像,其尺寸为h×w×c;Fen代表编码网络;H为输出的热图,尺寸为hH×wH×c。由于卷积层与池化层的处理,热图尺寸小于输入图像大小,但两者通道数保持一致。
编码网络结构与分类网络的前端结构基本一致,通过连续的卷积层、池化层实现特征提取。与分类网络不同的是,该编码网络用卷积层替代全连接层,由此解除了对输入图像尺寸的约束。其中,卷积层通过若干个卷积核对输入层或上一层输出进行卷积操作,并通过激励函数将卷积结果组合成特征图像。卷积层函数表达为:
s=f(x×w+b)
其中,s表示卷积层输出数据,x表示卷积层输入数据,w表示卷积核的权重,b表示偏差,f表示激活函数。
2)解码网络设计
解码网络的作用是采用上采样方式将热图放大至原图大小,从而将图像特征信息解码为像素的分类概率。经过解码,解码网络会输出一个尺寸为h×w×2的概率图,概率图大小与原输入图像完全一致,实现了像素级对应;2层通道数代表两类目标:天空与非天空,表征对应像素成为天空或非天空的概率。该解码网络可以表达为:
M=Fde(H)
Mij0=P(pij=sky)
Mij1=P(pij=nonsky)
其中,Fde代表解码网络,代表上采样;热图H作为解码网络的输入;概率图M为解码网络的输出,Mijk表示概率图M在通道k中坐标为(i,j)的值,pij表示输入图像I中坐标为(i,j)的像素。
3)类别标定
由解码网络生成的概率图需要通过逐像素的类别标定生成最终的分割二值图O。类别标定通过对比概率图不同通道,得出某像素最大概率值所在的通道序列值,即获得该像素所对应的分类结果。该方法可以对每一个像素都产生一个天空或非天空的预测,保留原始输入图像中的空间信息,实现了天地区域之间像素级别的连贯分割。具体表达式如下:
O=argmax(Mij0,Mij1),Oij∈0,1
其中,O代表经过类别标定后生成的分割二值图,尺寸为h×w×1。由于概率图仅有两个通道,故经过类别标定后的分割二值图的取值为0或1。
4)损失函数
本方法中,全卷积神经网络中的每一个像素都是一个分类任务,每一个图像就有与对应像素数相同个数的样本。在计算损失函数时,对分割二值图O中每一个像素求取softmax损失函数,全部累加之后进行一次梯度更新:
m=max(Oij),Oij∈0,1
Figure BDA0003330013830000091
其中,Oij为分割二值图O中坐标为(x,y)的像素对应的预测标签(天空、非天空),
Figure BDA0003330013830000092
为该像素的实际分类标签,f为softmax函数。
5)天际线最优直线方程
(1)由全卷积神经网络输出的分割二值图O获取天空区域的最大轮廓坐标;
(2)去除天空区域最大轮廓的上、左、右边界坐标,提取下方边界坐标作为检测出来的天际线坐标;
(3)通过RANSAC滤点算法提取最优直线方程,该直线用于后续的无人机位姿计算。
所述步骤B中的基本原理如下:
在没有正确的参考条件下,天际线检测结果的准确性是不可得的。但是,对天际线检测准确性起决定性影响的两个相关因素:全卷积神经网络的分割质量Q和预测天际线的弯曲度T,是可以实现量化和数据获取的。本发明中,高斯判别分析算法通过对分割质量Q和弯曲度T进行多元高斯建模,间接对天际线检测结果的“可靠性”程度进行度量。所述天际线检测结果指的是天际线拟合直线。
对于m个样本(x(1),y(1)),(x(2),y(2)),(x(3),y(3)),…,(x(m),y(m)),y(i)∈0,1。x代表多元样本数据,本发明中为分割质量Q和弯曲度T的量化值;y代表样本数据的类别,y(i)=1代表天际线拟合直线可靠,精度较高;y(i)=0代表天际线拟合直线不可靠,精度较低。本置信度估计算法中,存在两个先验假设:一是样本数据的类别y在给定的情况下服从伯努利分布,二是不同类别中的样本数据x分别服从多元高斯分布:
y~Bernoulli(φ)
x|y=0~N(μ0,Σ)
x|y=1~N(μ1,Σ)
其中,Bernoulli(φ)表示的是伯努利分布,即0-1分布或者二项分布。μ和Σ分别代表多元高斯分布的期望和协方差。那么有:
Figure BDA0003330013830000101
Figure BDA0003330013830000102
通过极大似然估计函数可以得到μ0、μ1和Σ三个参数的值:
Figure BDA0003330013830000103
Figure BDA0003330013830000104
Figure BDA0003330013830000105
根据贝叶斯公式可求得已知样本x的情况下,样本数据的类别y为正负样本的概率值:
Figure BDA0003330013830000106
Figure BDA0003330013830000107
其中,p(y=0|x)被认为是天际线检测结果的置信度P。当该置信度P越高,表明检测结果成为可靠结果的概率越高,当该置信度P越低,表明该检测结果出错的概率越高。
步骤B具体包括如下步骤:
(1)运用大量样本离线训练高斯判别分析模型,并通过训练结果获取置信度的最佳分类阈值。
(1.1)准备训练样本,根据全卷积神经网络输出的概率图和分割二值图,量化得到分割质量Q和天际线拟合直线的弯曲度T;
(1.2)运用分割质量Q和弯曲度T对高斯判别分析模型进行在线训练;训练结果可以通过已经习得的样本分布情况,求取天际线拟合直线的置信度P。
(1.3)由高斯判定分析得出的置信度取值区间为[0,1],运用ROC曲线进一步确定最佳分类阈值。
(2)当无人机实际飞行过程中,通过已经训练好的高斯判别分析模型在线测试天际线拟合直线的有效性,输出结果为置信度。
(2.1)根据全卷积神经网络输出的概率图M和分割二值图O,量化分割质量Q和天际线拟合直线的弯曲度T;
(2.2)运用高斯判别分析模型对分割质量Q和天际线拟合直线弯曲度T进行多元高斯建模;
(2.3)根据已经习得的样本分布情况,高斯判别分析模型求取出一个新检测天际线拟合直线的置信度P。
(3)如果置信度高于上述最佳分类阈值,则认为天际线拟合直线有效,由此进行步骤C,并且步骤C所计算出的姿态角被导航装置所采用。反之,如果置信度低于上述最佳分类阈值,则认为天际线拟合直线无效,直接跳过步骤C,系统读入下一帧。
步骤C具体包括如下步骤:
通过获取的天际线拟合直线方程y=kx+b,通过几何解算可知,滚转角φ和俯仰角θ的计算公式分别为:
Figure BDA0003330013830000111
Figure BDA0003330013830000112
其中,fx和fy为相机内参,有
Figure BDA0003330013830000113
(u0,vo)为像主点坐标。
本发明提出一种具备置信度估计的无人机姿态检测系统,包括:
天际线提取模块,用于通过全卷积神经网络对输入图像进行像素级别的天空区域与非天空区域的分割,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合出最优直线方程,得到天际线拟合直线。
其中,全卷积神经网络包括编码网络、解码网络和类别标定模块;
编码网络,用于提取图像特征并编码成对应的热图;
解码网络,用于采用上采样方式将热图放大至输入图像大小,并解码为各像素的分类概率,输出概率图;
类别标定模块,用于对概率图逐像素进行类别标定,生成分割二值图,得到天空区域的图像。
置信度估计模块,用于通过高斯判别分析模型估计出天际线拟合直线的置信度。
无人机姿态角估计模块,通过几何解算和天际线拟合直线方程,求解出无人机的滚转角和俯仰角。
实施例
本实施例的应用场景为:通过对无人机前视摄像机捕获的图像进行天际线检测,从而实时计算出无人机滚转和俯仰角度。本发明通过基于全卷积神经网络的天际线检测方法,实现无人机在不同环境、不同地形、复杂气象条件下具备高适应、高精准的检测天际线能力,由此计算出精准的无人机滚转角和俯仰角。本发明的检测算法不需要依赖任何假设,即可实现逐像素精准分割天空与非天空区域。同时,本发明提出一种基于高斯判别分析的置信度估计算法,提供可供参考的检测结果可靠值。
本实施例中具备置信度的无人机姿态角估计算法框架,按如下步骤进行:
步骤A:将无人机前视摄像机实时捕获的图像作为输入图像I,通过一种以VGG16为解码网络、反卷积为上采样方式的全卷积神经网络结构Nfull,实现天空与非天空的像素级分割;
步骤B:通过概率图M求取分割质量Q,通过天际线位置坐标求取弯曲度T,运用分割质量Q和弯曲度T对高斯判别算法进行离线训练,训练结果用于获取最佳分类阈值。在无人机飞行过程中,在线实时估计检测的天际线拟合直线的置信度,并与最佳分类阈值进行判断:当置信度高于分类阈值时,进行步骤C,反之,读取下一帧。
步骤C:运用该直线计算出该时刻下无人机的滚转角φ和俯仰角θ。
所述步骤A中全卷积神经网络结构的具体设计如图2所示,具体为:
1)以VGG16为主的编码网络
本实施例采用VGG16作为编码网络,通过连续的卷积层和池化层实现特征提取,生成对应的热图。不同地是,本编码网络将VGG16的三个全连接层改为卷积层,其余保留。其次,将输出通道调整为2,分别对应“天”和“非天空”2中类别。如图2所示,具体改动方式如下:本实施例中,编码网络的输入图像尺寸设定为256×256×3,经过一系列的卷积层和池化层,图像尺寸缩小为15×15×512的数据体。将VGG16的第一个全连接层调整为卷积核尺寸是k=7的卷积层,输出特征图尺寸为9×9×4096;将VGG16第二个全连接层调整为卷积核尺寸是k=1,深度c=2的卷积层,输出特征图尺寸为9×9×4096;将VGG16第三个全连接层调整为卷积核尺寸是k=1,深度c=2的卷积层,输出特征图尺寸为9×9×2,该特征图则为编码网络输出的热图H。
2)采用反卷积的解码网络
该全卷积神经网络采用反卷积的方式进行上采样,对图像进行放大,但往往无法刚好放大到原图尺寸,需要进一步的尺寸修剪,最后解码为与原图大小一致的概率图M。经过上采样之后图片尺寸放大为320×320×2,随后裁剪为256×256×2的概率图M。通过以上方式,将热图恢复到输入图像相同的尺寸,解码成像素对像素的分类概率值。
3)模型训练
将概率图M进行类别标定,生成分割二值图O。分割二值图上的每个点的值表示对应位置所在像素的预测分类,通过计算预测分类与实际分类的softmax损失函数进行梯度更新与模型训练。
4)最优直线方程提取
将图像或者实时视频信息输入到已经训练完成的全卷积神经网络中,输出与原图大小一致的分割二值图,根据分割二值图获取被预测分类为天空区域的最大轮廓坐标,提取下方边界坐标作为检测出来的天际线坐标集Usky
根据检测出的天际线坐标,利用RANSAC算法合成最优拟合直线Lp,拟合方程为:
Lp=ax+b
所述步骤B中的具体步骤如下:
1)求取全卷积神经网络的分割质量Q和预测天际线弯曲度T。
本发明中,高斯判别分析算法需要通过对分割质量Q和弯曲度T进行多元高斯建模,以对检测结果的可靠性进行评估。本实施例中提出,分割质量Q为天空与非天空区域的平均概率差的绝对值,表征的是全卷积神经网络检测结果的准确性;天际线弯曲度T为预测天际线Sp与其通过最小二乘法获得的拟合直线Lp之间的平均像素距离,衡量的是检测出的天际线的弯曲程度。分割质量Q和天际线弯曲度T的计算公式如下:
Figure BDA0003330013830000141
Figure BDA0003330013830000142
Q=|μ01|
Figure BDA0003330013830000143
其中,μ0表示被预测为天空的像素成为天空的平均概率值,μ1表示被预测为非天空的像素成为天空的平均概率值。分割质量Q越大,代表天空和非天空像素成为天空的概率差值也就越大,证明分割效果越好。
Figure BDA0003330013830000144
Figure BDA0003330013830000145
分别代表预测天际线Sp和拟合直线Lp在图像第j列的行数,N是测试图像或视频中的总列数。
2)准备多元样本数据进行离线训练。
多元样本数据可以表示为(x(1),y(1)),(x(2),y(2)),(x(3),y(3)),…,(x(m),y(m)),y(i)∈0,1。x代表多元样本数据,本实施例中为分割质量Q和弯曲度T的值;y代表样本类别,y(i)=1代表天际线检测结果可靠,精度较高;y(i)=0代表天际线检测结果不可靠,精度较低。对于真实样本类别y的取值,本实施例根据预测天际线Sp、实际拟合直线Lr与预测拟合直线Lp之间的平均像素误差来判定。具体标签设定规则如下:
Figure BDA0003330013830000151
3)确定最佳分类阈值。
由高斯判定分析得出的概率值取值区间为[0,1],需要运用ROC曲线进一步确定最佳分类阈值,以获得最佳的分类结果。ROC曲线中的横坐标与纵坐标分别为真正率TPR和假正率FPR。ROC曲线是通过遍历所有阈值来绘制整条曲线的,当在某阈值或阈值区间内TPR达到最高,同时FPR达到最低(即ROC曲线最陡)时,模型的分类准确率最高,此时的阈值或阈值区间被设定为最佳阈值。依据最佳阈值来判定该检测结果是否能被界定为“可靠”。图3(a)所示的ROC曲线中,高斯判别模型的AUC=0.99,代表分类模型质量优良。由ROC曲线获得最佳阈值选取范围为[0.67,0.72]。由此拟定阈值为0.70。其中,真正率TPR和假正率FPR的计算公式分别为:
Figure BDA0003330013830000152
Figure BDA0003330013830000153
4)实时置信度估计。
多元样本数据准备完成之后,运用训练好的高斯判别分析模型进行天
际线拟合直线置信度的实时估计,具体流程为:首先估计出先验概率以及多元高斯分布的均值和协方差矩阵,然后再由贝叶斯公式求出一个新样本分别属于两类别的概率。其中,属于天空类别的概率p(y=0|x)是所需的天际线拟合直线的置信度P。
5)有效性判断。
如果置信度高于最佳分类阈值,则认为天际线拟合直线有效,由此进行步骤C,并且步骤C所计算出的姿态角被导航装置所采用。反之,如果置信度低于该最佳分类阈值,则认为天际线拟合直线无效,直接跳过步骤C,系统读入下一帧。图3(b)、(c)分别是实际为负、正样本的天际线拟合直线的置信度分布图,以阈值0.7为最佳分类阈值,在210张测试样本中有207张为预测正确,说明高斯判别分析能进行较高精度的置信度判断。
步骤C具体为:
根据拟合直线Lp,反推当前时刻无人机的滚转角φ和俯仰角θ:
Figure BDA0003330013830000161
Figure BDA0003330013830000162

Claims (10)

1.一种具备置信度估计的无人机姿态检测方法,其特征在于,包括以下步骤:
步骤A:读取当前帧的输入图像,通过全卷积神经网络对输入图像进行像素级别的天空区域与非天空区域的分割,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合最优直线方程,得到天际线拟合直线;
步骤B:通过训练好的高斯判别分析模型估计出天际线拟合直线的置信度,若天际线拟合直线的置信度高于预设的最佳分类阈值,则进行步骤C,否则,返回步骤A读取下一帧的输入图像;
步骤C:基于天际线拟合直线实时估计出无人机姿态角信息。
2.根据权利要求1所述的具备置信度估计的无人机姿态检测方法,其特征在于,步骤A中,所述的全卷积神经网络包括编码网络、解码网络、类别标定模块和最优直线提取模块;
步骤A具体是:采用编码网络提取图像特征并编码成对应的热图;解码网络采用上采样方式将热图放大至输入图像大小,并解码为各像素的分类概率,输出概率图;类别标定模块对概率图逐像素进行类别标定,生成分割二值图,得到天空区域的图像;最优直线提取模块从天空区域的图像提取得到天际线坐标,并根据天际线坐标拟合最优直线方程,得到天际线拟合直线。
3.根据权利要求2所述的具备置信度估计的无人机姿态检测方法,其特征在于,解码网络采用上采样方式将热图放大至输入图像大小,并解码为各像素的分类概率,输出概率图,表达为:
M=Fde(H)
Mij0=P(pij=sky)
Mij1=P(pij=nonsky)
其中,Fde代表解码网络,代表上采样;H代表热图,作为解码网络的输入;M代表概率图,解码网络的输出;Mijk表示概率图M在通道k中坐标为(i,j)的值,k取值0或1;pij表示输入图像I中坐标为(i,j)的像素。
4.根据权利要求2所述的具备置信度估计的无人机姿态检测方法,其特征在于,步骤B具体包括如下步骤:
1)根据全卷积神经网络输出的概率图和分割二值图,量化得到分割质量Q和天际线的弯曲度T;
2)运用训练好的高斯判别分析模型对分割质量Q和弯曲度T进行多元高斯建模;根据已经习得的样本分布情况,高斯判别分析模型求取天际线拟合直线的置信度P。
5.根据权利要求4所述的具备置信度估计的无人机姿态检测方法,其特征在于,步骤B中,步骤2)所述训练好的高斯判别分析模型通过如下训练方法得到:
运用m个训练样本(x(1),y(1)),(x(2),y(2)),(x(3),y(3)),…,(x(m),y(m))对高斯判别分析模型进行离线训练,其中,y(i)∈0,1;x代表多元样本数据,为分割质量Q和弯曲度T的量化值;y代表样本数据的类别,y(i)=1代表天际线拟合直线可靠;y(i)=0代表天际线拟合直线不可靠;
假设样本数据的类别y在给定的情况下服从伯努利分布,不同类别y中的样本数据x分别服从多元高斯分布:
y~Bernoulli(φ)
x|y=0~N(μ0,Σ)
x|y=1~N(μ1,Σ)
其中,Bernoulli(φ)表示的是伯努利分布,μ和Σ分别代表多元高斯分布的期望和协方差,那么有:
Figure FDA0003330013820000021
Figure FDA0003330013820000022
通过极大似然估计函数得到μ0、μ1和Σ三个参数的值:
Figure FDA0003330013820000023
Figure FDA0003330013820000024
Figure FDA0003330013820000031
根据贝叶斯公式求得已知样本数据x的情况下,样本数据的类别y为正负样本的概率值:
Figure FDA0003330013820000032
Figure FDA0003330013820000033
其中,p(y=0|x)被认为是天际线拟合直线的置信度,取值区间为[0,1],运用ROC曲线进一步确定最佳分类阈值。
6.根据权利要求1所述的具备置信度估计的无人机姿态检测方法,其特征在于,步骤A中,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合最优直线方程,得到天际线拟合直线,具体为:提取天空区域最大轮廓的下方边界坐标作为天际线坐标,运用滤点算法将天际线坐标拟合出一条直线,得到天际线拟合直线。
7.根据权利要求1所述的具备置信度估计的无人机姿态检测方法,其特征在于,步骤B中,所述最佳分类阈值的设置方法为:运用大量样本离线训练高斯判别分析模型,并通过所得训练结果获取天际线拟合直线的置信度的最佳分类阈值。
8.根据权利要求1所述的具备置信度估计的无人机姿态检测方法,其特征在于,步骤C具体为:
通过获取的天际线拟合直线方程y=kx+b,通过几何解算可知,滚转角φ和俯仰角θ的计算公式分别为:
Figure FDA0003330013820000034
Figure FDA0003330013820000035
其中,fx和fy为相机内参,(u0,vo)为像主点坐标。
9.一种具备置信度估计的无人机姿态检测系统,其特征在于,包括:
全卷积神经网络,用于读取当前帧的输入图像,对输入图像进行像素级别的天空与非天空区域的分割,从天空区域的图像提取出天际线坐标,根据天际线坐标拟合出最优直线方程,得到天际线拟合直线;
置信度估计模块,用于通过高斯判别分析模型估计出天际线拟合直线的置信度,若天际线拟合直线的置信度高于预设的最佳分类阈值,则无人机姿态角估计模块工作,否则,全卷积神经网络读取下一帧的输入图像;
无人机姿态角估计模块,用于通过几何计算和天际线拟合直线的方程实时估算无人机姿态角信息。
10.根据权利要求9所述的具备置信度估计的无人机姿态检测系统,其特征在于,全卷积神经网络包括编码网络、解码网络和类别标定和最优直线提取模块;
编码网络,用于提取图像特征并编码成对应的热图;
解码网络,用于采用上采样方式将热图放大至输入图像大小,并解码为各像素的分类概率,输出概率图;
类别标定模块,用于对概率图逐像素进行类别标定,生成分割二值图,得到天空区域的图像;
最优直线提取模块,用于从天空区域的图像提取得到天际线坐标,并根据天际线坐标拟合最优直线方程,得到天际线拟合直线。
CN202111277574.XA 2021-10-29 2021-10-29 一种具备置信度估计的无人机姿态检测方法及系统 Pending CN113888630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111277574.XA CN113888630A (zh) 2021-10-29 2021-10-29 一种具备置信度估计的无人机姿态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111277574.XA CN113888630A (zh) 2021-10-29 2021-10-29 一种具备置信度估计的无人机姿态检测方法及系统

Publications (1)

Publication Number Publication Date
CN113888630A true CN113888630A (zh) 2022-01-04

Family

ID=79014594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111277574.XA Pending CN113888630A (zh) 2021-10-29 2021-10-29 一种具备置信度估计的无人机姿态检测方法及系统

Country Status (1)

Country Link
CN (1) CN113888630A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512341A (zh) * 2022-09-15 2022-12-23 粤丰科盈智能投资(广东)有限公司 一种基于高斯分布拟合的目标检测方法、装置及计算机介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512341A (zh) * 2022-09-15 2022-12-23 粤丰科盈智能投资(广东)有限公司 一种基于高斯分布拟合的目标检测方法、装置及计算机介质
CN115512341B (zh) * 2022-09-15 2023-10-27 粤丰科盈智能投资(广东)有限公司 基于高斯分布拟合的目标检测方法、装置及计算机介质

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
CN107506711B (zh) 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111723748A (zh) 一种红外遥感图像舰船检测方法
CN110619327A (zh) 一种复杂场景下基于深度学习的实时车牌识别方法
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN113989613A (zh) 一种应对复杂环境的轻量级高精度船舶目标检测方法
CN114266977A (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN112200746A (zh) 一种雾天交通场景图像的去雾方法和设备
CN111199245A (zh) 油菜害虫识别方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN113449650A (zh) 一种车道线检测系统及方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN113888630A (zh) 一种具备置信度估计的无人机姿态检测方法及系统
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN113221739A (zh) 基于单目视觉的车距测量方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN116703932A (zh) 一种基于卷积注意力机制的CBAM-HRNet模型小麦穗粒分割与计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination