CN109767434A - 基于神经网络的时域弱小目标检测方法 - Google Patents
基于神经网络的时域弱小目标检测方法 Download PDFInfo
- Publication number
- CN109767434A CN109767434A CN201910012526.4A CN201910012526A CN109767434A CN 109767434 A CN109767434 A CN 109767434A CN 201910012526 A CN201910012526 A CN 201910012526A CN 109767434 A CN109767434 A CN 109767434A
- Authority
- CN
- China
- Prior art keywords
- point
- pixel
- array
- detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络的时域弱小目标检测方法,解决了现有技术检测弱小目标能力弱,对杂波分辨能力差的问题。实现步骤是:从原始数据集中提取出图中每个像素点亮度变化的时域廓线组成时域曲线数组集;时域曲线数组集分为训练集和测试集并归一化处理;构建神经网络并进行模型的训练和永久保存;对实际测试集测试得到每个像素点概率预测矩阵;对概率加权计算;切片去独过滤处理,去掉单独误检测点。输出检测图。本发明将机器学习应用到弱小目标检测,通过权值计算对目标点进行加强,加以切片去独过滤检测的处理。本发明自适应性强,抗背景干扰能力强,准确率高。可用于复杂云背景下所得拍摄图像的运动弱小目标检测上。
Description
技术领域
本发明属于图像处理技术领域,主要涉及红外图像检测与后期处理,具体是一种基于人工神经网络的弱小目标的检测方法。可用于图像后期处理。
背景技术
在红外图像处理检测的算法中,如何对弱小目标检测是关键的一环。由于在实际观测的过程中,目标如飞机往往离探测器非常远。使得最终目标所得的像仅仅只有一个或几个像素大小,亮度也非常弱。如果再加上复杂的云背景下的探测,会使得探测难度增大。如何提高对于弱小目标的探测精度,是现在光学探测系统亟待解决的一大问题。
目前国内外很多机构都对于弱小目标的检测有所研究。现有的红外弱小目标检测主要分为两种。一种是基于单张图像分析的跟踪前检测算法(DBT);另一种是基于序列图像分析的检测前跟踪算法(TBD)。在国外,在弱小目标探测方面比较领先的机构有美国空军实验室(AFRL)、加州理工学院以及国家航天局(NASA)。SPIE协会(国际光学学会)在弱小目标检测技术方面也很重视,每年都会有相应的学术会议来交流研究最新技术。而在国内,我国对于该领域的研究起步较晚。尽管近几年已经取得了长足进步,但仍与世界先进水平存在一定的差距。国防科技大学、中科院长春光机所、华中科技大学和重庆大学等大学和研究机构都有一定的论文成果。主要集中在红外系统、低空慢速目标检测等领域。专利方面,目前国内主要的专利申请都属于基于单张图像分析的跟踪前检测(DBT)算法。例如北京航空航天大学白向志组于2017年提出的方向导数构造法;电子科技大学彭真明2017年提出的一种基于非负约束2D变分模态分解的检测方法以及江苏科技大学朱志宇提出的一种基于视觉对比机制的检测方法等。而检测前跟踪(TBD)算法,目前国内的相关专利还较少。典型的例子有2017年西安电子科技大学武斌研究组提出的一种基于时域经验模态分解的检测方法;以及国防科技大学的起峰研究组提出的一种基于时域滤波的弱小目标检测方法。均是采用滤波的方法实现目标检测的。
目前现有的多种基于单帧的跟踪前检测传统滤波算法如TDLMS,BF和中值滤波等算法都有着对于源数据的要求高,预处理复杂,精确度不足,自适应性差等缺点;而通用的检测前跟踪算法如管道滤波、多假设检验法以及普通时域滤波方法等算法也普遍存在抗干扰能力差,对于多频段复杂云背景条件下的目标检测效果不佳等缺陷。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种精度高,抗干扰性强的基于神经网络的时域弱小目标检测方法。
本发明是一种基于神经网络的时域弱小目标检测方法,其特征在于,包括有如下步骤:
(1)数据预处理:输入训练用的图像序列,原始数据集为一组航空器所拍摄的包含弱小目标的图片集,尺寸为a×b,设a×b=d,共p张连续图像,对其进行数据预处理,从中提取出连续图像图片中每个像素点亮度变化的p维时域廓线,将其中每个像素的亮度值组成p维数组集,称作时域曲线数组集;
(2)对时域曲线数组集进行单独归一化并设置标签:将这些时域曲线数组集分为训练集和测试集,对每个数组进行单独归一化处理使其全部集中到0和1之间,并对所有目标点和非目标点的时域曲线数组分别设置标签以进行监督学习;
(3)构建神经网络并进行模型的训练和保存:构建多层人工神经网络,并向神经网络中输入训练集中的时域曲线数组集及其对应标签所组成的矩阵,并训练神经网络,得到多层人工神经网络模型并保存模型以进行持久化运用;用测试集对模型的可靠性进行检测;
(4)对实际测试集进行测试:将多层人工神经网络模型运用于实际测试集的检测,多层人工神经网络将根据该时域变化数组的特征来得出实际测试集中每个像素点的概率预测矩阵[PN,PH],其中PN为每个像素点非目标的概率,PH为每个像素点是目标的概率;
(5)计算最终权重值:将得到的每个像素点的概率预测矩阵依照权重公式计算出最终权重数值PKi,将该权重数值按照原图像素排列方式排列为权重数组;
(6)切片去独过滤检测处理:根据连续图像序列目标点一定是在像素上连续的特性,将该数组进行切片过滤去独计算,检测每个像素点的最终权重数值,所有最终权重数值大于1的像素点都是待检测像素点,对待检测点执行切片去独过滤检测处理;设置过滤范围阈值为n,检测包括待检测像素点周围的点的切片数组中数值大于判定阈值k的点的个数,若个数等于1,则判定该点为独点,将其最终权重值置为1,将处理过后的权重数组按灰度法进行绘图,输出实际测试集的最终目标点检测图像。
本发明将最新的人工神经网络算法利用在弱小目标检测问题的解决方面。主要解决现有传统技术自适应性差,精确度不足,对于复杂多频段云背景杂波分辨能力差的问题。
本发明的技术优势
本发明与弱小目标检测现有技术中的传统跟踪前检测法如TDLMS和BF滤波检测法以及检测前跟踪算法如普通时域滤波法检测相比,有如下显著优点:
1)由于本发明基于机器学习原理,构建人工神经网络对特征时域廓线进行分析。相比于传统跟踪前检测BF滤波算法,对源数据的要求更低,所需数据预处理更少,自适应性更强;
2)由于本发明是基于序列检测的检测前跟踪算法,可利用多帧图像的目标信息进行相互补足,相比于传统单帧跟踪前检测法如TDLMS,精确度更高。能够识别更微弱的目标点;
3)由于本发明采用机器学习算法检测,相比于传统序列检测前跟踪算法如普通时域滤波算法,抗干扰能力强,对于复杂多频段云背景杂波的分辨能力更强;
4)由于本发明有切片去独过滤检测这一修正算法,对于误判点的修正能力更强,进一步提升了最终精确度;
5)本发明提出了一种新的基于人工神经网络的时域弱小目标检测算法。将机器学习这一新领域运用到传统的弱小目标检测中,精确度高,自适应性强,具有广阔的发展前景。
附图说明
图1为本发明的实现流程图;
图2为本发明应用处理的包含弱小目标图像序列数据集‘npa’的第1张图的原图;
图3为本发明的去独滤波算法切片数组示意图;
图4为用现有TDLMS算法滤波检测数据集‘npa’得到的效果图;
图5为本发明处理后在数据集‘npa’上得到的最终弱小目标检测效果图。
图6为本发明处理后在数据集‘j2a’上得到的最终弱小目标检测效果图。
图7为典型目标点的归一化时域曲线数组所绘出的时域曲线图
图8为典型非目标点的归一化时域曲线数组所绘出的时域曲线图
图9为本发明应用处理的包含弱小目标图像序列数据集‘j2a’的第1张图的原图;
图10为用现有TDLMS算法滤波检测数据集‘j2a’得到的效果图;
具体实施方式
下面结合附图和实施例对本发明详细说明:
实施例1:
红外弱小目标检测,一直是图像处理中的重要领域。对于国防工程有着重大意义。例如导弹防御系统的红外目标跟踪。由于目标在高空高速飞行,拦截弹在拦截初期距目标距离较远,目标在拦截弹的红外导引头上所成的像亮度一般较弱。成为待检测的弱小目标。若是云层背景复杂,目标将更容易被与云层相混淆。若要保证对于目标的持续跟踪直至命中,首先需要保证拦截初期不丢失对于目标的跟踪,此时高精度抗背景干扰性更强的弱小目标检测算法就显得极其重要。
目前现有算法都有着对于源数据的要求高,预处理复杂,精确度不足,自适应性差等缺点;而通用的检测前跟踪算法如管道滤波、多假设检验法以及普通时域滤波方法等算法也普遍存在抗干扰能力差,对于多频段复杂云背景条件下的目标检测效果不佳等缺陷。本发明针对上述问题展开了研究,提出了一种基于神经网络的时域弱小目标检测方法,参见图1,本发明基于神经网络的时域弱小目标检测和图像处理方法,包括有如下步骤:
(1)数据预处理:输入训练用的图像序列,原始数据集为一组航空器所拍摄的包含弱小目标的图片集,尺寸为a×b,设a×b=d,共p张连续图像,对其进行数据预处理,从中提取出连续图像图片中每个像素点亮度变化的p维时域廓线,将其中每个像素的亮度值组成p维数组集,称作时域曲线数组集。a是图片的像素宽,b是图片的像素长,d即为图片的总体像素个数。
(2)对时域曲线数组集进行单独归一化并设置标签:将这些时域曲线数组集分为训练集和测试集,对每个数组进行单独归一化处理使其全部集中到0和1之间,以更好的体现出数据的规律,并对训练集中的目标点和非目标点分别设置标签得到最终矩阵以进行监督学习。本发明是单独进行归一化处理,与通常的整体归一化方法有所不同,更能体现出数据本身的规律。经过归一化后的每条时域曲线数组都蕴含着一个像素点的亮度在时域维度上的变化规律,典型的目标点的归一化后的时域曲线数组所绘出的时域曲线如图7所示;典型的非目标点的归一化后的时域曲线数组所绘出的时域曲线如图8所示。图7类时域曲线数组所设置的标签是目标,图8类时域曲线数组所设置的标签是非目标。
(3)构建神经网络并进行模型的训练和保存:构建多层人工神经网络,并向神经网络中输入训练集中的时域曲线数组集及其对应标签所组成的最终矩阵,并训练神经网络,得到多层人工神经网络模型并保存模型以进行持久化运用;并用步骤(2)中得到的测试集从召回率及准确率两个指标对模型的可靠性进行测试。
(4)对实际测试集进行测试:将步骤(3)中所得到的多层人工神经网络模型运用于实际测试集的检测,多层人工神经网络将根据该时域变化数组的特征来得出实际测试集中每个像素点的概率预测矩阵其中PNi为每个像素点非目标的概率,PHi为每个像素点是目标的概率;该实际测试集应当是任何全新的与训练用图像序列不同的待测图像序列。
(5)计算最终权重值:将得到的每个像素点的概率预测矩阵依照权重公式计算出最终权重数值PKi,将该权重数值按照原图像素排列方式排列为权重数组;
(6)切片去独过滤检测处理:根据连续图像序列目标点一定是在像素上连续的特性,将该数组进行切片过滤去独计算,检测每个像素点的最终权重数值,所有最终权重数值大于1的像素点都是待检测像素点,对待检测点执行切片去独过滤检测处理;设置过滤范围阈值为n,检测包括待检测像素点周围的点的切片数组中数值大于判定阈值k的点的个数,若个数等于1,则判定该点为独点,将其最终权重值置为1,将处理过后的权重数组按灰度法进行绘图,输出实际测试集的最终目标点检测图像,像素点是目标点的概率值越高,在最终目标点检测图上的亮度值就越高。本发明利用连续图像序列的目标点在像素分布上一定连续的特性,进行去独运算,可以有效去除误判点。
本发明建立了基于多层人工神经网络的时域弱小目标检测体系,通过将全新的机器学习领域应用到传统的弱小目标检测领域方面,加以切片去独过滤检测的处理,突破了传统滤波方案自适应性不足,抗背景干扰能力差以及准确率不够高的瓶颈。可用于任何包含有弱小目标的图像序列的检测,在国防,安保,医疗等领域都有着广阔的应用前景。
实施例2:
基于神经网络的时域弱小目标检测方法同实施例1,步骤(2)所述的对数组集进行单独归一化以及设置标签的过程,具体包括如下步骤:
(2a)划分训练测试集:
将步骤(1)中所得到的时域曲线数据集按照一定的概率分配成训练集和测试集,训练集用于训练得到模型,测试集可用于验证模型的可靠性;
(2b)单独归一化:
按行对每条时域曲线数组集的p维数组Xp=[x1,x2…,xP]进行单独归一化过程,归一化即为缩放数据到0到1之间从而更好的显示出时域数组本身的特征,归一化所用公式表示如下:
其中,i表示数组中元素的序号,1<i<p,xsi即为单独归一化后所得数据。xi为需进行单独归一化的数据;maxxi为该p维数组中的最大值;minxi为该p维数组中的最小值。单独归一化后得到p维归一化数组Xsp=[xs1,xs2…,xsP],每条p维归一化数组都蕴含着一个像素点的亮度在时域维度上的变化规律,典型的目标点的p维归一化数组所绘出的时域曲线如图7所示;典型的非目标点的p维归一化数组所绘出的时域曲线如图8所示;该数组能够更好的体现出时域曲线的特征,利于模型的训练。
(2c)为监督学习添加标签:
将步骤(2)中所得到的时域曲线数组集的最后加上两列标签值,其中标签为该组曲线数组非目标的概率P0及是目标的概率P1,训练集中目标点和非目标点均为已知,典型的目标点时域曲线数组所组成的曲线如图7所示,非目标点的时域曲线数组所组成的曲线如图8所示。目标点的时域曲线数组所对应的非目标的概率P0为标签0,是目标的概率P1为标签1,非目标点的时域曲线数组所对应的非目标的概率P0为标签1,是目标的概率P1为标签0;构成p+2维的带标签数组,将a×b条p+2维带标签数组按行组成p+2列,a×b行的最终矩阵,用于输入神经网络进行监督学习。
本发明提出了对传统整体归一化的改进策略,单独归一化。对每条数据曲线进行单独归一化,有利于更好的体现出每组时域曲线数组的特征。
实施例3:
基于神经网络的时域弱小目标检测方法同实施例1-2,本实施例中的i均表示检测图中像素点的序号,1<i<d;步骤(5)所述的最终权重值计算公式表示如下:
PKi=n0×PNi+n1×PHi
其中根据步骤(4)中得到的概率预测矩阵PNi为序号为i的点非目标的概率,PHi为序号为i的点是目标的概率,PNi+PHi=1。PKi为序号为i的点经计算所得的最终权重数值;n0为非目标值权重,n1为目标值权重,n0、n1的取值范围应在1到10之间。为了达到显著突出目标点的目的,设定参数时应当使得n0<n1。
本发明将加权计算应用到对于概率预测数值的后期计算上,使得该步骤所得到的最终权重数值,目标点像素的最终权重数值会大于非目标点像素的最终权重数值;在下一步的最终目标识别图灰度绘图中,目标点的像素表现出的亮度就会更高,更有利于在最终目标识别图上被区分出来。
实施例4:
基于神经网络的时域弱小目标检测方法同实施例1-2,其中步骤(6)所述的切片去独过滤检测处理,包括有如下步骤:
(6a)判定待检测点:遍历步骤(5)中所得到的全部a×b=d个像素点的最终权重数值PKi(1<i<d),若遍历中某像素点最终权重数值高于1,则该点为待检测像素点,对该像素点执行切片去独过滤检测处理;若遍历中某像素点的最终权重数值等于或低于1则不作处理;
(6b)切片处理:设置过滤范围阈值为n,则向待检测像素点上下左右延展n个像素点进行切片得到切片数组,理论上切片数组应包含待检测像素点在内共(2n+1)2个点,如果遇到图像边缘的点,则应与边缘贴合;
(6c)判定孤点:设置判定阈值为K,统计切片数组中点的最终权重数值大于K的像素点的个数,若切片数组中包含待检测像素点在内满足最终权重数值大于K的像素点的个数大于或等于2,则该点不是孤点;若该切片数组中满足条件的只有1个(即为该被检测点本身),则该点是孤点;
(6d)数值改动:若该点是孤点,则将其最终权重数值置为1,遍历检测所有待检测像素点,在整个权重数组范围内完成去独过滤检测,从而达到去独的目的。若该点不是孤点,则不对其最终权重数值做改动;
(6e)输出最终目标点检测图像:将经过去独过滤检测处理后的最终权重数组按灰度法进行绘图,输出实际测试集的最终目标点检测图像。参见图5、6、7,图中的亮线即为目标在背景下的运动轨迹。
本发明利用目标在背景上运动轨迹必为连续的特性,提出了一种切片去独的过滤处理。能够有效的过滤误判点,突出多个像素点集中的轨迹,从而达到提高检测目标精确度的目的。
下面给出一个更加完整的例子,对本发明进一步说明:
实施例5:
基于神经网络的时域弱小目标检测方法同实施例1-4,参照图1,本发明实施步骤如下:
步骤1,读取原始训练用数据集,进行预处理从中提取出时域曲线数组集。
(1a)原始训练用数据集为一组航空器所拍摄的包含弱小目标的图片集。将该图片集中每张图片每个像素点的亮度值读取出来并储存到p个二维数组中,称为基础数组。每个基础数组均为a×b维数组;
(1b)将每个基础数组按顺序拉成行数为a×b=d的一维数组。再沿列方向将其排成一个基础矩阵,该基础矩阵的行数为原始数据图像尺寸像素数a×b=d;列数为时域维度,即为一组图片的图像个数p。该基础矩阵的每一行即为单独一个像素点的p维度时域变化曲线,即为得到的时域曲线数组集。记为Xp=[x1,x2…,xP]。其中p为图像维度,即为原始数据集中一组连续图片的图片个数。如此即可得到共a×b=d个像素点的p维时域曲线数组集。
步骤2,划分训练测试集,并进行单独归一化和添加标签。
(2a)将步骤(1)中所得到的时域曲线数据集按照一定的概率分配成训练集和测试集,训练集用于训练得到模型,测试集可用于随后的验证模型的可靠性;
(2b)按行对每个时域曲线数组集的全部d条p维数组Xp=[x1,x2…,xP]进行单独归一化过程,归一化即为缩放数据到0到1之间从而更好的显示出时域曲线数组本身的特征,归一化所用公式表示如下:
其中,i表示时域曲线数组中元素的序号,1<i<p,xsi即为单独归一化后所得数据。xi为需进行单独归一化的数据;maxxi为该p维数组中的最大值;minxi为该p维数组中的最小值。单独归一化后得到p维归一化数组Xsp=[xs1,xs2…,xsP],该数组能够更好的体现出时域曲线的特征,利于模型的训练。
(2c)将步骤(2b)中所得到的a×b条p维归一化后的时域曲线数组的最后加上两列标签值,其中标签为该组曲线非目标的概率P0及是目标的概率P1,训练集中目标点和非目标点均为已知,典型的目标点时域曲线数组所组成的曲线如图8所示,非目标点的时域曲线数组所组成的曲线如图8所示。目标点的时域曲线数组所对应的非目标的概率P0为标签0而是目标的概率P1为标签1,非目标点的时域曲线数组所对应的非目标的概率P0为标签1而是目标的概率P1为标签0;构成p+2维的带标签数组,将a×b条p+2维带标签数组按行组成p+2列,a×b行的最终矩阵,用于输入神经网络进行监督学习。
步骤3,构建多层人工神经网络并进行训练,保存得到持久化模型。
(3a)本步中的i均表示像素点序号,1<i<d;,将训练参数初始化。产生截断的(值与均值的差值不会大于标准差值两倍的)对称正态分布随机数作为未激活的初始权重值。用该随机数来填充初始权重值矩阵和偏置值矩阵其中WN0i为序号为i的点非目标的初始权重值,WH0i为序号为i的点是目标的初始权重值;其中bN0i为序号为i的点非目标的初始偏置值,bH0i为序号为i的点目标的初始偏置值。采用双曲正切函数tanh作为激活函数来处理每层的输入数据;
(3b)定义占位符。定义输入数据维度为p,输出数据维度为2,即为分类种类。建立多层神经网络。
(3c)将神经网络的输出结果矩阵与其真实目标概率值的标签矩阵进行比较。根据比较结果计算交叉熵作为损失函数来不断修正神经网络参数,从而建立前向传播模型;
(3d)使用Adam函数优化算法对误差函数进行优化。每次循环都更新权值矩阵和偏置值矩阵其中WNi为为序号为i的点非目标的权重值,WHi为为序号为i的点是目标的权重值;bN0i(1<i<d)为为序号为i的点非目标的偏置值,bH0i为序号为i的点是目标的偏置值。循环足够多的次数,使得损失函数收敛到全局最优点。用步骤(2)中得到的训练集对模型从召回率以及准确率两个指标进行可靠性检测。得到可以重复持久化使用的模型,该持久化模型可用于其他任何序列图像的测试。本发明使用人工神经网络进行时域弱小目标检测,与以往的普通滤波算法不同。
步骤4,恢复网络并将实际测试集数据输入模型,得到预测概率矩阵。
(4a)将实际测试集的p张尺寸为a×b的连续场景图片分解,同样按照步骤1中的操作,得到单独归一化后得到每个像素点的时域变化廓线。将共a×b个像素点的p维时域变化廓线组成的数组组成p列,a×b行的矩阵并输入到训练完成的神经网络中;该实际测试集应当是与原始训练用图像序列不同的待测图像序列。
(4b)步骤(3)中得到的持久化神经网络模型将根据该时域变化数组的特征来计算全部d个像素点是目标点的概率预测矩阵其中PNi为该点非目标的概率,PHi为该点是目标的概率。该概率值PHi将用于下一步权重计算。
设原图像尺寸为a×b=d
则计算概率矩阵的公式如下:
对于单一的一个像素点的数组来说,得到概率预测矩阵的公式:
其中[PN,PH]即为所得概率预测矩阵;[xs1,xs2…,xsP]为归一化后所得p维时域廓线数组;为神经网络最后所得p×2维权重矩阵;[bN,bH]为偏置值。
对于全部d个像素所组成的尺寸为d×p的二维数组来说,得到最终概率预测矩阵的公式即为单一数组在列方向的d维扩展矩阵运算。
步骤5,对概率预测矩阵进行加权运算,以突出目标点。
本步骤中的i均表示像素点的序号,1<i<d,权重计算公式表示如下:
PKi=n0×PNi+n1×PHi
其中根据步骤(4b)中得到的概率预测矩阵PNi为序号为i的点非目标的概率,PHi为序号为i的点是目标的概率,PNi+PHi=1。PKi为序号为i的点经计算所得的最终权重数值;n0为非目标值权重,n1为目标值权重,n0、n1的取值范围应在1到10之间。为了达到显著突出目标点的目的,设定参数时应当使得n0<n1。
步骤6,根据目标点一定是在像素上连续的特性,将5中所得到的灰度值数组进行滤波去独计算后最终输出检测图。
(6a)判定待检测点:遍历步骤(5)中所得到的全部a×b=d个像素点的最终权重数值PKi(1<i<d),若遍历中某像素点最终权重数值高于1,则该点为待检测像素点,对该像素点执行切片去独过滤检测处理;若遍历中某像素点的最终权重数值等于或低于1则不作处理;
(6b)切片处理:设置过滤范围阈值为n,则向待检测像素点上下左右延展n个像素点进行切片得到切片数组,理论上切片数组应包含待检测像素点在内共(2n+1)2个点,如果遇到图像边缘的点,则应与边缘贴合;
(6c)判定孤点:设置判定阈值为K,统计切片数组中点的最终权重数值大于K的像素点的个数,若切片数组中包含待检测像素点在内满足最终权重数值大于K的像素点的个数大于或等于2,则该点不是孤点;若该切片数组中满足条件的只有1个(即为该被检测点本身),则该点是孤点;
(6d)数值改动:若该点是孤点,则将其最终权重数值置为1,遍历检测所有待检测像素点,在整个权重数组范围内完成去独过滤检测,从而达到去独的目的。若该点不是孤点,则不对其最终权重数值做改动;
(6e)输出最终目标点检测图像:将经过去独过滤检测处理后的最终权重数组按灰度法进行绘图,输出实际测试集的最终目标点检测图像,在该图像上,像素点是目标点的概率越高,在图中的亮度就越高,如说明书附图5所示。
实施例6:
基于神经网络的时域弱小目标检测方法同实施例1-5。
下面利用一个实例实验来验证本发明的可行性及准确性:
实例验证:
选取一组由95张尺寸为320×244像素的连续图像所组成的原始图像序列‘npa’进行训练用。图中共有两个移动的目标点,形成的轨迹分别位于左上和右下。其中第一张图像的原图见图2所示。
1.读取原始数据集,进行预处理从中提取出时域曲线数组集。
(1a)将原始图像序列‘npa’中每张图片每个像素点的亮度值读取出来并储存到95个二维数组中,称为基础数组。每个基础数组的尺寸均为320×244;
(1b)将每个基础数组按顺序拉成行数为320×244=78080的一维数组。再沿列方向将其排成一个基础矩阵,该基础矩阵的行数为原始数据图像尺寸像素数78080;列数为时域维度,即为图像序列的图像个数95。该基础矩阵的每一行即为单独一个像素点的95维度时域变化曲线,即为得到的时域曲线数组集。记为Xp=[x1,x2…,xP]。其中p=95,为图像维度。如此即可得到78080个像素点的95维时域曲线数组集。
2.划分训练测试集,并进行单独归一化和添加标签。
(2a)将步骤(1)中所得到的时域曲线数组集按行对时域曲线数组集中的每条95维时域曲线数组进行单独归一化过程,归一化即为缩放数据到0到1之间从而更好的显示出时域曲线数组本身的特征,归一化所用公式表示如下:
其中,xsi即为单独归一化后所得数据。xi为需进行单独归一化的数据;maxxi为该95维时域曲线数组中的最大值;minxi为该95维时域曲线数组中的最小值。单独归一化后得到95维归一化时域曲线数组Xsp=[xs1,xs2…,xsP],本发明采取的单独归一化法能够更好的体现出像素点的特征,利于模型的训练。典型目标点的归一化时域曲线数组所绘出的时域曲线图如图7所示;典型非目标点的归一化时域曲线数组所绘出的时域曲线图8所示。
(2b)将步骤(1)中所得到的时域曲线数组集按照8:2的比例分配成训练集和测试集,训练集用于训练得到模型,测试集可用于随后的检测目标用;
(2c)将步骤(2b)中所得到的训练集中的归一化后的时域曲线数组的最后加上两列标签值,其中标签为该组曲线非目标的概率P0及是目标的概率P1,训练集中目标点和非目标点均为已知,典型的目标点时域曲线数组所组成的曲线如图7所示,非目标点的时域曲线数组所组成的曲线如图8所示;目标点的时域曲线所对应的P0为0而P1为1,非目标点的时域曲线所对应的P0为1而P1为0;构成95+2=97维的最终矩阵,用于输入神经网络进行监督学习。
3.构建多层人工神经网络并进行训练,保存得到持久化模型,该持久化模型可作为黑盒子,用于检测任何包含弱小目标的连续图像数据集。网络的构建基于tensorflow平台搭建,参数根据经验设置;本发明采用tanh函数作为激活函数,以交叉熵函数作为损失函数;Adam函数优化算法对损失函数进行优化,设置输入维度为95,输出维度为2,迭代次数为20000次,学习率设置为0.01。
4.将步骤2中得到的测试集中的归一化后的时域曲线数组输入步骤3中训练完成的多层人工神经网络中,得到测试集中所有数组的概率预测矩阵。计算测试集数据的召回率和准确率来测试本次训练的可靠性,召回率为96.5%,准确率为99.8%,以上数据足以证明本发明的准确度和可靠性均较高。
5.选取一组由新的95张尺寸为320×244像素的连续图像所组成的原始图像序列‘j2a’进行测试用。图中共有两个移动的目标点,位置未知。其中第一张图像的原图见图9所示。预处理得到归一化时域曲线数组的步骤同1,2。将处理得到的全部78080个像素点的95维归一化时域曲线数组集输入到已经训练完成的神经网络中,得到78080个像素点是目标点的概率预测矩阵其中PNi(1<i<78080)为该点非目标的概率,PHi为该点是目标的概率。该概率值PHi将用于下一步权重计算。
6.对概率预测矩阵进行权重计算以突出目标点,公式为:
PKi=1×PNi+10×PHi(1<i<78080)
得到全部78080个像素点的最终权重值所组成的最终权重数组。
7.根据目标点一定是在像素上连续的特性,将5中所得到的灰度值数组进行滤波去独计算后最终输出检测图。设置过滤范围阈值为3,则向待检测像素点上下左右延展5个像素点进行切片得到切片数组,理论上切片数组应包含待检测像素点在内共49个像素点,如果遇到图像边缘的点,则应与边缘贴合;设置判定阈值为5,统计切片数组中点的最终权重数值大于5的像素点的个数来判定待检测像素点是否为孤点;若该点是孤点,则将其最终权重数值置为1,遍历检测所有待检测像素点,在整个权重数组范围内完成去独过滤检测,从而达到去独的目的。若该点不是孤点,则不对其最终权重数值做改动;最终将经过去独过滤检测处理后的最终权重数组按灰度法进行绘图,输出实际测试集的最终目标点检测图像;图像中将显示出目标的运动轨迹,如图6所示。而经过普通TDLMS滤波所得到的检测图像如图10所示,本发明的检测效果明显优于普通滤波算法的结果。
本发明结合实际拍摄得到的数据进行了重点研究和验证,包括数据预处理,模型的构建训练以及实际预测、后期处理。证明了本发明中思路的可行性以及可靠性,以及对于弱小目标预测的准确性。
实施本发明,有如下有益效果:
1)由于本发明基于机器学习原理,构建人工神经网络对特征时域廓线进行分析。相比于传统跟踪前检测BF滤波算法,对源数据的要求更低,所需数据预处理更少,自适应性更强;
2)由于本发明是基于序列检测的检测前跟踪算法,可利用多帧图像的目标信息进行相互补足,相比于传统单帧跟踪前检测法如TDLMS,精确度更高。能够识别更微弱的目标点;
3)由于本发明采用机器学习算法检测,相比于传统序列检测前跟踪算法如普通时域滤波算法,抗干扰能力强,对于复杂多频段云背景杂波的分辨能力更强;
4)由于本发明有切片去独过滤检测这一修正算法,对于误判点的修正能力更强,最终精确度得到进一步提升;
5)本发明提出了一种新的基于人工神经网络的时域弱小目标检测算法。将机器学习这一新领域运用到传统的弱小目标检测中,精确度高,自适应性强,具有广阔的发展前景。
Claims (4)
1.一种基于神经网络的时域弱小目标检测方法,其特征在于,包括有如下步骤:
(1)数据预处理:输入训练用的图像序列,原始数据集为一组航空器所拍摄的包含弱小目标的图片集,尺寸为a×b,设a×b=d,共p张连续图像,对其进行数据预处理,从中提取出连续图像图片中每个像素点亮度变化的p维时域廓线,将其中每个像素的亮度值组成p维数组集,称作时域曲线数组集;
(2)对数组集进行单独归一化并设置标签:将这些时域曲线数组集分为训练集和测试集,对每个数组进行单独归一化处理使其全部集中到0和1之间,并对目标点和非目标点的时域曲线数组分别设置标签得到最终矩阵以进行监督学习;
(3)构建神经网络并进行模型的训练和永久保存:构建多层人工神经网络,并向神经网络中输入训练集中的时域曲线数组集及其对应标签所组成的最终矩阵,并训练神经网络,得到多层人工神经网络模型并保存模型以进行持久化运用,对模型从召回率以及准确率两个指标进行可靠性检测;
(4)对实际测试集进行测试:将多层人工神经网络模型运用于实际测试集的检测,多层人工神经网络模型将根据该时域变化数组的特征来得出实际测试集中每个像素点的概率预测矩阵本段中的i均表示像素点的序号,1<i<d;其中PNi为每个像素点非目标的概率,PHi为每个像素点是目标的概率;
(5)计算最终权重值:将得到的每个像素点的概率预测矩阵依照权重公式计算出最终权重数值PKi,将该权重数值按照原图像素排列方式排列为权重数组;
(6)切片去独过滤检测处理:根据连续图像序列目标点一定是在像素上连续的特性,将该数组进行切片过滤去独计算,检测每个像素点的最终权重数值,所有最终权重数值大于1的像素点都是待检测像素点,对待检测点执行切片去独过滤检测处理;设置过滤范围阈值为n,检测包括待检测像素点周围的点的切片数组中数值大于判定阈值k的点的个数,若个数等于1,则判定该点为独点,将其最终权重值置为1,将处理过后的权重数组按灰度法进行绘图,输出实际测试集的最终目标点检测图像。
2.根据权利要求1所述的基于神经网络的时域弱小目标检测方法,其特征在于,其中步骤(2)所述的对数组集进行单独归一化以及设置标签的过程,具体包括如下步骤:
(2b)将时域曲线数据集分配成训练集和测试集,训练集用于训练得到模型,测试集可用于验证模型的准确性;
(2b)将训练集数据按行对每个时域曲线数组集的p维数组进行单独归一化过程,归一化即为缩放数据到0到1之间。归一化后得到p维归一化数组,进而得到p维归一化时域曲线数组;
(2c)将p维归一化后的时域曲线数组最后加上两列标签值,其中标签为该组曲线非目标的概率P0及是目标的概率P1。
目标点的时域曲线所对应的P0为0而P1为1,非目标点的时域曲线所对应的P0为1而P1为0;构成p+2维的带标签数组,将a×b条p+2维带标签数组按行组成p+2列,a×b行的最终矩阵,用于输入神经网络进行监督学习。
3.根据权利要求1所述的基于神经网络的时域弱小目标检测方法,本段中的i均表示检测图中像素点的序号,1<i<d;其中步骤(5)所述的最终权重数值计算公式表示如下:
PKi=n0×PNi+n1×PHi
其中根据步骤(4)中得到的概率预测矩阵PNi为序号为i的点非目标的概率,PHi为序号为i的点是目标的概率,PNi+PHi=1。PKi为序号为i的点经计算所得的最终权重数值;n0为非目标值权重,n1为目标值权重,n0、n1的取值范围应在1到10之间。
4.根据权利要求1所述的基于神经网络的时域弱小目标检测方法,其中步骤(6)所述的切片去独过滤检测处理,包括有如下步骤:
(6a)判定待检测点:遍历全部a×b=d个像素点的最终权重数值PKi(1<i<d),若遍历中某像素点最终权重数值高于1,则该点为待检测像素点,对该像素点执行切片去独过滤检测处理;若遍历中某像素点的最终权重数值等于或低于1则不作处理;
(6b)切片处理:设置过滤范围阈值为n,则向待检测像素点上下左右延展n个像素点进行切片得到切片数组,理论上切片数组应包含待检测像素点在内共(2n+1)2个点,如果遇到图像边缘的点,则应与边缘贴合;
(6c)判定孤点:设置判定阈值为K,统计切片数组中点的最终权重数值大于K的像素点的个数,若切片数组中包含待检测像素点在内满足最终权重数值大于K的像素点的个数大于或等于2,则该点不是孤点;若该切片数组中满足条件的只有1个(即为该被检测点本身),则该点是孤点;
(6d)数值改动:若该点是孤点,则将其最终权重数值置为1,遍历检测所有待检测像素点,在整个权重数组范围内完成去独过滤检测,若该点不是孤点,则不对其最终权重数值做改动;
(6e)输出最终目标点检测图像:将经过去独过滤检测处理后的最终权重数组按灰度法进行绘图,输出实际测试集的最终目标点检测图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910012526.4A CN109767434B (zh) | 2019-01-07 | 2019-01-07 | 基于神经网络的时域弱小目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910012526.4A CN109767434B (zh) | 2019-01-07 | 2019-01-07 | 基于神经网络的时域弱小目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109767434A true CN109767434A (zh) | 2019-05-17 |
CN109767434B CN109767434B (zh) | 2023-04-07 |
Family
ID=66453456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910012526.4A Active CN109767434B (zh) | 2019-01-07 | 2019-01-07 | 基于神经网络的时域弱小目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109767434B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112668626A (zh) * | 2020-12-23 | 2021-04-16 | 中国人民解放军海军航空大学 | 一种雷达导引头的可靠性预测方法及系统 |
CN113393518A (zh) * | 2021-07-15 | 2021-09-14 | 北京京仪光电技术研究所有限公司 | 一种图片曲线相对数值坐标自动提取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN107145846A (zh) * | 2017-04-26 | 2017-09-08 | 贵州电网有限责任公司输电运行检修分公司 | 一种基于深度学习的绝缘子识别方法 |
CN109002848A (zh) * | 2018-07-05 | 2018-12-14 | 西华大学 | 一种基于特征映射神经网络的弱小目标检测方法 |
-
2019
- 2019-01-07 CN CN201910012526.4A patent/CN109767434B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN107145846A (zh) * | 2017-04-26 | 2017-09-08 | 贵州电网有限责任公司输电运行检修分公司 | 一种基于深度学习的绝缘子识别方法 |
CN109002848A (zh) * | 2018-07-05 | 2018-12-14 | 西华大学 | 一种基于特征映射神经网络的弱小目标检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112668626A (zh) * | 2020-12-23 | 2021-04-16 | 中国人民解放军海军航空大学 | 一种雷达导引头的可靠性预测方法及系统 |
CN113393518A (zh) * | 2021-07-15 | 2021-09-14 | 北京京仪光电技术研究所有限公司 | 一种图片曲线相对数值坐标自动提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109767434B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
CN110348399B (zh) | 基于原型学习机制和多维残差网络的高光谱智能分类方法 | |
CN108564025A (zh) | 一种基于可变形卷积神经网络的红外图像物体识别方法 | |
CN107169435A (zh) | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 | |
CN106780546B (zh) | 基于卷积神经网络的运动模糊编码点的身份识别方法 | |
CN112487900B (zh) | 一种基于特征融合的sar图像舰船目标检测方法 | |
CN109918995B (zh) | 一种基于深度学习的人群异常检测方法 | |
CN108345856A (zh) | 基于异构卷积神经网络集成的sar自动目标识别方法 | |
CN107798345A (zh) | 基于块对角与低秩表示的高光谱伪装目标检测方法 | |
CN107944354A (zh) | 一种基于深度学习的车辆检测方法 | |
CN108550166A (zh) | 一种空间目标图像匹配方法 | |
CN110517309A (zh) | 一种基于卷积神经网络的单目深度信息获取方法 | |
CN109919246A (zh) | 基于自适应特征聚类和多重损失融合的行人重识别方法 | |
CN109767434A (zh) | 基于神经网络的时域弱小目标检测方法 | |
CN117409339A (zh) | 一种用于空地协同的无人机作物状态视觉识别方法 | |
CN110503647A (zh) | 基于深度学习图像分割的小麦植株实时计数方法 | |
CN105760857B (zh) | 一种高光谱遥感影像目标探测方法 | |
Rafi et al. | Attention-based domain adaptation for hyperspectral image classification | |
CN113902947B (zh) | 一种自然图像的对空目标红外图像生成式对抗网络构建方法 | |
CN111353412A (zh) | 端到端的3D-CapsNet火焰检测方法及装置 | |
CN113920391B (zh) | 一种基于生成尺度自适应真值图的目标计数方法 | |
CN111144233B (zh) | 基于toim损失函数的行人重识别方法 | |
Zhao et al. | Low-altitude UAV detection method based on one-staged detection framework | |
Li | The research of intelligent image recognition technology based on neural network | |
CN114092844A (zh) | 一种基于生成对抗网络的多波段图像目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |