CN112184559B - 一种光电导航系统的超分辨率图像异常目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种光电导航系统的超分辨率图像异常目标检测方法及系统，检测方法及系统通过对光电导航系统获取的图像进行处理，并使用处理后的图像对初始图像超分辨率模型进行训练，获取第一图像超分辨率模型；使用第一图像超分辨率模型对光电导航系统获取的图像进行处理，使用经其处理后的图像对初始图像超分辨率模型进行训练，获取第二图像超分辨率模型，最后使用第二超分辨率模型对光电导航系统获取的图像进行目标检测，实现异常目标告警。优点是：通过对图像进行超清化处理，辅助提高驾驶员在光照不足、有干扰源的户外等复杂场景下的判断准确性。对图像中存在的所有目标进行分类与距离判断，对异常目标发出预警，从而提高飞行器飞行的安全性。

Description

一种光电导航系统的超分辨率图像异常目标检测方法及系统

技术领域

本发明涉及计算机视觉、图像处理及人工智能与导航技术领域，尤其涉及一种光电导航系统的超分辨率图像异常目标检测方法及系统。

背景技术

飞行器、车辆上对智能导航系统的应用是今后导航系统发展的必然趋势，智能化方法与传统导航系统结合正是这一趋势的直接体现。在不需要人为干涉情况下，利用计算机视觉技术对导航系统获取的图像进行处理，能够在硬件设施有所欠缺的情况下为飞行员或驾驶员提供更加准确的操作判断素材，并能够在异常情况发生时及时发出预警，辅助飞行员或驾驶员最大程度地降低危险发生的几率。

飞行器在飞行或着陆安全性与导航系统密不可分，根据导航系统的物理特性，可分为全球定位系统、惯性导航系统、光电图像导航系统等。全球定位系统在卫星信号较弱的情况下可靠性受到严重影响，惯性导航系统的误差会随着时间积累，其战时实用性受到限制。而光电导航系统具有可视性好、无线电静默、非主动性等特点而受到广泛关注。

现有大部分导航系统只是提供捕获的图像，没有对图像进行分析。对异常事件的实时检测与事故的事后分析需人为完成。这使得人的劳动量非常大，或多或少存在误报与漏报现象，从而导致整个系统的安全性降低。

发明内容

本发明的目的在于提供一种光电导航系统的超分辨率图像异常目标检测方法及系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种光电导航系统的超分辨率图像异常目标检测方法，包括如下步骤，

S1、获取光电导航系统的多个高分辨率图像，建立原始数据集S'＝{(H₁,T₁),(H₂,T₂),…,(H_n,T_n)}，对原始数据集中的各个高分辨率图像进行不同类型的模糊来降低其分辨率，获取各个高分辨率图像对应的低分辨率图像，将各个低分辨率图像一一对应各高分辨率图像添加到原始数据集中，获取第一数据集S＝{(H₁,L₁,T₁),(H₂,L₂,T₂),…,(H_n,L_n,T_n)}；其中，n为高分辨率图像i的总数；H_i和T_i分别表示第i个高分辨率图像和第i个高分辨率图像的标签；L_i为第i个高分辨率图像对应的低分辨率图像；

S2、将第一数据集中成对的高分辨率图像和低分辨率图像划分为第一训练集S_train、第一验证集S_validate和第一测试集S_test；

S3、搭建基于卷积神经网络的初始图像超分辨率模型Λ_CNN；

S4、使用第一训练集S_train训练所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，直到初始图像超分辨率模型Λ_CNN在第一验证集S_validate上实现预设预测效果，结束训练；使用训练好的初始图像超分辨率模型Λ_CNN在第一测试集S_test上进行测试，若测试结果满足预设测试需求，则获取第一网络参数和包含第一网络参数的第一图像超分辨率模型；否则重新训练；

S5、使用第一图像超分辨率模型对光电导航系统的各个高分辨率图像进行处理，得到对应的超清化图像，并对各个超清化图像进行异常目标标定，形成第二数据集Y＝{(M₁,R₁),(M₂,R₂),…,(M_n,R_n)}，并将所述第二数据集Y划分为第二训练集Y_train、第二验证集Y_validate和第二测试集Y_test；其中，M_i和R_i分别表示第i个高分辨率图像对应的超清化图像和第i个超清化图像的是否存在异常目标的标签；L_i为第i个高分辨率图像对应的低分辨率图像；

S6、使用Yolo V5的预训练模型初始化所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并使用第二训练集训练初始化后的网络参数Λ_TD，直到初始图像超分辨率模型Λ_CNN在第二验证集Y_validate上实现预设预测效果，结束训练；使用训练好的初始图像超分辨率模型Λ_CNN在第二测试集Y_test上进行测试；若测试结果满足预设测试需求，则获取第二网络参数和包含第二网络参数的第二图像超分辨率模型；否则，重新训练；

S7、使用第二超分辨率模型对光电导航系统的高分辨率图像进行目标检测，当检测到高分辨率图像中存在异常目标且异常目标与飞行器之间的直线距离超过安全距离阈值时，发出告警。

优选的，步骤S3中，所述初始图像超分辨率模型包括卷积层，BatchNormalization层，upsample层和sub-pixel层构成。

优选的，步骤S4具体包括如下内容，

S41、随机初始化所述初始图像超分辨率模型Λ_CNN；

S42、多层卷积层叠加，通过卷积操作学习第一训练集S_train中的图像特征f_P，将最后一层的特征图

作为最终生成的高清图像；卷积操作的具体公式为，

其中，W代表网络权重，b代表偏置参数；

S43、将最终生成的高清图像与原始高分辨图像对比，计算两者之间的损失函数，该损失函数表示为，

F(X_i；W,b)＝Relu(W·X_i+b)

其中，X_i表示原始低分辨率图像，Y_i表示原始高分辨率图像；F(X_i；W,b)表示最终生成的高清图像；

将最终生成的高清图通过降采样的方式得到其对应的低分辨率图像L_i'，并将该低分辨率图像L_i'与原始高清图对应的低分辨率图像L_i进行对比，计算两者之间的损失函数，该损失函数表示为，

获取训练误差为L＝L1+aL2；其中a为可调参数；

S45、利用梯度下降法，利用训练误差向后传播训练初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并在训练过程中不断调小学习率，直到初始图像超分辨率模型Λ_CNN在第一验证集S_validate上训练误差最小，结束训练；

S46、使用训练好的初始图像超分辨率模型Λ_CNN在第一测试集S_test上进行测试；使用峰值信噪比和结构相似性作为评价指标对测试结果进行评判，若测试结果的峰值信噪比大于0.52且结构相似性大于20，则表示测试结果满足预设测试需求，则获取第一网络参数和包含第一网络参数的第一图像超分辨率模型；否则表示测试结果不满足预设测试需求，返回步骤S41重新训练。

优选的，步骤S5中的存在异常目标的标签中包含该异常目标的类型和该异常目标与飞行器之间的直线距离。

优选的，步骤S6具体包括如下内容，

S61、获取Yolo V5的预训练模型，并使用该预训练模型对所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD进行初始化；

S62、固定预训练模型中的除最后一层的其余层的参数，并利用第二训练集Y_train训练初始化后的网络参数Λ_TD；

S63、计算损失函数，并通过反向梯度的方法，利用损失函数训练初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并在训练过程中不断调小学习率，直到初始图像超分辨率模型Λ_CNN在第二验证集S_validate上损失函数最小，结束训练；

S64、使用训练好的初始图像超分辨率模型Λ_CNN在第二测试集Y_test上进行测试；使用平均精度作为评价指标对测试结果进行评判，若平均精度大于0.30，则表示测试结果满足预设测试需求，则获取第二网络参数和包含第二网络参数的第二图像超分辨率模型；否则表示不满足测试需求，返回步骤S61重新训练。

本发明的目的还在于提供一种光电导航系统的超分辨率图像异常目标检测系统，所述检测系统用于实现上述任一所述的检测方法，所述检测系统包括

图像超分辨率处理单元；通过相应的图像处理算法，对高分辨率图像进行处理；

异常目标检测单元；结合图像超分辨率处理单元的处理结果，采用相应的图像处理算法，对图像中的多目标进行统计，并分析各异常目标的种类与异常目标距飞行器当前所在位置的直线距离；

预警单元；判定异常目标与飞行器之间的直线距离是否超过安全距离阈值，并根据判定结果，确定是否发出预警。

本发明的有益效果是：采用卷积神经网络，增加采集到的目标图像的分辨率，辅助提高飞行员/驾驶员在光照不足、有干扰源的户外等复杂场景下的判断准确性。采用卷积神经网络对图像中存在的所有目标进行分类与距离判断，对异常目标发出预警，从而提高飞行器飞行的安全性。

附图说明

图1是本发明实施例中检测方法的流程示意图；

图2是本发明实施例中超分辨率模型训练残差收敛曲线示意图；

图3是本发明实施例中超分辨率模型峰值讯噪比变化曲线示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

如图1至图3所示，本实施例中，提供了一种光电导航系统的超分辨率图像异常目标检测方法，包括如下步骤，

S1、获取光电导航系统的多个高分辨率图像，建立原始数据集S'＝{(H₁,T₁),(H₂,T₂),…,(H_n,T_n)}，对原始数据集中的各个高分辨率图像进行不同类型的模糊来降低其分辨率，获取各个高分辨率图像对应的低分辨率图像，将各个低分辨率图像一一对应各高分辨率图像添加到原始数据集中，获取第一数据集S＝{(H₁,L₁,T₁),(H₂,L₂,T₂),…,(H_n,L_n,T_n)}；其中，n为高分辨率图像_i的总数；H_i和T_i分别表示第i个高分辨率图像和第i个高分辨率图像的标签；L_i为第i个高分辨率图像对应的低分辨率图像；

S2、将第一数据集中成对的高分辨率图像和低分辨率图像划分为第一训练集S_train、第一验证集S_validate和第一测试集S_test；

S3、搭建基于卷积神经网络的初始图像超分辨率模型Λ_CNN；

S4、使用第一训练集S_train训练所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，直到初始图像超分辨率模型Λ_CNN在第一验证集S_validate上实现预设预测效果，结束训练；使用训练好的初始图像超分辨率模型Λ_CNN在第一测试集S_test上进行测试，若测试结果满足预设测试需求，则获取第一网络参数和包含第一网络参数的第一图像超分辨率模型；否则重新训练；

具体的，步骤S4具体包括如下内容，

S41、随机初始化所述初始图像超分辨率模型Λ_CNN；

S42、多层卷积层叠加，通过卷积操作学习第一训练集S_train中的图像特征f_P，将最后一层的特征图

作为最终生成的高清图像；卷积操作的具体公式为，

其中，W代表网络权重，b代表偏置参数；

S43、将最终生成的高清图像与原始高分辨图像对比，计算两者之间的损失函数，该损失函数表示为，

F(X_i；W,b)＝Relu(W·X_i+b)

其中，X_i表示原始低分辨率图像，Y_i表示原始高分辨率图像；F(X_i；W,b)表示最终生成的高清图像；

将最终生成的高清图通过降采样的方式得到其对应的低分辨率图像L_i'，并将该低分辨率图像L_i'与原始高清图对应的低分辨率图像L_i进行对比，计算两者之间的损失函数，该损失函数表示为，

获取训练误差为L＝L1+aL2；其中a为可调参数；

S45、利用梯度下降法，利用训练误差向后传播训练初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并在训练过程中不断调小学习率，直到初始图像超分辨率模型Λ_CNN在第一验证集S_validate上训练误差最小，结束训练；

S46、使用训练好的初始图像超分辨率模型Λ_CNN在第一测试集S_test上进行测试；使用峰值信噪比(PSNR)和结构相似性(SSIM)作为评价指标对测试结果进行评判，若测试结果的峰值信噪比(PSNR)大于0.52且结构相似性(SSIM)大于20，则表示测试结果满足预设测试需求，则获取第一网络参数和包含第一网络参数的第一图像超分辨率模型；否则表示测试结果不满足预设测试需求，返回步骤S41重新训练。

S5、使用第一图像超分辨率模型对光电导航系统的各个高分辨率图像进行处理，得到对应的超清化图像，并对各个超清化图像进行异常目标标定，形成第二数据集Y＝{(M₁,R₁),(M₂,R₂),…,(M_n,R_n)}，并将所述第二数据集Y划分为第二训练集Y_train、第二验证集Y_validate和第二测试集Y_test；其中，M_i和R_i分别表示第i个高分辨率图像对应的超清化图像和第i个超清化图像的是否存在异常目标的标签；L_i为第i个高分辨率图像对应的低分辨率图像；

S6、使用Yolo V5的预训练模型初始化所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并使用第二训练集训练初始化后的网络参数Λ_TD，直到初始图像超分辨率模型Λ_CNN在第二验证集Y_validate上实现预设预测效果，结束训练；使用训练好的初始图像超分辨率模型Λ_CNN在第二测试集Y_test上进行测试；若测试结果满足预设测试需求，则获取第二网络参数和包含第二网络参数的第二图像超分辨率模型；否则，重新训练；

具体的，步骤S6具体包括如下内容，

S61、获取Yolo V5的预训练模型，并使用该预训练模型对所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD进行初始化；

S62、固定预训练模型中的除最后一层的其余层的参数，并利用第二训练集Y_train训练初始化后的网络参数Λ_TD；

S63、计算损失函数，并通过反向梯度的方法，利用损失函数训练初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并在训练过程中不断调小学习率，直到初始图像超分辨率模型Λ_CNN在第二验证集S_validate上损失函数最小，结束训练；

S64、使用训练好的初始图像超分辨率模型Λ_CNN在第二测试集Y_test上进行测试；使用平均精度(mAP)作为评价指标对测试结果进行评判，若平均精度(mAP)大于0.30，则表示测试结果满足预设测试需求，则获取第二网络参数和包含第二网络参数的第二图像超分辨率模型；否则表示测试结果不满足预设测试需求，返回步骤S61重新训练。

S7、使用第二超分辨率模型对光电导航系统的高分辨率图像进行目标检测，当检测到高分辨率图像中存在异常目标且异常目标与飞行器之间的直线距离超过安全距离阈值时，发出告警。

本实施例中，步骤S3中所述初始图像超分辨率模型包括卷积层，BatchNormalization层，upsample层和sub-pixel层构成。

在步骤S4和步骤S6中，初始图像超分辨率模型(卷积神经网络)的前几层卷积核大小为3×3，卷积核个数为随着层数逐渐减少，每层卷积后为batch Normalization层和upsample层，然后使用sub-pixel卷积层对不同的图像特征进行融合。之后使用损失函数L1loss和损失函数cycle loss进行加权作为训练误差。

本实施例中，步骤S5中的存在异常目标的标签中包含该异常目标的类型和该异常目标与飞行器之间的直线距离。

本实施例中，考虑到数据集难以收集、增加标签工作繁琐耗时，且异常目标在整个图像中所占百分比较小，则通过以下步骤来增加样本数量和检测准确度：

在多个原高分辨率图像中截取异常目标所在区域的图像，并将其分别顺时针旋转±45°，±90°。±135°，和180°，获取多个目标图像；

在所有目标图像中任意选取多个，粘贴在原高分辨率图像上，比例可适当调整，注意不要遮挡到已有目标。即可获取多个新的高分辨率图像。

本实施例中，步骤S4中，在每个卷积层中，输入特征图是由上一层的卷积核对上一层的输入特征图进行卷积，并通过激活函数得到的输出特征图的组合；卷积核的个数决定了输出特征图的个数。L代表一个batch内的训练误差。W代表网络权重，b代表偏置参数。W,b会在训练过程中由网络自行优化。采用梯度下降法最小化L实现网络参数优化。残差曲线收敛后，即可视为该模型可离线使用。

本实施例中，步骤S6中，损失函数代表一个batch内的训练误差，采用反向梯度的方法最小化损失函数实现网络参数优化，残差曲线收敛后，即可视为该模型可离线使用。

实施例二

本实施例中，提供了一种光电导航系统的超分辨率图像异常目标检测系统，所述检测系统用于实现检测方法，所述检测系统包括

图像超分辨率处理单元；通过相应的图像处理算法，对高分辨率图像进行处理；

异常目标检测单元；结合图像超分辨率处理单元的处理结果，采用相应的图像处理算法，对图像中的多目标进行统计，并分析各异常目标的种类与异常目标距飞行器当前所在位置的直线距离；

预警单元；判定异常目标与飞行器之间的直线距离是否超过安全距离阈值，并根据判定结果，确定是否发出预警。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种光电导航系统的超分辨率图像异常目标检测方法及系统，采用卷积神经网络，增加采集到的目标图像的分辨率，辅助提高飞行员/驾驶员在光照不足、有干扰源的户外等复杂场景下的判断准确性。采用卷积神经网络对图像中存在的所有目标进行分类与距离判断，对异常目标发出预警，从而提高飞行器飞行的安全性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种光电导航系统的超分辨率图像异常目标检测方法，其特征在于：包括如下步骤，

S1、获取光电导航系统的多个高分辨率图像，建立原始数据集S′＝{(H₁，T₁)，(H₂，T₂)，…，(H_n，T_n)}，对原始数据集中的各个高分辨率图像进行不同类型的模糊来降低其分辨率，获取各个高分辨率图像对应的低分辨率图像，将各个低分辨率图像一一对应各高分辨率图像添加到原始数据集中，获取第一数据集S＝{(H₁，L₁，T₁)，(H₂，L₂，T₂)，…，(H_n，L_n，T_n)}；其中，n为高分辨率图像i的总数；H_i和T_i分别表示第i个高分辨率图像和第i个高分辨率图像的标签；L_i为第i个高分辨率图像对应的低分辨率图像；

S2、将第一数据集中成对的高分辨率图像和低分辨率图像划分为第一训练集S_train、第一验证集S_validate和第一测试集S_test；

S3、搭建基于卷积神经网络的初始图像超分辨率模型Λ_CNN；

S4、使用第一训练集S_train训练所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，直到初始图像超分辨率模型Λ_CNN在第一验证集S_validate上实现预设预测效果，结束训练；使用训练好的初始图像超分辨率模型Λ_CNN在第一测试集S_test上进行测试，若测试结果满足预设测试需求，则获取第一网络参数和包含第一网络参数的第一图像超分辨率模型；否则重新训练；

S5、使用第一图像超分辨率模型对光电导航系统的各个高分辨率图像进行处理，得到对应的超清化图像，并对各个超清化图像进行异常目标标定，形成第二数据集Y＝{(M₁，R₁)，(M₂，R₂)，…(M_n，R_n)}，并将所述第二数据集Y划分为第二训练集Y_train、第二验证集Y_validate和第二测试集Y_test；其中，M_i和R_i分别表示第i个高分辨率图像对应的超清化图像和第i个超清化图像的是否存在异常目标的标签；

S6、使用Yolo V5的预训练模型初始化所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并使用第二训练集训练初始化后的网络参数Λ_TD，直到初始图像超分辨率模型Λ_CNN在第二验证集Y_validate上实现预设预测效果，结束训练；使用训练好的初始图像超分辨率模型Λ_CNN在第二测试集Y_test上进行测试；若测试结果满足预设测试需求，则获取第二网络参数和包含第二网络参数的第二图像超分辨率模型；否则，重新训练；

S7、使用第二超分辨率模型对光电导航系统的高分辨率图像进行目标检测，当检测到高分辨率图像中存在异常目标且异常目标与飞行器之间的直线距离超过安全距离阈值时，发出告警；

步骤S4具体包括如下内容，

S41、随机初始化所述初始图像超分辨率模型Λ_CNN；

S42、多层卷积层叠加，通过卷积操作学习第一训练集S_train中的图像特征f_P，将最后一层的特征图

作为最终生成的高清图像；卷积操作的具体公式为，

其中，W代表网络权重，b代表偏置参数；

S43、将最终生成的高清图像与原始高分辨图像对比，计算两者之间的损失函数，该损失函数表示为，

F(X_i；W,b)＝Relu(W·X_i+b)

其中，X_i表示原始低分辨率图像，Y_i表示原始高分辨率图像；F(X_i；W,b)表示最终生成的高清图像；

将最终生成的高清图通过降采样的方式得到其对应的低分辨率图像L_i'，并将该低分辨率图像L_i'与原始高清图对应的低分辨率图像L_i进行对比，计算两者之间的损失函数，该损失函数表示为，

获取训练误差为L＝L1+aL2；其中a为可调参数；

S45、利用梯度下降法，利用训练误差向后传播训练初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并在训练过程中不断调小学习率，直到初始图像超分辨率模型Λ_CNN在第一验证集S_validate上训练误差最小，结束训练；

S46、使用训练好的初始图像超分辨率模型Λ_CNN在第一测试集S_test上进行测试；使用峰值信噪比和结构相似性作为评价指标对测试结果进行评判，若测试结果的峰值信噪比大于0.52且结构相似性大于20，则表示测试结果满足预设测试需求，则获取第一网络参数和包含第一网络参数的第一图像超分辨率模型；否则表示测试结果不满足预设测试需求，返回步骤S41重新训练。

2.根据权利要求1所述的光电导航系统的超分辨率图像异常目标检测方法，其特征在于：步骤S3中，所述初始图像超分辨率模型包括卷积层，BatchNormalization层，upsample层和sub-pixel层构成。

3.根据权利要求1所述的光电导航系统的超分辨率图像异常目标检测方法，其特征在于：步骤S5中的存在异常目标的标签中包含该异常目标的类型和该异常目标与飞行器之间的直线距离。

4.根据权利要求1所述的光电导航系统的超分辨率图像异常目标检测方法，其特征在于：步骤S6具体包括如下内容，

S61、获取Yolo V5的预训练模型，并使用该预训练模型对所述初始图像超分辨率模型Λ_CNN的网络参数Λ_TD进行初始化；

S62、固定预训练模型中的除最后一层的其余层的参数，并利用第二训练集Y_train训练初始化后的网络参数Λ_TD；

S63、计算损失函数，并通过反向梯度的方法，利用损失函数训练初始图像超分辨率模型Λ_CNN的网络参数Λ_TD，并在训练过程中不断调小学习率，直到初始图像超分辨率模型Λ_CNN在第二验证集S_validate上损失函数最小，结束训练；

S64、使用训练好的初始图像超分辨率模型Λ_CNN在第二测试集Y_test上进行测试；使用平均精度作为评价指标对测试结果进行评判，若平均精度大于0.30，则表示测试结果满足预设测试需求，则获取第二网络参数和包含第二网络参数的第二图像超分辨率模型；否则表示测试结果不满足预设测试需求，返回步骤S61重新训练。

5.一种光电导航系统的超分辨率图像异常目标检测系统，其特征在于：所述检测系统用于实现上述权利要求1至4任一所述的检测方法，所述检测系统包括

图像超分辨率处理单元；通过相应的图像处理算法，对高分辨率图像进行处理；

异常目标检测单元；结合图像超分辨率处理单元的处理结果，采用相应的图像处理算法，对图像中的多目标进行统计，并分析各异常目标的种类与异常目标距飞行器当前所在位置的直线距离；

预警单元；判定异常目标与飞行器之间的直线距离是否超过安全距离阈值，并根据判定结果，确定是否发出预警。

Images