CN110210422B - 一种基于光学图像辅助的舰船isar像识别方法 - Google Patents
一种基于光学图像辅助的舰船isar像识别方法 Download PDFInfo
- Publication number
- CN110210422B CN110210422B CN201910488118.6A CN201910488118A CN110210422B CN 110210422 B CN110210422 B CN 110210422B CN 201910488118 A CN201910488118 A CN 201910488118A CN 110210422 B CN110210422 B CN 110210422B
- Authority
- CN
- China
- Prior art keywords
- layer
- ship
- image
- isar
- convolution kernels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于光学图像辅助的舰船ISAR像识别方法，本发明涉及舰船ISAR像识别方法。本发明的目的是为了解决现有技术对舰船ISAR像识别准确率低的问题。过程为：一、对数据库中已知舰船类别的舰船ISAR像进行预处理；二、得到训练好的衍生网络Pix2pix；三、利用训练好的衍生网络Pix2pix将舰船ISAR像生成舰船光学图像，将舰船光学图像与舰船ISAR像合并；得到训练好的卷积神经网络；四、对待测试的舰船ISAR像进行预处理；五、利用训练好的衍生网络Pix2pix，将得到的舰船光学图像与舰船ISAR像合并；六、将得到的合成图像输入训练好的卷积神经网络，得到类别。本发明用于雷达目标识别领域。
Description
技术领域
本发明属于雷达目标识别领域，具体涉及舰船ISAR像识别方法。
背景技术
逆孔径合成雷达(Inverse synthetic aperture radar，ISAR)通过向探测目标发射信号并且接受目标回波的方式完成目标成像的。最常用的成像算法就是距离-多普勒成像算法，该算法的实质是对接收到的回波进行方位向以及距离向的二维傅里叶变换，距离向的分辨率是由载波频率决定的，方位向的分辨率则取决于目标在相干积累时间内转过的角度。对ISAR像的分类识别开始于飞行目标，在Botha E C.Classification of aerospacetargets using superresolution ISAR images[C].Communications and SignalProcessing,1994.COMSIG-94,Proceedings of the 1994IEEE South African Sympoisumon.1994:138-145.中研究了几何不变矩特征和形态特征在飞行目标的二维ISAR图像识别上的应用，采用最近邻分类器与神经网络进行分类，得到了良好的效果；Radio E,QuinquisA,Totir F.Supervised Self-Organizing Classification of Super-resolution ISARImages:An Anschoic Chamber Experiment[J].EURASIP Journal on Advances inSignal Processing,2006,2006(1):1-14.利用改进的MUSIC-2D方法重构雷达目标图像，利用傅里叶描述子与不变矩特征，采用自组织神经网络实现了不同军用飞机的分类；Bon N,Hajduch G,Khenchaf A,et al.Recent developments in detection,imaging andclassification for airborne maritime surveillance[J].IET Signal Processing,2008,2(3):192-203.中提出了基于多种形态特征的SVM分类器系统，对实测数据取得了良好的分类效果。这些方法虽然都能够完成对目标的分类识别，但识别准确率相较于光学图像而言仍然较低，而且大多改善识别准确率的方法都是从特征提取这方面着手，在特征提取方式固定的条件下改进识别准确率的研究目前还比较少。
对抗生成网络(Generative Adversarial Network，GAN)自从2014年被提出以来就凭借其优秀的生成图像能力在图像处理领域飞速发展，顾名思义，在结构上不仅包含着生成网络的部分，这一部分用于输出生成的图像，还包含着鉴别网络部份，这一部分用于鉴别图像的质量。具体而言，生成器要产生出接近真实图片的图像，鉴别器则是要区分出输入其的是来自于真实图像还是生成的图像。因此，生成器和鉴别器二者之间就存在着对抗关系，或者说这是一种博弈，在这种过程中双方为了取得最后的胜利就会不断地调整各自的策略，不断优化自身，最终双方达到纳什均衡的状态，此时生成器就能够产生出贴近于真实图片的图像。但由于输入生成网络的是随机噪声，无法知道噪声向量所代表的含义，也就无从知道要生成的图像内容，因而该生成的图像是随机的，不可控的。在M.Mirza andS.Osindero.Conditional generative adversarial nets[C].//Neural InformationProcessing Systems,Montreal,Canada.8-13Dec.2014,USA:IEEE computerSociety.2575-2582.，中根据噪声的随机性提出了条件对抗生成网络(conditional GAN，cGAN)，具体是在生成网络以及判别网络的输入端又增加了一个标签信息，并且使用该信息来引导生成网络将随机噪声生成期待的图像内容；Radfard,L.Metz,andS.Chintala.Unsupervised representation learning with deep convolutionalgenerative adversarial networks[C].//international Conference on LearningRepresentations.San Juan,Puerto Rico.12-19Nov.2016,USA:Springer,2016,1182-1190.中提出了一种深度卷积对抗生成网络(Deep Convolutional GAN，DCGAN)，顾名思义，他是将对抗生成网络的概念延伸到CNN中，并用于生成图像样本，该网络对于各种复杂的图像数据集都能够取得好的效果，在当时是最优的；Phillip Isola,Jun-Yan Zhu,TinghuiZhou,Alexei A.Efros.Image-to-Image Translation with Conditional AdversarialNetworks[J].arXiv preprint arXiv:1611.07004,2018.中利用输入-输出图像对来进行训练学习的方式实现了两种不同风格图像之间的转换，并优化了生成器和鉴别器的结构，取得了相当好的图像生成结果。虽然在图像生成领域对抗生成网络得到了快速发展，但是在图像识别这一领域的研究还有待深入。
综上，现有技术存在对舰船ISAR像识别准确率低。
发明内容
本发明的目的是为了解决现有技术对舰船ISAR像识别准确率低的问题，而提出一种基于光学图像辅助的舰船ISAR像识别方法。
一种基于光学图像辅助的舰船ISAR像识别方法具体过程为：
步骤一、对数据库中已知舰船类别的舰船ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理；
步骤二、利用GAN的衍生网络Pix2pix完成步骤一中预处理后的舰船ISAR像域到舰船光学图像域的映射，即得到训练好的衍生网络Pix2pix；
步骤三、利用步骤二训练好的衍生网络Pix2pix将预处理后的舰船ISAR像生成舰船光学图像，将舰船光学图像与舰船ISAR像合并，合成图像既包含舰船ISAR像信息又包含光学图像信息；利用合成图像构建训练集，训练卷积神经网络，得到训练好的卷积神经网络；
步骤四、对待测试的舰船ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理；
步骤五、利用步骤二训练好的衍生网络Pix2pix，使步骤四中预处理后的舰船ISAR像生成舰船光学图像，将得到的舰船光学图像与步骤四中预处理后的舰船ISAR像合并，合成图像既包含舰船ISAR像信息又包含光学图像信息；
步骤六、将步骤五得到的合成图像输入步骤三训练好的卷积神经网络，得到合成图像的类别。
本发明的有益效果为：
本发明涉及一种基于光学图像辅助的舰船ISAR像识别方法。在经典的ISAR像目标识别的方法基础上，利用Pix2pix网络完成了由舰船ISAR像到对应光学图像的生成操作，并且将得到的生成图像与ISAR像合并，这样一来合成图像既包含ISAR图像信息又包含光学图像信息，利用卷积神经网络能够提取出更全面的特征，进而能够进行准确的分类。本发明可应用于海上舰船目标识别的领域，利用本文中所提出的方式对ISAR像进行处理，得到了舰船目标更加全面的信息，提高了提取特征的准确性，得到了很好的目标的分类识别效果。
结合实施例，将采用合成图像和仅采用舰船ISAR像进行分类识别的效果进行了对比，当训练次数为50时，仅采用舰船ISAR像识别准确率为70.83％，采用本发明舰船合成图像识别准确率为95.85％；当训练次数为300时，仅采用舰船ISAR像识别准确率为87.50％，采用本发明舰船合成图像识别准确率为96.67％；可看出本发明舰船合成图像识别准确率明显高于仅采用舰船ISAR像识准确别率，说明本发明提高了对舰船ISAR像识别准确率，说明本发明的有效性。
附图说明
图1是本发明方法整体模型图；
图2是全局阈值处理流程图；
图3是Pix2pix网络的生成器U-net结构图，X为ISAR像，Y为生成图像，*为乘号；
图4是鉴别器结构图，X为ISAR像，Y为光学图像或生成图像，*为乘号；
图5是ISAR像和生成图像合成的图像的形式图；
图6是舰船仿真的ISAR像；
图7是对ISAR像预处理后的结果图；
图8是光学图像预处理后结果图；
图9是ISAR像和光学图像合成的图像的形式图；
图10a是利用Pix2pix网络实现舰船ISAR像到光学图像的舰船ISAR像；
图10b是利用Pix2pix网络实现舰船ISAR像到光学图像的生成结果图；
图10c是利用Pix2pix网络实现舰船ISAR像到光学图像的光学图像。
具体实施方式
具体实施方式一：结合图1说明本实施方式，本实施方式一种基于光学图像辅助的舰船ISAR像识别方法具体过程为：
步骤一、对数据库中已知舰船类别(护卫舰、驱逐舰等)的舰船ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理；
步骤二、利用GAN的衍生网络Pix2pix完成步骤一中预处理后的舰船ISAR像域到舰船光学图像(数据库中已知)域的映射，即得到训练好的衍生网络Pix2pix；
步骤三、利用步骤二训练好的衍生网络Pix2pix将预处理后的舰船ISAR像生成舰船光学图像，将舰船光学图像与舰船ISAR像合并，合成图像既包含舰船ISAR像信息又包含光学图像信息；利用合成图像构建训练集，训练卷积神经网络，得到训练好的卷积神经网络；
步骤四、对待测试的舰船ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理(具体过程同步骤一)；
步骤五、利用步骤二训练好的衍生网络Pix2pix，使步骤四中预处理后的舰船ISAR像生成舰船光学图像，将得到的舰船光学图像与步骤四中预处理后的舰船ISAR像合并，合成图像既包含舰船ISAR像信息又包含光学图像信息；
步骤六、将步骤五得到的合成图像输入步骤三训练好的卷积神经网络，得到合成图像的类别。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中对ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理；具体过程为：
步骤一一、采用全局阈值对ISAR像进行去噪处理，得到去噪后的舰船ISAR像；
步骤一二、将步骤一一得到的去噪后的舰船ISAR像进行归一化处理。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤一一中采用全局阈值对ISAR像(如图6)进行去噪处理，得到去噪后的舰船ISAR像(如图7)；过程为：流程图见图2：
步骤一一一、设置差值门限t，用于确定全局阈值；
步骤一一二、将初始门限阈值设为T：
式中，I(i,j)max表示舰船ISAR像中最亮点的像素值，I(i,j)min表示舰船ISAR像中最暗点的像素值；i表示图像矩阵的第i行，j表示图像矩阵的第j列；
步骤一一三、将舰船ISAR像中的各个像素点的强度(像素值)与初始门限阈值T比较，将强度大于等于初始门限阈值T的像素点归到集合G1，将强度小于初始门限阈值T的像素点归为G2；
步骤一一四、分别计算像素集合G1和G2的平均值，记作u1与u2：
式中，N和M分别表示像素集合G1和G2的元素个数；
步骤一一五、更新门限阈值T为u1与u2的均值：
重复步骤一一三至步骤一一五，直到经过连续两次更新得到的门限阈值T的差值小于差值门限t，此时的门限阈值T为全局阈值；
步骤一一六、在得到全局阈值之后，将ISAR像中大于等于全局阈值的像素置为255，以增强目标图像，将ISAR像中小于全局阈值的像素置0来去除噪声，得到去噪后的ISAR像。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤一二中将步骤一一得到的去噪后的舰船ISAR像进行归一化处理；具体过程为：
将步骤一一得到的去噪后的ISAR像统一成256x 256尺寸方便后续处理。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤二中利用GAN的衍生网络Pix2pix完成步骤一中预处理后的舰船ISAR像域到舰船光学图像域的映射，即得到训练好的衍生网络Pix2pix；具体过程为：
对数据库中的舰船ISAR像(如图10a)和数据库中的舰船光学图像(如图10c)进行随机抖动和随机镜像处理；
将进行随机抖动和随机镜像处理后的舰船ISAR像输入到衍生网络Pix2pix的生成器中，如图3，将进行随机抖动和随机镜像处理后的舰船ISAR像和舰船光学图像输入到衍生网络Pix2pix的鉴别器中；如图4；
生成器为17层拓扑结构，生成器结构包括1层输入层、7层编码层、1层编码解码层、7层解码层、1层输出层；
舰船ISAR像输入到衍生网络Pix2pix的生成器的输入层，经过第一层编码层，第一层编码层卷积核个数为64，卷积核大小为4×4，得到经过第一层编码后的输出矩阵；
将经过第一层编码层编码后的输出矩阵输入到第二层编码层，卷积核个数为256，卷积核大小为4×4，得到经过第二层编码后的输出矩阵(过程同上)；
将经过第二层编码层编码后的输出矩阵输入到第三层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第三层编码后的输出矩阵(过程同上)；
将经过第三层编码层编码后的输出矩阵输入到第四层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第四层编码后的输出矩阵(过程同上)；
将经过第四层编码层编码后的输出矩阵输入到第五层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第五层编码后的输出矩阵(过程同上)；
将经过第五层编码层编码后的输出矩阵输入到第六层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第六层编码后的输出矩阵(过程同上)；
将经过第六层编码层编码后的输出矩阵输入到第七层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第七层编码后的输出矩阵(过程同上)；
将经过第七层编码层编码后的输出矩阵输入到编码解码层，卷积核个数为512，卷积核大小为4×4，得到经过编码解码层后的输出矩阵(过程同上)；
将经过编码解码层后的输出矩阵输入到第一层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第一层解码层后的输出矩阵；
将经过第一层解码层后的输出矩阵输入到第二层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第二层解码层后的输出矩阵(过程同上)；
将经过第二层解码层后的输出矩阵输入到第三层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第三层解码层后的输出矩阵(过程同上)；
将经过第三层解码层后的输出矩阵输入到第四层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第四层解码层后的输出矩阵(过程同上)；
将经过第四层解码层后的输出矩阵输入到第五层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第五层解码层后的输出矩阵(过程同上)；
将经过第五层解码层后的输出矩阵输入到第六层解码层，卷积核个数为256，卷积核大小为4×4，得到经过第六层解码层后的输出矩阵(过程同上)；
将经过第六层解码层后的输出矩阵输入到第七层解码层，卷积核个数为64，卷积核大小为4×4，得到经过第七层解码层后的输出矩阵(过程同上)；
将经过第七层解码层后的输出矩阵经过生成器输出层输出矩阵；
鉴别器为二分类器，将舰船ISAR像和舰船光学图像输入到鉴别器的标签设置为1；将ISAR像和生成器输出层输出矩阵输入到鉴别器的标签设置为0；
用鉴别器输出层的输出值对生成器进行优化(鉴别器输出层的输出值是以2种情况为输入的)，训练α次，直至鉴别器输入为ISAR像和生成器输出层输出时，鉴别器输出值为0.5；此时鉴别器无法判断出输入到鉴别器的数据是否为真实数据，则此时的衍生网络Pix2pix为训练好的衍生网络Pix2pix。
将训练好的衍生网络Pix2pix的生成图像和ISAR像进行合并得到合成图像，合并的方式采用图像拼接，见图5。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述50≤α≤500。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述对数据库中的舰船ISAR像和数据库中的舰船光学图像进行随机抖动和随机镜像处理，过程为：
随机抖动就是将舰船ISAR像和舰船光学图像分别调整至286x 286，然后分别随机裁剪至256x 256；随机镜像则是将裁剪至256x 256的舰船ISAR像和舰船光学图像分别随机水平翻转。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述舰船ISAR像输入到衍生网络Pix2pix的生成器的输入层，经过第一层编码层，第一层编码层卷积核个数为64，卷积核大小为4×4，得到经过第一层编码后的输出矩阵，过程为：
Xenc＝Xinp⊙H1
式中，Xinp代表生成器编码层输入，初始就是256x 256大小的图像，⊙表示卷积操作，H1表示卷积核，Xenc为经过第一层编码层编码后的输出。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述将经过编码解码层后的输出矩阵输入到第一层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第一层解码层后的输出矩阵；过程为：
式中，X1表示生成器解码层的输入，
表示反卷积操作，H2表示反卷积核，Xden为经过第一层解码层解码后的输出，解码层同样有8层，经过解码之后就得到了生成图像，见图3和图10b。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述步骤三中利用步骤二训练好的衍生网络Pix2pix将预处理后的舰船ISAR像生成舰船光学图像，将舰船光学图像与舰船ISAR像合并，合成图像既包含舰船ISAR像信息又包含光学图像信息；利用合成图像构建训练集，训练卷积神经网络，得到训练好的卷积神经网络；具体过程为：
卷积神经网络为7层拓扑结构，卷积神经网络结构包括1层输入层、第一层卷积层、第一层池化层、第二层卷积层、第二层池化层、1层全连接层、1层输出层；
将训练集输入卷积神经网络输入层，依此经过第一层卷积层，第一层池化层、第二层卷积层、第二层池化层、全连接层、输出层，训练β次，得到训练好的卷积神经网络。
其它步骤及参数与具体实施方式一至九之一相同。
具体实施方式十一：本实施方式与具体实施方式一至十之一不同的是，所述50≤β≤500。
其它步骤及参数与具体实施方式一至十之一相同。
具体实施方式十二：本实施方式与具体实施方式一至十一之一不同的是，所述将训练集输入卷积神经网络输入层，依此经过第一层卷积层，第一层池化层、第二层卷积层、第二层池化层、全连接层、输出层，训练β次，得到训练好的卷积神经网络；具体过程为：
第一层卷积层就是通过卷积核对训练集进行卷积，得到经过第一卷积层后的结果，过程为：
Xc＝Xinp⊙H1
式中，Xinp代表输入图像矩阵，⊙代表卷积操作，H1代表卷积核，Xc代表卷积之后的结果；
第一层池化层是将经过第一卷积层后的结果进行处理(在经过一层卷积层后需要在经过一层池化层来减少得到的矩阵元素)，得到经过第一层池化层后的结果；过程为：
Xs＝Xc/n
式中，Xc表示输入到第一层池化层的矩阵，n表示池化大小，Xs表示经过第一层池化之后的结果；
第二层卷积层就是通过卷积核对经过第一层池化之后的结果进行卷积，得到经过第二卷积层后的结果，过程为：
式中，Xs代表输入图像矩阵，⊙代表卷积操作，H1代表卷积核，
代表卷积之后的结果；
第二层池化层是将经过第二卷积层后的结果进行处理(在经过一层卷积层后需要在经过二层池化层来减少得到的矩阵元素)，得到经过第二层池化层后的结果；过程为：
式中，
表示输入到第二层池化层的矩阵，n表示池化大小，
表示经过第二层池化之后的结果；
将经过第二层池化层的输出输入全连接层，最终得到的矩阵就是能够代表图像的特征，在全连接层通过sigmoid激活函数对输入实现由特征到类别标签的非线性转换：
式中，g(s)表示每一类的概率。
转换得到的标签向量形式与图像的真实标签形式相同，根据该向量能够得到输入图像的类别。
其它步骤及参数与具体实施方式一至十一之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
本实施例一种基于光学图像辅助的舰船ISAR像识别方法具体过程为：
第一步：对图像进行图像预处理，包括去噪处理以及图像归一化处理。使用了3类舰船模型，下面操作均以第一类舰船为例，舰船ISAR图像见图5，这里选取全局阈值法去除ISAR图像中的斑点噪声和条纹噪声，将差值门限t设为0.5，；对光学图像进行灰度处理，并且将两种图像均统一成256*256大小方便后续操作，见图8和图9。
第二步：利用Pix2pix网络进行舰船ISAR像生成光学像的操作，在网络训练之前要先对舰船ISAR像和光学像进行配对，将配对之后的图像合并为图9的形式，图9与图5不同点在于图5是ISAR和生成像，图9则是ISAR和光学像。在Pix2pix网络中生成器采用U-net结构来减少训练网络的计算量，同时引入L1损失来保证生成图像与光学图像的整体相似，权值λ取为100；判别器采用Patch-D结构来保证局部相似性，网络训练次数设置为300次，批处理次数设为30，将得到的生成图像与ISAR像合并得到合成图像，见图5。
第三步：利用在第二步中得到的合成图像构建训练集和测试集，在分类识别之前将数据集中的图像压缩为28x 28的大小，以此减轻网络的计算量，进而训练卷积神经网络，卷积神经网络的参数：
最终得到输入图像对应的标签向量，是对3类舰船进行分类识别，因而实际标签的形式为：[1,0,0]，表示第一类舰船；[0,1,0]，表示第二类舰船；[0,0,1]，表示第三类舰船。所以得到的标签向量大小也是1x 3，根据其最大值所在位置判定其是地基类船只，比如最大值位于第一个位置，图像是第一类舰船，第二类第三类同理。判定的类别与实际类别进行比较得到舰船目标的识别准确率。在本例中，将采用合成图像和仅采用舰船ISAR像进行分类识别的效果进行了对比，如下表所示。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (12)
1.一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述方法具体过程为：
步骤一、对数据库中已知舰船类别的舰船ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理；
步骤二、利用GAN的衍生网络Pix2pix完成步骤一中预处理后的舰船ISAR像域到舰船光学图像域的映射，即得到训练好的衍生网络Pix2pix；
步骤三、利用步骤二训练好的衍生网络Pix2pix将预处理后的舰船ISAR像生成舰船光学图像，将舰船光学图像与舰船ISAR像拼接，合成图像既包含舰船ISAR像信息又包含光学图像信息；利用合成图像构建训练集，训练卷积神经网络，得到训练好的卷积神经网络；
步骤四、对待测试的舰船ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理；
步骤五、利用步骤二训练好的衍生网络Pix2pix，使步骤四中预处理后的舰船ISAR像生成舰船光学图像，将得到的舰船光学图像与步骤四中预处理后的舰船ISAR像拼接，合成图像既包含舰船ISAR像信息又包含光学图像信息；
步骤六、将步骤五得到的合成图像输入步骤三训练好的卷积神经网络，得到合成图像的类别。
2.根据权利要求1所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述步骤一中对ISAR像进行预处理，预处理包括去噪处理以及图像归一化处理；具体过程为：
步骤一一、采用全局阈值对ISAR像进行去噪处理，得到去噪后的舰船ISAR像；
步骤一二、将步骤一一得到的去噪后的舰船ISAR像进行归一化处理。
3.根据权利要求2所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述步骤一一中采用全局阈值对ISAR像进行去噪处理，得到去噪后的舰船ISAR像；过程为：
步骤一一一、设置差值门限t；
步骤一一二、将初始门限阈值设为T：
式中，I(i,j)max表示舰船ISAR像中最亮点的像素值，I(i,j)min表示舰船ISAR像中最暗点的像素值；i表示图像矩阵的第i行，j表示图像矩阵的第j列；
步骤一一三、将舰船ISAR像中的各个像素点的强度与初始门限阈值T比较，将强度大于等于初始门限阈值T的像素点归到集合G1，将强度小于初始门限阈值T的像素点归为G2；
步骤一一四、分别计算像素集合G1和G2的平均值，记作u1与u2：
式中，N和M分别表示像素集合G1和G2的元素个数；
步骤一一五、更新门限阈值T为u1与u2的均值：
重复步骤一一三至步骤一一五，直到经过连续两次更新得到的门限阈值T的差值小于差值门限t，此时的门限阈值T为全局阈值；
步骤一一六、在得到全局阈值之后，将ISAR像中大于等于全局阈值的像素置为255，将ISAR像中小于全局阈值的像素置0来去除噪声，得到去噪后的ISAR像。
4.根据权利要求3所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述步骤一二中将步骤一一得到的去噪后的舰船ISAR像进行归一化处理；具体过程为：
将步骤一一得到的去噪后的ISAR像统一成256x256尺寸。
5.根据权利要求4所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述步骤二中利用GAN的衍生网络Pix2pix完成步骤一中预处理后的舰船ISAR像域到舰船光学图像域的映射，即得到训练好的衍生网络Pix2pix；具体过程为：
对数据库中的舰船ISAR像和数据库中的舰船光学图像进行随机抖动和随机镜像处理；
将进行随机抖动和随机镜像处理后的舰船ISAR像输入到衍生网络Pix2pix的生成器中；
将进行随机抖动和随机镜像处理后的舰船ISAR像和舰船光学图像输入到衍生网络Pix2pix的鉴别器中；
生成器为17层拓扑结构，生成器结构包括1层输入层、7层编码层、1层编码解码层、7层解码层、1层输出层；
舰船ISAR像输入到衍生网络Pix2pix的生成器的输入层，经过第一层编码层，第一层编码层卷积核个数为64，卷积核大小为4×4，得到经过第一层编码后的输出矩阵；
将经过第一层编码层编码后的输出矩阵输入到第二层编码层，卷积核个数为256，卷积核大小为4×4，得到经过第二层编码后的输出矩阵；
将经过第二层编码层编码后的输出矩阵输入到第三层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第三层编码后的输出矩阵；
将经过第三层编码层编码后的输出矩阵输入到第四层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第四层编码后的输出矩阵；
将经过第四层编码层编码后的输出矩阵输入到第五层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第五层编码后的输出矩阵；
将经过第五层编码层编码后的输出矩阵输入到第六层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第六层编码后的输出矩阵；
将经过第六层编码层编码后的输出矩阵输入到第七层编码层，卷积核个数为512，卷积核大小为4×4，得到经过第七层编码后的输出矩阵；
将经过第七层编码层编码后的输出矩阵输入到编码解码层，卷积核个数为512，卷积核大小为4×4，得到经过编码解码层后的输出矩阵；
将经过编码解码层后的输出矩阵输入到第一层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第一层解码层后的输出矩阵；
将经过第一层解码层后的输出矩阵输入到第二层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第二层解码层后的输出矩阵；
将经过第二层解码层后的输出矩阵输入到第三层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第三层解码层后的输出矩阵；
将经过第三层解码层后的输出矩阵输入到第四层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第四层解码层后的输出矩阵；
将经过第四层解码层后的输出矩阵输入到第五层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第五层解码层后的输出矩阵；
将经过第五层解码层后的输出矩阵输入到第六层解码层，卷积核个数为256，卷积核大小为4×4，得到经过第六层解码层后的输出矩阵；
将经过第六层解码层后的输出矩阵输入到第七层解码层，卷积核个数为64，卷积核大小为4×4，得到经过第七层解码层后的输出矩阵；
将经过第七层解码层后的输出矩阵经过生成器输出层输出矩阵；
鉴别器为二分类器，将舰船ISAR像和舰船光学图像输入到鉴别器的标签设置为1；将ISAR像和生成器输出层输出矩阵输入到鉴别器的标签设置为0；
用鉴别器输出层的输出值对生成器进行优化，训练α次，直至鉴别器输入为ISAR像和生成器输出层输出时，鉴别器输出值为0.5；此时鉴别器无法判断出输入到鉴别器的数据是否为真实数据，则此时的衍生网络Pix2pix为训练好的衍生网络Pix2pix。
6.根据权利要求5所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述50≤α≤500。
7.根据权利要求6所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述对数据库中的舰船ISAR像和数据库中的舰船光学图像进行随机抖动和随机镜像处理，过程为：
随机抖动就是将舰船ISAR像和舰船光学图像分别调整至286x286，然后分别随机裁剪至256x256；
随机镜像则是将裁剪至256x256的舰船ISAR像和舰船光学图像分别随机水平翻转。
8.根据权利要求7所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述舰船ISAR像输入到衍生网络Pix2pix的生成器的输入层，经过第一层编码层，第一层编码层卷积核个数为64，卷积核大小为4×4，得到经过第一层编码后的输出矩阵，过程为：
Xenc＝Xinp⊙H1
式中，Xinp代表生成器编码层输入，初始就是256x256大小的图像，⊙表示卷积操作，H1表示卷积核，Xenc为经过第一层编码层编码后的输出。
9.根据权利要求8所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述将经过编码解码层后的输出矩阵输入到第一层解码层，卷积核个数为512，卷积核大小为4×4，得到经过第一层解码层后的输出矩阵；过程为：
式中，X1表示生成器解码层的输入，
表示反卷积操作，H2表示反卷积核，Xden为经过第一层解码层解码后的输出。
10.根据权利要求9所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述步骤三中利用步骤二训练好的衍生网络Pix2pix将预处理后的舰船ISAR像生成舰船光学图像，将舰船光学图像与舰船ISAR像拼接，合成图像既包含舰船ISAR像信息又包含光学图像信息；利用合成图像构建训练集，训练卷积神经网络，得到训练好的卷积神经网络；具体过程为：
卷积神经网络为7层拓扑结构，卷积神经网络结构包括1层输入层、第一层卷积层、第一层池化层、第二层卷积层、第二层池化层、1层全连接层、1层输出层；
将训练集输入卷积神经网络输入层，依此经过第一层卷积层，第一层池化层、第二层卷积层、第二层池化层、全连接层、输出层，训练β次，得到训练好的卷积神经网络。
11.根据权利要求10所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述50≤β≤500。
12.根据权利要求11所述一种基于光学图像辅助的舰船ISAR像识别方法，其特征在于：所述将训练集输入卷积神经网络输入层，依此经过第一层卷积层，第一层池化层、第二层卷积层、第二层池化层、全连接层、输出层，训练β次，得到训练好的卷积神经网络；具体过程为：
第一层卷积层就是通过卷积核对训练集进行卷积，得到经过第一卷积层后的结果，过程为：
式中，
代表输入图像矩阵，⊙代表卷积操作，H1代表卷积核，Xc代表卷积之后的结果；
第一层池化层是将经过第一卷积层后的结果进行处理，得到经过第一层池化层后的结果；过程为：
Xs＝Xc/n
式中，Xc表示输入到第一层池化层的矩阵，n表示池化大小，Xs表示经过第一层池化之后的结果；
第二层卷积层就是通过卷积核对经过第一层池化之后的结果进行卷积，得到经过第二卷积层后的结果，过程为：
式中，Xs代表输入图像矩阵，⊙代表卷积操作，H1代表卷积核，
代表卷积之后的结果；
第二层池化层是将经过第二卷积层后的结果进行处理，得到经过第二层池化层后的结果；过程为：
式中，
表示输入到第二层池化层的矩阵，n表示池化大小，
表示经过第二层池化之后的结果；
将经过第二层池化层的输出输入全连接层，在全连接层通过sigmoid激活函数对输入实现由特征到类别标签的非线性转换：
式中，g(s)表示每一类的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910488118.6A CN110210422B (zh) | 2019-06-05 | 2019-06-05 | 一种基于光学图像辅助的舰船isar像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910488118.6A CN110210422B (zh) | 2019-06-05 | 2019-06-05 | 一种基于光学图像辅助的舰船isar像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110210422A CN110210422A (zh) | 2019-09-06 |
| CN110210422B true CN110210422B (zh) | 2021-04-27 |
Family
ID=67791148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910488118.6A Active CN110210422B (zh) | 2019-06-05 | 2019-06-05 | 一种基于光学图像辅助的舰船isar像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210422B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827232B (zh) * | 2019-11-14 | 2022-07-15 | 四川大学 | 基于形态特征gan的跨模态mri合成方法 |
| CN110910413A (zh) * | 2019-11-28 | 2020-03-24 | 中国人民解放军战略支援部队航天工程大学 | 一种基于U-Net的ISAR图像分割方法 |
| CN111398955B (zh) * | 2020-03-13 | 2022-04-08 | 中国科学院电子学研究所苏州研究院 | 一种基于生成对抗神经网络的sar图像去旁瓣方法 |
| CN112132104B (zh) * | 2020-10-09 | 2021-08-03 | 哈尔滨工业大学 | 一种基于环路生成对抗网络的isar舰船目标图像域增强识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8861588B2 (en) * | 2011-04-04 | 2014-10-14 | The United States Of America As Represented By The Secretary Of The Army | Apparatus and method for sampling and reconstruction of wide bandwidth signals below Nyquist rate |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN109284738A (zh) * | 2018-10-25 | 2019-01-29 | 上海交通大学 | 不规则人脸矫正方法和系统 |
| CN109598770A (zh) * | 2018-12-07 | 2019-04-09 | 秦嘉艺 | 一种城市建筑物的智能配色方法及智能配色系统 |
| CN109783910A (zh) * | 2018-12-29 | 2019-05-21 | 西安交通大学 | 一种利用生成对抗网络加速的结构优化设计方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069460B (zh) * | 2015-08-21 | 2018-08-31 | 航天长征火箭技术有限公司 | 一种isar图像舰船目标特征提取方法 |
| CN107256396A (zh) * | 2017-06-12 | 2017-10-17 | 电子科技大学 | 基于卷积神经网络的船目标isar图像特征学习方法 |
| US20190147320A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | "Matching Adversarial Networks" |
| CN109116352B (zh) * | 2018-07-20 | 2022-02-11 | 中国石油大学(华东) | 一种圆扫isar模式船只超分辨率成像方法 |
-
2019
- 2019-06-05 CN CN201910488118.6A patent/CN110210422B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8861588B2 (en) * | 2011-04-04 | 2014-10-14 | The United States Of America As Represented By The Secretary Of The Army | Apparatus and method for sampling and reconstruction of wide bandwidth signals below Nyquist rate |
| CN108171320A (zh) * | 2017-12-06 | 2018-06-15 | 西安工业大学 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN109284738A (zh) * | 2018-10-25 | 2019-01-29 | 上海交通大学 | 不规则人脸矫正方法和系统 |
| CN109598770A (zh) * | 2018-12-07 | 2019-04-09 | 秦嘉艺 | 一种城市建筑物的智能配色方法及智能配色系统 |
| CN109783910A (zh) * | 2018-12-29 | 2019-05-21 | 西安交通大学 | 一种利用生成对抗网络加速的结构优化设计方法 |
Non-Patent Citations (3)
| Title |
|---|
| Generating high quality visible images from SAR images using CNNs;Puyang Wang et al;《2018 IEEE Radar Conference (RadarConf18)》;20180611;570-575页 * |
| Generative Adversarial Networks for Hard Negative Mining in CNN-Based SAR-Optical Image Matching;Lloyd H. Hughes et al;《IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium》;20181105;4391-4394页 * |
| 基于深度学习的SAR图像目标识别分类研究;蒋鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180915;第2018年卷(第09期);I136-236页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110210422A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210422B (zh) | 一种基于光学图像辅助的舰船isar像识别方法 | |
| Fu et al. | Underwater image enhancement with global–local networks and compressed-histogram equalization | |
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| CN109949255B (zh) | 图像重建方法及设备 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| Pang et al. | Visual haze removal by a unified generative adversarial network | |
| CN110032925B (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
| Rahmon et al. | Motion U-Net: Multi-cue encoder-decoder network for motion segmentation | |
| Kolesnikov et al. | PixelCNN models with auxiliary variables for natural image modeling | |
| Wang et al. | Blur image identification with ensemble convolution neural networks | |
| CN109242097B (zh) | 无监督学习的视觉表示学习系统及方法 | |
| CN113989890A (zh) | 基于多通道融合和轻量级神经网络的人脸表情识别方法 | |
| Zhang et al. | IL-GAN: Illumination-invariant representation learning for single sample face recognition | |
| Salem | A Survey on Various Image Inpainting Techniques. | |
| Golestaneh et al. | No-reference image quality assessment via feature fusion and multi-task learning | |
| Li et al. | Densely connected network for impulse noise removal | |
| Long et al. | Underwater forward-looking sonar images target detection via speckle reduction and scene prior | |
| Yeh et al. | Single image dehazing via deep learning-based image restoration | |
| Dastmalchi et al. | Super-resolution of very low-resolution face images with a wavelet integrated, identity preserving, adversarial network | |
| Yan et al. | Cascaded transformer U-net for image restoration | |
| Kan et al. | A GAN-based input-size flexibility model for single image dehazing | |
| CN112818840A (zh) | 无人机在线检测系统和方法 | |
| Zhang et al. | SFA-GAN: structure–frequency-aware generative adversarial network for underwater image enhancement | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN112651329B (zh) | 一种双流特征学习生成对抗网络的低分辨率船舶分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Gaopeng Inventor after: Zhang Yun Inventor after: Sun Zhao Inventor after: Wang Jie Inventor before: Li Gaopeng Inventor before: Sun Zhao Inventor before: Zhang Yun Inventor before: Wang Jie |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |