CN111583276A - 基于cgan的空间目标isar图像部件分割方法 - Google Patents
基于cgan的空间目标isar图像部件分割方法 Download PDFInfo
- Publication number
- CN111583276A CN111583276A CN202010370448.8A CN202010370448A CN111583276A CN 111583276 A CN111583276 A CN 111583276A CN 202010370448 A CN202010370448 A CN 202010370448A CN 111583276 A CN111583276 A CN 111583276A
- Authority
- CN
- China
- Prior art keywords
- isar
- convolution layer
- image
- network
- cgan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000013519 translation Methods 0.000 claims description 13
- 230000003042 antagnostic effect Effects 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 3
- 238000004804 winding Methods 0.000 claims 2
- 238000003709 image segmentation Methods 0.000 abstract description 24
- 238000013507 mapping Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 18
- 230000017105 transposition Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于条件生成对抗网络CGAN的空间目标ISAR图像部件分割方法,用于解决现有技术存在的ISAR图像分割精度低的问题,实现步骤为:生成训练数据集和测试数据集;构建条件生成对抗网络CGAN模型;对条件生成对抗网络CGAN进行迭代训练;对训练好的条件生成对抗网络CGAN进行测试;分割预测分割图像中的空间目标ISAR图像部件。本发明利用条件生成对抗网络CGAN的对抗博弈过程实现了从ISAR图像到其标签的全局映射,很好地构建了预测分割图像的高频成分,同时还采用L1损失构建预测分割图像的低频成分,使预测分割图像和标签的整体相似,有效提升了空间目标ISAR图像部件分割精度。
Description
技术领域
本发明属于雷达图像处理技术领域,涉及一种ISAR图像分割方法,具体是一种基于CGAN的空间目标ISAR图像部件分割方法,可以用于空间目标姿态估计、空间目标识别等领域。
背景技术
逆合成孔径雷达(ISAR,Inverse Synthetic Aperture Radar)是合成孔径雷达发展过程中的一个重要分支,具有全天时、全天候和远距离成像的能力。随着全球各国对太空资源逐步重视,对太空资源的开发已经成为热点,并且今后太空作战的趋势逐步加剧,空间目标已经成为了雷达领域的研究热点,通过对获取的空间目标ISAR图像进行分析可以实现对空间目标的类型、尺寸、材料甚至危险度的判定,利用ISAR图像对空间目标姿态估计与空间目标识别技术也成为太空智能化武器系统研究的重点任务和关键技术。利用ISAR图像实现空间目标姿态估计或空间目标识别的关键是利用ISAR图像获得空间目标的外形、主体指向、和部件尺寸等特征,首先需要提取空间目标的ISAR图像部件,即实现空间目标ISAR图像部件分割,因此,空间目标ISAR图像部件分割技术具有很重要的研究价值。
图像分割是指根据一定的相似性准则将图像划分成不同区域的过程,是后续图像处理的基础。传统的图像分割方法主要包括阈值法、边界检测法、区域法等,这些方法的实现原理有所不同,但基本都是利用图像的低级语义,包括图像像素的颜色和纹理等信息,对噪声比较敏感,遇到复杂场景时实际分割效果不尽理想。
目前,深度学习发展迅猛,深度学习技术在图像分割领域也取得了一系列突破性进展。基于深度学习的图像分割方法通过为图像中的每个像素分配一个预先定义的表示其语义目标类别的标签,更多地结合了图像本身提供的中高层语义信息完成图像分割,适用范围更广。深度图像分割方法中最典型的模型是基于候选区域的图像分割方法,此类方法首先从原始图像中选取候选区域,然后对候选区域进行特征提取,最后对每个候选区域进行语义分类并根据分类结果在原始图像上进行标注,最终得到图像分割结果。但基于候选区域的图像分割方法生成候选区域耗时较长,影响算法性能,并且生成的候选区域质量直接影响到算法的效果,此类方法无法完成端到端的图像分割。近些年来,一些学者提出了对像素直接分类的端到端的图像分割方法。Long等人于2014年提出了FCN(fullyconvolutional network)方法,设计了一种针对任意大小的输入图像,训练端到端的全卷积网络的框架,通过双线性插值上采样和组合中间层输出的特征图的方法实现了像素级分类。以上方法大都是针对于光学图像的分割方法,不同于光学图像,ISAR图像特有的相干斑效应、旁瓣干扰等,使得以上分割方法处理ISAR图像时得到分割结果的分割精度并不理想。申请公布号为CN110910413A,名称为“一种基于U-Net的ISAR图像分割方法”的专利申请,公开了一种ISAR图像分割方法,采用编码器-解码器的网络结构,先下采样学习ISAR图像的深层特征,特征图再经过上采样恢复为输入ISAR图像大小后进行分类。该网络中,较浅的层用来解决像素定位问题、较深的层用来解决像素分类问题,从而消除ISAR图像相干斑效应、旁瓣的影响,提高了ISAR图像的分割精度。该方法虽然充分利用了ISAR图像的空间位置信息,但该模型学习到的只是ISAR图像中每个像素点到其标签的映射关系,即只学习了局部映射关系,并不能学习到全局的映射关系,因此,ISAR图像分割精度仍然较低。
发明内容
本发明的目的在于针对上述现有技术存在的不足,提出了一种基于CGAN的空间目标ISAR图像部件分割方法,用于解决现有技术存在的空间目标ISAR图像部件分割精度低的问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)生成训练数据集和测试数据集:
(1a)对从空间目标ISAR图像数据集中随机选取的M幅ISAR图像中的太阳能帆板与主体进行像素级标记,并对标记后的每个带真实标签的ISAR图像进行上、下、左、右、左上、左下、右上和右下八个方向平移,得到M×8个带真实标签的平移ISAR图像;
(1b)对每个带真实标签的ISAR图像,以及每个带真实标签的平移ISAR图像进行水平镜像、垂直镜像和对角镜像,并将M个带真实标签的ISAR图像、M×8个带真实标签的平移ISAR图像及其(M+M×8)×3个带真实标签的镜像ISAR图像作为训练数据集,其中M≥300;
(1c)从空间目标ISAR图像数据集中随机选取N幅ISAR图像组成测试数据集,其中,100≤N≤200;
(2)构建条件生成对抗网络CGAN模型:
构建包含生成器子网络G和判别器子网络D、损失函数为LCGAN的条件生成对抗网络CGAN模型,其中:生成器子网络G包括由多个卷积层组成的编码器、跳线层、由多个卷积层组成的解码器、预测层,G的损失函数为Lg;判别器子网络D包括多个卷积层、判别层,D的损失函数为Ld;
(3)对条件生成对抗网络CGAN进行迭代训练:
(3a)设迭代次数为q,最大迭代次数为Q,Q≥200,并令q=0;
(3b)采用正态分布随机点对生成器子网络G和判别器子网络D的权值进行随机初始化,同时对生成器子网络G和判别器子网络D的偏置初始化为0,得到初始化后的生成器子网络Gq和判别器子网络Dq;
(3c)固定判别器子网络Dq,训练生成器子网络Gq:
(3c1)从训练数据集中随机选取m个带真实标签的ISAR图像输入生成器子网络Gq,并通过所计算的G的损失函数Lg的值对生成器子网络Gq进行训练,得到m个预测标签Gq(xi),其中m≥10000,i=1,2,...,m;
(3c2)将m个带真实标签ISAR图像中的每一幅ISAR图像与其真实标签拼接得到m个拼接图像,同时将m个带真实标签的ISAR图像中的每一幅ISAR图像与其预测标签拼接得到m个预测拼接图像,并将m个拼接图像和m个预测拼接图作为判别器子网络Dq的输入进行预测,得到2m个预测结果Dq(xi,yi)和Dq(xi,G(xi));
(3c3)使用步骤(3c1)中训练得到的m个预测标签和步骤(3c2)中预测得到的2m个预测结果,采用梯度下降法通过所计算的条件生成对抗网络CGAN损失函数LCGAN的值对生成器子网络Gq各层的参数进行更新,得到更新后的生成器子网络Gq+1;
(3d)固定生成器子网络Gq+1,训练判别器子网络Dq:
(3d1)将m个带标签的ISAR图像输入生成器子网络Gq+1,得到m个预测标签Gq+1(xi);
(3d2)将m幅ISAR图像和其对应的真实标签拼接得到m个拼接图像,此m个拼接图像的标签均为1,将m幅ISAR图像和其对应的预测标签拼接得到m个预测拼接图像,此m个预测拼接图像的标签均为0;将m个拼接图像和m个预测拼接图像输入判别器子网络Dq,计算损失值Ld并通过损失值Ld对判别器子网络Dq进行训练,得到2m个预测结果Dq(xi,yi)和Dq(xi,G(xi));
(3d3)使用步骤(3d1)中m个预测标签Gq+1(xi)、步骤(3d2)中的2m个预测结果Dq(xi,yi)和Dq(xi,G(xi))计算条件生成对抗网络CGAN的损失函数LCGAN的值,并采用梯度下降法通过所计算的LCGAN的值对判别器子网络Dq各层的参数进行更新,得到更新后的判别器子网络Dq+1;
(3e)判断q=Q是否成立,若是,得到训练好的条件生成对抗网络CGAN’,否则,令q=q+1,并执行步骤(3c);
(4)对训练好的条件生成对抗网络CGAN’进行测试:
将测试数据集中的N幅ISAR图像作为训练好的条件生成对抗网络CGAN’的输入进行分割,得到N幅ISAR图像对应的N个预测分割图像;
(5)分割预测分割图像中的空间目标ISAR图像部件:
设分割N个预测分割图像中的太阳能帆板与主体时的阈值均为δ,采用阈值分割法分别分割出每个预测分割图像中的太阳能帆板和主体,将得到的太阳能帆板和主体作为空间目标ISAR图像分割结果。
本发明与现有技术相比,具有如下优点:
本发明采用条件生成对抗网络CGAN对空间目标ISAR图像部件进行分割,CGAN将ISAR图像作为条件信息输入生成器子网络G和判别器子网络D,通过生成器子网络G和判别器子网络D的交替训练,即首先固定判别器子网络D,训练生成器子网络G;再固定生成器子网络G,训练判别器子网络D,这种对抗博弈过程最终使条件生成网络CGAN预测的概率分布接近真实概率分布,即G和D的交替训练实现了从ISAR图像到标签的全局映射,同时也可以很好地构建预测分割图像的高频成分,使预测分割图像和标签尽量的轮廓细节相似。本发明还采用L1损失作为LCGAN损失函数的一项,构建预测分割图像的低频成分,使预测分割图像和标签的整体相似。仿真结果表明,本发明与现有技术相比,ISAR图像分割精度提高了4.01%。
附图说明
图1是本发明的实现流程图;
图2是本发明生成器子网络示意图;
图3是本发明判别器子网络示意图;
图4为本发明与现有技术的分割精度仿真结果对比图;
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,本发明包括如下步骤:
(1)生成训练数据集和测试数据集:
(1a)从空间目标ISAR图像数据集中随机选取的M个尺寸为256×256的ISAR图像,本发明采用麻省理工计算机科学和人工智能实验室研发的Labelme图像标注工具,对M个尺寸为256×256的ISAR图像中的太阳能帆板与主体使用不同颜色进行像素级标记,并对标记后的每个带真实标签的ISAR图像进行上、下、左、右、左上、左下、右上和右下八个方向平移,得到M×8个带真实标签的平移ISAR图像;本实施例中八个方向的平移距离均为25;
(1b)对每个带真实标签的ISAR图像,以及每个带真实标签的平移ISAR图像进行水平镜像、垂直镜像和对角镜像,并将M个带真实标签的ISAR图像、M×8个带真实标签的平移ISAR图像及其(M+M×8)×3个带真实标签的镜像ISAR图像作为训练数据集,其中M≥300;
(1c)从空间目标ISAR图像数据集中随机选取N幅ISAR图像组成测试数据集,其中,100≤N≤200;本发明原始训练数据应多于测试数据,本实施例中M=323,N=132;
(2)构建条件生成对抗网络CGAN模型:
构建包含生成器子网络G和判别器子网络D、损失函数为LCGAN的条件生成对抗网络CGAN模型,其中:
参照图2,生成器子网络G包括由多个卷积层组成的编码器、跳线层、由多个卷积层组成的解码器、预测层,编码器和解码器包含的卷积层数量均为八个,预测层包含一个卷积层;生成器子网络G的具体结构为:第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层→第七卷积层→第八卷积层→第八转置卷积层→第七转置卷积层→第六转置卷积层→第五转置卷积层→第四转置卷积层→第三转置卷积层→第二转置卷积层→第一转置卷积层→预测层;跳线层是将第i个卷积层拼接至第i个转置卷积层,i=1,2,...,7,8;编码器和解码器包含的卷积层数量均为八个,卷积核大小均为4×4,卷积核步长均为2,填充方式均为等大填充;第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层和第八卷积层的卷积核数量分别为64、128、256、512、512、512、512和512;第八转置卷积层、第七转置卷积层、第六转置卷积层、第五转置卷积层、第四转置卷积层、第三转置卷积层、第二转置卷积层和第一转置卷积层的卷积核数量分别为512、512、512、512、256、128、64和3;预测层的卷积核大小为256×256,卷积核数量为1,卷积核步长为1。G的损失函数Lg为:
其中,xi为训练数据集中第i个带真实标签的ISAR图像,yi为xi的真实标签,G(xi)为xi的预测标签。
生成器子网络G采用跳线层将编码器每个卷积层输出的特征拼接至解码器每个转置卷积层输出的特征上,保留了ISAR图像在编码下采样过程中损失掉的细节信息,充分利用了ISAR图像像素的位置信息,有利于提升ISAR图像分割精度;
参照图3,判别器子网络D包括多个卷积层、判别层;判别器子网络D的具体结构为:第一卷积层→第二卷积层→第三卷积层→第四卷积层→判别层;判别器子网络D的具体参数为:卷积层数量为四个,卷积核大小均为4×4,卷积核步长均为2,填充方式均为等大填充;第一卷积层、第二卷积层、第三卷积层和第四卷积层的卷积核数量分别为64、128、256和512;判别层的卷积核大小为1×1,数量为1,卷积核步长为1。D的损失函数为Ld为:
判别器子网络D将输入裁剪为多个固定大小的Patch进行判别,再将多个Patch的判别结果的平均作为输入的判别结果,可以更好地构建预测分割图像的高频成分,使预测分割图像的轮廓、细节更清晰;
条件生成对抗网络CGAN模型的损失函数LCGAN为:
LCGAN=Ex,y[log D(x,y)]+Ex[log(1-D(x,G(x))]+λEx,y[||y-G(x)||1]
λ为L1损失权重系数;
本发明通过使用条件生成对抗网络CGAN构建预测分割图像的高频成分,并使用L1损失构建预测分割图像的低频成分,提升了ISAR分割图像的分割精度;
(3)对条件生成对抗网络CGAN进行迭代训练:
(3a)设迭代次数为q,最大迭代次数为Q,Q≥200,并令q=0,本实施例中Q=200;
(3b)采用正态分布随机点对生成器子网络G和判别器子网络D的权值进行随机初始化,同时对生成器子网络G和判别器子网络D的偏置初始化为0,得到初始化后的生成器子网络Gq和判别器子网络Dq;
(3c)固定判别器子网络Dq,训练生成器子网络Gq:
(3c1)从训练数据集中随机选取m个带真实标签的ISAR图像输入生成器子网络Gq,并采用梯度下降法通过所计算的G的损失函数Lg的值对生成器子网络Gq进行训练,得到m个预测标签Gq(xi),其中m≥10000,i=1,2,...,m;本实施例中,m=11628;本实施例中,所有训练过程均使用Adam优化器,Adam一阶指数衰减因子为0.5,二阶指数衰减因子为0.99;
(3c2)将m个带真实标签ISAR图像中的每一幅ISAR图像与其真实标签拼接得到m个拼接图像,同时将m个带真实标签的ISAR图像中的每一幅ISAR图像与其预测标签拼接得到m个预测拼接图像,并将m个拼接图像和m个预测拼接图作为判别器子网络Dq的输入进行预测,得到2m个预测结果Dq(xi,yi)和Dq(xi,G(xi)),此2m个预测结果为[0,1]之间的概率值,Dq(xi,yi)→1,且当G(xi)→yi时,Dq(xi,G(xi))→1;
(3c3)使用步骤(3c1)中训练得到的m个预测标签和步骤(3c2)中预测得到的2m个预测结果,并采用梯度下降法通过所计算的条件生成对抗网络CGAN的损失函数LCGAN的值对生成器子网络Gq各层的参数进行更新,得到更新后的生成器子网络Gq+1;本实施例中,损失函数权重系数λ=100;
(3d)固定生成器子网络Gq+1,训练判别器子网络Dq:
(3d1)将m个带真实标签的ISAR图像输入生成器子网络Gq+1,得到m个预测标签Gq+1(xi);
(3d2)将m幅ISAR图像和其对应的真实标签拼接得到m个拼接图像,此m个拼接图像的标签均为1,将m幅ISAR图像和其对应的预测标签拼接得到m个预测拼接图像,此m个预测拼接图像的标签均为0;将m个拼接图像和m个预测拼接图像输入判别器子网络Dq,通过所计算的判别器子网络Dq的损失函数Ld的值对判别器子网络Dq进行训练,得到2m个预测结果Dq(xi,yi)和Dq(xi,G(xi));
(3d3)使用步骤(3d1)中m个预测标签Gq+1(xi)、步骤(3d2)中的2m个预测结果Dq(xi,yi)和Dq(xi,G(xi))计算条件生成对抗网络CGAN的损失函数LCGAN的值,并采用梯度下降法通过损失函数LCGAN的值对判别器子网络Dq各层的参数进行更新,得到更新后的判别器子网络Dq+1;
(3e)判断q=Q是否成立,若是,得到训练好的条件生成对抗网络CGAN’,否则,令q=q+1,并执行步骤(3c);
通过G和D的交替迭代、对抗博弈最终使训练好的条件生成网络CGAN’预测的概率分布接近真实概率分布,实现了从ISAR图像到标签的全局映射,有利于提升ISAR图像分割精度;
(4)对训练好的条件生成对抗网络CGAN’进行测试:
将测试数据集中的N幅ISAR图像作为训练好的条件生成对抗网络CGAN’的输入进行分割,得到N幅ISAR图像对应的N个预测分割图像;
(5)分割预测分割图像中的空间目标ISAR图像部件:
设分割N个预测分割图像中的太阳能帆板与主体时的阈值均为δ,采用阈值分割法,对每个预测分割图像中不同颜色的太阳能帆板和主体进行分割,将得到的太阳能帆板和主体作为空间目标ISAR图像分割结果;本实施例中,由预测分割图像的r、g、b值的mesh三维图得到分割太阳能帆板与主体经验阈值均为δ=45。
以下结合仿真实验,对本发明的技术效果作以说明。
1、仿真条件和内容:
本实验所用数据为空间目标的电磁仿真数据,其中,原始训练数据为323幅ISAR图像,测试数据为132幅ISAR图像。硬件平台为:处理器Intel Xeon(R)CPU E5-2620V3,显卡GeForce GTX TITAN X/PCIe/SSE2。操作系统为Ubuntu16.04。仿真实验软件平台为Tensorflow,Python2.7和Matlab R2017a。
对本发明和现有的基于U-net的ISAR图像分割方法的分割结果和分割精度进行对比,结果分别如图4和表1所示。
2、仿真结果分析
表1
参照图4,图4(a)为现有技术对空间目标ISAR图像的部件分割结果,图4(b)为本发明对同一幅空间目标ISAR图像的部件分割结果,本发明方法能够更准确地从ISAR图像中分割出空间目标的部件,即空间目标的太阳能帆板和主体,并且分割出的空间目标的部件的轮廓更清晰。
本发明采用图像分割标准度量——平均交并比作为空间目标ISAR图像部件分割精度的衡量指标,表1给出的是测试数据集中所有ISAR图像部件分割结果的平均分割精度。由表1可以看出,本方法提出的基于CGAN的空间目标ISAR图像部件分割方法相比于现有的基于U-net的ISAR图像分割方法,分割精度提升了4.01%,因而具有重要的实际意义。
以上描述仅是本发明的一个具体实例,不构成对本发明的任何限制,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修改和改变,但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (4)
1.一种基于条件生成对抗网络CGAN的空间目标ISAR图像部件分割方法,其特征在于,包括如下步骤:
(1)生成训练数据集和测试数据集:
(1a)对从空间目标ISAR图像数据集中随机选取的M个ISAR图像中的太阳能帆板与主体进行像素级标记,并对标记后的每个带真实标签的ISAR图像进行上、下、左、右、左上、左下、右上和右下八个方向平移,得到M×8个带真实标签的平移ISAR图像;
(1b)对每个带真实标签的ISAR图像,以及每个带真实标签的平移ISAR图像进行水平镜像、垂直镜像和对角镜像,并将M个带真实标签的ISAR图像、M×8个带真实标签的平移ISAR图像及其(M+M×8)×3个带真实标签的镜像ISAR图像作为训练数据集,其中M≥300;
(1c)从空间目标ISAR图像数据集中随机选取N个ISAR图像组成测试数据集,其中,100≤N≤200;
(2)构建条件生成对抗网络CGAN模型:
构建包含生成器子网络G和判别器子网络D、损失函数为LCGAN的条件生成对抗网络CGAN模型,其中:生成器子网络G包括由多个卷积层组成的编码器、跳线层、由多个卷积层组成的解码器、预测层,G的损失函数为Lg;判别器子网络D包括多个卷积层、判别层,D的损失函数为Ld;
(3)对条件生成对抗网络CGAN进行迭代训练:
(3a)设迭代次数为q,最大迭代次数为Q,Q≥200,并令q=0;
(3b)采用正态分布随机点对生成器子网络G和判别器子网络D的权值进行随机初始化,同时对生成器子网络G和判别器子网络D的偏置初始化为0,得到初始化后的生成器子网络Gq和判别器子网络Dq;
(3c)固定判别器子网络Dq,训练生成器子网络Gq:
(3c1)从训练数据集中随机选取m个带真实标签的ISAR图像输入生成器子网络Gq,并通过所计算的G的损失函数的值Lg对生成器子网络Gq进行训练,得到m个预测标签Gq(xi),其中m≥10000,i=1,2,...,m;
(3c2)将m个带真实标签ISAR图像中的每一个ISAR图像与其真实标签拼接得到m个拼接图像,同时将m个带真实标签的ISAR图像中的每一个ISAR图像与其预测标签拼接得到m个预测拼接图像,并将m个拼接图像和m个预测拼接图作为判别器子网络Dq的输入进行预测,得到2m个预测结果Dq(xi,yi)和Dq(xi,G(xi));
(3c3)使用步骤(3c1)中训练得到的m个预测标签和步骤(3c2)中预测得到的2m个预测结果,并采用梯度下降法通过所计算的条件生成对抗网络CGAN损失函数LCGAN的值对生成器子网络Gq各层的参数进行更新,得到更新后的生成器子网络Gq+1;
(3d)固定生成器子网络Gq+1,训练判别器子网络Dq:
(3d1)将m个带真实标签的ISAR图像输入生成器子网络Gq+1,得到m个预测标签Gq+1(xi);
(3d2)将m个ISAR图像和其对应的真实标签拼接得到m个拼接图像,此m个拼接图像的标签均为1,将m个ISAR图像和其对应的预测标签拼接得到m个预测拼接图像,此m个预测拼接图像的标签均为0;将m个拼接图像和m个预测拼接图像输入判别器子网络Dq,并通过所计算的判别器子网络Dq的损失函数Ld的值对判别器子网络Dq进行训练,得到2m个预测结果Dq(xi,yi)和Dq(xi,G(xi));
(3d3)使用步骤(3d1)中m个预测标签Gq+1(xi)、步骤(3d2)中的2m个预测结果Dq(xi,yi)和Dq(xi,G(xi))计算条件生成对抗网络CGAN的损失函数LCGAN的值,并采用梯度下降法通过损失函数LCGAN的值对判别器子网络Dq各层的参数进行更新,得到更新后的判别器子网络Dq+1;
(3e)判断q=Q是否成立,若是,得到训练好的条件生成对抗网络CGAN’,否则,令q=q+1,并执行步骤(3c);
(4)对训练好的条件生成对抗网络CGAN’进行测试:
将测试数据集中的N个ISAR图像作为训练好的条件生成对抗网络CGAN’的输入进行分割,得到N个ISAR图像对应的N个预测分割图像;
(5)分割预测分割图像中的空间目标ISAR图像部件:
设分割N个预测分割图像中的太阳能帆板与主体时的阈值均为δ,采用阈值分割法分别分割出每个预测分割图像的太阳能帆板与主体,将得到的太阳能帆板与主体作为空间目标ISAR图像部件分割结果。
2.根据权利要求1所述的基于条件生成对抗网络CGAN的空间目标ISAR图像部件分割方法,其特征在于,步骤(2)中所述的生成器子网络G,其中,编码器和解码器包含的卷积层数量均为八个,预测层包含一个卷积层;
生成器子网络G的具体结构为:第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层→第七卷积层→第八卷积层→第八转置卷积层→第七转置卷积层→第六转置卷积层→第五转置卷积层→第四转置卷积层→第三转置卷积层→第二转置卷积层→第一转置卷积层→预测层;跳线层是将第i个卷积层拼接至第i个转置卷积层,i=1,2,...,7,8;
生成器子网络G的具体参数为:
编码器和解码器包含的卷积层数量均为八个,卷积核大小均为4×4,卷积核步长均为2,填充方式均为等大填充;第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层和第八卷积层的卷积核数量分别为64、128、256、512、512、512、512和512;第八转置卷积层、第七转置卷积层、第六转置卷积层、第五转置卷积层、第四转置卷积层、第三转置卷积层、第二转置卷积层和第一转置卷积层的卷积核数量分别为512、512、512、512、256、128、64和3;预测层的卷积核大小为256×256,卷积核数量为1,卷积核步长为1。
3.根据权利要求1所述的基于条件生成对抗网络CGAN的空间目标ISAR图像部件分割方法,其特征在于,步骤(2)中所述的判别器子网络D,该判别器子网络D的具体结构为:第一卷积层→第二卷积层→第三卷积层→第四卷积层→判别层;
该判别器子网络D的具体参数为:
卷积层数量为四个,卷积核大小均为4×4,卷积核步长均为2,填充方式均为等大填充;第一卷积层、第二卷积层、第三卷积层和第四卷积层的卷积核数量分别为64、128、256和512;判别层的卷积核大小为1×1,数量为1,卷积核步长为1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010370448.8A CN111583276B (zh) | 2020-05-06 | 2020-05-06 | 基于cgan的空间目标isar图像部件分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010370448.8A CN111583276B (zh) | 2020-05-06 | 2020-05-06 | 基于cgan的空间目标isar图像部件分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111583276A true CN111583276A (zh) | 2020-08-25 |
CN111583276B CN111583276B (zh) | 2022-04-19 |
Family
ID=72124723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010370448.8A Active CN111583276B (zh) | 2020-05-06 | 2020-05-06 | 基于cgan的空间目标isar图像部件分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111583276B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112782695A (zh) * | 2021-01-27 | 2021-05-11 | 西安电子科技大学 | 基于isar图像和参数优化的卫星姿态和尺寸估计方法 |
CN112949555A (zh) * | 2021-03-17 | 2021-06-11 | 西安电子科技大学 | 基于目标先验信息的空间目标isar图像分类方法 |
CN112946646A (zh) * | 2021-01-29 | 2021-06-11 | 西安电子科技大学 | 基于isar图像解译的卫星目标姿态和尺寸估计方法 |
CN113569855A (zh) * | 2021-07-07 | 2021-10-29 | 江汉大学 | 一种舌象分割方法、设备及存储介质 |
CN115408498A (zh) * | 2022-11-02 | 2022-11-29 | 中孚安全技术有限公司 | 一种基于自然语言的数据动态识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147321A1 (en) * | 2017-10-26 | 2019-05-16 | Preferred Networks, Inc. | Image generation method, image generation apparatus, and image generation program |
CN109829391A (zh) * | 2019-01-10 | 2019-05-31 | 哈尔滨工业大学 | 基于级联卷积网络和对抗学习的显著性目标检测方法 |
CN109886970A (zh) * | 2019-01-18 | 2019-06-14 | 南京航空航天大学 | 太赫兹图像中目标物体的检测分割方法及计算机存储介质 |
CN110516561A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于dcgan和cnn的sar图像目标识别方法 |
-
2020
- 2020-05-06 CN CN202010370448.8A patent/CN111583276B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147321A1 (en) * | 2017-10-26 | 2019-05-16 | Preferred Networks, Inc. | Image generation method, image generation apparatus, and image generation program |
CN109829391A (zh) * | 2019-01-10 | 2019-05-31 | 哈尔滨工业大学 | 基于级联卷积网络和对抗学习的显著性目标检测方法 |
CN109886970A (zh) * | 2019-01-18 | 2019-06-14 | 南京航空航天大学 | 太赫兹图像中目标物体的检测分割方法及计算机存储介质 |
CN110516561A (zh) * | 2019-08-05 | 2019-11-29 | 西安电子科技大学 | 基于dcgan和cnn的sar图像目标识别方法 |
Non-Patent Citations (2)
Title |
---|
WANRU XU等: "Prediction-CGAN: Human Action Prediction with Conditional Generative Adversarial Networks", 《KNOWLEDGE PROCESSING & ACTION ANALYSIS》 * |
魏伯阳等: "基于条件生成对抗网络的成像测井图像裂缝计算机识别", 《石油物探》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112782695A (zh) * | 2021-01-27 | 2021-05-11 | 西安电子科技大学 | 基于isar图像和参数优化的卫星姿态和尺寸估计方法 |
CN112782695B (zh) * | 2021-01-27 | 2023-05-30 | 西安电子科技大学 | 基于isar图像和参数优化的卫星姿态和尺寸估计方法 |
CN112946646A (zh) * | 2021-01-29 | 2021-06-11 | 西安电子科技大学 | 基于isar图像解译的卫星目标姿态和尺寸估计方法 |
CN112946646B (zh) * | 2021-01-29 | 2023-03-21 | 西安电子科技大学 | 基于isar图像解译的卫星目标姿态和尺寸估计方法 |
CN112949555A (zh) * | 2021-03-17 | 2021-06-11 | 西安电子科技大学 | 基于目标先验信息的空间目标isar图像分类方法 |
CN112949555B (zh) * | 2021-03-17 | 2023-03-24 | 西安电子科技大学 | 基于目标先验信息的空间目标isar图像分类方法 |
CN113569855A (zh) * | 2021-07-07 | 2021-10-29 | 江汉大学 | 一种舌象分割方法、设备及存储介质 |
CN115408498A (zh) * | 2022-11-02 | 2022-11-29 | 中孚安全技术有限公司 | 一种基于自然语言的数据动态识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111583276B (zh) | 2022-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111583276B (zh) | 基于cgan的空间目标isar图像部件分割方法 | |
CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
CN111368896A (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
CN109558806A (zh) | 高分遥感图像变化的检测方法和系统 | |
CN111259906A (zh) | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 | |
CN111310582A (zh) | 基于边界感知和对抗学习的湍流退化图像语义分割方法 | |
Zuo et al. | HF-FCN: Hierarchically fused fully convolutional network for robust building extraction | |
CN112215101A (zh) | 一种基于注意力机制的三维目标识别方法及系统 | |
Li et al. | Gated auxiliary edge detection task for road extraction with weight-balanced loss | |
CN116563680B (zh) | 基于高斯混合模型的遥感图像特征融合方法、电子设备 | |
CN115527104A (zh) | 无人艇感知系统检测方法 | |
CN117635418B (zh) | 生成对抗网络的训练方法、双向图像风格转换方法和装置 | |
CN115393734A (zh) | 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 | |
Gu et al. | A classification method for polsar images using SLIC superpixel segmentation and deep convolution neural network | |
CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
CN116824330A (zh) | 一种基于深度学习的小样本跨域目标检测方法 | |
CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 | |
Jiang et al. | Ship contour extraction from SAR images based on faster R-CNN and chan–vese model | |
CN115641584A (zh) | 一种雾天图像识别方法及装置 | |
CN115439738A (zh) | 一种基于自监督协同重构的水下目标检测方法 | |
Li et al. | Deep Learning-based Model for Automatic Salt Rock Segmentation | |
CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
Chen et al. | A novel split-frequency feature fusion framework for processing the dual-optical images of offshore oil spills |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |