CN111523564A - 一种用于深度学习训练的sar时敏目标样本增广方法 - Google Patents

Abstract

本发明涉及一种用于深度学习训练的SAR时敏目标样本增广方法，属于图像处理技术和深度学习领域；包括如下步骤：步骤一、对目标所在区域拍摄分辨率为a米的异源SAR图集,转换成分辨率为b米的异源SAR图集；步骤二、找到全部目标，并将每个目标制作成SAR时敏目标切片，获得切片集；步骤三、从异源SAR图集中各图片截取背景图像，获得背景图像集；步骤四、对切片集中各切片进行优化处理；步骤五、建立时敏目标的学习样本集；步骤六、旋转时敏目标的学习样本，获得不同角度下的学习样本；本发明解决了因样本数量较少以及未考虑深度学习网络特点而导致深度学习训练效果不好的问题。

Description

一种用于深度学习训练的SAR时敏目标样本增广方法

技术领域

本发明属于图像处理技术和深度学习领域，涉及一种用于深度学习训练的SAR时敏目标样本增广方法。

背景技术

近年来，各国争相将人工智能技术引入军事领域，加快武器装备智能化和智能新概念武器的研发与部署。由于卷积神经网络在目标识别与分类领域的优势，智能感知与识别分支在军事领域的发展较为广泛，包括基于星载SAR图像智能目标识别与分类技术、弹载SAR图像智能信息处理技术等。上述技术要想获得较好的识别与分类效果，在选择合适的深度学习算法基础上，无一例外地需要大量的数据去训练网络，调节网络参数以适应目标的特征。目前，获取SAR时敏目标的主要途径有三种，一是星载SAR图像，但由于各国对卫星数据资源管理非常严格，公开的数据集较少，且目标特性较为单一；二是SAR设备挂飞时敏目标采集，此方法受试验条件和经费限制，采集到的数据量有限：三是SAR时敏目标仿真，该方法可批量生成目标样本，但目标特性与实际相比存在一定差异，经特定处理后可作为部分数据参与训练。目前的主流样本增广技术有两种，一是基于生成对抗网络的SAR目标样本增广技术；二是基于图像变换的SAR目标样本增广技术。这些技术实际上仅对样本数量进行增广，并没有考虑深度学习网络机理对数据样本的需求进行增广。所以，仅靠数据集中样本数量的增广方法不能很好地提升训练效果。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提出一种用于深度学习训练的SAR时敏目标样本增广方法，解决了因样本数量较少以及未考虑深度学习网络特点而导致深度学习训练效果不好的问题。

本发明解决技术的方案是：

一种用于深度学习训练的SAR时敏目标样本增广方法，包括如下步骤：

步骤一、对目标所在区域拍摄分辨率为a米的异源SAR图集I_i,a；i为图片序号，并将异源SAR图集I_i,a转换成学习训练所需的分辨率为b米的异源SAR图集I_i,b；i为图片序号；

步骤二、设定图片灰度阈值threshold_1；将异源SAR图集I_i,b中的各图片按像素划分网格；各像素表示为I_i,b(x,y)，(x,y)为各像素在对应第i张图片中的坐标；遍历各图片的像素，找到全部I_i,b(x,y)≥threshold_1的像素，即为目标，并将每个目标制作成SAR时敏目标切片，获得切片集S_j；j为各切片序号；

步骤三、从异源SAR图集I_i,b中各图片截取背景图像，获得背景图像集B_i；

步骤四、对切片集中各切片S_j进行优化处理；处理内容包括灰度增强处理、加乘性噪声处理、径向模糊处理、镜像变换处理和旋转变换处理；

步骤五、建立时敏目标的学习样本集L_i

S1、在其中一个背景图像B_i中，以距左侧边[75,225]像素和距顶边[75,225]像素作为边界区域，在边界区域随机选取一点[x_d,y_d]作为第一序号切片S₁的左上角点，将第一个切片放置在背景图像中；

S2、遍历各切片S_j，测量获得切片中目标的最小外接矩形，测量最小外接矩形的宽为w_s，高为h_s；

S3、从剩余切片中随机选4个切片，以[x_d+w_s，y_d]为起始点，将4个切片依次水平放置在该背景图像中；

S4、再从剩余切片中随机选取3个切片，设置随机区域，将3个切片随机放置在该背景图像的随机区域中；获得1个时敏目标的学习样本L₁；

S5、重复S1-S4，获得各切片S_j在全部背景图像B_i中的时敏目标的学习样本集L_i；

步骤六、旋转时敏目标的学习样本L_i，获得不同角度下的学习样本L_i，完成不同角度下样本的增广收集。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤一中，异源SAR图集I_i,a中，各图片的宽为w_a，高为h_a；将异源SAR图集I_i,a转换为异源SAR图集I_i,b的方法为：

w_b＝w_a×a÷b

h_b＝h_a×a÷b

式中，w_b为异源SAR图集I_i,b各图片的宽；

h_b为异源SAR图集I_i,b各图片的高。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤二中，SAR时敏目标切片的制作方法为；

建立尺寸为M×N的黑色矩形背景；该背景的像素值全为0；将每个I_i,b(x,y)≥threshold_1的像素放置在黑色矩形背景的中心位置，获得SAR时敏目标切片。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤三中，背景图像的大小为300像素×300像素；背景图像内不包括I_i,b(x,y)≥threshold_1的像素。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤四中，对各切片S_j进行灰度增强处理的具体方法为：

对各切片进行灰度判断，当该切片的灰度值小于128时，对该切片进行非线性对比度增强，获得新切片，并将新切片替换原切片。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤四中，对各切片S_j进行加乘性噪声处理的具体方法为：计算每个切片S_j加乘性噪声处理后的新切片

式中，S_j为原有切片；

N为斑点噪声；

P为50×50的单位矩阵；

并将新切片

替换原有切片S_j。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤四中，对各切片S_j进行径向模糊处理的具体方法为：

选取切片S_j的中心点

以

为中心点，建立10像素×10像素的方形模糊范围；模糊范围内各像素的坐标为(x′,y′)；计算各像素点与中心点

的距离r；计算各像素点与中心点的方位角θ；连接像素点(x′,y′)与中心点

计算距离(x′,y′)像素点0-10像素的圆形范围内的各像素值(xx,yy)；计算模糊范围内径向模糊处理后的切片

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述各像素点与中心点

的距离r的计算方法为：

像素点与中心点的方位角θ的计算方法为：

各像素值S_i,n(xx,yy)的计算方法为：

径向模糊处理后的切片

的计算方法为：

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤四中，对切片进行镜像变换处理的具体方法为：

该切片各像素坐标记为(x,y)；

对切片进行水平镜像的方法为：

式中，M为切片宽度；

(x_a,y_a)为水平镜像后各像素的坐标；

对切片进行竖直镜像的方法为：

式中，N为切片高度；

(x_b,y_b)为竖直镜像后各像素的坐标。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤四中，对切片进行旋转变换处理的方法为：

式中，切片各像素坐标记为(x,y)；

θ为旋转角度；

(x_c,y_c)为旋转变换后各像素的坐标。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤五的S3中，水平放置的4个切片，相邻2个切片间隔为2个像素。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤五的S4中，置随机区域的范围为：距左侧边[0,75]∪[225,280]像素和距顶边[0,75]∪[225,280]像素围成的边界区域。

在上述的一种用于深度学习训练的SAR时敏目标样本增广方法，所述步骤六中，时敏目标的学习样本L_i的旋转角度依次为45°、90°和135°。

本发明与现有技术相比的有益效果是：

(1)本发明针对SAR时敏目标特性，选用适合的图像处理方法分别对SAR时敏目标切片和背景进行处理；使用的图像处理方法既可以对SAR时敏目标和背景的数量进行增广处理，也可保证得到的结果符合SAR成像特性；

(2)本发明可以根据当前检测任务要求以及数据情况，灵活地选取不同的图像处理方法分别对SAR时敏目标切片和背景进行处理，再按一定策略将二者进行融合，以提升数据集中目标和背景的丰富性；

(3)本发明考虑到深度学习算法网络中感受野对数据的要求，在将SAR时敏目标切片与背景融合时，提出一种适应深度学习网络特征层感受野的融合策略，在将SAR时敏目标和背景融合时充分利用特征层感受野资源，在训练时，使网络特征层更好的获取目标特征信息。

附图说明

图1为本发明SAR时敏目标样本增广流程图；

图2为本发明SAR时敏目标切片示意图；

图3为本发明背景图像示意图；

图4为本发明在背景图像中放置切片示意图；

图5为本发明时敏目标的学习样本旋转示意图。

具体实施方式

下面结合实施例对本发明作进一步阐述。

本发明提供了一种用于深度学习训练的SAR时敏目标样本增广方法，该方法不仅运用了传统的图像变换丰富了目标切片和背景的种类和数量，还结合了深度学习算法网络的特点，根据深度学习网络对目标特征提取时感受野的大小，有针对性地满足网络对样本的需求，形成了一种将传统意义上样本数量增广与深度学习算法网络特点相结合的增广方法，实现了用于深度学习训练的SAR时敏目标样本增广，有效地解决了因样本数量较少以及未考虑深度学习网络特点而导致深度学习训练效果不好上述的问题。

用于深度学习训练的SAR时敏目标样本增广方法，如图1所示，具体包括如下步骤：

步骤一、对目标所在区域拍摄分辨率为a米的异源SAR图集I_i,a；i为图片序号，并将异源SAR图集I_i,a转换成学习训练所需的分辨率为b米的异源SAR图集I_i,b；i为图片序号；异源SAR图集I_i,a中，各图片的宽为w_a，高为h_a；将异源SAR图集I_i,a转换为异源SAR图集I_i,b的方法为：

w_b＝w_a×a÷b

h_b＝h_a×a÷b

式中，w_b为异源SAR图集I_i,b各图片的宽；

h_b为异源SAR图集I_i,b各图片的高。

步骤二、设定图片灰度阈值threshold_1；将异源SAR图集I_i,b中的各图片按像素划分网格；各像素表示为I_i,b(x,y)，(x,y)为各像素在对应第i张图片中的坐标；遍历各图片的像素，找到全部I_i,b(x,y)≥threshold_1的像素，即为目标，并对每个目标制作成SAR时敏目标切片，获得切片集S_j；j为各切片序号；SAR时敏目标切片的制作方法为：

建立尺寸为M×N的黑色矩形背景；该背景的像素值全为0；将每个I_i,b(x,y)≥threshold_1的像素放置在黑色矩形背景的中心位置，获得SAR时敏目标切片，具体表现如图2所示。

步骤三、从异源SAR图集I_i,b中各图片截取背景图像，获得背景图像集B_i；背景图像的大小为300像素×300像素；背景图像内不包括I_i,b(x,y)≥threshold_1的像素，具体如图3所示。

步骤四、对切片集中各切片S_j进行优化处理；处理内容包括灰度增强处理、加乘性噪声处理、径向模糊处理、镜像变换处理和旋转变换处理；

1、对各切片S_j进行灰度增强处理的具体方法为：对各切片进行灰度判断，当该切片的灰度值小于128时，对该切片进行非线性对比度增强，获得新切片，并将新切片替换原切片。

2、对各切片S_j进行加乘性噪声处理的具体方法为：计算每个切片S_j加乘性噪声处理后的新切片

式中，S_j为原有切片；

N为斑点噪声；

P为50×50的单位矩阵；

并将新切片

替换原有切片S_j。

3、对各切片S_j进行径向模糊处理的具体方法为：

选取切片S_j的中心点

以

为中心点，建立10像素×10像素的方形模糊范围；模糊范围内各像素的坐标为(x′,y′)；计算各像素点与中心点

的距离r；计算各像素点与中心点的方位角θ；连接像素点(x′,y′)与中心点

计算距离(x′,y′)像素点0-10像素的圆形范围内的各像素值(xx,yy)；计算模糊范围内径向模糊处理后的切片

其中，各像素点与中心点

的距离r的计算方法为：

像素点与中心点的方位角θ的计算方法为：

各像素值S_i,n(xx,yy)的计算方法为：

径向模糊处理后的切片

的计算方法为：

4、对切片进行镜像变换处理的具体方法为：

该切片各像素坐标记为(x,y)；

对切片进行水平镜像的方法为：

式中，M为切片宽度；

(x_a,y_a)为水平镜像后各像素的坐标；

对切片进行竖直镜像的方法为：

式中，N为切片高度；

(x_b,y_b)为竖直镜像后各像素的坐标。

5、对切片进行旋转变换处理的方法为：

式中，切片各像素坐标记为(x,y)；

θ为旋转角度；

(x_c,y_c)为旋转变换后各像素的坐标。

对背景图像集B_i进行优化处理；处理内容包括加乘性噪声处理、径向模糊处理、镜像变换处理和旋转变换处理；处理方法与切片处理相同；

步骤五、创建时敏目标的学习样本

S1、在其中一个背景图像B_i中，以距左侧边[75,225]像素和距顶边[75,225]像素作为边界区域，在边界区域随机选取一点[x_d,y_d]作为第一序号切片S₁的左上角点，将第一个切片放置在背景图像中。

S2、遍历各切片S_j，测量获得切片中目标的最小外接矩形，测量最小外接矩形的宽为w_s，高为h_s。

S3、从剩余切片中随机选4个切片，以[x_d+w_s，y_d]为起始点，将4个切片依次水平放置在该背景图像中；水平放置的4个切片，相邻2个切片间隔为2个像素。

S4、再从剩余切片中随机选取3个切片，设置随机区域，置随机区域的范围为：距左侧边[0,75]∪[225,280]像素和距顶边[0,75]∪[225,280]像素围成的边界区域。将3个切片随机放置在该背景图像的随机区域中；获得1个时敏目标的学习样本L₁；最终放置完8个切片后的背景图像如图4所示。

S5、重复S1-S4，获得各切片S_j在全部背景图像B_i中的时敏目标的学习样本集L_i；

步骤六、旋转时敏目标的学习样本L_i，时敏目标的学习样本L_i的旋转角度依次为45°、90°和135°，如图5所示。获得不同角度下的学习样本L_i，完成不同角度下样本的增广收集。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (13)

1.一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：包括如下步骤：

步骤一、对目标所在区域拍摄分辨率为a米的异源SAR图集I_i,a；i为图片序号，并将异源SAR图集I_i,a转换成学习训练所需的分辨率为b米的异源SAR图集I_i,b；i为图片序号；

步骤二、设定图片灰度阈值threshold_1；将异源SAR图集I_i,b中的各图片按像素划分网格；各像素表示为I_i,b(x,y)，(x,y)为各像素在对应第i张图片中的坐标；遍历各图片的像素，找到全部I_i,b(x,y)≥threshold_1的像素，即为目标，并将每个目标制作成SAR时敏目标切片，获得切片集S_j；j为各切片序号；

步骤三、从异源SAR图集I_i,b中各图片截取背景图像，获得背景图像集B_i；

步骤四、对切片集中各切片S_j进行优化处理；处理内容包括灰度增强处理、加乘性噪声处理、径向模糊处理、镜像变换处理和旋转变换处理；

步骤五、建立时敏目标的学习样本集L_i

S1、在其中一个背景图像B_i中，以距左侧边[75,225]像素和距顶边[75,225]像素作为边界区域，在边界区域随机选取一点[x_d,y_d]作为第一序号切片S₁的左上角点，将第一个切片放置在背景图像中；

S2、遍历各切片S_j，测量获得切片中目标的最小外接矩形，测量最小外接矩形的宽为w_s，高为h_s；

S3、从剩余切片中随机选4个切片，以[x_d+w_s，y_d]为起始点，将4个切片依次水平放置在该背景图像中；

S4、再从剩余切片中随机选取3个切片，设置随机区域，将3个切片随机放置在该背景图像的随机区域中；获得1个时敏目标的学习样本L₁；

S5、重复S1-S4，获得各切片S_j在全部背景图像B_i中的时敏目标的学习样本集L_i；

步骤六、旋转时敏目标的学习样本L_i，获得不同角度下的学习样本L_i，完成不同角度下样本的增广收集。

2.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤一中，异源SAR图集I_i,a中，各图片的宽为w_a，高为h_a；将异源SAR图集I_i,a转换为异源SAR图集I_i,b的方法为：

w_b＝w_a×a÷b

h_b＝h_a×a÷b

式中，w_b为异源SAR图集I_i,b各图片的宽；

h_b为异源SAR图集I_i,b各图片的高。

3.根据权利要求2所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤二中，SAR时敏目标切片的制作方法为：

建立尺寸为M×N的黑色矩形背景；该背景的像素值全为0；将每个I_i,b(x,y)≥threshold_1的像素放置在黑色矩形背景的中心位置，获得SAR时敏目标切片。

4.根据权利要求3所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤三中，背景图像的大小为300像素×300像素；背景图像内不包括I_i,b(x,y)≥threshold_1的像素。

5.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤四中，对各切片S_j进行灰度增强处理的具体方法为：

对各切片进行灰度判断，当该切片的灰度值小于128时，对该切片进行非线性对比度增强，获得新切片，并将新切片替换原切片。

6.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤四中，对各切片S_j进行加乘性噪声处理的具体方法为：计算每个切片S_j加乘性噪声处理后的新切片

式中，S_j为原有切片；

N为斑点噪声；

P为50×50的单位矩阵；

并将新切片

替换原有切片S_j。

7.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤四中，对各切片S_j进行径向模糊处理的具体方法为：

选取切片S_j的中心点

以

为中心点，建立10像素×10像素的方形模糊范围；模糊范围内各像素的坐标为(x′,y′)；计算各像素点与中心点

的距离r；计算各像素点与中心点的方位角θ；连接像素点(x′,y′)与中心点

计算距离(x′,y′)像素点0-10像素的圆形范围内的各像素值(xx,yy)；计算模糊范围内径向模糊处理后的切片

8.根据权利要求7所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述各像素点与中心点

的距离r的计算方法为：

像素点与中心点的方位角θ的计算方法为：

各像素值S_i,n(xx,yy)的计算方法为：

径向模糊处理后的切片

的计算方法为：

9.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤四中，对切片进行镜像变换处理的具体方法为：

该切片各像素坐标记为(x,y)；

对切片进行水平镜像的方法为：

式中，M为切片宽度；

(x_a,y_a)为水平镜像后各像素的坐标；

对切片进行竖直镜像的方法为：

式中，N为切片高度；

(x_b,y_b)为竖直镜像后各像素的坐标。

10.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤四中，对切片进行旋转变换处理的方法为：

式中，切片各像素坐标记为(x,y)；

θ为旋转角度；

(x_c,y_c)为旋转变换后各像素的坐标。

11.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤五的S3中，水平放置的4个切片，相邻2个切片间隔为2个像素。

12.根据权利要求11所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤五的S4中，置随机区域的范围为：距左侧边[0,75]∪[225,280]像素和距顶边[0,75]∪[225,280]像素围成的边界区域。

13.根据权利要求1所述的一种用于深度学习训练的SAR时敏目标样本增广方法，其特征在于：所述步骤六中，时敏目标的学习样本L_i的旋转角度依次为45°、90°和135°。

Images