CN114037650B - 变化检测及目标检测的地面目标可见光毁伤图像处理方法 - Google Patents

Abstract

本发明提供了一种变化检测及目标检测的地面目标可见光毁伤图像处理方法，通过图像增强、图像配准和图像黑边处理进行图像预处理，然后通过差异图生成和差异图分析实现图像变化检测，同时将深度学习中的两阶段检测法应用到复杂战场环境中的目标检测中，精确检测战场地面目标，为目标毁伤效果评估提供必要的输入图像。本发明有效的对获取的打击图像进行预处理，提高了变化检测和目标检测的效率，进而提高了面积变化率的计算准确度，为军事打击效果评估提供了准确数据，辅助军事决策，推动作战进程。

Description

变化检测及目标检测的地面目标可见光毁伤图像处理方法

技术领域

本发明涉及图像处理领域，尤其是一种可见光毁伤图像处理方法。

背景技术

打击效果评估(Battle Damage Assessment，BDA)，又称目标毁伤效果评估，是指对某一军事目标或区域进行火力攻击后，通过一定的侦查手段，获取敌方的毁伤信息，通过比较目标被打击前、后的信息，对打击对象的毁伤情况进行评估，以判断是否达到打击目的，是否还需组织下一波打击的过程。基于图像处理的目标毁伤效果评估属于目标被打击后评估，利用图像处理技术对获取的图像信息进行分析，然后判定目标的毁伤情况。该方法的战场实效性较高，被广泛运用于实战，但是战场环境复杂，侦查手段获取的图像受光照、晃动、角度等因素的影响,导致图像质量下降，影响毁伤评估结果，从而对图像处理算法提出了更高要求。

在现有的基于变化检测及目标检测的地面目标可见光毁伤图像处理方法中，存在如下问题：图像预处理过程中，待配准图像经过配准后会产生黑色边框，现有研究忽略了对黑色边框的处理，影响后续的变化检测效果；图像变化检测过程中，需要根据获取的图像质量和特征，选择合适的变化检测算法，实现地面目标毁伤图像的变化检测；地面目标检测过程中，现有方法主要是通过人工手段或构建待检测目标的先验知识库进行检测，而战场目标的先验信息往往无法精准获取，该类方法检测精度、效率都有待提高，尚未引入智能化的语义分割算法；毁伤信息提取过程中，目标面积计算精度和效率有待提高。

开展基于变化检测及目标检测的地面目标可见光毁伤图像处理方法研究，能够为战场目标毁伤效果评估提供可靠的毁伤信息，有助于优化火力打击方案，是信息化战争中的一个重要环节，有着十分重要的军事应用作用和意义。

发明内容

为了克服现有技术的不足，本发明提供一种变化检测及目标检测的地面目标可见光毁伤图像处理方法。首先通过图像增强、图像配准和图像黑边处理进行图像预处理，然后通过差异图生成和差异图分析实现图像变化检测，同时将深度学习中的两阶段检测法应用到复杂战场环境中的目标检测中，精确检测战场地面目标，为目标毁伤效果评估提供必要的输入图像。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一：图像增强

通过战场侦查手段获得地面目标被打击前和打击后的可见光图像，打击前可见光图像记为I_bf，打击后的可见光图像记为I_af，分别对I_bf、I_af使用中值滤波进行图像增强，对应得到经过中值滤波后的图像I_{bf_1}和I_{af_1}；

步骤二：图像配准

将图像I_{bf_1}作为参考图像，将图像I_{af_1}配准，输出配准后的打击后图像，记为I_{af_2}；

步骤三：图像黑边处理

3.1、将图像I_{af_2}转换到HSV(Hue Saturation Value)颜色空间，为了提取I_{af_2}中的黑色像素点，并划分颜色低值区间(C₁,C₂,C₃)和高值区间(D₁,D₂,D₃)，将高值、低值范围内的像素点灰度值赋值为1，区间外的像素点灰度值赋值为0，得到图像记为I_{af_3}；

3.2、将图像I_{af_3}反色，记为I_{af_4}，然后用图像I_{bf_1}减去I_{af_4}，输出叠加黑边的打击前图像I_{bf_2}：

I_{bf_2}＝I_{bf_1}-I_{af_4} (1)

步骤四：图像变化检测

4.1、差异图生成

用图像I_{bf_2}减去I_{af_2}，获得差异图I_change，差异图的尺寸为M_length×F_width：

I_change＝I_{bf_2}-I_{af_2} (2)

4.2、差异图分析

(1)构建差异图特征向量

①重新调整I_change的尺寸大小为M×F，使得图像的长和宽都是t的倍数，然后从I_change中依次获取大小为t×t的不重叠的图像块，并将图像块中各像素点灰度值组合为一个行向量，将获得的行向量组成向量集X：

X＝(x₁,x₂,L,x_r,L,x_f)^T (3)

式(3)中：x_r表示第r个图像块灰度值构成的行向量；f表示X的行数，

②计算X的均值向量β：

③对X进行零均值处理，得到向量T_zero：

T_zero＝(x₁-β,x₂-β,L,x_f-β) (5)

④计算T_zero的协方差矩阵，然后计算该协方差矩阵的特征值λ和特征向量，将特征向量按照特征值从大到小的顺序排列，最后将特征向量归一化，得特征向量G_input：

G_input＝(u₁,u₂,L,u_t×t) (6)

⑤除边界t-1个像素外，依次以I_change中各像素点为中心选取t×t大小的图像块，并将灰度值组合为一个行向量，该向量表示该中心像素点的特征向量，将获得的行向量组成向量集V_origin，计算特征向量H_feature：

H_feature＝V_originG_input (7)

⑥对H_feature进行零均值处理，得到图像I_change的特征向量H_out：

H_out＝H_feature-β (8)

(2)使用k均值聚类算法(k-means clustering algorithm，k-means)进行聚类；

完成聚类后，各像素点被重新划分为变化和不变化两类，由于战场中的地面目标尺度小，发生变化的像素点数量较少，因此像素点数最少的类属于毁伤区域，将该类的像素点灰度值赋值为1，其它类的像素点灰度值赋值为0，得到二值图像I_{change_1}；

步骤五：目标检测

Mask R-CNN(Mask Region-based Convolutional Neural Network，Mask R-CNN)属于基于深度学习的目标检测方法中的两阶段检测方法，两阶段检测法适合于复杂环境中的多尺度及小目标检测问题，如复杂战场环境中的海面舰船目标检测和地面建筑目标检测等；

5.1：设置Mask R-CNN训练参数，训练网络；

收集待检测目标数据集，用labelme标注数据标签，然后设置Mask R-CNN训练参数，训练参数包括学习率、全部样本训练轮数、批次大小、训练集和验证集比例；

5.2：Mask R-CNN实现目标检测；

针对步骤三输出的I_{bf_2}，使用步骤5.1训练好的网络进行检测，输出打击前图像目标掩膜，记为I_{out_1}，以及打击前图像中目标检测框坐标；然后根据打击前图像中目标检测框坐标，裁剪I_{out_1}和步骤四中输出的I_{change_1}，对应获得目标区域掩膜图像和目标变化区域图像，分别对应记为I_{out_2}和I_{out_3}；

步骤六：计算面积变化率：

式中：CHANGE为目标面积变化率；S_mask为目标的总面积，即图像I_{out_2}的白色像素数点个数；S_change为目标毁伤区域的面积，即图像I_{out_3}的白色像素点个数；

根据面积变化率，作战指挥部门即可判断目标的毁伤情况，从而对后续的作战起到辅助决策的作用。

所述中值滤波窗口尺寸设为a×a，式中，a表示像素点个数。

所述步骤二中，使用基于加速稳健特征算法(Speeded Up Robust Features，SURF) 将图像I_{af_1}配准。

所述SURF特征点匹配阈值设为b，b取值为0.7。

所述低值区间(C₁,C₂,C₃)取值为(0,0,1)，高值区间(D₁,D₂,D₃)取值为(255,255,255)。

所述使用k均值聚类算法(k-means clustering algorithm，k-means)进行聚类的步骤为：

①将公式(8)中H_out作为k均值聚类算法输入数据集，各元素记为y_p，因此 H_out＝{y₁,y₂,…,y_p}；其中，p∈[1,(M×N-2×(t-1))×t²]，聚类目标是将数据对象划分为 k类，记为C＝{c_j,j＝1,2,…k}；

②随机选取k个数据点作为初始聚类中心，每个数据点代表一个类别的中心u_i；

③计算各数据点到聚类中心的欧氏距离平方和D(C)：

④计算各个类别中所有数据点的均值作为该类的新的聚类中心u_k；

通过迭代步骤②③④，直到聚类中心和D(C)值不再变化，即完成聚类。

本发明的有益效果在于针对地面固定建筑物目标的战场打击图像，首先通过图像增强、图像配准和图像黑色边框处理，对图像进行图像预处理；然后通过差异图生成和差异图分析，进行了图像变化检测；再基于深度学习算法Mask R-CNN进行目标检测；最后计算面积变化率，评估目标的毁伤情况。通过本发明，有效的对获取的打击图像进行预处理，提高了变化检测和目标检测的效率，进而提高了面积变化率的计算准确度，为军事打击效果评估提供了准确数据，辅助军事决策，推动作战进程。

附图说明

图1是基于变化检测及目标检测的地面目标可见光毁伤图像处理方法流程图。

图2是侦查手段获得图像：科索沃普里什蒂纳军事机场的设施被打击前后毁伤图像，图2(a)是打击前图像，图2(b)为打击后图像。

图3是图像增强结果，图3(a)是打击前图像，图3(b)是打击后图像。

图4是打击后图像配准结果。

图5是打击前图像黑边处理结果。

图6是图像变化检测结果，图6(a)为差异图，图6(b)为变化区域二值图像。

图7是目标检测结果，其中图7(a)为目标区域掩膜图像，图7(b)为打击前图像中目标检测图，图7(c)为打击后图像中目标检测图，图7(d)为目标变化区域二值图像。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

基于变化检测及目标检测的地面目标可见光毁伤图像处理方法如图1所示。针对地面建筑物目标，通过战场侦查手段获得目标被打击前和打击后的可见光图像，如图 2所示，使用上述方法实现目标毁伤图像处理，下面结合附图和实例对本发明作进一步说明。具体实施步骤如下：

步骤一：图像增强

地面目标被打击前和打击后的可见光图像分别记为I_bf、I_af，然后对I_bf、I_af分别使用中值滤波进行图像增强，输出图像I_{bf_1}、I_{af_1}。其中，中值滤波窗口尺寸设为 a×a＝3×3，图像增强结果如图3所示。

步骤二：图像配准

将图像I_{bf_1}作为参考图像，使用基于加速稳健特征算法(Speeded Up RobustFeatures，SURF)将图像I_{af_1}配准，输出配准后的打击后图像I_{af_2}。其中，SURF特征点匹配阈值设为b＝0.7，打击后图像配准结果如图4所示。

步骤三：图像黑边处理

3.1、将图像I_{af_2}转换到HSV(Hue Saturation Value)颜色空间，颜色低值为(0,0,1)，高值为(255,255,255)，将两个取值范围内的像素点的灰度值赋值为1，区间外的像素点的灰度值赋值为0，得到图像记为I_{af_3}；

3.2、将图像I_{af_3}反色，记为I_{af_4}，然后用图像I_{bf_1}减去I_{af_4}，输出叠加黑边的打击前图像I_{bf_2}，如图5所示：

I_{bf_2}＝I_{bf_1}-I_{af_4} (1)

步骤四：图像变化检测

4.1、差异图生成

用图像I_{bf_2}减去I_{af_2}，获得差异图I_change，如图6(a)所示，获得的差异图尺寸大小为M_length×F_width＝369×368：

I_change＝I_{bf_2}-I_{af_2} (2)

4.2、差异图分析

(1)构建差异图特征向量

①重新调整I_change的尺寸大小为M×F＝365×365，从I_change中依次获取大小为 t×t＝5×5的不重叠的图像块，并将图像块中各像素点灰度值组合为一个行向量，将获得的行向量组成向量集X：

X＝(x₁,x₂,L,x_r,L,x_f)^T (3)

式中：x_r表示第r个图像块灰度值构成的行向量；f表示X的行数，

②计算X的均值向量β：

③对X进行零均值处理，得到向量T_zero：

T_zero＝(x₁-β,x₂-β,L,x_f-β) (5)

④计算T_zero的协方差矩阵，然后计算该协方差矩阵的特征值λ和特征向量，将特征向量按照特征值从大到小的顺序排列，最后将特征向量归一化，得特征向量G_input：

G_input＝(u₁,u₂,L,u_t×t) (6)

根据式(3)-式(6)，计算特征向量G_input：

⑤除边界t-1＝5-1＝4个像素外，依次以I_change中各像素为中心选取t×t＝5×5大小的图像块，并将灰度值组合为一个行向量，该向量表示该中心像素点的特征向量，将获得的行向量组成向量集V_origin，计算特征向量H_feature：

H_feature＝V_originG_input (7)

⑥对H_feature进行零均值处理，得到I_change特征向量H_out：

H_out＝H_feature-β (8)

根据式(7)-式(8)计算差异图特征向量H_out：

(2)使用k均值聚类算法(k-means clustering algorithm，k-means)进行聚类

①将公式(8)中H_out作为k均值聚类算法输入数据集，各元素记为y_p，因此 H_out＝{y₁,y₂,...,y_p}。其中，p∈[1,(M×N-2×(t-1))×t²]。聚类目标是将数据对象划分为k类，记为C＝{c_j,j＝1,2,...k}；

②随机选取k个数据点作为初始聚类中心，每个数据点代表一个类别的中心u_i；

③计算各数据点到聚类中心的欧氏距离平方和D(C)：

④计算各个类别中所有数据点的均值作为该类的新的聚类中心u_k；

取k＝2，通过迭代步骤②③④，直到聚类中心和D(C)值不再变化。完成聚类后，战场中的地面目标尺度小，发生变化的像素点数量最少，因此像素点数最少的簇属于变化区域，将该簇的像素点灰度值赋值为1，其他簇的像素点赋值为0。通过仿真计算， k＝1时，该簇像素点数最少，包含像素点8670个，k＝0时，该簇包含像素点121651 个，将k＝1簇的像素点灰度值赋值为1，其它簇的像素点赋值为0，得到二值图像I_{change_1}。如图6(b)所示。

步骤五：目标检测

Mask R-CNN(Mask Region-based Convolutional Neural Network，Mask R-CNN)属于基于深度学习的目标检测方法中的两阶段检测方法，两阶段检测法适合于复杂环境中的多尺度及小目标检测问题，如战场环境中的海面舰船目标检测和地面建筑目标检测等。

5.1：设置Mask R-CNN训练参数，训练网络；

收集待检测目标数据集，用labelme标注数据标签，然后设置Mask R-CNN训练参数。训练参数包括：学习率、全部样本训练轮数、批次大小、训练集和验证集比例。目标为建筑物类，通过国家地理信息公共服务平台(天地图)收集待建筑物类数据集，用labelme标注数据标签，标签命名为“building”，然后设置Mask R-CNN训练参数：

表1 Mask R-CNN训练参数

learning_rate	全部样本训练轮数	批次大小	训练集和验证集比例
				0.0001	250	100	11:1

5.2：Mask R-CNN实现目标检测；

针对步骤三输出的I_{bf_2}，使用步骤5.1训练好的网络进行检测，输出打击前图像目标掩膜，记为I_{out_1}，以及打击前图像中目标检测框坐标。然后根据打击前图像中目标检测框坐标，裁剪I_{out_1}和步骤四中输出的I_{change_1}，对应获得目标区域掩膜图像和目标变化区域图像，分别对应记为I_{out_2}和I_{out_3}。如图7(a)和图7(b)所示；

步骤六：计算面积变化率

式中：CHANGE为目标面积变化率；S_mask为目标的总面积，即图像I_{out_2}的白色像素数点个数；S_change为目标毁伤区域的面积，即图像I_{out_3}的白色像素点个数。仿真得： S_mask＝9380，S_change＝6405,根据式(10)，CHANGE＝68.28％

根据面积变化率，作战指挥部门即可判断目标的毁伤情况，从而对后续的作战起到辅助决策的作用。

Claims (6)

1.一种变化检测及目标检测的地面目标可见光毁伤图像处理方法，其特征在于包括下述步骤：

步骤一：图像增强

通过战场侦查手段获得地面目标被打击前和打击后的可见光图像，打击前可见光图像记为I_bf，打击后的可见光图像记为I_af，分别对I_bf、I_af使用中值滤波进行图像增强，对应得到经过中值滤波后的图像I_{bf_1}和I_{af_1}；

步骤二：图像配准

将图像I_{bf_1}作为参考图像，将图像I_{af_1}配准，输出配准后的打击后图像，记为I_{af_2}；

步骤三：图像黑边处理

3.1、将图像I_{af_2}转换到HSV颜色空间，为了提取I_{af_2}中的黑色像素点，并划分颜色低值区间(C₁,C₂,C₃)和高值区间(D₁,D₂,D₃)，将高值、低值范围内的像素点灰度值赋值为1，区间外的像素点灰度值赋值为0，得到图像记为I_{af_3}；

3.2、将图像I_{af_3}反色，记为I_{af_4}，然后用图像I_{bf_1}减去I_{af_4}，输出叠加黑边的打击前图像I_{bf_2}：

I_{bf_2}＝I_{bf_1}-I_{af_4} (1)

步骤四：图像变化检测

4.1、差异图生成

用图像I_{bf_2}减去I_{af_2}，获得差异图I_change，差异图的尺寸为M_length×F_width：

I_change＝I_{bf_2}-I_{af_2} (2)

4.2、差异图分析

(1)构建差异图特征向量

①重新调整I_change的尺寸大小为M×F，使得图像的长和宽都是t的倍数，然后从I_change中依次获取大小为t×t的不重叠的图像块，并将图像块中各像素点灰度值组合为一个行向量，将获得的行向量组成向量集X：

X＝(x₁,x₂,…,x_r,…,x_f)^T (3)

式(3)中：x_r表示第r个图像块灰度值构成的行向量；f表示X的行数，

②计算X的均值向量β：

③对X进行零均值处理，得到向量T_zero：

T_zero＝(x₁-β,x₂-β,…,x_f-β) (5)

④计算T_zero的协方差矩阵，然后计算该协方差矩阵的特征值λ和特征向量，将特征向量按照特征值从大到小的顺序排列，最后将特征向量归一化，得特征向量G_input：

G_input＝(u₁,u₂,…,u_t×t) (6)

⑤除边界t-1个像素外，依次以I_change中各像素点为中心选取t×t大小的图像块，并将灰度值组合为一个行向量，该向量表示该中心像素点的特征向量，将获得的行向量组成向量集V_origin，计算特征向量H_feature：

H_feature＝V_originG_input (7)

⑥对H_feature进行零均值处理，得到图像I_change的特征向量H_out：

H_out＝H_feature-β (8)

(2)使用k均值聚类算法进行聚类；

完成聚类后，各像素点被重新划分为变化和不变化两类，由于战场中的地面目标尺度小，发生变化的像素点数量较少，因此像素点数最少的类属于毁伤区域，将该类的像素点灰度值赋值为1，其它类的像素点灰度值赋值为0，得到二值图像I_{change_1}；

步骤五：目标检测

Mask R-CNN属于基于深度学习的目标检测方法中的两阶段检测方法；

5.1：设置Mask R-CNN训练参数，训练网络；

收集待检测目标数据集，用labelme标注数据标签，然后设置Mask R-CNN训练参数，训练参数包括学习率、全部样本训练轮数、批次大小、训练集和验证集比例；

5.2：Mask R-CNN实现目标检测；

针对步骤三输出的I_{bf_2}，使用步骤5.1训练好的网络进行检测，输出打击前图像目标掩膜，记为I_{out_1}，以及打击前图像中目标检测框坐标；然后根据打击前图像中目标检测框坐标，裁剪I_{out_1}和步骤四中输出的I_{change_1}，对应获得目标区域掩膜图像和目标变化区域图像，分别对应记为I_{out_2}和I_{out_3}；

步骤六：计算面积变化率：

式中：CHANGE为目标面积变化率；S_mask为目标的总面积，即图像I_{out_2}的白色像素数点个数；S_change为目标毁伤区域的面积，即图像I_{out_3}的白色像素点个数；

根据面积变化率，作战指挥部门即可判断目标的毁伤情况，从而对后续的作战起到辅助决策的作用。

2.根据权利要求1所述的变化检测及目标检测的地面目标可见光毁伤图像处理方法，其特征在于：

所述中值滤波窗口尺寸设为a×a，式中，a表示像素点个数。

3.根据权利要求1所述的变化检测及目标检测的地面目标可见光毁伤图像处理方法，其特征在于：

所述步骤二中，使用基于加速稳健特征算法将图像I_{af_1}配准。

4.根据权利要求1所述的变化检测及目标检测的地面目标可见光毁伤图像处理方法，其特征在于：

所述SURF特征点匹配阈值设为b，b取值为0.7。

5.根据权利要求1所述的变化检测及目标检测的地面目标可见光毁伤图像处理方法，其特征在于：

所述低值区间(C₁,C₂,C₃)取值为(0,0,1)，高值区间(D₁,D₂,D₃)取值为(255,255,255)。

6.根据权利要求1所述的变化检测及目标检测的地面目标可见光毁伤图像处理方法，其特征在于：

所述使用k均值聚类算法进行聚类的步骤为：

①将公式(8)中H_out作为k均值聚类算法输入数据集，各元素记为y_p，因此H_out＝{y₁,y₂,...,y_p}；其中，p∈[1,(M×N-2×(t-1))×t²]，聚类目标是将数据对象划分为k类，记为C＝{c_j,j＝1,2,...k}；

②随机选取k个数据点作为初始聚类中心，每个数据点代表一个类别的中心u_i；

③计算各数据点到聚类中心的欧氏距离平方和D(C)：

④计算各个类别中所有数据点的均值作为该类的新的聚类中心u_k；

通过迭代步骤②③④，直到聚类中心和D(C)值不再变化，即完成聚类。