CN108389220B - 遥感视频图像运动目标实时智能感知方法及其装置 - Google Patents

Abstract

本发明提供一种遥感视频图像运动目标实时智能感知方法及其装置，通过图像处理算法、迁移学习方法和树形分类架构相结合的构建方式，实现了小尺度目标检测和利用少量样本数据训练深度卷积神经网络，并使样本数据随着系统的持续运行而不断扩充，从而在检测过程中拓展了样本数据规模，提高了目标实时智能感知的准确性。

Description

遥感视频图像运动目标实时智能感知方法及其装置

技术领域

本发明涉及图像处理技术领域，具体的涉及一种遥感视频目标实时智能感知方法，特指为视频卫星拍摄的遥感视频图像提供的一种遥感视频图像运动目标实时智能感知方法及其装置。

背景技术

视频卫星是一种采用视频成像、视频数据实时传输、人在回路交互式操作工作方式的新型天基信息获取类微小卫星。与传统卫星相比，视频卫星可提供实时视频图像，与静止单幅图像相比增加了时域信息，可获取目标的动态过程信息，能够探测到动态事件的发生，并可以基于视频图像中的序列图像进行图像重构获得更高分辨率的图像，为抗灾救灾、战时监控、计划决策提供第一手资料。面对视频卫星时刻更新的海量数据，人的理解能力既无法完成对大量数据的感知，其理解速度也无法适应信息的更新速度，为了充分挖掘与利用视频卫星所拍摄的视频图像，使人在回路的控制方式更加科学可靠，操作更加简单智能，对运动目标的实时智能感知提出了迫切需求。实现对运动目标的实时智能感知，引导视频卫星对其跟踪成像，具有重要的社会和军事价值。运动目标的实时智能感知，要求能够实时检测识别出运动目标，且感知过程无需人的参与，能够自动完成。

传统的目标检测识别算法流程包括(1)生成候选区域，如滑动窗口、选择搜索算法等，生成所有可能包含目标的区域；(2)特征提取，如尺度不变特征转换、梯度直方图等，提取出候选区域的特征；(3)图像分类，如Adaboost、支持向量机分类器等，根据提取出的候选区域图像特征对候选区域是否包含目标及目标种类做出判断，给出置信度。传统目标检测识别算法的问题主要有生成候选区域时间复杂度高，窗口大量冗余，使算法实时性差，同时形态多样性、光照变化多样性、背景多样性使得提取的特征鲁棒性差。自从2013年卷积神经网络应用于图像的目标检测识别以来，基于深度学习的目标检测识别算法得到了广泛关注，第一类还是基于传统目标检测识别流程，通过卷积神经网络识别候选区域的目标，然而通过选择搜索或者区域生成网络(RPN)得到候选区域的算法复杂度较高，无法满足实时性要求；第二类是端到端的算法，通过一个神经网络完成目标检测识别，但这些算法大多是在卷积神经网络提取出的图像特征层上检测目标，对于目标在图像中所占像素不超过总像素量5％的小尺度目标来说，无法很好地检测出来。同时，由于遥感图像中的目标往往缺乏公开的图像数据集，使得训练神经网络模型时可利用的样本数较少，导致神经网络模型的训练容易出现过拟合问题。因此，目标的小尺度特性、样本数较少以及实时性要求高是深度学习应用于遥感视频目标实时智能感知的难点所在。

发明内容

本发明提供了一种遥感视频图像运动目标实时智能感知方法及其装置，该发明解决了现有方法对遥感视频图像中小尺度目标感知结果准确性与实时性较差的技术问题。

本发明采用的技术方案如下：

本发明提供的一种基于深度学习的遥感视频运动目标实时智能感知系统，包括：运动目标候选区域图像提取模块、运动目标图像识别模块、运动目标图像归类模块；其中，运动目标候选区域图像提取模块采用图像处理算法对遥感视频原始图像进行计算，得到原始图像中可能包含运动目标的候选区域图像；运动目标图像识别模块采用经过目标样本数据训练的深度卷积神经网络对可能包含运动目标的候选区域图像进行计算，得到候选区域图像为不同类别目标的概率；运动目标图像分类模块通过计算候选区域图像为不同类别目标的贝叶斯后验概率，将候选区域图像归类为对应的目标集合，从而完成对运动目标的实时智能感知。

候选区域图像被归类为特定目标集合后，便将该候选区域图像作为样本扩充到目标样本集中，用于进一步训练运动目标图像识别模块中的深度卷积神经网络，实现对目标类别的不断细分和提高检测结果的准确性。

参见图1，本发明提供了一种遥感视频图像运动目标实时智能感知方法及其装置，包括以下步骤：

步骤S100：采用图像处理方法处理遥感视频，得到每帧图像中有可能包含运动目标的候选区域图像T；

其中，运动目标候选区域图像提取模块，可以采用传统的图像处理算法实现，包括已有的公开的视频图像运动目标检测算法，例如自适应高斯混合模型背景减除算法，该算法能得到一些可能包含运动目标的矩形区域。

步骤S200：采用深度卷积神经网络对所述候选区域图像T进行分类，得到含运动目标的提取图像及其目标分类概率P(T＝T_i)；

优选的，所述步骤S200包括以下几步：

步骤S210：通过深度卷积神经网络计算所述候选区域图像T为n+1种目标分类中任一目标的目标分类概率P(T＝T_i),i＝0,1,…,n，其中n是预设目标分类数，T₀,T₁,…,T_n表示n+1类目标，其中T₀为背景，T₁,…,T_n为预设的目标类别；

优选的，步骤S200包括以下步骤：

步骤S220：判断所述目标分类概率P是否满足max P(T＝T_i)>α,i＝1,…,n，其中α为预设阈值，如果不满足，则所述候选区域图像T中不包含目标，舍弃该候选区域图像，如果满足，则所述候选区域图像T中包含有目标，则提取所述候选区域图像T，得到提取图像；

步骤S200中的深度卷积神经网络设计为21层的Resnet网络，针对小图片主要使用小卷积核，具体网络模型如图2所示，输入为步骤100所得到的若干个矩形候选区域图像T，首先将图像标准化为None×32×32×3，None表示一帧图像中候选区域的数目，32×32则表示将图像大小调整为32×32，3表示输入为RGB图像。之后裁剪为28×28大小，在训练模型参数时是随机裁剪，在测试和使用模型时则是裁剪中间区域；

图2中“3×3conv,16,1”表示一个卷积层，3×3表示卷积核尺寸，conv表示卷积，16表示卷积核个数，1表示卷积运算的步长，当输入与输出尺寸发生变化时，会用括号注明。右侧的支线即为残差神经网络的特色之处，它将该处的结果恒等映射到下面，与经过几层卷积运算后的结果直接相加。为了突出网络结构，模型中的激活函数和归一化运算没有标注在图上。步长为2的卷积层将使图像尺寸变为原来的1/4。网络中对图像大小缩小了2次，28×28最后变为了7×7。卷积运算完成后，通过平均值池化(AvePooling)降维，即取图像中7×7个像素点的平均值，从而None×7×7×64变成了None×1×1×64，最后通过一个全连接层(FC)和柔性最大值(Softmax)层得到每个候选区域图像T为n+1个不同分类的概率P(T＝T_i),i＝0,1,…,n，这里的n是预先设定的目标分类数，T₀,T₁,…,T_n表示n+1类目标，其中T₀为背景，T₁,…,T_n为预先指定的目标类别，例如飞机，舰船等。

网络模型的参数，包括卷积层和全连接层的参数，需要预先使用已有的样本数据训练得到；

优选的，所述深度卷积神经网络中的神经网络模型采用迁移学习的方法训练。即先用公开的小图片数据集CIFAR-10训练网络模型参数，然后全连接层之前的卷积层网络参数固定，仅通过现有的遥感视频目标图像样本重新训练全连接层参数。这样需要重新训练的参数就大大减少，少量的样本数据也可以完成网络模型参数的训练。

本文中所用样本数据为通过截取含有样本图像的现有遥感视频或含有样本图像的谷歌地球遥感图像得到，每个样本类下包含大约100张含样本图像的遥感图像。

步骤S300：结合卫星星下点的先验信息，计算各所述提取图像的贝叶斯后验概率P(T＝T_i|B)，按得到所述提取图像的最大贝叶斯后验概率，判断是否P(T＝T_i0|B)＞β，其中β为阈值，如果是，则将该提取图像归类为对应T_i0类目标的目标集A，如果否，则舍弃该提取图像，输出所述目标集A；

卫星星下点的先验信息，是指拍摄区域的大致类别，例如陆地、海洋、海滨等，记为B。

贝叶斯后验概率计算公式为

其中，P(B|T_i)通过目标出现在样本集中的频数统计近似得到，即

其中n(.)表示目标出现在样本集中的频数，比如，样本集中包含“舰船”目标的图像有100张，但这100张图像的拍摄区域类别都不是“陆地”，则n(舰船)＝100；n(陆地,舰船)＝0，进而有

候选区域图像的分类，需要根据预先设定的判别阈值β进行判别，具体包括如下两个步骤：

具体而言就是：如果说明候选区域图像包含类目标，此时保留该候选区域图像，并将该候选区域图像归类为对应类目标的目标集A；如果则候选区域图像不包含类目标，此时舍弃候选区域图像从而防止误判、虚警；

将所述目标集A中所含图像作为样本数据，用于训练深度卷积神经网络模型参数。

优选的，为了提高样本数据的准确性，还包括步骤S400：将所述目标集A中所含图像作为样本数据，用于对步骤S200中所用深度卷积神经网络模型参数进行训练。

同时，随着已有样本数据的增多，通过树形分类实现对n+1种目标分类的进一步细分，使得整个系统的算法架构可以不断更新升级，所得检测结果随着该方法的使用，精确度进一步提高。此处的树形分类，是指步骤3得到候选区域包含目标的分类结果后，例如飞机、舰船这样的大分类，利用已有的细分类的样本数据，训练细分类的神经网络模型，对候选区域包含的目标进一步分类，如图3所示。该步骤能使该方法随着样本数据增加不断更新升级算法架构。

细分类神经网络模型，仍旧使用步骤S200中的21层Resnet网络。神经网络模型参数的训练与步骤S200中相同，依旧是采用迁移学习的方法。

参见图4，本发明的另一方面还提供了一种如前所述的基于深度学习的遥感视频图像运动目标实时智能感知装置，包括：

目标候选区域提取模块：用于采用图像处理方法处理遥感视频，得到每帧图像中有可能包含运动目标的候选区域图像T；

目标分类模块：用于采用深度卷积神经网络对所述候选区域图像T进行分类，得到含运动目标的的提取图像及其目标分类概率P(T＝T_i)；

目标识别模块：用于结合卫星星下点的先验信息，计算各所述提取图像的贝叶斯后验概率P(T＝T_i|B)，按得到所述提取图像的最大贝叶斯后验概率，判断是否其中β为阈值，如果是，则将该提取图像归类为对应类目标的目标集A，如果否，则舍弃该提取图像，输出所述目标集A。

优选的，还包括样本训练模块，用于将所述目标集A中所含图像作为样本数据，用于对目标分类模块中所用深度卷积神经网络模型参数进行训练。

优选的，深度卷积神经网络中的神经网络模型采用迁移学习的方法训练；所述深度卷积神经网络为21层的Resnet卷积神经网络。

优选的，目标分类模块还包括：

概率模块，用于计算所述候选区域图像T为n+1种目标分类中任一目标的目标分类概率P(T＝T_i),i＝0,1,…,n，其中n是预设目标分类数，T₀,T₁,…,T_n表示n+1类目标，其中T₀为背景，T₁,…,T_n为预设的目标类别；

判断模块，用于判断所述目标分类概率P是否满足max P(T＝T_i)<α,i＝1,…,n，其中α为预设阈值，如果不满足，则所述候选区域图像T中不包含目标，则舍弃该候选区域图像，如果满足，则所述候选区域图像T中包含有目标，则提取所述候选区域图像T，得到提取图像。

优选的，所述目标分类按树形分类进行

本发明的技术效果包括：

本发明提供的遥感视频图像运动目标实时智能感知方法及其装置，通过传统图像处理算法得到候选区域，算法复杂度低，生成的候选区域少，具有较好的实时性，也解决了小尺度目标难以检测的问题。

本发明提供的遥感视频图像运动目标实时智能感知方法及其装置，使用了21层的Resnet卷积神经网络，主要使用小尺寸卷积核，对于小尺度目标具有更好的分类效果，同时合理的层数保证了算法的实时性。

本发明提供的遥感视频图像运动目标实时智能感知方法及其装置，通过迁移学习的方法训练深度卷积神经网络，解决了小样本数据集下神经网络参数训练容易过拟合的问题。

本发明提供的遥感视频图像运动目标实时智能感知方法及其装置，利用卫星星下点的先验信息计算目标分类的贝叶斯后验概率，降低了目标虚警概率。

本发明提供的基于深度学习的遥感视频运动目标实时智能感知装置，通过树形分类架构，可以随着样本数据的增加不断更新升级，实现不断提高目标检测识别的准确性。

具体请参考根据本发明的遥感视频图像运动目标实时智能感知方法及其装置提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1为本发明提供的遥感视频图像运动目标实时智能感知方法及其装置流程图；

图2为本发明深度卷积神经网络结构图；

图3为本发明树形分类示意图；

图4为本发明提供的基于深度学习的遥感视频图像运动目标实时智能感知装置结构示意图；

图5为本发明具体实例中步骤S100得到的运动目标候选区域示意图；

图6为本发明具体实例中步骤S200输入深度卷积神经网络的候选区域图像。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

以下将结合一具体实施例，对本发明提供的基于深度学习的遥感视频运动目标实时智能感知系统及方法做进一步详细说明。

具体步骤如下：

步骤S100：将原始遥感视频数据输入到运动目标候选区域图像提取模块中，利用图像处理算法处理遥感视频的任一帧图像，得到该帧图像中的有可能包含运动目标的候选区域图像；

对美国SKYBOX卫星在轨拍摄的一段遥感视频图像进行实验，图像大小为1104×622，每秒29帧，共258帧。例如第89帧图像通过自适应高斯混合模型背景减除算法得到3个运动目标的候选区域，如图5中红框所示。

步骤S200：将步骤1所得的运动目标候选区域图像T输入到运动目标图像识别模块中，利用经过目标样本数据训练的深度卷积神经网络对候选区域图像T进行分类；

步骤S210：由步骤1得到了3个运动目标的目标候选区域，候选区域图像如图6所示，分别记为图A，B，C。深度卷积神经网络设为3个输出分类，分别为背景、飞机、舰船，将这3个候选区域图像输入神经网络后得到图像的分类概率，结果如下：

P(A＝背景)＝0.12，P(A＝飞机)＝0.87，P(A＝舰船)＝0.01

P(B＝背景)＝0.62，P(B＝飞机)＝0.37，P(B＝舰船)＝0.01

P(C＝背景)＝0.98，P(C＝飞机)＝0.01，P(C＝舰船)＝0.01

步骤S220：根据预先选定的阈值舍弃不含有兴趣目标的候选区域；设定阈值为0.8，得到候选区域B与C不包含兴趣目标，舍弃这2个候选区域。

步骤S300：结合卫星星下点的先验信息，通过计算候选区域图像分类的贝叶斯后验概率完成对候选区域图像的分类；

步骤S310：已知拍摄区域为陆地，由样本集统计可得：

P(陆地|飞机)＝0.8，P(陆地|舰船)＝0

则对图像A，P(A＝飞机|陆地)＝0×0.87÷1＝0.696，P(A＝舰船|陆地)＝0×0.01÷1＝0

步骤S320：判别阈值β设为0.5，由P(A＝飞机|陆地)>β得到图像A包含飞机目标。

步骤S400：将图像A作为样本扩充到飞机类图片样本集内，训练网络模型参数，提高网络分类准确率。

同时，经鉴别可知图像A为客机。这样随着样本数据的增多，可以将飞机样本分为客机、货机和军机三大类样本，从而可以训练一个对飞机分类的深度卷积神经网络，当确定图像中包含飞机后即可将图像输入该网络，进而确定图像中的飞机是客机、货机或者军机等，这样整个算法架构就可以随着样本数据的增加不断更新升级。

该优选实例可在嵌入式平台Jetson TX2上运行，该平台功耗不超过10W，处理视频速度可保持在15帧/秒以上，具有较好的实时性与工程实用性。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (10)

1.一种遥感视频图像运动目标实时智能感知方法，其特征在于，包括以下步骤：

步骤S100：采用图像处理方法处理遥感视频的任一帧图像，得到该帧图像中有可能包含运动目标的候选区域图像T，所述图像处理方法为自适应高斯混合模型背景减除算法；

步骤S200：采用深度卷积神经网络对所述候选区域图像T进行分类，得到各目标分类下的提取图像及其目标分类概率P(T＝T_i)；

步骤S300：结合卫星星下点的先验信息，按计算各所述提取图像的贝叶斯后验概率P(T＝T_i|B)，得到所述提取图像的最大贝叶斯后验概率，判断是否其中β为阈值，如果是，则将该提取图像归类为对应类目标的目标集A，如果否，则舍弃该提取图像，输出所述目标集A。

2.根据权利要求1所述的遥感视频图像运动目标实时智能感知方法，其特征在于，还包括步骤S4：将所述目标集A中所含图像作为样本数据，用于对步骤S200中所用深度卷积神经网络模型参数进行训练。

3.根据权利要求1所述的遥感视频图像运动目标实时智能感知方法，其特征在于，所述深度卷积神经网络中的神经网络模型采用迁移学习的方法训练；所述深度卷积神经网络为21层的Resnet卷积神经网络。

4.根据权利要求1所述的遥感视频图像运动目标实时智能感知方法，其特征在于，所述步骤S200包括以下几步：

步骤210：计算所述候选区域图像T为n+1种目标分类中任一目标的目标分类概率P(T＝T_i),i＝0,1,…,n，其中n是预设目标分类数，T₀,T₁,…,T_n表示n+1类目标，其中T₀为背景，T₁,…,T_n为预设的目标类别；

步骤220：判断所述目标分类概率P是否满足max P(T＝T_i)<α,i＝1,…,n，其中α为预设阈值，如果不满足，则所述候选区域图像T中不包含目标，则舍弃该候选区域图像，如果满足，则所述候选区域图像T中包含有目标，则提取所述候选区域图像T，得到提取图像。

5.根据权利要求1所述的遥感视频图像运动目标实时智能感知方法，其特征在于，所述目标分类按树形分类进行。

6.一种如权利要求1～5中任一项所述的遥感视频图像运动目标实时智能感知方法用装置，其特征在于，包括：

目标候选区域提取模块：用于采用图像处理方法处理遥感视频的任一帧图像，得到该帧图像中有可能包含运动目标的候选区域图像T；

目标分类模块：用于采用深度卷积神经网络对所述候选区域图像T进行分类，得到各目标分类下的提取图像及其目标分类概率P(T＝T_i)；

目标识别模块：用于结合卫星星下点的先验信息，按计算各所述提取图像的贝叶斯后验概率P(T＝T_i|B)，得到所述提取图像的最大贝叶斯后验概率，判断是否其中β为阈值，如果是，则将该提取图像归类为对应类目标的目标集A，如果否，则舍弃该提取图像，输出所述目标集A。

7.根据权利要求6所述的遥感视频图像运动目标实时智能感知方法用装置，其特征在于，还包括样本训练模块，用于将所述目标集A中所含图像作为样本数据，用于对所述目标分类模块中所用深度卷积神经网络模型参数进行训练。

8.根据权利要求6所述的遥感视频图像运动目标实时智能感知方法用装置，其特征在于，所述深度卷积神经网络中的神经网络模型采用迁移学习的方法训练；所述深度卷积神经网络为21层的Resnet卷积神经网络。

9.根据权利要求6所述的遥感视频图像运动目标实时智能感知方法用装置，其特征在于，所述目标分类模块还包括：

概率模块，用于计算所述候选区域图像T为n+1种目标分类中任一目标的目标分类概率P(T＝T_i),i＝0,1,…,n，其中n是预设目标分类数，T₀,T₁,…,T_n表示n+1类目标，其中T₀为背景，T₁,…,T_n为预设的目标类别；

判断模块，用于判断所述目标分类概率P是否满足max P(T＝T_i)<α,i＝1,…,n，其中α为预设阈值，如果不满足，则所述候选区域图像T中不包含目标，则舍弃该候选区域图像，如果满足，则所述候选区域图像T中包含有目标，则提取所述候选区域图像T，得到提取图像。

10.根据权利要求6所述的遥感视频图像运动目标实时智能感知方法用装置，其特征在于，所述目标分类按树形分类进行。