CN113344791B - 基于空洞卷积和特征融合的双目超分辨率图像检测方法、系统及介质 - Google Patents

Abstract

本发明公开了一种基于空洞卷积和特征融合的双目超分辨率图像检测方法、系统及介质，包括下述步骤：将双目图像组输入经典双目图像超分辨率网络中，生成双目超分辨率图像作为负样本集，原双目图像组作为正样本集；将正负样本数据集切成图像块并随机划分训练集图像块和测试集图像块；对图像块进行预处理，转换为灰度图像，使用高通滤波器进行滤波得到滤波图像；构建双目超分辨率图像检测网络，将训练集滤波图像输入进行训练，得到训练好的网络；将测试集滤波图像输入训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果。本发明直接对输入图像进行检测，适用于各种尺寸的图像检测，具有良好的检测性能，检测用时短，可实现实时检测。

Description

基于空洞卷积和特征融合的双目超分辨率图像检测方法、系 统及介质

技术领域

本发明涉及数字图像取证技术领域，具体涉及一种基于空洞卷积和特征融合的双目超分辨率图像检测方法、系统及介质。

背景技术

近年来，随着计算机视觉和计算摄影学技术的发展和应用，智能手机的成像功能发生了翻天覆地的变化。多摄像头模组替代了单摄像头模组，适应多摄像头模组的具有多帧融合等功能的多摄ISP算法替代了数码相机的标准ISP算法。新式的成像设备和ISP算法，尤其是将多幅图像融合为单幅图像的过程，可能导致传统的取证算法失效和误判，包括设备溯源取证和篡改取证。

多目图像超分辨率是多摄智能手机中的一个常见功能，目的是提升图像的分辨率让图像更加清晰。这个过程无疑会对传统取证方法产生干扰。例如溯源取证中常用模式噪声PRNU作为设备指纹识别图像由哪个设备生成，然而多摄图像由多个镜头拍摄并融合，不同镜头模式噪声不一致，且每次融合过程中权重也不一致，导致多摄图像的PRNU无法匹配对应设备。此外，多目图像超分辨率过程在物体边缘处以及遮挡区域，可能会引入类似拼接的痕迹，提升分辨率的结果也可能会导致基于重采样的取证检测器误判。目前还没有针对多目超分辨率图像的检测算法，而现有的数字图像取证检测模型应用在区分单目图像和多目超分辨率图像时性能有一定下滑且鲁棒性不足。因此，需要设计检测方法用于区分单目图像和多目超分辨率图像。特别地，需要设计检测方法用于区分单目图像和双目超分辨率图像。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于空洞卷积和特征融合的双目超分辨率图像检测方法，该方法克服了现有技术在双目超分辨率图像检测性能不佳、鲁棒性不强的缺陷，保证了检测的准确性，实现了高效实时的检测性能。

为了达到上述目的，本发明采用以下技术方案:

本发明一方面提供了一种基于空洞卷积和特征融合的双目超分辨率图像检测方法，包括下述步骤：

将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像，所述双目超分辨率图像作为负样本数据集，所述双目图像组作为正样本数据集；

将正负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块；

对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像，使用高通滤波器对所述灰度图像进行滤波得到滤波图像块；

构建基于空洞卷积和特征融合的双目超分辨率图像检测网络，将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练，得到训练好的网络；

将测试集滤波图像块输入到所述训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果。

作为优选的技术方案，所述将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像，具体步骤为：

选择双目图像超分辨率因子和双目图像超分辨率网络模型，所述超分辨率因子的选择包括{2，3，4}；

将双目图像组输入到双目图像超分辨率网络模型中，实现对左视图图像的超分辨率，得到双目超分辨率图像；

将所述双目图像组数据标记为0作为正样本数据集，将所述双目超分辨率图像标记为1作为负样本数据集。

作为优选的技术方案，所述将正负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块，具体为：

将正负样本数据集图像切成不重叠的大小一致的图像块，所述图像块大小为128×128像素或者64×64像素；

随机选取80％的正负样本数据作为训练集图像块，另外20％的正负样本数据作为测试集图像块。

作为优选的技术方案，所述对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像，使用高通滤波器对所述灰度图像进行滤波得到滤波图像块，具体为：

对所述训练集图像块和测试集图像块使用图像灰度化处理，将RGB图像格式转换为灰度图像块，转换公式为：

Gray＝0.299×R+0.587×G+0.114×B

式中，Gray表示转换后的灰度图像块，R、G、B分别表示RGB图像对应的颜色通道；

使用高通滤波器中8个高通滤波核对所述灰度图像块进行滤波得到8个高通滤波图像块，将所述8个高通滤波图像块拼接成1个具有8通道的滤波图像块，所述8个高通滤波核的权重为：

[-1 1]，[1 -2 1]

作为优选的技术方案，所述基于空洞卷积和特征融合的双目超分辨率图像检测网络包括空洞卷积组、残差块、池化层、深度特征融合和全连接层；

所述空洞卷积组共有两组，每一组先使用3个不同膨胀率的空洞卷积核对输入特征图进行卷积；所述3个不同膨胀率的空洞卷积核大小均为3×3，膨胀率分别设置为{1，2，3}；每个空洞卷积核的输入输出特征图通道数不变，经过3个不同的空洞卷积后得到3个和输入特征图通道数相同的特征图；将3个特征图进行组合得到通道数为输入特征图3倍的特征图，并用1×1的卷积操作进行卷积，将通道维数减少为输入的2倍；

所述残差块共有三块，每一块均包含一个卷积层和一个残差连接，所述卷积层的卷积核大小为3×3，卷积前后特征图通道数和特征图大小保持不变，每个残差块将卷积后得到的特征图和卷积前的输入按位相加；

所述深度特征融合是指将不同层的输出融合在一起，具体为：将所述空洞卷积组中的第二组输出以及所述三个残差块的输出特征图组合得到4倍通道数的特征图；使用1×1的卷积操作对所述组合特征图进行卷积，将组合特征图的通道数降低至组合特征图通道数的四分之一，即原输出通道数；

所述池化层为最大池化，池化核大小为2×2，步长为2，池化后特征图的大侠为池化前的二分之一；池化层处理每个空洞卷积组的输出以及深度特征融合后的1×1卷积输出，将特征图的大小减少为原来的一半；

所述全连接层通过Softmax函数计算输出分类概率值。

作为优选的技术方案，所述输入特征图是训练集滤波图像块；所述卷积得到的特征图均通过激活函数进行激活，所述激活函数采用泄露修正线性单元LeakyReLU，泄露值设定为0.1，激活函数具体表示为：

F(x)＝max(0.1x,x)。

作为优选的技术方案，所述将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练，具体为：将所述训练集滤波图像块输入到双目超分辨率图像检测网络中进行优化，损失函数采用交叉熵损失函数，并采用小批梯度下降算法最小化损失函数，得到训练好的网络。

作为优选的技术方案，所述将测试集滤波图像块输入到所述训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果，具体包括：

将所述测试集滤波图像块输入到所述训练好的网络中，输出概率最大的分类所对应的类别，作为该图像的类别；

计算所述测试集的分类准确率ACC，所述分类准确率为分类正确的图像块数量占图像块总数量的百分比，计算公式为：

其中，right表示分类正确的图像块数量，all表示图像块总数量。

本发明另一方面提供了一种基于空洞卷积和特征融合的双目超分辨率图像检测系统，应用于所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，包括数据标记模块、数据划分模块、数据预处理模块、模型构建模块以及检测与评估模块；

所述数据标记模块，用于将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像作为负样本数据集，所述双目图像组作为正样本数据集；

所述数据划分模块，用于将正样本数据集和负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块；

所述数据预处理模块，用于对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像块，使用高通滤波器对所述灰度图像块进行滤波得到滤波图像块；

所述模型构建模块，用于构建基于空洞卷积和特征融合的双目超分辨率图像检测网络，将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练；

所述预测与评估模块，用于将测试集滤波图像块输入到双目超分辨率图像检测网络中，输出概率最大的分类对应类别，得到图像检测结果。

本发明又一方面提供了一种计算机可读存储介质，存储有程序，所述程序被执行时，实现所述基于空洞卷积和特征融合的双目超分辨率图像检测方法。

本发明与现有技术相比，具有如下优点和有益效果：

本发明通过构建基于空洞卷积和特征融合的网络模型，使用不同膨胀率的空洞卷积组成空洞卷积组，处理高通滤波器滤波得到的特征图，捕获多尺度信息，更好的提取双目图像不同视差导致的不同的超分辨率信息，扩大感受野的同时没有增加计算量；使用残差连接学习超分辨率引入的弱特征而不是图像结构信息；使用的特征融合将不同层级语义信息融合，结合低层细节信息和高频全局信息，有效提升了检测的鲁棒性和泛化能力，对不同双目超分辨率因子和双目超分辨率方法都实现有效检测，得到精确的检测结果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于空洞卷积和特征融合的双目超分辨率图像检测方法的流程图；

图2为本发明实施例双目超分辨率图像网络结构示意图；

图3为本发明实施例空洞卷积组结构示意图；

图4为本发明实施例残差层结构示意图；

图5为本发明实施例基于空洞卷积和特征融合的双目超分辨率图像检测系统的方框图；

图6为本发明实施例计算机可读存储介质的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请中的实施例及附图，对本发明的技术方案进行清楚、完整地描述，应当理解，附图仅用于示例性说明，不能理解为对本专利的限制。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合

实施例

如图1所示，本实施例为一种基于空洞卷积和特征融合的双目超分辨率图像检测方法，该方法包括以下步骤：

S1、将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像作为负样本数据集，原双目图像组作为正样本数据集；

S2、将正负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块；

S3、对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像，然后使用高通滤波器对灰度图像块进行滤波得到滤波图像块；

S4、构建基于空洞卷积和特征融合的双目超分辨率图像检测网络，将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练，得到训练好的网络；

S5、对测试集滤波图像块输入到训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果。

更具体的，在上述实施例的基础上，本申请的另一个实施例是在双目数据集Flickr1024上进行训练测试，通过双目图像超分辨率网络PASSRnet生成双目超分辨率图像。

可以理解的是，上述Flickr1024以及PASSRnet仅是实现本发明技术方案的一种实施方式，其他能够实现本发明目的的技术均在本申请的保护范围之内。

更具体的，步骤S1中具体包括以下步骤：

S11、本实施例中选择双目图像超分辨率因子为2，选择双目图像超分辨率网络为PASSRnet；

S12、将双目图像组输入到双目图像超分辨率网络PASSRnet中，实现对左视图图像的超分辨率，得到双目超分辨率图像；

S13、将原始的双目图像组数据标记为0作为正样本数据集，将双目超分辨图像标记为1作为负样本集。

更具体的，在步骤S2中具体包括以下步骤：

S21、将正负样本数据集图像切成不重叠的大小一致的图像块，本实施例中图像块大小为128×128像素；

S22、随机选取80％的正负样本数据作为训练集图像块，另外20％的正负样本数据作为测试集图像块。

更具体的，在步骤S3中具体包括以下步骤：

S31、将训练集图像块和测试集图像使用图像灰度化处理，将RGB图像格式转换为灰度图像，转换具体公式为：

Gray＝0.299×R+0.587×G+0.114×B

其中Gray表示转换后的灰度图像块，R、G、B分别表示RGB图像对应的颜色通道；

S32、对转换得到的灰度图像块，使用8个高通滤波核对其进行滤波得到8个高通滤波图像块；将8个高通滤波图像块拼成1个具有8个通道的图像块，作为网络的输入。8个高通滤波核的权重如下所示：

[-1 1]，[1 -2 1]

更具体的，在步骤S4中，基于空洞卷积和特征融合的双目超分辨率图像检测网络包括空洞卷积组、残差块、池化层、深度特征融合和全连接层；网络整体模型如图2所示，其中输入特征图是训练集滤波图像块。

更具体的，如图3所示，空洞卷积组共有两组，每组空洞卷积组先使用3个不同膨胀率的空洞卷积核对输入特征图进行卷积；3个不同膨胀率的空洞卷积核大小都是3×3，膨胀率分别设置为{1，2，3}来扩大感受野，从而更好地提取双目超分辨率过程在像素之间引入的痕迹，实现多尺度信息的提取；每个空洞卷积的输入输出特征图通道数不变，经过3个不同的空洞卷积后得到3个和输入特征图通道数相同的特征图；然后，将3个特征图进行组合，得到通道数为输入特征图3倍的特征图，并用1×1的卷积操作进行卷积，将特征图的通道维数减少为输入特征图的2倍，一方面减少参数并降低复杂度，另一方面实现跨通道的特征提取。

更具体的，如图4所示，残差块一共有三块，每块均包含一个卷积层和一个残差连接，卷积核大小为3×3，卷积前后特征图通道数和特征图大小保持不变，每个残差块将卷积后得到的特征图和卷积前的输入按位相加。

更具体的，如图2所示，深度特征融合将不同层的输出融合在一起；深度特征融合将第二组空洞卷积组的输出以及三个残差块的输出特征图组合在一起，这四个输出特征图的大小和特征图通道数都一致，组合后得到了四倍通道数的特征图；为了降低全连接层的参数，并充分学习不同层级卷积得到的特征，尤其是低层篡改特征和高层网络的学习特征，使用1×1的卷积操作对组合特征图进行卷积，将组合特征图的通道数降低至组合特征图通道数的四分之一，即原输出通道数。

更具体的，池化层为最大池化，池化核大小为2×2，步长为2，池化后特征图的大小为池化前的二分之一；池化层处理每个空洞卷积组的输出以及深度特征融合后的1×1卷积输出，将特征图的大小减少为原来的一半。

更具体的，全连接层通过Softmax函数计算输出分类概率值。

更具体的，上述通过卷积得到的特征图均通过激活函数进行激活，激活函数采用泄露修正线性单元LeakyReLU，泄露值设定为0.1，激活函数具体表示为：

F(x)＝max(0.1x,x)。

更具体的，在步骤S4中，将训练集滤波图像块输入到双目超分辨率检测网络进行优化，损失函数采用交叉熵损失函数，并采用小批梯度下降算法最小化损失函数。

更具体的，在步骤S5中，具体包括以下步骤：

S51、将测试集滤波图像块输入到训练好的网络中，输出概率最大的分类对应的类别，作为该图像的类别；

S52、计算测试集的分类准确率ACC。

更具体的，分类准确率ACC为分类正确的图像块数量占总图像块数量的百分比，具体计算公式为：

其中right表示分类正确的图像块数量，all表示图像块总数量。

在具体实施过程中，本实施例使用双目数据集Flickr1024以及双目图像超分辨率网络PASSRnet生成双目超分辨率图像，超分辨率因子为2。训练集包括约70000张正样本图像块和约70000张负样本图像块，测试集包括约18000张正样本图像块和约18000张负样本图像块，图像块大小均为128。实验结果表明，在测试集上分类预测准确率达到98.42％，能够实现较高的检测准确率。同时，以上述训练模型检测超分辨率因子为3的双目超分辨率图像，预测准确率达到97.34％，能够实现较好的鲁棒性和泛化性。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的基于空洞卷积和特征融合的双目超分辨率图像检测方法相同的思想，本发明还提供基于空洞卷积和特征融合的双目超分辨率图像检测系统，该系统可用于执行上述基于空洞卷积和特征融合的双目超分辨率图像检测方法。为了便于说明，在本实施例基于空洞卷积和特征融合的双目超分辨率图像检测系统的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图5所示，在本申请的另一个实施例中，提供了一种基于空洞卷积和特征融合的双目超分辨率图像检测系统100，该系统包括数据标记模块101、数据划分模块102、数据预处理模块103、模型构建模块104以及检测与评估模块105；

数据标记模块101，用于将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像作为负样本数据集，原双目图像组作为正样本数据集；

数据划分模块102，用于将正负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块；

数据预处理模块103，用于对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像，使用高通滤波器对灰度图像进行滤波得到滤波图像块；

模型构建模块104，用于构建基于空洞卷积和特征融合的双目超分辨率图像检测网络，将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练，得到训练好的网络；

预测与评估模块105，用于将测试集滤波图像块输入到训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果。

需要说明的是，本发明的基于空洞卷积和特融合的双目超分辨率图像检测系统与本发明的基于空洞卷积和特征融合的双目超分辨率图像检测方法一一对应，在上述基于空洞卷积和特征融合的双目超分辨率图像检测方法的实施例阐述的技术特征及其有益效果均适用于基于空洞卷积和特征融合的双目超分辨率图像检测系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述实施例的基于空洞卷积和特征融合的双目超分辨率图像检测系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于空洞卷积和特征融合的双目超分辨率图像检测系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

如图6所示，在另一个实施例中，还提供了一种计算机可读存储介质200，存储有程序于存储器202中，当程序被处理器201执行时，实现基于空洞卷积和特征融合的双目超分辨率图像检测方法，具体为：

将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像作为负样本数据集，原双目图像组作为正样本数据集；

将正负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块；

对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像，使用高通滤波器对灰度图像进行滤波得到滤波图像块；

构建基于空洞卷积和特征融合的双目超分辨率图像检测网络，将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练，得到训练好的网络；

将测试集滤波图像块输入到训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.基于空洞卷积和特征融合的双目超分辨率图像检测方法，其特征在于，包括下述步骤：

将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像，所述双目超分辨率图像作为负样本数据集，所述双目图像组作为正样本数据集；

将正负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块；

对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像，使用高通滤波器对所述灰度图像进行滤波得到滤波图像块；

构建基于空洞卷积和特征融合的双目超分辨率图像检测网络，将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练，得到训练好的网络；

所述基于空洞卷积和特征融合的双目超分辨率图像检测网络包括空洞卷积组、残差块、池化层、深度特征融合和全连接层；

所述空洞卷积组共有两组，每一组先使用3个不同膨胀率的空洞卷积核对输入特征图进行卷积；所述3个不同膨胀率的空洞卷积核大小均为3×3，膨胀率分别设置为{1，2，3}；每个空洞卷积核的输入输出特征图通道数不变，经过3个不同的空洞卷积后得到3个和输入特征图通道数相同的特征图；将3个特征图进行组合得到通道数为输入特征图3倍的特征图，并用1×1的卷积操作进行卷积，将通道维数减少为输入的2倍；

所述残差块共有三块，每一块均包含一个卷积层和一个残差连接，所述卷积层的卷积核大小为3×3，卷积前后特征图通道数和特征图大小保持不变，每个残差块将卷积后得到的特征图和卷积前的输入按位相加；

所述深度特征融合是指将不同层的输出融合在一起，具体为：将所述空洞卷积组中的第二组输出以及所述三个残差块的输出特征图组合得到4倍通道数的特征图；使用1×1的卷积操作对所述组合特征图进行卷积，将组合特征图的通道数降低至组合特征图通道数的四分之一，即原输出通道数；

所述池化层为最大池化，池化核大小为2×2，步长为2，池化后特征图的大小为池化前的二分之一；池化层处理每个空洞卷积组的输出以及深度特征融合后的1×1卷积输出，将特征图的大小减少为原来的一半；

所述全连接层通过Softmax函数计算输出分类概率值；

将测试集滤波图像块输入到所述训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果。

2.根据权利要求1所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，其特征在于，所述将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像，具体步骤为：

选择双目图像超分辨率因子和双目图像超分辨率网络模型，所述超分辨率因子的选择包括{2，3，4}；

将双目图像组输入到双目图像超分辨率网络模型中，实现对左视图图像的超分辨率，得到双目超分辨率图像；

将所述双目图像组数据标记为0作为正样本数据集，将所述双目超分辨率图像标记为1作为负样本数据集。

3.根据权利要求1所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，其特征在于，所述将正负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块，具体为：

将正负样本数据集图像切成不重叠的大小一致的图像块，所述图像块大小为128×128像素或者64×64像素；

随机选取80%的正负样本数据作为训练集图像块，另外20%的正负样本数据作为测试集图像块。

4.根据权利要求1所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，其特征在于，所述对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像，使用高通滤波器对所述灰度图像进行滤波得到滤波图像块，具体为：

对所述训练集图像块和测试集图像块使用图像灰度化处理，将RGB图像格式转换为灰度图像块，转换公式为：

式中，Gray表示转换后的灰度图像块，R、G、B分别表示RGB图像对应的颜色通道；

使用高通滤波器中8个高通滤波核对所述灰度图像块进行滤波得到8个高通滤波图像块，将所述8个高通滤波图像块拼接成1个具有8通道的滤波图像块，所述8个高通滤波核的权重为：

。

5.根据权利要求1所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，其特征在于，所述输入特征图是训练集滤波图像块；所述卷积得到的特征图均通过激活函数进行激活，所述激活函数采用泄露修正线性单元LeakyReLU，泄露值设定为0.1，激活函数具体表示为：

。

6.根据权利要求1所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，其特征在于，所述将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练，具体为：将所述训练集滤波图像块输入到双目超分辨率图像检测网络中进行优化，损失函数采用交叉熵损失函数，并采用小批梯度下降算法最小化损失函数，得到训练好的网络。

7.根据权利要求1所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，其特征在于，所述将测试集滤波图像块输入到所述训练好的网络中，输出概率最大的分类对应类别，得到图像检测结果，具体包括：

将所述测试集滤波图像块输入到所述训练好的网络中，输出概率最大的分类所对应的类别，作为该图像的类别；

计算所述测试集的分类准确率ACC，所述分类准确率为分类正确的图像块数量占图像块总数量的百分比，计算公式为：

其中，right表示分类正确的图像块数量，all表示图像块总数量。

8.基于空洞卷积和特征融合的双目超分辨率图像检测系统，其特征在于，应用于权利要求1-7任一项所述基于空洞卷积和特征融合的双目超分辨率图像检测方法，包括数据标记模块、数据划分模块、数据预处理模块、模型构建模块以及检测与评估模块；

所述数据标记模块，用于将双目图像组输入到经典的双目图像超分辨率网络中，生成对应的双目超分辨率图像作为负样本数据集，所述双目图像组作为正样本数据集；

所述数据划分模块，用于将正样本数据集和负样本数据集切成不重叠的大小一致的图像块，并随机划分为训练集图像块和测试集图像块；

所述数据预处理模块，用于对训练集图像块和测试集图像块进行预处理，将RGB图像转换为灰度图像块，使用高通滤波器对所述灰度图像块进行滤波得到滤波图像块；

所述模型构建模块，用于构建基于空洞卷积和特征融合的双目超分辨率图像检测网络，将训练集滤波图像块输入到双目超分辨率图像检测网络中进行训练；

所述基于空洞卷积和特征融合的双目超分辨率图像检测网络包括空洞卷积组、残差块、池化层、深度特征融合和全连接层；

所述空洞卷积组共有两组，每一组先使用3个不同膨胀率的空洞卷积核对输入特征图进行卷积；所述3个不同膨胀率的空洞卷积核大小均为3×3，膨胀率分别设置为{1，2，3}；每个空洞卷积核的输入输出特征图通道数不变，经过3个不同的空洞卷积后得到3个和输入特征图通道数相同的特征图；将3个特征图进行组合得到通道数为输入特征图3倍的特征图，并用1×1的卷积操作进行卷积，将通道维数减少为输入的2倍；

所述残差块共有三块，每一块均包含一个卷积层和一个残差连接，所述卷积层的卷积核大小为3×3，卷积前后特征图通道数和特征图大小保持不变，每个残差块将卷积后得到的特征图和卷积前的输入按位相加；

所述深度特征融合是指将不同层的输出融合在一起，具体为：将所述空洞卷积组中的第二组输出以及所述三个残差块的输出特征图组合得到4倍通道数的特征图；使用1×1的卷积操作对所述组合特征图进行卷积，将组合特征图的通道数降低至组合特征图通道数的四分之一，即原输出通道数；

所述池化层为最大池化，池化核大小为2×2，步长为2，池化后特征图的大小为池化前的二分之一；池化层处理每个空洞卷积组的输出以及深度特征融合后的1×1卷积输出，将特征图的大小减少为原来的一半；

所述全连接层通过Softmax函数计算输出分类概率值；

所述预测与评估模块，用于将测试集滤波图像块输入到双目超分辨率图像检测网络中，输出概率最大的分类对应类别，得到图像检测结果。

9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被执行时，实现权利要求1-7任一项所述基于空洞卷积和特征融合的双目超分辨率图像检测方法。

Images