CN114120315A - 一种基于小样本的识别电镜病毒的方法及装置 - Google Patents

Abstract

本发明公开一种基于小样本的识别电镜病毒的方法和装置，包括：使用预设的现有电镜病毒大样本数据，对预设的初始模型进行初步训练，生成识别模型；使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练；基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果。应用本发明能实现样本数量少的病毒图像的高准确率识别，克服电镜病毒识别领域中数据量少、标注缺乏的问题。

Description

一种基于小样本的识别电镜病毒的方法及装置

技术领域

本发明涉及图像识别技术领域，具体而言，涉及一种基于小样本的识别电镜病毒的方法及装置。

背景技术

自1938年痘病毒的电镜照片首次发表以来，电镜具备的开放性视野，快速以及高分辨率等特性，被广泛应用于病毒形态分析与诊断等研究。科学家通过电镜陆续鉴别了肠道病毒71型、诺瓦克病毒、乙型肝炎病毒、轮状病毒、马尔堡病毒、SARS冠状病毒、甲型流感病毒和新冠病毒等许多医学上重要的病毒。然而，由于缺乏快速、准确以及高通量的电镜样本筛查手段，经典的病毒识别方法主要依靠专家在样本内寻找病毒颗粒，并通过病毒的形态特征判断其类别，筛查人员需要具备较高的病毒学知识。在病毒含量不高的情况下，多个样品的病毒筛查工作会耗费工作人员大量的时间和精力，极大降低检测效率。因此，自动且准确的病毒识别方法对于电子显微镜病毒的快速鉴定和分析至关重要。

近年来，深度神经网络的出现一定程度上颠覆了病毒医学影像行业的发展路径，在AI(人工智能)的介入下，病毒颗粒识别等繁杂重复的工作逐渐由算法接替，可以极大提高病毒的识别效率。具体的，可以使用大量的训练样本对深度神经网络进行前期的算法训练，这样训练得到的深度神经网络可以在电镜病毒识别中可以取得不错的效果，其中，训练样本可以包括病毒数据较和对应的高质量的标注图像。

但是，在无法获取到足够多的训练样本的情况下，深度神经网络容易出现过拟合等问题。

发明内容

本发明提供一种基于小样本的识别电镜病毒的方法及装置，用以克服现有技术中存在的至少一个技术问题。

根据本发明实施例的第一方面，提供一种基于小样本的识别电镜病毒的方法，包括使用预设的现有电镜病毒大样本数据，对预设的初始模型进行初步训练，生成识别模型，其中，所述预设的现有电镜病毒大样本数据包括大量的现有电镜病毒已标注样本图像；使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练，其中，所述预设的目标电镜病毒小样本数据包括目标电镜病毒的支持数据集和所述目标电镜病毒的查询数据集，所述支持数据集包括至少一张目标电镜病毒已标注样本图像，所述查询数据集包括至少一张待识别的目标电镜病毒的样本图像；基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果。

可选的，在所述使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练的步骤之前，所述方法还包括：对获取到的目标电镜病毒的原始图像进行压缩和裁剪处理，生成所述目标电镜病毒的样本图像；对所述目标电镜病毒的样本图像进行标注，生成预设的目标电镜病毒小样本数据。

可选的，所述使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练的步骤，包括：分别对目标电镜病毒的支持数据集和目标电镜病毒的查询数据集进行编码，生成所述支持数据集对应的支持图像特征数据和所述查询数据集对应的查询图像特征数据；基于注意力机制，确定所述支持图像特征数据的关键信息和所述查询图像特征数据的关键信息；根据所述支持图像特征数据的关键信息生成支持特征图，以及根据所述查询图像特征数据的关键信息生成查询特征图；将支持特征图和查询特征图进行拼接，生成新的组合特征关系信息，使用新的组合特征关系信息，对识别模型进行深度训练。

可选的，所述基于注意力机制，确定所述支持图像特征数据的关键信息和所述查询图像特征数据的关键信息的步骤，包括：基于注意力机制，通过特征映射传输的信息，分别确定所述支持图像特征数据和所述查询图像特征数据中的最显著部分，将所述支持图像特征数据的最显著部分记为所述支持图像特征数据的关键信息，将所述查询图像特征数据的最显著部分记为所述查询图像特征数据的关键信息。

可选的，所述基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果的步骤，包括：基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集对应的低分辨率的粗分割结果，其中，组合特征信息体现所述支持图像特征数据和所述查询图像特征数据的匹配程度；将所述粗分割结果，解码恢复至所述待识别的目标电镜病毒的样本图像的分辨率，生成所述目标电镜病毒的查询数据集的识别结果。

根据本发明实施例的第二方面，提供一种基于小样本的识别电镜病毒的装置，包括：初步训练单元、深度训练单元和生成单元；所述初步训练单元，用于使用预设的现有电镜病毒大样本数据，对预设的初始模型进行初步训练，生成识别模型，其中，所述预设的现有电镜病毒大样本数据包括大量的现有电镜病毒已标注样本图像；所述深度训练单元，用于使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练，其中，所述预设的目标电镜病毒小样本数据包括目标电镜病毒的支持数据集和所述目标电镜病毒的查询数据集，所述支持数据集包括至少一张目标电镜病毒已标注样本图像，所述查询数据集包括至少一张待识别的目标电镜病毒的样本图像；所述生成单元，用于基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果。

可选的，所述装置还包括：获取单元和标注单元；所述获取单元，用于对获取到的目标电镜病毒的原始图像进行压缩和裁剪处理，生成所述目标电镜病毒的样本图像；所述标注单元，用于对所述目标电镜病毒的样本图像进行标注，生成预设的目标电镜病毒小样本数据。

可选的，所述装置还包括：编码单元，注意力单元，关系单元和拼接单元；所述编码单元，用于分别对目标电镜病毒的支持数据集和目标电镜病毒的查询数据集进行编码，生成所述支持数据集对应的支持图像特征数据和所述查询数据集对应的查询图像特征数据；所述注意力单元，用于基于注意力机制，确定所述支持图像特征数据的关键信息和所述查询图像特征数据的关键信息；所述关系单元，用于根据所述支持图像特征数据的关键信息生成支持特征图，以及根据所述查询图像特征数据的关键信息生成查询特征图；所述拼接单元，用于将支持特征图和查询特征图进行拼接，生成新的组合特征关系信息，使用新的组合特征关系信息，对识别模型进行深度训练。

可选的，所述注意力单元，具体用于基于注意力机制，通过特征映射传输的信息，分别确定所述支持图像特征数据和所述查询图像特征数据中的最显著部分，将所述支持图像特征数据的最显著部分记为所述支持图像特征数据的关键信息，将所述查询图像特征数据的最显著部分记为所述查询图像特征数据的关键信息。

可选的，所述生成单元包括：生成子单元和解码子单元；所述生成子单元，用于基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集对应的低分辨率的粗分割结果，其中，组合特征信息体现所述支持图像特征数据和所述查询图像特征数据的匹配程度；所述解码子单元，用于将所述粗分割结果，解码恢复至所述待识别的目标电镜病毒的样本图像的分辨率，生成所述目标电镜病毒的查询数据集的识别结果。

本发明实施例的创新点包括：

1、相较于现有技术需要采用大量的训练样本才能获得较好的病毒识别效果，本发明提出了一种基于小样本的识别电镜病毒的方法及装置。可以仅用1张或5张新冠病毒样本和对应的标注图像的作为训练样本，就可以得到较为理想的识别效果，解决过拟合问题。是本发明实施例的创新点之一。

2、相较于直接采用U-Net和Res-Unet等病毒分割识别方法，本发明提出的基于小样本的识别电镜病毒的方法及装置基于关系网络学习距离的度量方式，使用BCE loss作为损失函数，获取分割结果。本发明的识别效果优于U-Net和Res-Unet等病毒分割识别方法。是本发明实施例的创新点之一。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于小样本的电镜病毒识别方法流程图；

图2为本发明中基于小样本的简单神经网络示意图；

图3为本发明中步骤102的处理流程图；

图4为本发明中基于Vgg16的网络模型的结构示意图；

图5为本发明中小样本数据的优化识别结果方法流程图；

图6为本发明中分割结果对比示意图；

图7为本发明中一种基于小样本的电镜病毒识别装置的结构示意图；

图8为本发明中再一种基于小样本的电镜病毒识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于小样本的识别电镜病毒的方法和装置。可以基于小样本学习对电镜病毒进行自动识别，以模仿人类的判别能力为目标，有效的减少对样本数量的需求，实现特定病毒图像的识别，最终克服电镜病毒识别领域中数据量少、标注缺乏的问题。该方法首先在其他病毒数据集上预训练，然后迁移到特定任务上进行少样本学习。这样训练出的模型可以通过少量病毒样本，实现较为理想的识别效果。以下分别进行详细说明。

本发明提出了一种基于小样本的识别电镜病毒的方法，可以参考图1，图1为本发明基于小样本的电镜病毒识别方法的处理流程图。如图1所示，基于小样本的电镜病毒识别方法包括如下步骤：

步骤101，使用预设的现有电镜病毒大样本数据，对预设的初始模型进行初步训练，生成识别模型，其中，所述预设的现有电镜病毒大样本数据包括大量的现有电镜病毒已标注样本图像。

具体的，首先，对获取到的大量的现有电镜病毒大样本数据的原始图像进行压缩、裁剪处理，生成现有电镜病毒的样本图像，以使现有电镜病毒的样本图像的像素大小一致，便于进行标注处理；接下来，对全部的现有电镜病毒样本图像进行标注处理，生成现有电镜病毒已标注样本图像。

具体的，对获取到的大量的现有电镜病毒大样本数据的原始图像进行压缩、裁剪处理，生成现有电镜病毒的样本图像的步骤，可以包括：

采用MATLAB软件，对现有电镜病毒的原始图像进行压缩，以及用Fiji软件进行对压缩后的现有电镜病毒的原始图像进行裁剪，生成384*384像素大小的电镜病毒图像，将384*384像素大小的现有电镜病毒图像作为现有电镜病毒的样本图像，这样，能够保证现有电镜病毒的样本图像的像素大小一致，以便进行标注处理。

其中，现有电镜病毒包括多瘤病毒、多痘病毒、副痘病毒、副粘病毒、基孔肯亚病毒、流感病毒、马尔堡病毒、正痘病毒、甲型流感病毒这9种病毒，对上述病毒通过现有的电镜进行采样，建立现有电镜病毒的原始图像。

本发明中用于训练预设的初始模型的现有电镜病毒大样本数据，可以包括上述9种病毒中各类病毒的病毒数据集，每类病毒的病毒数据集包含30张电镜病毒已标注样本图像，以保证对预设的初始模型进行充分的训练。

具体的，对全部的现有电镜病毒的样本图像进行标注处理，生成现有电镜病毒已标注样本图像的步骤，可以包括：

采用Amira软件对全部的现有电镜病毒的样本图像进行标注处理，生成二值标签图，二值标签图中标注有病毒的位置，可以将生成的二值标签图作为现有电镜病毒已标注样本图像。

由于预设的现有电镜病毒大样本数据中包含有现有电镜病毒已标注样本图像，使用预设的现有电镜病毒大样本数据对预设的初始模型进行训练，可以提高模型对电镜病毒图形的识别准确率。

在本步骤中，将生成的预设的现有电镜病毒大样本数据，输入预设的初始模型，基于损失函数和反向传播算法更新权重参数，完成初步训练，生成识别模型。

具体的，初步训练的训练次数可以为800000次，训练达到800000次即完成训练，初步训练的学习率可以为0.0001，损失函数可以为BCE loss(交叉熵损失)，以生成修改模型。

其中，单个样本的BCE loss计算公式如公式(1)所示：

其中，y_i表示训练样本真实值，

表示训练样本对应的预测值。

具体的，根据BCE loss计算公式可以计算出全体样本集的损失函数L_a，其计算公式如公式(2)所示：

其中，m表示样本个数，y_i表示训练样本真实值，

表示训练样本对应的预测值。

需要说明的是，根据上述全体样本集的损失函数，可进行简单的神经网络计算，可以参考图2，图2为本发明中基于小样本的简单神经网络示意图。如图2所示，简单的神经网络示意中反向传播过程第一步，计算神经网络各层前向传播：

z^(l)＝w^(l)a^(l—1)+b^(l) (3)

α^(l)＝σ(z^(l)) (4)

其中z^(l)表示第l层(l＝2,3)的输入向量，w^(l)表示第l-1层到l层的权重矩阵，a^{(l —1)}表示第l-1层激活输出向量，b^(l)表示第l层的偏置向量，σ(z⁽¹⁾)表示第l层的输入向量的激活函数。

具体的，所述神经网络各层包括输入层、隐藏层和输出层，其中，当l＝2时，计算公式为输入层到隐藏层的传播；当l＝3时，计算公式为隐藏层到输出层的传播。

需要说明的是，神经网络通过公式(3)和(4)的不断计算，最终输出一个训练样本对应的预测值

所述预测值

与训练样本真实值y_i之间存在一个误差L，所述误差L通过公式(1)计算得到。

其中，所述误差L越小，说明神经网络预测效果越好。

根据公式(3)中所述的输入向量和公式(4)中的激活函数，计算输出层误差如下：

在公式(5)中，δ^(l)表示损失函数在第l层的误差向量，z^(l)表示第l层的输入向量，

意为损失函数对l层的激活输出向量求导。

根据梯度下降法更新损失函数误差向量的权重w和偏置b的值，降低损失函数的值，提高神经网络的准确性：

其中，

为损失函数在第l层j个神经元的误差向量，

为从l-1层第k个神经元到第l层j个神经元之间的权重，α表示学习率，

表示第l-i层第j个神经元的激活值。

需要说明的是，神经网络需要不断训练迭代，通过公式(5)、公式(6)和公式(7)对神经网络进行训练迭代，误差L会越来越小，在上述训练过程中，每经过10次训练打印一次，保存所述损失函数当前最小的模型，当神经网络达到收敛，说明神经网络训练完成。

步骤102，使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练，以及生成目标电镜的查询数据集的识别结果，其中，目标电镜病毒的支持数据集包括至少一张目标电镜病毒已标注样本图像，目标电镜的查询数据集包括至少一张待识别的目标电镜病毒的样本图像，所述目标电镜的查询数据集包括至少一张待识别的目标电镜病毒的样本图像。

在本步骤中，将预设的目标电镜病毒小样本数据带入步骤101生成的识别模型，进行深度训练，以修正权重参数，同时，生成目标电镜的查询数据集的识别结果。

在具体实施中，可以参考图3，图3为本发明中步骤102的处理流程图。如图3所示，步骤102可以包括如下子步骤：

子步骤21，对获取到的目标电镜病毒的原始图像进行压缩和裁剪处理，生成所述目标电镜病毒的样本图像；对所述目标电镜病毒的样本图像进行标注，生成预设的目标电镜病毒小样本数据。

需要说明的是，获取预设的目标电镜病毒小样本数据，其中，所述获取预设的目标电镜病毒小样本数据包括：对目标电镜病毒的原始图像进行压缩和裁剪处理，生成目标电镜病毒的样本图像，再对目标电镜病毒的样本图像进行标注，生成预设的目标电镜病毒小样本数据。

在本步骤中，第一，针对目标电镜病毒的支持数据集：先对获取到的至少一张待识别的目标电镜病毒的原始图像进行压缩和裁剪处理，生成目标电镜病毒的样本图像，以使目标电镜病毒的样本图像的像素大小一致，便于进行标注处理；再对全部的目标电镜病毒的样本图像进行标注处理，生成目标电镜病毒已标注样本图像，将生成的目标电镜病毒已标注样本图像作为目标电镜病毒的支持数据集。

第二，针对目标电镜的查询数据集：对获取到的至少一张待识别的目标电镜病毒的原始图像进行压缩和裁剪处理，生成目标电镜病毒的样本图像，将生成的目标电镜病毒的样本图像作为目标电镜的查询数据集。

其中，预设的目标电镜病毒小样本数据包括目标电镜病毒的支持数据集和目标电镜病毒的查询数据集。

上述步骤可以参考步骤101中对预设的现有电镜病毒大样本数据进行处理的相关内容。

需要说明的是，目标电镜的支持数据集和目标电镜的查询数据集中的目标电镜病毒的原始图像是不同的图像。上述“第一”步骤和“第二”步骤不限制执行顺序。

还需要说明的是，目标电镜的支持数据集中为已经识别出的目标电镜病毒已标注样本图像，也即已清楚该电镜病毒样本图像是哪种病毒，且已经将病毒的关键部门的位置标注出来；而目标电镜的查询数据集为尚未确定病毒类型的目标电镜病毒的样本图像，但需要确定是否与目标电镜的支持数据集中的目标电镜病毒的样本图像的病毒类型一致。

比如，目标电镜的支持数据集包括1张已确定为新冠病毒的电镜病毒已标注样本图像，而目标电镜的查询数据集中包括的是50张尚未确定病毒类型，但需要判断是否为新冠病毒的电镜病毒样本图像。

在实际应用中，目标电镜病毒的支持数据集可以包括5张目标电镜病毒已标注样本图像，或包括1张目标电镜病毒已标注样本图像；目标电镜的查询数据集可以包括几十张目标电镜病毒的样本图像。

子步骤22，分别对目标电镜病毒的支持数据集和目标电镜病毒的查询数据集进行编码，生成所述支持数据集对应的支持图像特征数据和所述查询数据集对应的查询图像特征数据。

在本步骤中，可以使用基于Vgg16的网络模型，对目标电镜病毒的支持数据集和目标电镜病毒的查询数据集进行编码，进而生成目标电镜病毒的支持数据集对应的支持图像特征数据和目标电镜病毒的查询数据集对应的查询图像特征数据。

具体可以参考图4，图4为本发明中基于Vgg16的网络模型的结构示意图。如图4表示，基于Vgg16的网络模型可以通过下采样的形式将目标电镜病毒的支持数据集中的图像和目标电镜病毒的查询数据集中的图像缩小，生成目标电镜病毒的支持数据集中的图像的缩略图，记为支持缩略图，以及生成目标电镜病毒的查询数据集中的图像的缩略图，记为查询缩略图，进而提取支持缩略图的图像特征数据和查询缩略图的图像特征数据，将支持缩略图的图像特征数据记为支持图像特征数据，将查询缩略图的图像特征数据记为查询图像特征数据。

需要说明的是，基于Vgg16的网络模型是一个卷积神经网络模型，具体由13个卷积层+ReLU、3个全连接层+ReLU、5个最大池化层按一定排列顺序组成。

将一个3*3卷积，批归一化处理，ReLU非线性激活函数看作一个卷积块，本步骤使用vgg-16的13个卷积块以及5个最大池化层。

具体的，13个卷积块和5个最大池化层负责进行特征的提取。

子步骤23，基于注意力机制，确定所述支持图像特征数据的关键信息和所述查询图像特征数据的关键信息。

在本步骤中，首先，可以基于注意力机制，确定支持图像特征数据的关键信息和查询图像特征数据的关键信息，接下来，根据支持图像特征数据的关键信息生成支持特征图，以及根据查询图像特征数据的关键信息生成查询特征图。

可选的，基于注意力机制，通过特征映射传输的信息，分别确定所述支持图像特征数据和所述查询图像特征数据中的最显著部分，将所述支持图像特征数据的最显著部分记为所述支持图像特征数据的关键信息，将所述查询图像特征数据的最显著部分记为所述查询图像特征数据的关键信息。

具体的，可以基于注意力机制，可以通过特征映射传输的信息，找出支持图像特征数据和查询图像特征数据的中需要被关注的区域，来选择和定位支持图像特征数据和查询图像特征数据中的最显著部分，可以将最显著部分记为关键信息。

需要说明的是，注意力机制能够忽略无关信息而关注重点信息，基于注意力机制能够保留图像特征数据中的关键信息。

具体的，在编码模块之后添加注意力机制，本发明采用CoordAttention。。不同于传统的通道注意力机制，CoordAttention将通道注意力分解为两个沿不同方向聚合特征的1D特征编码过程，这样可以沿一个空间方向捕获长程依赖，沿另一个空间方向保留精确的位置信息，添加位置信息，帮助模型更精确地定位和识别感兴趣的目标。CoordAttention模块的输出表达式如下：

公式中x_c(i,j)为编码后的特征图，

和

分别表示水平和竖直方向的权重。

需要说明的是，该注意力机制输入的特征图和输出的特征图尺寸相同。

子步骤24，根据所述支持图像特征数据的关键信息生成支持特征图，以及根据所述查询图像特征数据的关键信息生成查询特征图。

子步骤25，将支持特征图和查询特征图进行拼接，生成新的组合特征关系信息，使用新的组合特征关系信息，对识别模型进行深度训练。

在本步骤中，可以将子步骤24中生成的支持特征图和查询特征图进行拼接，得到新的组合特征关系信息，使用得到新的组合特征关系信息对识别模型进行深度训练，更新损失函数误差向量参数的权重w和偏置b的值，生成目标模型。

同时，根据新的组合特征关系信息，对目标电镜的查询数据集进行识别，生成目标电镜的查询数据集的识别结果。

可选的，参考图5，图5为本发明中小样本数据的优化识别结果方法流程图。如图5所示，所述子步骤25具体可以包括如下子步骤：

子步骤31，基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集对应的低分辨率的粗分割结果，其中，组合特征信息体现所述支持图像特征数据和所述查询图像特征数据的匹配程度。

需要说明的是，新的组合特征关系信息用于通过计算两个样本之间的距离来反映两个样本之间的匹配程度，便于关系网络对组合特征信息的学习，生成目标电镜的查询数据集对应的低分辨率的粗分割结果。

可选的，以小样本学习中5-way 1-shot分类问题为例，将支持图像和查询图像得到的目标特征图，进行拼接，输入至关系网络计算得分，计算公式包括：

r_i,j＝g_θ(C(y_c1(i,j),y_c2(i,j))) (8)

其中y_c1(i,j)和y_c2(i,j)表示支持图像和查询图像经注意力机制后的特征图，C表示拼接操作，g_θ表示关系网络。

可选的，如果是小样本学习中k-shot，则是将k个支持图像样本得到的特征向量形成单独的特征图，然后和查询图像得到的目标特征图进行拼接，输入至关系网络g计算得分。

需要说明的是，本步骤中利用组合特征映射上的两个1*1卷积层将支持特征和查询特征进行拼接，形成新的组合特征关系信息，并生成低分辨率的粗分割结果。

在本步骤中，粗分割结果的图像中含有噪点，通过MATLAB进行后处理，去除小面积连通区域，进一步优化粗分割效果，生成优化分割结果。

在实际应用中，可以采用1-shot(ours)和5-shot(ours)对目标模型进行深度测试以及获得目标电镜的查询数据集的识别结果对应的识别结果。

子步骤32，将所述粗分割结果，解码恢复至所述待识别的目标电镜病毒样本图像的分辨率，生成所述目标电镜病毒的查询数据集的识别结果。

在本步骤中，将所述低分辨率的粗结果通过解码模块，解码恢复至与所述原始图像相同分辨率图像大小的图像。

需要说明的是，所述解码模块，根据步骤22编码中的下采样进行设计，采用等效的上采样块将分辨率恢复到与原始图像相同分辨率。

其中，所述解码模块，类似于U-Net的后半部分，包括：首先进行两次卷积，改变通道数，然后进行多次上采样、拼接、双卷积操作，解码恢复至所述原始图像大小。

其中，所述上采样、拼接、双卷积，包括一个上采样层，一个拼接函数和一个双卷积层，使用BatchNorm2d和ReLU激活函数。

需要说明的是，在所述双卷积操作部分添加shortcut线性连接，即添加残差，因为通道数不同无法直接相加，故使用1*1卷积改变通道数。

可选的，最后一层激活使用Sigmoid，将输出缩放到适当的范围以计算BCE loss(交叉熵损失)，根据真实标签图和网络预测图进行计算，计算后选择交叉熵损失最小的模型对测试集进行分割。

可选的，所述网络预测图包括U-Net、Res-UNet、1-shot(ours)、5-shot(ours)等神经网络架构。

在实际应用中，可以对目标电镜的查询数据集的识别结果进行对比试验，获得准确率分析结果。

具体的，可以设置对比试验，将获得的优化分割结果与U-Net、Res-UNet模型的分割结果进行对比，对比结果参考图6，图6为本发明中分割结果对比示意图。如图6所示，对比试验的6张分割结果图，按顺序依次是原始图像(Raw)、1-shot(ours)分割结果、5-shot(ours)分割结果、U-Net分割结果、Res-UNet分割结果、真值图(GT)。可以看出1-shot(ours)和5-shot(ours)的分割结果更加接近真实标签图，优于另外两种模型的分割结果。

此外，还对Dice系数与Jaccard系数进行评估，来分析分割结果的准确性，包括：

计算U-Net、Res-UNet、1-shot(ours)、5-shot(ours)的Dice与Jaccard系数，通过计算分割结果图与真实标签图的相似性，来分析分割结果的准确性，计算结果参考表1，表1为不同模型计算得到的平均Jaccard系数与Dice系数。如表1所示，1-shot(ours)准确率可以达到80％以上，5-shot(ours)准确率甚至可以达到90％，均高于U-Net、Res-UNet模型的分割结果。

具体的，所述平均Jaccard系数与Dice系数，包括每张测试图计算得到Jaccard系数与Dice系数，平均计算全部测试图的Jaccard系数与Dice系数平均值。

需要说明的是，Dice系数与Jaccard系数越大，两个样本的相似性越高。

表1不同模型计算得到的平均Jaccard系数与Dice系数

	Mean Jaccard	Mean Dice
			U-Net	0.5992	0.7216
Res-UNet	0.6463	0.7457
			1-shot(ours)	0.8283	0.9001
5-shot(ours)	0.8319	0.9031

具体的，所述Dice系数，公式如下：

其中，|x|表示真实标签图，|y|表示网络预测分割图，intersection(x,y)表示两个集合的交集。

具体的，所述Jaccard系数，公式如下：

其中，intersection(x,y)表示真实标签图和网络预测分割图的交集，union(x,y)表示真实标签图和网络预测分割图的并集。

需要说明的是，Jaccard系数只关心个体间共同具有的特征是否一致的问题，一般用于检测有限样本集之间的相似性与差异性。

可见，本发明设计的一种基于小样本的识别电镜病毒的方法，可以基于小样本学习对电镜病毒进行自动识别，以模仿人类的判别能力为目标，有效的减少对样本数量的需求，实现特定病毒图像的识别，最终克服电镜病毒识别领域中数据量少、标注缺乏的问题。该方法首先在其他病毒数据集上预训练，然后迁移到特定任务上进行少样本学习。这样训练出的模型可以通过少量病毒样本，实现较为理想的识别效果。

本发明还提出一种基于小样本的识别电镜病毒的装置，可以实现小样本电镜病毒图像的识别。参考图7，图7为本发明中一种基于小样本的电镜病毒识别装置的结构示意图。如图7所示，基于小样本的电镜病毒识别装置70包括：初步训练单元701、深度训练单元702和生成单元703。

初步训练单元701，用于使用预设的现有电镜病毒大样本数据，对预设的初始模型进行初步训练，生成识别模型，其中，所述预设的现有电镜病毒大样本数据包括大量的现有电镜病毒已标注样本图像。

深度训练单元702，用于使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练，其中，所述预设的目标电镜病毒小样本数据包括目标电镜病毒的支持数据集和所述目标电镜病毒的查询数据集，所述支持数据集包括至少一张目标电镜病毒已标注样本图像，所述查询数据集包括至少一张待识别的目标电镜病毒样本图像。

所述生成单元703，用于基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果。

可见，本发明设计了一种基于小样本的识别电镜病毒的装置，可以基于小样本学习对电镜病毒进行自动识别，以模仿人类的判别能力为目标，有效的减少对样本数量的需求，实现特定病毒图像的识别，最终克服电镜病毒识别领域中数据量少、标注缺乏的问题。

另一种实现方式中，本发明再提出一种基于小样本的识别电镜病毒的装置。参考图8，图8为本发明中再一种基于小样本的电镜病毒识别装置的结构示意图。如图8所示，基于小样本的电镜病毒识别装置80，包括：初步训练单元701、深度训练单元702、生成单元703、获取单元801、标注单元802、编码单元803、注意力单元804、关系单元805、拼接单元806、生成单元703包括：生成子单元7031，解码子单元7032。

获取单元801，用于获取预设的目标电镜病毒小样本数据，其中，所述获取预设的目标电镜病毒小样本数据包括：对目标电镜病毒的原始图像进行压缩和裁剪处理，生成目标电镜病毒的样本图像，再对目标电镜病毒的样本图像进行标注，生成预设的目标电镜病毒小样本数据。

编码单元802，用于分别对目标电镜病毒的支持数据集和目标电镜病毒的查询数据集进行编码，生成目标电镜病毒的支持数据集对应的支持图像特征数据和目标电镜病毒的查询数据集对应的查询图像特征数据。

注意力单元803，用于基于注意力机制，确定支持图像特征数据的关键信息和查询图像特征数据的关键信息；根据支持图像特征数据的关键信息生成支持特征图，以及根据查询图像特征数据的关键信息生成查询特征图。

具体的，所述注意力单元，用于基于注意力机制，通过特征映射传输的信息，分别确定支持图像特征数据和查询图像特征数据中的最显著部分，将所述最显著部分记为关键信息。

关系单元804，用于将支持特征图和查询特征图进行拼接，生成新的组合特征关系信息，使用新的组合特征关系信息，对识别模型进行深度训练，以及基于修正后的识别模型，生成目标电镜的查询数据集的识别结果。

需要说明的是，所述生成单元703还包括：生成子单元7031和解码子单元7032。

具体的，生成子单元7031，用于基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集对应的低分辨率的粗分割结果，其中，组合特征信息体现所述支持图像特征数据和所述查询图像特征数据的匹配程度

所述解码子单元7032，用于将所述粗分割结果，解码恢复至所述待识别的目标电镜病毒的样本图像的分辨率，生成所述目标电镜病毒的查询数据集的识别结果。

可见，本发明设计了一种基于小样本的识别电镜病毒的装置，可以基于小样本学习对电镜病毒进行自动识别，以模仿人类的判别能力为目标，有效的减少对样本数量的需求，实现特定病毒图像的识别，最终克服电镜病毒识别领域中数据量少、标注缺乏的问题。该方法首先在其他病毒数据集上预训练，然后迁移到特定任务上进行少样本学习。这样训练出的模型可以通过少量病毒样本，实现较为理想的识别效果。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于小样本的识别电镜病毒的方法，其特征在于，所述方法包括：

使用预设的现有电镜病毒大样本数据，对预设的初始模型进行初步训练，生成识别模型，其中，所述预设的现有电镜病毒大样本数据包括大量的现有电镜病毒已标注样本图像；

使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练，其中，所述预设的目标电镜病毒小样本数据包括目标电镜病毒的支持数据集和所述目标电镜病毒的查询数据集，所述支持数据集包括至少一张目标电镜病毒已标注样本图像，所述查询数据集包括至少一张待识别的目标电镜病毒的样本图像；

基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果。

2.根据权利要求1所述的方法，其特征在于，在所述使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练的步骤之前，所述方法还包括：

对获取到的目标电镜病毒的原始图像进行压缩和裁剪处理，生成所述目标电镜病毒的样本图像；

对所述目标电镜病毒的样本图像进行标注，生成预设的目标电镜病毒小样本数据。

3.根据权利要求1所述的方法，其特征在于，所述使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练的步骤，包括：

分别对目标电镜病毒的支持数据集和目标电镜病毒的查询数据集进行编码，生成所述支持数据集对应的支持图像特征数据和所述查询数据集对应的查询图像特征数据；

基于注意力机制，确定所述支持图像特征数据的关键信息和所述查询图像特征数据的关键信息；

根据所述支持图像特征数据的关键信息生成支持特征图，以及根据所述查询图像特征数据的关键信息生成查询特征图；

将支持特征图和查询特征图进行拼接，生成新的组合特征关系信息，使用新的组合特征关系信息，对识别模型进行深度训练。

4.根据权利要求3所述的方法，其特征在于，所述基于注意力机制，确定所述支持图像特征数据的关键信息和所述查询图像特征数据的关键信息的步骤，包括：

基于注意力机制，通过特征映射传输的信息，分别确定所述支持图像特征数据和所述查询图像特征数据中的最显著部分，将所述支持图像特征数据的最显著部分记为所述支持图像特征数据的关键信息，将所述查询图像特征数据的最显著部分记为所述查询图像特征数据的关键信息。

5.根据权利要求3所述的方法，其特征在于，所述基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果的步骤，包括：

基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集对应的低分辨率的粗分割结果，其中，组合特征信息体现所述支持图像特征数据和所述查询图像特征数据的匹配程度；

将所述粗分割结果，解码恢复至所述待识别的目标电镜病毒的样本图像的分辨率，生成所述目标电镜病毒的查询数据集的识别结果。

6.一种基于小样本的识别电镜病毒的装置，其特征在于，所述装置包括：初步训练单元、深度训练单元和生成单元；

所述初步训练单元，用于使用预设的现有电镜病毒大样本数据，对预设的初始模型进行初步训练，生成识别模型，其中，所述预设的现有电镜病毒大样本数据包括大量的现有电镜病毒已标注样本图像；

所述深度训练单元，用于使用预设的目标电镜病毒小样本数据，对所述识别模型进行深度训练，其中，所述预设的目标电镜病毒小样本数据包括目标电镜病毒的支持数据集和所述目标电镜病毒的查询数据集，所述支持数据集包括至少一张目标电镜病毒已标注样本图像，所述查询数据集包括至少一张待识别的目标电镜病毒的样本图像；

所述生成单元，用于基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集的识别结果。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：获取单元和标注单元；

所述获取单元，用于对获取到的目标电镜病毒的原始图像进行压缩和裁剪处理，生成所述目标电镜病毒的样本图像；

所述标注单元，用于对所述目标电镜病毒的样本图像进行标注，生成预设的目标电镜病毒小样本数据。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：编码单元，注意力单元，关系单元和拼接单元；

所述编码单元，用于分别对目标电镜病毒的支持数据集和目标电镜病毒的查询数据集进行编码，生成所述支持数据集对应的支持图像特征数据和所述查询数据集对应的查询图像特征数据；

所述注意力单元，用于基于注意力机制，确定所述支持图像特征数据的关键信息和所述查询图像特征数据的关键信息；

所述关系单元，用于根据所述支持图像特征数据的关键信息生成支持特征图，以及根据所述查询图像特征数据的关键信息生成查询特征图；

所述拼接单元，用于将支持特征图和查询特征图进行拼接，生成新的组合特征关系信息，使用新的组合特征关系信息，对识别模型进行深度训练。

9.根据权利要求8所述的装置，其特征在于，

所述注意力单元，具体用于基于注意力机制，通过特征映射传输的信息，分别确定所述支持图像特征数据和所述查询图像特征数据中的最显著部分，将所述支持图像特征数据的最显著部分记为所述支持图像特征数据的关键信息，将所述查询图像特征数据的最显著部分记为所述查询图像特征数据的关键信息。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：生成子单元，解码子单元；

所述生成子单元，用于基于深度训练后的识别模型，生成所述目标电镜病毒的查询数据集对应的低分辨率的粗分割结果，其中，组合特征信息体现所述支持图像特征数据和所述查询图像特征数据的匹配程度；

所述解码子单元，用于将所述粗分割结果，解码恢复至所述待识别的目标电镜病毒的样本图像的分辨率，生成所述目标电镜病毒的查询数据集的识别结果。

Images