CN111626256A - 基于扫描电镜图像的高精度硅藻检测识别方法及系统 - Google Patents

Abstract

本发明涉及一种基于扫描电镜图像的高精度硅藻检测识别方法及系统。该方法中，在采样步骤中，对不同组织采用不同的采样方法，对肝脏组织和肾脏组织的图像在采样时，先在图像上选定一个完整的硅藻，在所述硅藻的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必定完整的包含所述硅藻。这样采样，一方面可保证图像块上必定包含一个硅藻，有利于避免模型训练容易陷入拟合偏向背景的问题，使模型学习到正样本足够的特征，这样训练出来的硅藻检测模型精确度较高。而且，由于在可采样区域上进行采样，所以提取的图像块必定包含一个完整的硅藻，这样，采样效率较高。

Description

基于扫描电镜图像的高精度硅藻检测识别方法及系统

技术领域

本发明涉及法医检验领域，特别是涉及基于扫描电镜图像的高精度硅藻检 测识别方法及系统。

背景技术

法医检验领域，尸体上不同内脏组织样本(肝、肾、肺、骨髓)中检出的 硅藻可以有效推断溺亡原因和溺亡地点。在法医日常工作中，对于微米级的硅 藻，通常采用高倍放大的方式来显微成像，进而借助于人眼的识别来对硅藻目 标进行检测和数量统计，整个操作繁杂耗时且效率低下。硅藻的自动化检测识 别系统针对以上问题而被提出，其目的是从样本组织扫描图像中自动检测出硅 藻的位置并判断出其种类，搭配电子显微镜扫描控制系统可以实现全自动的软 硬件解决方案。

目前的硅藻自动化检测识别系统主要以训练深度神经网络模型来自动学习 硅藻的特征模式，从而实现硅藻对象的自动检测和判断。

然而，神经网络是一类数据驱动的方法，由于不同内脏组织携带的硅藻数 量差异性很大，比如肝肾组织所携带的硅藻数量通常非常稀少，而肺部等组织 中硅藻存在的数量通常较多，因此针对不同内脏组织图像数据采用相同的网络 训练样本准备来训练得到的硅藻检测模型性能会有很大差异。

其中，针对肺部组织的硅藻目标检测网络模型相对容易训练且准确率较高。 但肝组织图像以及肾组织图像上大部分区域为背景，硅藻数量很少且不同硅藻 种类占比差异较大，会有严重失衡的正负样本情况存在。针对肝肾组织图像的 模型训练容易陷入拟合偏向背景等问题。这会导致硅藻检测模型不精确的问题。

然而，法医检验中，肝肾组织的硅藻识别统计已作为重要的法医证据用于 辅助断案。因此，亟待解决如何有效利用肝肾组织图像中稀有的正样本硅藻来 训练高精度的深度神经网络模型。

此外，在使用模型用于硅藻检测时，由于图像分辨率较低、硅藻数量稀少 (尤其对于肝肾组织图像)及背景杂质相似等原因，常存在误检率较高或漏检 率较高的情况。

发明内容

基于此，有必要针对传统检测方法中硅藻检测模型不精确的问题，提供一 种基于扫描电子显微镜图像的高精度硅藻检测识别方法。

一种基于扫描电子显微镜图像的高精度硅藻检测识别方法，包括：

S100、对采集自扫描电镜的原始图像进行预处理，；

S200、如果经步骤S100处理后的图像是肝脏组织或肾脏组织的图像，在图 像上随机选定一个完整的硅藻，在所述硅藻的可采样区域上采用均匀随机采样 方式，以保证提取的特定尺寸的图像块必定完整的包含所述硅藻。

上述方法中，在采样步骤中，对肝脏组织和肾脏组织的图像在采样时，先 在图像上选定一个完整的硅藻，在所述硅藻的可采样区域上采用均匀随机采样 方式，以保证提取的特定尺寸的图像块必定完整的包含所述硅藻。这样采样， 一方面可保证图像块上必定包含一个硅藻，有利于避免模型训练容易陷入拟合 偏向背景的问题，使模型学习到正样本足够的特征，这样训练出来的硅藻检测 模型精确度较高。而且，由于在可采样区域上进行采样，所以提取的图像块必 定包含一个完整的硅藻，这样，采样效率较高。

在其中一个实施例中，所述步骤S200中，如果经步骤S100处理后的图像 是其它组织或水样的图像，以均匀随机采样的方式在图像中提取特定尺寸的图 像块，所述图像块需包含至少一个完整的硅藻。

在其中一个实施例中，所述步骤S100中，所述预处理方法为：先进行去噪 处理，然后进行数据标准化处理，所述去噪处理采用非局部平均算法，所述数 据标准化处理采用Z-score标准化方法。

在其中一个实施例中，所述步骤S200中，所述在图像上随机选定一个硅藻， 在所述硅藻的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的 图像块必定完整的包含所述硅藻,具体为：

采用与所述图像块尺寸相同的框，移动所述框，将所述硅藻位于框的左上 角区域，记录该框的左上角的位置，该位置为区域右下角标记位置，移动所述 框，将所述硅藻位于框的右下角区域，记录该框的左上角的位置，该位置为区 域左上角标记位置，由区域左上角标记位置和区域右下角标记位置确定一矩形 区域，提取图像块时，保证图像块的左上角位于所述矩形区域内，即可保证提 取的特定尺寸的图像块必定完整的包含所述硅藻。

在其中一个实施例中，还包括以下步骤：

S300、将步骤S200提取出的图像块输入通用硅藻检测网络进行训练。

在其中一个实施例中，所述步骤S300中，将步骤S200提取出的图像块输 入通用硅藻检测网络进行训练，采用Focal Loss函数和

函数来组合构成 通用硅藻检测网络的损失函数，其中，Focal Loss函数用于定义概率预测误差，

函数用于定义位置预测误差。

在其中一个实施例中，还包括以下步骤：

S400、将待检测图像按照步骤S100的方法预处理后，分割成多个图像尺寸 相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在 原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻 检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻 位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集 合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置；

S500、将所述预测集合

执行以下操作：

S510、将所述预测集合

根据p_n由大到小进行排序，

S520、将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算 位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

S530、计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算 位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出 目标，

S540、从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

S550、重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终， 从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

在其中一个实施例中，所述步骤S400中，所述输出得到每个子图像的硅藻 位置预测结果后，先经过非极大值抑制算法去冗余，然后每个子图像的硅藻位 置预测结果加上该子图像相对原始待检测图像的偏移信息。

一种基于扫描电子显微镜图像的高精度硅藻检测识别系统，包括：

图像预处理单元，用于对采集自扫描电镜的原始图像进行预处理；

采样单元，用于在经图像预处理单元处理后的图像上进行采样，如果图像 是肝脏组织或肾脏组织的图像，在图像上随机选定一个完整的硅藻，在所述硅 藻的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必 定完整的包含所述硅藻。

在其中一个实施例中，所述采样单元中，如果图像是其它组织或水样的图 像，以均匀随机采样的方式在图像中提取特定尺寸的图像块，所述图像块需包 含至少一个完整的硅藻。

所述图像预处理单元中的预处理包括：先进行去噪处理，然后进行数据标 准化处理，所述去噪处理采用非局部平均算法，所述数据标准化处理采用 Z-score标准化方法；

还包括：

模型训练单元，用于将采样单元获取的图像块输入通用硅藻检测网络，以 对通用硅藻检测网络进行训练,所述模型训练单元中，采用Focal Loss函数和

函数来组合构成通用硅藻检测网络的损失函数，其中，Focal Loss函数用 于定义概率预测误差，

函数用于定义位置预测误差；

预测集合形成单元，所述预测集合形成单元用于将经过图像预处理单元预 处理后的待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区 域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将 这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅 藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始 待检测图像的偏移信息，得到一个预测集合

其中，p_n为 预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位 置；

多概率预测组合后处理单元，所述多概率预测组合后处理单元用于执行以 下操作：

将所述预测集合

根据p_n由大到小进行排序，

将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置 交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的 硅藻位置，

计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均 值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检 测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

附图说明

图1为本发明的实施例的基于扫描电子显微镜图像的高精度硅藻检测识别 方法的流程图。

图2为本发明的实施例的确定肝肾组织图像上某个硅藻的可采样区域的示 意图。

图3为本发明的实施例的多概率组合预测后处理方法的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对 本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以 便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实 施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发 明不受下面公开的具体实施例的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术 领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术 语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1所示，本发明的实施例提供了一种基于扫描电子显微镜图像的高精 度硅藻检测识别方法，包括：

S100、对采集自扫描电镜的原始图像进行预处理。

S200、如果经步骤S100处理后的图像是肝脏组织或肾脏组织的图像，在图 像上随机选定一个硅藻，在所述硅藻的可采样区域上采用均匀随机采样方式， 以保证提取的特定尺寸的图像块必定完整的包含所述硅藻。

进一步的是，上述步骤S200中，如果经步骤S100处理后的图像是其它组 织或水样的图像，以均匀随机采样的方式在图像中提取特定尺寸的图像块，所 述图像块需包含至少一个完整的硅藻。如果采样过程中没有包含一个完整的硅 藻，则需重新采样。其中，上述其它组织的图像也就是除肝脏组织和肾脏组织 以外的其它组织图像，例如，肺组织图像等。上述水样是采集溺亡地点水域的 样品。

需要说明的是，上述采样所用到的图像的类型是已知的。也就是在获取原 始图像时，已经知道原始图像是属于肝肾组织还是属于其它组织或水样。本发 明的上述方法是根据图像的类型不同，采用不同的采样方法。进而将采样获取 的图像块输入通用硅藻检测网络，以对通用硅藻检测网络进行训练。并且，在 对通用硅藻检测网络进行训练所用的原始图像上的各个硅藻的位置信息也是已 知的，也就是可通过人工确定原始图像上的各个硅藻的位置信息。

本发明提出了基于不同类型图片的网络模型训练样本采样方法：依据肝肾 组织和其它内脏组织以及水样中硅藻特征差异，使用不同的均匀随机采样策略 改善训练阶段肝肾组织图像正负样本不平衡的问题，有效提高了正样本使用率。

本发明可在不增加样本数量的基础上，针对肝肾组织图像采用简单但巧妙 的策略充分利用现有的正样本(硅藻)，有改善肝肾组织图像中硅藻正负样本不 均衡的效果。

本实施例中，上述扫描电镜采集原始图像可通过以下方法实现：可采用“微 波消解-滤膜富集”方法处理内脏样本组织，在扫描电子显微镜系统设定圆形区 域圈定样本扫描空间范围，设定扫描电镜的放大率(Magnification)以及子区 域扫描图像的大小。通过上述设定将确定扫描区域被划分为多少子区域，同时 可以明确扫描总时间。随后开始扫描得到原始图像。

具体的，可采用“微波消解-滤膜富集”方法处理内脏样本组织，使用飞纳 XL桌面式扫描电子显微镜来对样本组织扫描成像，显微镜放大率设定在800倍 到1500倍之间，其对应了0.33到0.62μm的分辨率，子区域图像成像大小设定 为1024×1024。

本实施例中，所述步骤S100中，所述预处理包括先进行去噪处理，然后进 行数据标准化处理。所述去噪处理采用非局部平均算法，所述数据标准化处理 采用Z-score标准化方法。例如，使用非局部平均算法和Z-score标准化方法 级联的方式来预处理采集到的16-bit原始图像信号。

其中，采用非局部平均算法进行去噪：基于全像素域内的相似度加权平均， 去噪同时能有效保护边界和纹理细节。其过程可描述为输入图像v(p)与定义在原 始图像域空间Ω的权重ω(p,q)间的乘积和：

其中，p和q为 像素位置，

而v(p)是像素p的灰 度值。

其中，所述数据标准化处理采用Z-score标准化方法：考虑到输入图像灰 度分布差异性易造成模型训练困难。首先在训练集图像样本(去噪后)上计算 均值μ及标准差σ，再对每个训练或测试样本I(去噪后)采用标准化操作

得到归一化的样本数据。

本发明之所以将非局部平均算法和Z-score标准化方法级联应用，是由于： 采集自扫描电镜的显微图像噪声严重，而硅藻特征结构很容易受到噪声掩盖造 成与背景图像中的杂质等难以区分的问题，同时考虑到不同硅藻图像间的灰度 分布差异，所以需要图像预处理。特别是非局部平均算法在去噪基础上能够很 好地保护边界及纹理细节，与Z-score标准化方法级联应用后，可显著提高后 续训练后的模型的检测精度。

具体的，所述步骤S200中，所述在图像上随机选定一个硅藻，在所述硅藻 的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必定 完整的包含所述硅藻,具体为：

采用与所述图像块尺寸相同的框，移动所述框，将所述硅藻位于框的左上 角区域，记录该框的左上角的位置，该位置为区域右下角标记位置(x_rb,y_rb)，移 动所述框，将所述硅藻位于框的右下角区域，记录该框的左上角的位置，该位 置为区域左上角标记位置(x_lt,y_lt)，由区域左上角标记位置和区域右下角标记位置 确定一矩形区域，提取图像块时，保证图像块的左上角位于所述矩形区域内， 即可保证提取的特定尺寸的图像块必定完整的包含所述硅藻。通过上述方法， 实际上就可以确定硅藻的可采样区域，在可采样区域内采样，图像块必然包括 所述硅藻。

例如，如图2所示，图像大小为1024×1024，在图像上随机选定某个硅藻， 定义可采样图像块大小为512×512，采用与所述图像块尺寸相同的框，也就是框 的大小为512×512。移动所述框，将所述硅藻位于框的左上角区域，记录该框的 左上角的位置，该位置即为图2中的阴影区域的区域右下角标记位置(x_rb,y_rb)。 移动所述框，将所述硅藻位于框的右下角区域，记录该框的左上角的位置，该 位置为图2中的阴影区域的区域左上角标记位置(x_lt,y_lt)。由区域左上角标记位置 和区域右下角标记位置可确定一矩形区域，也就是图2中的阴影区域。提取图 像块时，保证图像块的左上角位于所述阴影区域内，则无论如何移动图像块， 图像块都在该硅藻的可采样区域内，进而使得在可采样区域内均匀随机采样，都可保证提取的图像块必然包含至少一个完整硅藻。

可以理解，步骤S200中，所述硅藻的可采样区域的确定方式有多种。只要 满足上述采样条件的区域都可作为可采样区域。本发明的上述方法是一种简单 有效的确定可采区域的方法。

可以理解，所述步骤S200中，所述硅藻的可采样区域也可以通过其它方式 确定，只要保证在该区域内采样时，图像块必然包括一个完整的硅藻即可。

进一步的是，所述步骤S200中，可采用线性同余法来生成离散均匀分布伪 随机数：z_t+1＝(az_t+c)modm，可产生分布在区间[0,m-1]上的随机数，而z₀是初始 随机种子，a和c是优选参数。令

考虑偏移 量，则产生的随机图像块左上角位置则为

得到的图像块的数量取 决训练集数据量大小。可通过增加数据增强步骤来扩充数据的多样性，例如， 可包括图像翻转，旋转和缩放等。

本实施例中，还包括以下步骤：

S300、将步骤S200提取出的图像块输入通用硅藻检测网络(DiatomNet) 进行训练。

上述通用硅藻检测网络(DiatomNet)为现有的检测模型。上述通用硅藻检 测网络基于深度神经网络算法实现。上述通用硅藻检测网络包括但不限于卷积 神经网络(CNN)、循环神经网络(RNN)和神经网络架构搜索(NAS)得到的 网络。

进一步的是，本发明的上述硅藻检测识别方法可采用卷积神经网络，具体 可包括卷积层、批处理归一化、激活函数、池化层等。

上述通过硅藻检测网络的输出包含：预测对象判为前景目标的概率或称置 信度p_n、预测对象的左上角和右下角位置

及可能的预测不同硅藻 类型的分类概率向量

因此，输出结果表示为

上述通过硅藻检测网络训练需定义输出预测与图像标注(金标准)之间的 损失函数，基于反向传播算法(BP)来优化计算得到其梯度，从而更新网络模 型参数。

具体的，位置误差度量采用光滑L₁函数：

其结合 了L₁和L₂正则化函数，保留了对离群点和异常值不敏感的优点，同时解决了L₁函 数在折点稳定性的问题。

具体的，硅藻检测概率误差度量采用Focal Loss函数等对正负样本不平衡 有一定优化的误差度量方法。

本发明选用了Focal Loss函数和

函数来组合构成通用硅藻检测网络 的损失函数。这里，Focal Loss函数用于定义概率预测误差，而

用于定 义位置预测误差。虽然Focal Loss函数和

函数都是深度神经网络中已知 的损失函数，但本发明涉及的硅藻自动识别这一技术领域不同于普通物体识别， 显微成像下的硅藻形态纹理特征及背景空间与常用相机拍摄下的物体有极大的 差异，而实践表明该组合损失函数形式可兼顾对于正负样本不平衡的问题及过 拟合等现象的缓解，满足通用硅藻检测识别应用的实际需求。

本实施例中，如图3所示，还包括以下步骤：

S400、将待检测图像按照步骤S100的方法预处理后，分割成多个图像尺寸 相同的重叠的子图像，以保证边界区域的检测完整性，也就是分割成的多个子 图像将待检测图像完全覆盖，这样可保证对待检测图像上的各个区域进行检测， 不会遗漏。具体分割方式有多种，例如图3所示的方式，将待检测图像均分成4 份，分别为1号子图像、2号子图像、3号子图像和4号子图像。将待检测图像 分成2份，分别为上下排布的5号子图像和6号子图像，其中，5号子图像和6 号子图像分别与1号子图像、2号子图像、3号子图像和4号子图像部分重叠。 将待检测图像分成2份，分别为左右排布的7号子图像和8号子图像，其中7 号子图像和8号子图像分别与1号子图像、2号子图像、3号子图像和4号子图 像部分重叠。将待检测图像中央区域分割出9号子图像，9号子图像分别与1号 子图像、2号子图像、3号子图像和4号子图像部分重叠。可以理解，以上只是 举例，也可以采用其它分割方式。进一步的是,记录每个子图像在原始的待检测 图像上的偏移信息(也就是子图像的左上角位置信息)，将这些子图像数据输入 训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然 后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目 标的概率，也就是该位置

判为硅藻的概率。

为预测对 象的左上角和右下角的位置。也就是预测出的硅藻位置的左上角和右下角的坐 标。其中，

为预测对象的左上角位置，

为预测对象的右下角位置。 左上角位置和右下角位置共同围成一个框形区域，该区域为硅藻位置。

S500、将所述预测集合

执行以下操作：

S510、将所述预测集合

根据p_n由大到小进行排序。

S520、将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算 位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置。

S530、计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算 位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出 目标。需要说明的是，上述T_Diatom的大小可根据实情情况确定，例如可为0.4-0.7。 如预测概率均值小于等于阈值T_Diatom，则直接执行步骤S540的操作。

S540、从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，上述阈 值T_IoU的大小可根据实际情况进行确定，例如可为0.6-0.8。

S550、重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终， 从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

需要说明的是，上述步骤S400中，子图像数据输入训练完成的通用硅藻检 测网络模型后输出预测结果,其中，如果上述通用硅藻检测网络采用基于Anchor 的检测方法，输出得到每个子图像的硅藻区域预测结果

后，优选经过非 极大抑制(NMS)算法去冗余，然后加上各自子图像相对原始图像的偏移信息， 最终得到一组预测结果{Pr_n}_n＝1,...,N。因为采用Anchor的检测方法，会在经过神经 网络输出的概率图上每个像素点都设定几个概率框用于预测，所以最终会产生 很多很密的预测框，并且彼此间可能存在很多的冗余重叠。使用非极大抑制算 法的目的就是去除冗余，只保留概率最大的那个结果。这样就可以得到每个子 图像的预测结果。但是子图像是从原始的待检测图像上采集出来的一个子块， 子图像的原点在原始的待检测图像上基本都不是0，也就是有个偏移。所以，子 图像预测出的位置对应到原始的待检测图像必须加上这个偏移才是原始的待检 测图像的预测结果。

例如，在模型解释阶段，经过去噪归一化处理的图像被分割为9个子图像 输入通用硅藻检测网络模型进行预测。根据硬件计算能力，可以多个子图像同 时处理，并将各子图像的预测结果经过非极大抑制算法去冗余，然后每个子图 像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，形成一 个预测集合

需要说明的是，鉴于子图像间存在重叠导致预测的硅藻目标区域也会有重 叠，而子图像由于不同图像背景信息的影响会导致预测结果准确不一，也就是 会出现遗漏、误检或位置预测不够精细等问题。因此,本发明先基于偏移位置信 息将重叠子图像预测结果统一到原始图像空间域，然后再迭代计算当前预测结 果中最大概率的预测区域与剩余的预测区域间交并比，满足条件的计算其平均 目标区域值，并将该区域值对应的原始的待检测图像上的区域作为一个硅藻检 出目标。该后处理方法可有效提高硅藻检测识别的整体精度，遗漏率和误检率 显著降低。例如，Recall召回率可以达到0.95左右，代表漏检率很低。误检率 可降低10％-20％。

本发明的实施例还提供了一种基于扫描电子显微镜图像的高精度硅藻检测 识别系统，包括：

图像预处理单元，用于对采集自扫描电镜的原始图像进行预处理；

采样单元，用于在经图像预处理单元处理后的图像上进行采样，如果图像 是肝脏组织或肾脏组织的图像，在图像上随机选定一个硅藻，在所述硅藻的可 采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必定完整 的包含所述硅藻。

进一步的是，上述采样单元中，如果图像是其它组织的图像，以均匀随机 采样的方式在图像中提取特定尺寸的图像块，所述图像块需包含至少一个完整 的硅藻。

本实施例中，图像预处理单元中的预处理方法包括去噪处理和数据标准化 处理。所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score 标准化方法。

本实施例中，还包括：

模型训练单元，用于将采样单元获取的图像块输入通用硅藻检测网络，以 对通用硅藻检测网络进行训练。所述模型训练单元中，采用Focal Loss函数和

函数来组合构成通用硅藻检测网络的损失函数，其中，Focal Loss函数用 于定义概率预测误差，

函数用于定义位置预测误差。

预测集合形成单元，所述预测集合形成单元用于将经过图像预处理单元预 处理后的待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区 域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将 这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅 藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始 待检测图像的偏移信息，得到一个预测集合

其中，p_n为 预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位 置。

多概率预测组合后处理单元，所述多概率预测组合后处理单元用于执行以 下操作：

将所述预测集合

根据p_n由大到小进行排序。

将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置 交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的 硅藻位置。

计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均 值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标。

从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁。

重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检 测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对 上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技 术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改 进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权 利要求为准。

Claims (10)

1.一种基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，包括：

S100、对采集自扫描电镜的原始图像进行预处理；

S200、如果经步骤S100处理后的图像是肝脏组织或肾脏组织的图像，在图像上随机选定一个完整的硅藻，在所述硅藻的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必定完整的包含所述硅藻。

2.根据权利要求1所述的基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，所述步骤S200中，如果经步骤S100处理后的图像是其它组织或水样的图像，以均匀随机采样的方式在图像中提取特定尺寸的图像块，所述图像块需包含至少一个完整的硅藻。

3.根据权利要求1所述的基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，所述步骤S100中，所述预处理方法为：先进行去噪处理，然后进行数据标准化处理，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法。

4.根据权利要求1所述的基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，所述步骤S200中，所述在图像上随机选定一个硅藻，在所述硅藻的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必定完整的包含所述硅藻,具体为：

采用与所述图像块尺寸相同的框，移动所述框，将所述硅藻位于框的左上角区域，记录该框的左上角的位置，该位置为区域右下角标记位置，移动所述框，将所述硅藻位于框的右下角区域，记录该框的左上角的位置，该位置为区域左上角标记位置，由区域左上角标记位置和区域右下角标记位置确定一矩形区域，提取图像块时，保证图像块的左上角位于所述矩形区域内，即可保证提取的特定尺寸的图像块必定完整的包含所述硅藻。

5.根据权利要求1至4中任意一项所述的基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，还包括以下步骤：

S300、将步骤S200提取出的图像块输入通用硅藻检测网络进行训练。

6.根据权利要求5所述的基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，所述步骤S300中，将步骤S200提取出的图像块输入通用硅藻检测网络进行训练，采用Focal Loss函数和

函数来组合构成通用硅藻检测网络的损失函数，其中，FocalLoss函数用于定义概率预测误差，

函数用于定义位置预测误差。

7.根据权利要求5所述的基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，还包括以下步骤：

S400、将待检测图像按照步骤S100的方法预处理后，分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置；

S500、将所述预测集合

执行以下操作：

S510、将所述预测集合

根据p_n由大到小进行排序，

S520、将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

S530、计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

S540、从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

S550、重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

8.根据权利要求7所述的基于扫描电子显微镜图像的高精度硅藻检测识别方法，其特征在于，所述步骤S400中，所述输出得到每个子图像的硅藻位置预测结果后，先经过非极大值抑制算法去冗余，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息。

9.一种基于扫描电子显微镜图像的高精度硅藻检测识别系统，其特征在于，包括：

图像预处理单元，所述图像预处理单元用于对采集自扫描电镜的原始图像进行预处理；

采样单元，用于在经图像预处理单元处理后的图像上进行采样，如果图像是肝脏组织或肾脏组织的图像，在图像上随机选定一个完整的硅藻，在所述硅藻的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必定完整的包含所述硅藻。

10.根据权利要求9所述的基于扫描电子显微镜图像的高精度硅藻检测识别系统，其特征在于，

所述采样单元中，如果图像是其它组织或水样的图像，以均匀随机采样的方式在图像中提取特定尺寸的图像块，所述图像块需包含至少一个完整的硅藻；

所述图像预处理单元中的预处理包括：先进行去噪处理，然后进行数据标准化处理，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法；

还包括：

模型训练单元，用于将采样单元获取的图像块输入通用硅藻检测网络，以对通用硅藻检测网络进行训练,所述模型训练单元中，采用Focal Loss函数和

函数来组合构成通用硅藻检测网络的损失函数，其中，Focal Loss函数用于定义概率预测误差，

函数用于定义位置预测误差；

预测集合形成单元，所述预测集合形成单元用于将经过图像预处理单元预处理后的待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置；

多概率预测组合后处理单元，所述多概率预测组合后处理单元用于执行以下操作：

将所述预测集合

根据p_n由大到小进行排序，

将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

Images