CN111626257A - 硅藻检测识别用多概率组合预测后处理方法、系统及存储介质 - Google Patents

Abstract

本发明涉及一种硅藻检测识别用多概率组合预测后处理方法、系统及存储介质。该方法中，先基于偏移位置信息将重叠子图像预测结果统一到原始图像空间域，然后再迭代计算当前预测结果中最大概率的预测区域与剩余的预测区域间交并比，满足条件的计算其平均目标区域值，并将该区域值对应的原始的待检测图像上的区域作为一个硅藻检出目标。该后处理方法可有效提高硅藻检测识别的整体精度，遗漏率和误检率显著降低。

Description

硅藻检测识别用多概率组合预测后处理方法、系统及存储 介质

技术领域

本发明涉及法医检验领域，特别是涉及硅藻检测识别用多概率组合预测后处理方法、系统及存储介质。

背景技术

法医检验领域，尸体上不同内脏组织样本(肝、肾、肺、骨髓)中检出的硅藻可以有效推断溺亡原因和溺亡地点。在法医日常工作中，对于微米级的硅藻，通常采用高倍放大的方式来显微成像，进而借助于人眼的识别来对硅藻目标进行检测和数量统计，整个操作繁杂耗时且效率低下。硅藻的自动化检测识别系统针对以上问题而被提出，其目的是从样本组织扫描图像中自动检测出硅藻的位置并判断出其种类，搭配电子显微镜扫描控制系统可以实现全自动的软硬件解决方案。

目前的硅藻自动化检测识别系统主要以训练深度神经网络模型来自动学习硅藻的特征模式，从而实现硅藻对象的自动检测和判断。

现有技术中，一般先对通用硅藻检测网络模型进行训练，然后将扫描电镜等设备获取的原始待检测图像分块单独预测，且采用后预测的重叠区域结果覆盖之前预测的重叠区域结果，这样容易导致预测结果不一致，漏检率较高，鲁棒性较差等问题，使得硅藻检测识别的整体精度较低。

发明内容

基于此，有必要针对传统检测方法中硅藻检测精度较低的问题，提供一种硅藻检测识别用多概率组合预测后处理方法。

一种硅藻检测识别用的多概率组合预测后处理方法，包括：

S100、将待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置；

S200、将所述预测集合

执行以下操作：

S210、将所述预测集合

根据p_n由大到小进行排序，

S220、将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

S230、计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

S240、从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

S250、重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,…,M。

本发明先基于偏移位置信息将重叠子图像预测结果统一到原始图像空间域，然后再迭代计算当前预测结果中最大概率的预测区域与剩余的预测区域间交并比，满足条件的计算其平均目标区域，该后处理方法可有效提高硅藻检测识别的整体精度，遗漏率和误检率显著降低。

在其中一个实施例中，所述步骤S100中，在将待检测图像分割成多个图像尺寸相同的重叠的子图像之前，先将待检测图像进行预处理，所述预处理包括：去噪处理以及数据标准化处理。

在其中一个实施例中，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法。

在其中一个实施例中，所述步骤S100中，所述输出得到每个子图像的硅藻位置预测结果后，先经过非极大值抑制算法去冗余，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息。

一种硅藻检测识别用的多概率组合预测后处理系统，包括：

预测集合形成单元，所述预测集合形成单元用于将待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置；

多概率预测组合后处理单元，所述多概率预测组合后处理单元用于执行以下操作：

将所述预测集合

根据p_n由大到小进行排序，

将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,…,M。

在其中一个实施例中，还包括：

图像预处理单元，所述图像预处理单元用于对采集自扫描电镜的原始待检测图像进行预处理，所述预处理包括：先进行去噪处理，然后进行数据标准化处理。

在其中一个实施例中，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法。

一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行所述的硅藻检测识别用的多概率组合预测后处理方法。

附图说明

图1为本发明的实施例的硅藻检测识别用的多概率组合预测后处理方法的流程图。

图2为本发明的实施例的硅藻检测识别用的多概率组合预测后处理方法中对预测集合

执行操作的具体流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

如图1和图2所示，本发明的实施例提供了一种硅藻检测识别用的多概率组合预测后处理方法，包括：

S100、将待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，也就是分割成的多个子图像将待检测图像完全覆盖，这样可保证对待检测图像上的各个区域进行检测，不会遗漏。具体分割方式有多种，例如图2所示的方式，将待检测图像均分成4份，分别为1号子图像、2号子图像、3号子图像和4号子图像。将待检测图像分成2份，分别为上下排布的5号子图像和6号子图像，其中，5号子图像和6号子图像分别与1号子图像、2号子图像、3号子图像和4号子图像部分重叠。将待检测图像分成2份，分别为左右排布的7号子图像和8号子图像，其中7号子图像和8号子图像分别与1号子图像、2号子图像、3号子图像和4号子图像部分重叠。将待检测图像中央区域分割出9号子图像，9号子图像分别与1号子图像、2号子图像、3号子图像和4号子图像部分重叠。可以理解，以上只是举例，也可以采用其它分割方式。进一步的是,记录每个子图像在原始的待检测图像上的偏移信息(也就是子图像的左上角位置信息)，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，也就是该位置

判为硅藻的概率。

为预测对象的左上角和右下角的位置。也就是预测出的硅藻位置的左上角和右下角的坐标。其中，

为预测对象的左上角位置，

为预测对象的右下角位置。左上角位置和右下角位置共同围成一个框形区域，该区域为硅藻位置。

S200、将所述预测集合

执行以下操作：

S210、将所述预测集合

根据p_n由大到小进行排序。

S220、将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置。

S230、计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，需要说明的是，上述T_Diatom的大小可根据实情情况确定，例如可为0.4-0.7。此外，如预测概率均值小于等于阈值T_Diatom，则直接执行步骤S240的操作。

S240、从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁。上述阈值T_IoU的大小可根据实际情况进行确定，例如可为0.6-0.8。

S250、重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,…,M。

需要说明的是，上述步骤S100中，子图像数据输入训练完成的通用硅藻检测网络模型后输出预测结果,其中，如果上述通用硅藻检测网络采用基于Anchor的检测方法，输出得到每个子图像的硅藻区域预测结果

后，优选经过非极大抑制(NMS)算法去冗余，然后加上各自子图像相对原始图像的偏移信息，最终得到一组预测结果{Pr_n}_n＝1,…,N。因为采用Anchor的检测方法，会在经过神经网络输出的概率图上每个像素点都设定几个概率框用于预测，所以最终会产生很多很密的预测框，并且彼此间可能存在很多的冗余重叠。使用非极大抑制算法的目的就是去除冗余，只保留概率最大的那个结果。这样就可以得到每个子图像的预测结果。但是子图像是从原始的待检测图像上采集出来的一个子块，子图像的原点在原始的待检测图像上基本都不是0，也就是有个偏移。所以，子图像预测出的位置对应到原始的待检测图像必须加上这个偏移才是原始的待检测图像的预测结果。

例如，在模型解释阶段，经过去噪归一化处理的图像被分割为9个子图像输入通用硅藻检测网络模型进行预测。根据硬件计算能力，可以多个子图像同时处理，并将各子图像的预测结果经过非极大抑制算法去冗余，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，形成一个预测集合

需要说明的是，鉴于子图像间存在重叠导致预测的硅藻目标区域也会有重叠，而子图像由于不同图像背景信息的影响会导致预测结果准确不一，也就是会出现遗漏、误检或位置预测不够精细等问题。因此,本发明先基于偏移位置信息将重叠子图像预测结果统一到原始图像空间域，然后再迭代计算当前预测结果中最大概率的预测区域与剩余的预测区域间交并比，满足条件的计算其平均目标区域值，并将该区域值对应的原始的待检测图像上的区域作为一个硅藻检出目标。该后处理方法可有效提高硅藻检测识别的整体精度，遗漏率和误检率显著降低。例如，Recall召回率可以达到0.95左右，代表漏检率很低。误检率可降低10％-20％。

本实施例中，所述步骤S100中，在将待检测图像分割成多个图像尺寸相同的重叠的子图像之前，先将待检测图像进行预处理，所述预处理包括：去噪处理以及数据标准化处理。

具体的，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法。例如，使用非局部平均算法和Z-score标准化方法级联的方式来预处理采集到的16-bit原始图像信号。

其中，采用非局部平均算法进行去噪：基于全像素域内的相似度加权平均，去噪同时能有效保护边界和纹理细节。其过程可描述为输入图像v(p)与定义在原始图像域空间Ω的权重ω(p,q)间的乘积和：

其中，p和q为像素位置，

而v(p)是像素p的灰度值。

其中，所述数据标准化处理采用Z-score标准化方法：考虑到输入图像灰度分布差异性易造成模型训练困难。首先在训练集图像样本(去噪后)上计算均值μ及标准差σ，再对每个训练或测试样本I(去噪后)采用标准化操作

得到归一化的样本数据。

本发明之所以将非局部平均算法和Z-score标准化方法级联应用，是由于：采集自扫描电镜的显微图像噪声严重，而硅藻特征结构很容易受到噪声掩盖造成与背景图像中的杂质等难以区分的问题，同时考虑到不同硅藻图像间的灰度分布差异，所以需要图像预处理。特别是非局部平均算法在去噪基础上能够很好地保护边界及纹理细节，与Z-score标准化方法级联应用后，可显著提高后续训练后的模型的检测精度。

需要说明的是，本实施例中，上述扫描电镜采集原始图像可通过以下方法实现：可采用“微波消解-滤膜富集”方法处理内脏样本组织，在扫描电子显微镜系统设定圆形区域圈定样本扫描空间范围，设定扫描电镜的放大率(Magnification)以及子区域扫描图像的大小。通过上述设定将确定扫描区域被划分为多少子区域，同时可以明确扫描总时间。随后开始扫描得到原始图像。

具体的，可采用“微波消解-滤膜富集”方法处理内脏样本组织，使用飞纳XL桌面式扫描电子显微镜来对样本组织扫描成像，显微镜放大率设定在800倍到1500倍之间，其对应了0.33μm到0.62μm的分辨率，子区域图像成像大小设定为1024×1024。

本发明的实施例还提供了一种硅藻检测识别用的多概率组合预测后处理系统，包括：

预测集合形成单元，所述预测集合形成单元用于将待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置。

多概率预测组合后处理单元，所述多概率预测组合后处理单元用于执行以下操作：

将所述预测集合

根据p_n由大到小进行排序，

将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,…,M。

本实施例中，还包括：

图像预处理单元，所述图像预处理单元用于对采集自扫描电镜的原始待检测图像进行预处理，所述预处理包括：先进行去噪处理，然后进行数据标准化处理。

本实施例中，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法。

本实施例中，所述预测集合形成单元中，所述输出得到每个子图像的硅藻位置预测结果后，先经过非极大值抑制算法去冗余，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息。

本发明的实施例还提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行所述的硅藻检测识别用的多概率组合预测后处理方法。上述计算机存储介质可为硬盘等存储介质。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种硅藻检测识别用的多概率组合预测后处理方法，其特征在于，包括：

S100、将待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置；

S200、将所述预测集合

执行以下操作：

S210、将所述预测集合

根据p_n由大到小进行排序，

S220、将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

S230、计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

S240、从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

S250、重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

2.根据权利要求1所述的硅藻检测识别用的多概率组合预测后处理方法，其特征在于，所述步骤S100中，在将待检测图像分割成多个图像尺寸相同的重叠的子图像之前，先将待检测图像进行预处理，所述预处理包括：去噪处理以及数据标准化处理。

3.根据权利要求2所述的硅藻检测识别用的多概率组合预测后处理方法，其特征在于，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法。

4.根据权利要求1所述的硅藻检测识别用的多概率组合预测后处理方法，其特征在于，所述步骤S100中，所述输出得到每个子图像的硅藻位置预测结果后，先经过非极大值抑制算法去冗余，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息。

5.一种硅藻检测识别用的多概率组合预测后处理系统，其特征在于，包括：

预测集合形成单元，所述预测集合形成单元用于将待检测图像分割成多个图像尺寸相同的重叠的子图像，以保证边界区域的检测完整性，同时记录每个子图像在原始的待检测图像上的偏移信息，将这些子图像数据输入训练完成的通用硅藻检测网络，输出得到每个子图像的硅藻位置预测结果，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息，得到一个预测集合

其中，p_n为预测对象判为前景目标的概率，

为预测对象的左上角和右下角的位置；

多概率预测组合后处理单元，所述多概率预测组合后处理单元用于执行以下操作：

将所述预测集合

根据p_n由大到小进行排序，

将第一个预测结果Pr₁和剩下的每一个预测结果Pr_n≠1按照以下公式计算位置交并比：

其中A是预测结果Pr₁中的硅藻位置，B为预测结果Pr_n≠1的硅藻位置，

计算预测概率均值，如预测概率均值大于一给定阈值T_Diatom，则计算位置均值，并将位置均值对应的原始的待检测图像上的位置作为一个硅藻检出目标，

从预测集合中删除IoU大于阈值T_IoU的预测结果Prm以及Pr₁，

重复上述步骤依次迭代直到预测集合中不再剩余预测结果，最终，从待检测图像得到一组硅藻检出目标{Pr_{det_m}}_m＝1,...,M。

6.根据权利要求5所述的硅藻检测识别用的多概率组合预测后处理系统，其特征在于，还包括：

图像预处理单元，所述图像预处理单元用于对采集自扫描电镜的原始待检测图像进行预处理，所述预处理包括：先进行去噪处理，然后进行数据标准化处理。

7.根据权利要求6所述的硅藻检测识别用的多概率组合预测后处理系统，其特征在于，所述去噪处理采用非局部平均算法，所述数据标准化处理采用Z-score标准化方法。

8.根据权利要求5所述的硅藻检测识别用的多概率组合预测后处理系统，其特征在于，所述预测集合形成单元中，所述输出得到每个子图像的硅藻位置预测结果后，先经过非极大值抑制算法去冗余，然后每个子图像的硅藻位置预测结果加上该子图像相对原始待检测图像的偏移信息。

9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1至4中任意一项所述的硅藻检测识别用的多概率组合预测后处理方法。

Images