CN116735463A - 一种基于有向目标检测的硅藻尺寸自动测量方法 - Google Patents

Abstract

本发明公开一种基于有向目标检测的硅藻尺寸自动测量方法，包括采集一定的放大倍数的硅藻图像作为样本数据集，并使用旋转矩形框对硅藻电镜图像中的硅藻区域进行标注；将标注数据转换为长边表示法标签格式；建立硅藻电镜图像的有向目标检测模型：所述的有向目标检测模型提取硅藻电镜图像中硅藻的旋转矩形框；根据有向目标检测模型得到的硅藻旋转矩形框信息，利用长边、短边信息，结合放大倍数对应的比例尺，分别求出该硅藻长、短径尺寸信息。本发明集硅藻自动检测和硅藻尺寸自动测量于一体，在效率上有优势，采用旋转框标记硅藻，标注方式更精准，因此提供给网络训练时冗余信息更少，先验更充分，有利于约束网络的训练方向和减少网络的收敛时间。

Description

一种基于有向目标检测的硅藻尺寸自动测量方法

技术领域

本发明涉及硅藻尺寸测量技术领域，更具体地，涉及一种基于有向目标检测的硅藻尺寸自动测量方法。

背景技术

硅藻的尺寸是判定硅藻种属的重要依据，硅藻的大小是动态变化的，在无性繁殖分裂过程中，上一代细胞分裂打开在原来的瓣膜内一致形成略小的新瓣膜，当这种稳定的缩小达到一定的阈值，就会形成休眠孢子，其体积约为母体的30-40％。当环境条件适宜则会诱导硅藻休眠孢子发生有性繁殖，硅藻通过有性繁殖逐渐发育成与母代相当尺寸的硅藻。这是一种特殊的繁殖方式和生存适应现象，是硅藻分类学和生态学知识的重要补充，也是溺死诊断中法医硅藻检验的重要辅助手段。利用硅藻的这一特性，可以根据硅藻的尺寸大小进行种属分类，了解硅藻种群的生态特征，并可协助进行溺死尸体的落水点推测，同时还可以对在法医实际检案中硅藻检验结果假阳性问题进行有效甄别，在研究水域硅藻数据库中也可以收集更多的科研数据等。

近年来，随着图像处理技术的进一步发展，已有不少学者利用基于深度学习的计算机视觉方法来代替传统方法进行硅藻图像自动检测和分类，但是集硅藻检测和尺寸测量于一体的自动化方法还有待发展。

现有技术中公开一种基于扫描电镜图像的高精度硅藻检测识别方法及系统，该方法中，在采样步骤中，对不同组织采用不同的采样方法，对肝脏组织和肾脏组织的图像在采样时，先在图像上选定一个完整的硅藻，在所述硅藻的可采样区域上采用均匀随机采样方式，以保证提取的特定尺寸的图像块必定完整的包含所述硅藻。这样采样，一方面可保证图像块上必定包含一个硅藻，有利于避免模型训练容易陷入拟合偏向背景的问题，使模型学习到正样本足够的特征，这样训练出来的硅藻检测模型精确度较高。而且，由于在可采样区域上进行采样，所以提取的图像块必定包含一个完整的硅藻，这样采样效率较高。该现有技术只对硅藻进行检测，而没有涉及对硅藻尺寸的自动测量。

发明内容

本发明提供一种基于有向目标检测的硅藻尺寸自动测量方法，解决了现有技术中只进行硅藻检测而没有对自动测量硅藻尺寸的问题，不仅能输出硅藻电镜图像中硅藻所在的位置，还能自动计算出硅藻的尺寸，快速为后续的科研分析提供数据，在时间成本和准确率上具有一定的优势。

为解决上述技术问题，本发明的技术方案如下：

一种基于有向目标检测的硅藻尺寸自动测量方法，包括以下步骤：

S1：使用具有放大能力的图像采集设备采集硅藻图像作为样本训练集，并使用旋转矩形框对硅藻图像中的硅藻区域进行标注；

S2：将硅藻图像的标注数据转换为长边表示法标签格式，包括硅藻区域的中心点x坐标、y坐标、旋转矩形框的宽度、高度及旋转矩形框的旋转角度；

S3：建立有向目标检测模型，利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，所述有向目标检测模型用于检测图像中的硅藻区域并输出硅藻区域的旋转矩形框；

S4：利用所述训练好的有向目标检测模型对待检测的硅藻图像进行检测，获取待检测的硅藻图像中硅藻区域的旋转矩形框；

S5：根据步骤S4中获取的硅藻区域的旋转矩形框的信息和步骤S1中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息。

优选地，步骤S1中所述图像采集设备为扫描电子显微镜。

优选地，步骤S1中所述使用具有放大能力的图像采集设备的放大倍数为400倍至2000倍。

优选地，步骤S1中使用具有放大能力的图像采集设备采集500张以上硅藻图像作为样本训练集。

优选地，步骤S1中使用旋转矩形框对硅藻图像中的硅藻区域进行标注，标注信息包括硅藻区域的中心点的x坐标、y坐标、旋转矩形框的宽度、高度以及旋转矩形框的旋转角度。

优选地，步骤S2中将硅藻图像的标注数据转换为长边表示法标签格式，所述长边表示法标签格式具体为：

[classid,x_c,y_c,longside,shortside,Θ]

其中，classid表示分类id，x_c、y_c分别表示硅藻区域的中心点在x、y方向上的像素坐标，longside表示旋转矩形框的最长边，shortside表示旋转矩形框的与最长边对应的另一边，Θ表示x轴顺时针旋转遇到所述旋转矩形框的最长边所经过的角度，Θ∈[-90,90)。

优选地，步骤S3中所述有向目标检测模型以YOLOv5目标检测模型为基础，包括Backbone、Neck、Head和损失函数，其中，Backbone、Neck由神经网络卷积层和池化层组成，Head用于预测目标的x坐标、y坐标、宽度、高度、置信度、类别和角度信息，损失函数包括置信度损失、class分类损失、θ角度分类损失和bbox边框回归损失。

优选地，步骤S3中利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，具体为：

将标注后的硅藻图像作为有向目标检测模型的输入，首先通过有向目标检测模型获取硅藻图像中硅藻的旋转矩形框信息；

将硅藻图像的旋转矩形框信息作为标签，将有向目标检测模型输出的旋转矩形框作为预测值，计算得到有向目标检测模型的损失，损失函数包括置信度损失、分类类别损失、Θ角度分类损失和bbox边框回归损失；通过反向传播逐步迭代神经网络模型的权重，完成有向目标检测模型的训练。

优选地，步骤S5中根据步骤S4中获取的硅藻区域的旋转矩形框的信息和步骤S1中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息，具体为：

根据步骤S4中获取的硅藻区域的旋转矩形框的长、短径尺寸信息，与步骤S1中图像采集设备的放大倍数对应的比例尺进行相乘，得到硅藻区域的长、短径尺寸信息。

本发明还提供一种基于有向目标检测的硅藻尺寸自动测量系统，包括：

采集标注模块，所述采集标注模块使用具有放大能力的图像采集设备采集硅藻图像作为样本训练集，并使用旋转矩形框对硅藻图像中的硅藻区域进行标注；

转换模块，所述转换模型用于将硅藻图像的标注数据转换为长边表示法标签格式，包括硅藻区域的中心点x坐标、y坐标、旋转矩形框的宽度、高度及旋转矩形框的旋转角度；

训练模块，所述训练模块用于建立有向目标检测模型，利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，所述有向目标检测模型用于检测图像中的硅藻区域并输出硅藻区域的旋转矩形框；

检测模块，所述检测模块利用所述训练好的有向目标检测模型对待检测的硅藻图像进行检测，获取待检测的硅藻图像中硅藻区域的旋转矩形框；

尺寸信息求解模块，所述尺寸信息求解模块用于根据检测模块中获取的硅藻区域的旋转矩形框的信息和采集标注模块中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息

与现有技术相比，本发明技术方案的有益效果是：

1、本发明是一种集硅藻自动检测和硅藻尺寸自动测量于一体的方法，在效率上有一定的优势；

2、本发明首次提出基于扫描电镜成像的硅藻尺寸自动测量方法，其准确度较以往基于光镜成像的硅藻尺寸自动测量方法更高；

3、本发明采用旋转框标记硅藻，标注方式更精准，因此提供给网络训练时冗余信息更少，先验更充分，有利于约束网络的训练方向和减少网络的收敛时间；

4、当目标物体过于紧密时，旋转框目标检测能减少密集硅藻被水平框目标检测的非极大值抑制后处理给“错杀”的情况。

附图说明

图1为本发明的方法流程示意图。

图2为本发明实施例提供的使用旋转矩形框对硅藻电镜图像中的硅藻区域进行标注示意图。

图3为本发明实施例提供的获取待检测的硅藻图像中硅藻区域的旋转矩形框的示意图。

图4为本发明的系统模块示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例一种基于有向目标检测的硅藻尺寸自动测量方法，如图1所示，包括以下步骤：

S1：使用具有放大能力的图像采集设备采集硅藻图像作为样本训练集，并使用旋转矩形框对硅藻图像中的硅藻区域进行标注；

S2：将硅藻图像的标注数据转换为长边表示法标签格式，包括硅藻区域的中心点x坐标、y坐标、旋转矩形框的宽度、高度及旋转矩形框的旋转角度；

S3：建立有向目标检测模型，利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，所述有向目标检测模型用于检测图像中的硅藻区域并输出硅藻区域的旋转矩形框；

S4：利用所述训练好的有向目标检测模型对待检测的硅藻图像进行检测，获取待检测的硅藻图像中硅藻区域的旋转矩形框；

S5：根据步骤S4中获取的硅藻区域的旋转矩形框的信息和步骤S1中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息。

本发明实施例是一种集硅藻自动检测和硅藻尺寸自动测量于一体的方法，在效率上有一定的优势，在硅藻种群生态特征研究和法医学溺死诊断实践中具有良好的应用前景。

实施例2

本实施例在实施例1的基础上，继续公开以下内容：

步骤S1中所述图像采集设备为扫描电子显微镜。

步骤S1中所述使用具有放大能力的图像采集设备的放大倍数为400倍至2000倍。

步骤S1中使用具有放大能力的图像采集设备采集500张以上硅藻图像作为样本训练集。

步骤S1中使用旋转矩形框对硅藻图像中的硅藻区域进行标注，如图2所示，标注信息包括硅藻区域的中心点的x坐标、y坐标、旋转矩形框的宽度、高度以及旋转矩形框的旋转角度。在本实施例中旋转矩形框既表征了硅藻的位置信息，同时又包含了硅藻的尺寸信息。

在具体的实施例中在标注软件中使用旋转矩形框对硅藻图像中的硅藻区域进行标注，标注软件可以为任意能输出标注信息的标注软件，具体可为roLabelImg。

步骤S2中将硅藻图像的标注数据转换为长边表示法标签格式，所述长边表示法标签格式具体为：

[classid,x_c,y_c,longside,shortside,Θ]

其中，classid表示分类id，x_c、y_c分别表示硅藻区域的中心点在x、y方向上的像素坐标，longside表示旋转矩形框的最长边，shortside表示旋转矩形框的与最长边对应的另一边，Θ表示x轴顺时针旋转遇到所述旋转矩形框的最长边所经过的角度，Θ∈[-90,90)。

步骤S3中所述有向目标检测模型以YOLOv5目标检测模型为基础，包括Backbone、Neck、Head和损失函数，其中，Backbone、Neck由神经网络卷积层和池化层组成，Head用于预测目标的x坐标、y坐标、宽度、高度、置信度、类别和角度信息，损失函数包括置信度损失、class分类损失、θ角度分类损失和bbox边框回归损失。

步骤S3中利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，具体为：

将标注后的硅藻图像作为有向目标检测模型的输入，首先通过有向目标检测模型获取硅藻图像中硅藻的旋转矩形框信息；

将硅藻图像的旋转矩形框信息作为标签，将有向目标检测模型输出的旋转矩形框作为预测值，计算得到有向目标检测模型的损失，损失函数包括置信度损失、分类类别损失、Θ角度分类损失和bbox边框回归损失；通过反向传播逐步迭代神经网络模型的权重，完成有向目标检测模型的训练。

步骤S5中根据步骤S4中获取的硅藻区域的旋转矩形框的信息和步骤S1中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息，具体为：

根据步骤S4中获取的硅藻区域的旋转矩形框的长、短径尺寸信息，如图3所示，与步骤S1中图像采集设备的放大倍数对应的比例尺进行相乘，得到硅藻区域的长、短径尺寸信息。

本实施例3

一种基于有向目标检测的硅藻尺寸自动测量系统，所述系统应用实施例1和实施例2所述的基于有向目标检测的硅藻尺寸自动测量方法，如图4所示，包括：

采集标注模块，所述采集标注模块使用具有放大能力的图像采集设备采集硅藻图像作为样本训练集，并使用旋转矩形框对硅藻图像中的硅藻区域进行标注；

转换模块，所述转换模型用于将硅藻图像的标注数据转换为长边表示法标签格式，包括硅藻区域的中心点x坐标、y坐标、旋转矩形框的宽度、高度及旋转矩形框的旋转角度；

训练模块，所述训练模块用于建立有向目标检测模型，利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，所述有向目标检测模型用于检测图像中的硅藻区域并输出硅藻区域的旋转矩形框；

检测模块，所述检测模块利用所述训练好的有向目标检测模型对待检测的硅藻图像进行检测，获取待检测的硅藻图像中硅藻区域的旋转矩形框；

尺寸信息求解模块，所述尺寸信息求解模块用于根据检测模块中获取的硅藻区域的旋转矩形框的信息和采集标注模块中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，包括以下步骤：

S1：使用具有放大能力的图像采集设备采集硅藻图像作为样本训练集，并使用旋转矩形框对硅藻图像中的硅藻区域进行标注；

S2：将硅藻图像的标注数据转换为长边表示法标签格式，包括硅藻区域的中心点x坐标、y坐标、旋转矩形框的宽度、高度及旋转矩形框的旋转角度；

S3：建立有向目标检测模型，利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，所述有向目标检测模型用于检测图像中的硅藻区域并输出硅藻区域的旋转矩形框；

S4：利用所述训练好的有向目标检测模型对待检测的硅藻图像进行检测，获取待检测的硅藻图像中硅藻区域的旋转矩形框；

S5：根据步骤S4中获取的硅藻区域的旋转矩形框的信息和步骤S1中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息。

2.根据权利要求1所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S1中所述图像采集设备为扫描电子显微镜。

3.根据权利要求1所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S1中所述使用具有放大能力的图像采集设备的放大倍数为400倍至2000倍。

4.根据权利要求1所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S1中使用具有放大能力的图像采集设备采集500张以上硅藻图像作为样本训练集。

5.根据权利要求1所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S1中使用旋转矩形框对硅藻图像中的硅藻区域进行标注，标注信息包括硅藻区域的中心点的x坐标、y坐标、旋转矩形框的宽度、高度以及旋转矩形框的旋转角度。

6.根据权利要求1所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S2中将硅藻图像的标注数据转换为长边表示法标签格式，所述长边表示法标签格式具体为：

[classid,x_c,y_c,longside,shortside,Θ]

其中，classid表示分类id，x_c、y_c分别表示硅藻区域的中心点在x、y方向上的像素坐标，longside表示旋转矩形框的最长边，shortside表示旋转矩形框的与最长边对应的另一边，Θ表示x轴顺时针旋转遇到所述旋转矩形框的最长边所经过的角度，Θ∈[-90,90)。

7.根据权利要求1所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S3中所述有向目标检测模型以YOLOv5目标检测模型为基础，包括Backbone、Neck、Head和损失函数，其中，Backbone、Neck由神经网络卷积层和池化层组成，Head用于预测目标的x坐标、y坐标、宽度、高度、置信度、类别和角度信息，损失函数包括置信度损失、class分类损失、θ角度分类损失和bbox边框回归损失。

8.根据权利要求7所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S3中利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，具体为：

将标注后的硅藻图像作为有向目标检测模型的输入，首先通过有向目标检测模型获取硅藻图像中硅藻的旋转矩形框信息；

将硅藻图像的旋转矩形框信息作为标签，将有向目标检测模型输出的旋转矩形框作为预测值，计算得到有向目标检测模型的损失，损失函数包括置信度损失、分类类别损失、Θ角度分类损失和bbox边框回归损失；通过反向传播逐步迭代神经网络模型的权重，完成有向目标检测模型的训练。

9.根据权利要求8所述的基于有向目标检测的硅藻尺寸自动测量方法，其特征在于，步骤S5中根据步骤S4中获取的硅藻区域的旋转矩形框的信息和步骤S1中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息，具体为：

根据步骤S4中获取的硅藻区域的旋转矩形框的长、短径尺寸信息，与步骤S1中图像采集设备的放大倍数对应的比例尺进行相乘，得到硅藻区域的长、短径尺寸信息。

10.一种基于有向目标检测的硅藻尺寸自动测量系统，其特征在于，包括：

采集标注模块，所述采集标注模块使用具有放大能力的图像采集设备采集硅藻图像作为样本训练集，并使用旋转矩形框对硅藻图像中的硅藻区域进行标注；

转换模块，所述转换模型用于将硅藻图像的标注数据转换为长边表示法标签格式，包括硅藻区域的中心点x坐标、y坐标、旋转矩形框的宽度、高度及旋转矩形框的旋转角度；

训练模块，所述训练模块用于建立有向目标检测模型，利用所述样本训练集训练所述有向目标检测模型，得到训练好的有向目标检测模型，所述有向目标检测模型用于检测图像中的硅藻区域并输出硅藻区域的旋转矩形框；

检测模块，所述检测模块利用所述训练好的有向目标检测模型对待检测的硅藻图像进行检测，获取待检测的硅藻图像中硅藻区域的旋转矩形框；

尺寸信息求解模块，所述尺寸信息求解模块用于根据检测模块中获取的硅藻区域的旋转矩形框的信息和采集标注模块中图像采集设备的放大倍数对应的比例尺，分别求出硅藻区域的长、短径尺寸信息。