CN112950636A - 基于R3Det的女性阴道病原体的旋转框目标检测方法 - Google Patents

Abstract

本发明涉及基于R3Det的女性阴道病原体的旋转框目标检测方法，包括以下步骤：准备好待训练图像，在待训练图像中采用外接直立矩形边界框的形式标注出目标物；将目标物的外接直立矩形边界框转换为外接旋转矩形边界框；构建出检测目标物的外接旋转矩形边界框的训练集；基于R3Det并结合ResNet152，将构建出的训练集进行训练，得到病原体的旋转框目标检测模型；将待检测的图像输入旋转框目标检测模型进行检测，得到病原体的旋转框检测结果。本发明有效提升病原体与其他目标物交叉堆叠复杂场景下的病原体的检出率，降低漏检率和误检率。R3Det在满足检测准确度的同时又能满足较快的检测速度可满足医学诊断高效需求，从而进一步提升检测准确率和检出率。

Description

基于R3Det的女性阴道病原体的旋转框目标检测方法

技术领域

本发明涉及妇科生殖道微生态的显微图像中病原体的智能检测识别技术领域，特别涉及基于R3Det的女性阴道病原体的旋转框目标检测方法。

背景技术

芽生孢子和假菌丝是女性生殖道中常见的致病病原体，常引起女性霉菌性阴道炎，因此提高芽生孢子和假菌丝检出率对诊断女性霉菌性阴道炎起到了至关重要的作用。芽生孢子是由孢子出芽形成的有两个芽孢的致病霉菌，而芽生孢子如果继续生长，长成芽管，然后逐渐生长成丝状，就成为假菌丝，目前芽生孢子和假菌丝的显微镜下的形态学检查仍是女性生殖道微生态检验的金标准。

目前，妇科生殖道微生态显微图像中芽生孢子和假菌丝的检测识别，一般采用传统的机器视觉技术和基于深度学习的直立框目标检测技术。但是，现有技术中采用的这两类技术在妇科生殖道微生态病原体的检测识别中存在一些弊端。

首先，妇科生殖道微生态的显微图像的场景非常复杂，芽生孢子和假菌丝常与本类别或其他类别的目标物产生交叉堆叠，影响了它们的形态，因此采用传统的机器视觉技术很容易造成这两类病原体的漏检。

另外，基于深度学习的直立框目标检测技术(如Faster-RCN、SSD、YOLO等)对比传统的机器视觉技术，可以提升这两类病原体的检出率，但是其存在以下问题：一是该类直立框目标检测技术依赖于通过直立矩形框标注出的病原体的数据集，因为病原体常与其他目标物产生交叉堆叠，因此利用直立矩形框标注出的病原体的背景中会存在其他目标物，会对后续识别病原体产生干扰，影响目标检测模型的准确率，容易造成病原体的漏检，如当假菌丝较多且密集存在时，容易导致直立矩形标注框中的背景上有多条假菌丝，影响假菌丝检测的准确率，易漏检；当芽生孢子与芽生孢子或者其他类别目标堆叠时，直立矩形标注框中会存在有其他目标物，而芽生孢子本身又很小，因此对芽生孢子的形态产生了极大的影响，拉大了训练集的类内差距，影响芽生孢子检测的准确率，易漏检；二是芽生孢子和假菌丝大体形态呈现倾斜旋转角度多变的细长状，利用直立矩形框标注出的病原体无法量化这两类病原体的几何形态特性，如宽度、长度等，从而无法筛选掉与病原体相似的干扰目标物，易造成病原体的误检。

发明内容

本发明要解决的技术问题是克服现有技术的上述缺陷，提供基于R3Det的女性阴道病原体的旋转框目标检测方法。该旋转框目标检测方法有效提升病原体与其他目标物交叉堆叠复杂场景下的病原体的检出率，降低漏检率和误检率。

本发明是通过以下技术方案实现的：

基于R3Det的女性阴道病原体的旋转框目标检测方法，包括以下步骤：

S1：准备好待训练图像，在待训练图像中采用外接直立矩形边界框的形式标注出目标物；

S2：将S1中目标物的外接直立矩形边界框转换为目标物的外接旋转矩形边界框；

S3：将S2中目标物的外接旋转矩形边界框对应的坐标信息进行保存，构建出检测目标物的外接旋转矩形边界框的训练集；

S4：基于R3Det并结合ResNet152，将S3构建出的训练集进行训练，得到病原体的旋转框目标检测模型；

S5：将待检测的图像输入S4的旋转框目标检测模型进行检测，得到病原体的旋转框检测结果。

作为优化，所述S1中待训练图像包含芽生孢子、假菌丝的妇科生殖道微生态显微图像，采用外接直立矩形边界框的形式标注出目标物，得到标注信息，其中标注信息包含目标物的类别标签和位置坐标信息，设定芽生孢子的标注标签为“blastospore”，假菌丝的标注标签为“hypha”。

作为优化，所述S2包括以下步骤：

S21：从准备好的待训练图像中截取直立矩形边界框坐标位置处的感兴趣区域；

S22：将S21中的感兴趣区域从BGR颜色图像转换成灰度图像；

S23：利用基于高斯平滑的自适应阈值方法分割二值化S22中的灰度图像，得到二值化图；

S24：对S23中的二值化图进行一次形态学的开运算；

S25：拟合S24中开运算后二值化图中的轮廓，找到面积最大的轮廓；

S26：拟合S25中面积最大轮廓的最小外接旋转矩形，得到外接旋转矩形边界框；

S27：对S26中拟合得到的最小外接旋转矩形进行人工审核，若自动拟合结果正确，则将拟合的最小外接旋转矩形作为目标物最终的外接旋转矩形边界框，若自动拟合结果错误，则需重新人工标注出目标物的轮廓，然后，拟合重新人工标注出目标物的轮廓的最小外接旋转矩形，将以上拟合出的最小外接旋转矩形作为目标物最终的外接旋转矩形标注框。

作为优化，所述S23中基于高斯平滑的自适应阈值方法包括以下步骤：

S231：将灰度图像gray进行高斯平滑，高斯平滑的结果记为

S232：将S231得到的高斯平滑结果

乘以一个小于1的比例系数ratio；

S233：利用原灰度图像减去S232的结果；

S234：将S233得到结果的大于0的位置处的像素值设置为0，小于0的位置处的像素值设置为255；

其中gray代表灰度图像，

代表对灰度图像gray进行高斯平滑，其中高斯平滑的窗口的大小为k×k，

代表自适应阈值的结果。

作为优化，所述S3中目标物的外接旋转矩形边界框对应的坐标信息的表示方式为：θ-90-based-旋转矩形，用五个参数(x,y,w,h,θ)确定旋转矩形，其中(x,y)作为旋转矩形的中心点的坐标，最左侧的边，即水平方向逆时针旋转遇到的该旋转矩形的第一条边，长度为w，另一条边的长度为h，角度θ为最左侧的边与水平方向的夹角，θ∈[-90,0)。

作为优化，所述S4中旋转目标检测方法R3Det具体为：

旋转框的边界回归为：

其中i,i_a,i′(i＝x,y,w,h,θ)分别代表ground truth box，anchor box，predicted box的旋转矩形的参数；

损失函数的定义如下：

L_cls(p_n,t_n)＝-log(p_n*t_n),λ₁和λ₂默认值为1,

其中N代表anchor box的个数，v′_*j代表预测旋转矩形边界框(predicted box)坐标位置向量，v_*j代表ground-truth旋转矩形边界框的坐标位置向量，t_n代表目标物的类别，p_n代表预测目标物类别的概率经sigmoid函数计算出的值。

另外，S4中除了采用R3Det这种单阶段的旋转目标检测方法外，还可以采用其他方法，如单阶段的旋转目标检测方法RetinaNet-R、DRN、RSDet、PolarDet中的一种，双阶段的旋转目标检测方法R-FCN、FR-H、FR-O、R-DFPN、R2 CNN、RRPN、ICN、ROI-Transformer、SCRDet、CAD-Net、RADet中的一种；除了采用ResNet152这种主干卷积神经网络架构外，还可以采用ResNet50、ResNet101、ResNet152中的一种。

此外，S3中目标物的外接旋转矩形边界框对应的坐标信息的表示方式采用以下四种不同的表示方式之一，这四种方式是可以相互转换的：

1)θ-90-based-旋转矩形，用五个参数(x,y,w,h,θ)确定旋转矩形，其中(x,y)作为旋转矩形的中心点的坐标，最左侧的边，即水平方向逆时针旋转遇到的该旋转矩形的第一条边，长度为w，另一条边的长度为h，角度θ为最左侧的边与水平方向的夹角，θ∈[-90,0)；

2)θ-180-based-旋转矩形，用五个参数(x,y,w,h,θ)确定旋转矩形，其中(x,y)作为旋转矩形的中心点的坐标，h是长度较长的旋转矩形的边长，w是长度较短的旋转矩形的边长，以旋转矩形的最顶端的点为原点，水平轴顺时针旋转，如果遇到的第一条边是旋转矩形的长边，那么θ∈[0,90)，如果遇到的第一条边的是旋转矩形的短边，那么，以旋转矩形的最低端的点为原点，水平轴逆时针旋转，遇到的第一条边即为旋转矩形的长边，那么θ∈[-90,0)，即θ∈[-90,90)；

3)point-based-旋转矩形，用八个参数(x₁,y₁,x₂,y₂,x₃,y₃，x₄,y₄)确定旋转矩形，(x_i,y_i)，i＝1,2,3,4，是旋转矩形的四个顶点的坐标，其中指定统一的顶点的顺序即可，如(x₁,y₁)是旋转矩形最顶端的顶点的坐标，然后其他为顺时针方向依次各顶点的坐标；

4)h-based-旋转矩形，用五个参数(x₁,y₁,x₄,y₄,w)确定旋转矩形，其中(x₁,y₁)是旋转矩形最顶端的顶点的坐标，(x₄,y₄)是(x₁,y₁)逆时针方向的第一个顶点的坐标，这两个顶点的之间的边长为h，另一条边的长度为w。

本发明的有益效果是：

本发明通过采用改进的基于高斯平滑的自适应阈值分割方法将直立矩形边界框转换为旋转矩形边界框，有效节约了直接利用较复杂的旋转矩形边界框标注病原体的时间和人力成本，同时极大减少了直立矩形边界框标注出病原体的背景的影响，减少了类内差距，构建出更有效的训练集，训练出更有效的旋转框目标检测模型，有效提升病原体与其他目标物交叉堆叠复杂场景下的病原体的检出率，降低漏检率。另外，病原体的旋转矩形边界框检测可更好的量化病原体的几何形态特性，更有利于进一步的筛选掉与病原体相似的干扰物，降低误检率。此外，R3Det在满足检测准确度的同时又能满足较快的检测速度可满足医学诊断高效需求，网络架构较深的ResNet152可有效提取病原体的特征，从而进一步提升检测准确率和检出率。具有较好的实际应用价值和推广价值。

附图说明

下面结合附图对基于R3Det的女性阴道病原体的旋转框目标检测方法作进一步说明：

图1为本发明基于R3Det的女性阴道病原体的旋转框目标检测方法的流程示意图；

图2为将目标物的外接直立矩形边界框转换为外接旋转矩形边界框的流程示意图；

图3为妇科生殖道微生态包含芽生孢子和假菌丝的显微图像的示例图；

图4为针对图3按照外接直立矩形边界框标注出芽生孢子和假菌丝的示意图；

图5(a)为针对图3标注出的芽生孢子的示例图；

图5(b)为针对图5(a)利用自适应阈值分割和开运算后的二值化图的示例图；

图5(c)为针对5(b)找到的面积最大的轮廓的示例图；

图5(d)为拟合图5(c)的轮廓的最小外接旋转矩形的示例图；

图6(a)为针对图3标注出的假菌丝的示例图；

图6(b)为针对图6(a)利用自适应阈值分割和开运算后的二值化图的示例图；

图6(c)为针对6(b)找到的面积最大的轮廓的示例图；

图6(d)为拟合图6(c)的轮廓的最小外接旋转矩形的示例图；

图7为针对图4将目标物的外接直立矩形边界框转换为目标物的外接旋转矩形边界框的示例图；

图8为旋转矩形的表示方式：θ-90-based-旋转矩形的示意图；

图9(a)为芽生孢子较多且与孢子和芽生孢子堆叠交叉的示例图；

图9(b)为针对图9(a)利用直立框目标检测模型检测芽生孢子和假菌丝的示例图；

图9(c)为针对图9(a)利用本发明的旋转框目标检测模型检测芽生孢子和假菌丝的示例图；

图10(a)为存在较长弯曲且假菌丝之间堆叠交叉，并存在少量芽生孢子的示例图；

图10(b)为针对图10(a)利用直立框目标检测模型检测芽生孢子和假菌丝的示例图；

图10(c)为针对图10(a)利用本发明的旋转框目标检测模型检测芽生孢子和假菌丝的示例图；

图11(a)为存在较长弯曲且假菌丝之间堆叠交叉，并存在较多芽生孢子且与假菌丝之间堆叠交叉的示例图；

图11(b)为针对图11(a)利用直立框目标检测模型检测芽生孢子和假菌丝的示例图；

图11(c)为针对图11(a)利用本发明的旋转框目标检测模型检测芽生孢子和假菌丝的示例图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

为了更加清楚地说明本发明所述的技术手段及有益效果，以下结合附图，对本发明进行详细的说明，如图1所示，具体步骤如下：

步骤一：采集包含芽生孢子、假菌丝的妇科生殖道微生态显微图像，并交由相关领域专家按照外接直立矩形边界框的方式标注出芽生孢子和假菌丝。最好的标注方式是专家将图像中的芽生孢子和假菌丝的轮廓标注出来，但是时间成本和人力成本太大，因此由相关领域专家按照简单高效的外接直立矩形边界框的方式快速的标注出芽生孢子和假菌丝。此外，因为假菌丝的形态多样，有长有短，有直有弯曲，为了减少假菌丝的类内差距，制作出更有效的训练集，将长或者弯曲的假菌丝分成多段短且较直的部分，按照外接直立矩形边界框的方式标注出每一段假菌丝。设定芽生孢子的标注标签为“blastospore”，假菌丝的标注标签为“hypha”。

步骤二：将步骤一标注的病原体的外接直立矩形边界框转化为病原体的外接旋转矩形边界框，如图2所示。从原图像中截取直立矩形边界框坐标位置处的感兴趣区域，将该感兴趣区域从BGR颜色图像转换成灰度图像，利用基于高斯平滑的自适应阈值分割法二值化该灰度图像，对二值化图进行一次形态学的开运算，拟合开运算后二值化图中的轮廓，找到面积最大的轮廓，然后拟合该轮廓的最小外接旋转矩形。因为芽生孢子、假菌丝可能出现与其他目标物交叉堆叠的场景，影响了芽生孢子和假菌丝的轮廓形态，因此拟合出的最小外接旋转矩形中可能出现其他目标物，需进行人工审核，如果出现此类场景，需标注人员重新人工标注出该芽生孢子或者假菌丝的轮廓，然后，拟合人工标注出的轮廓的最小外接旋转矩形。将以上拟合出的最小外接旋转矩形作为病原体的外接旋转矩形标注框。

对于自适应阈值分割法，最常用的机器视觉库OpenCV对自适应阈值分割的定义如下：

其中gray代表灰度图像，

代表对灰度图像gray进行高斯平滑，其中高斯平滑的窗口的大小为k×k，C代表一个常数，

代表自适应阈值的结果，将大于等于0的位置处的像素值设置为0，小于0的位置处的像素值设置为255。

本发明对上述自适应阈值分割方法进行改进，定义如下：

具体步骤如下：

第一步：将灰度图像gray进行高斯平滑，其中高斯平滑的窗口的大小为k×k，高斯平滑的结果记为

第二步：将第一步得到的高斯平滑结果

乘以某一个小于1的比例系数ratio；

第三步：利用原灰度图像减去第二步的结果；

第四步：将第三步得到结果的大于0的位置处的像素值设置为0，小于0的位置处的像素值设置为255。

改进后的自适应阈值分割的优点：第一：减少分割后的噪点，分割出的目标物的边缘更光滑完整，第二：因为比例系数ratio被限制在[0,1]的区间内，而常数C没有限制，需要经过具体场景的试验才能找到合适的值，所以比例系数ratio比常数C更容易调整到合适的取值，取得更好的分割结果。

以图3为例说明该步骤，其中图4是按照外接直立矩形边界框标注出图3中的芽生孢子和假菌丝的示意图，其中芽生孢子的标注标签为“blastospore”，假菌丝的标注标签为“hypha”，图5(a)是从图4中截取的标注出的5个芽生孢子的感兴趣区域，图5(b)是对图5(a)基于高斯平滑自适应阈值分割和开运算后二值化图，本实例中采用的高斯平滑的高斯核的窗口的大小为(87,87)，ratio＝0.81，图5(c)是针对图5(b)找到的每个面积最大的轮廓，图5(d)是对图5(c)的轮廓拟合出的最小外接旋转矩形，可以看出图5(d)的第一张和第三张图拟合出的芽生孢子的外接旋转矩形是错误的，那么需要人工标注这两个感兴趣区域中芽生孢子的轮廓，然后拟合人工标注轮廓的最小外接旋转矩形。图6(a)从图4中截取的标注出的5个假菌丝的感兴趣区域，图6(b)是图6(a)基于高斯平滑的自适应阈值分割和开运算后的二值化图，本实例中采用的高斯平滑的高斯核的窗口的大小为(87,87)，ratio＝0.81，图6(c)是针对图6(b)找到的每个面积最大的轮廓，图6(d)是对图6(c)的轮廓拟合出的最小外接旋转矩形，可以看出图6(d)的第四张图，因为该假菌丝与芽生孢子产生了交叉堆叠，芽生孢子影响了假菌丝的轮廓形态，拟合出的假菌丝的外接旋转矩形不是最佳的，那么需要人工标注出该假菌丝的轮廓，然后拟合人工标注轮廓的最小外接旋转矩形，最终病原体的外接旋转边界框如图7所示。

步骤三：构建检测病原体的外接旋转矩形边界框的训练集。根据步骤二已经将病原体的外接直立矩形边界框转换为病原体的外接旋转矩形边界框，保存病原体的外接旋转矩形边界框的坐标信息，构建出检测目标物的外接旋转矩形边界框的训练集。旋转矩形采用以下表示方式：θ-90-based-旋转矩形，用五个参数(x,y,w,h,θ)确定旋转矩形，其中(x,y)作为旋转矩形的中心点的坐标，最左侧的边，即水平方向逆时针旋转遇到的该旋转矩形的第一条边，长度为w，另一条边的长度为h，角度θ为最左侧的边与水平方向的夹角，θ∈[-90,0)，如图8所示。

步骤四：基于R3Det(Refined Rotation RetinaNet)并结合ResNet152，将步骤三制作的训练集进行训练，得到病原体的旋转框目标检测模型。其中R3Det在满足检测准确度的同时又能满足较快的检测速度，网络架构较深的ResNet152可有效提取病原体的特征。

R3Det的训练集的旋转矩形采用的是θ-90-based-旋转矩形，用五个参数(x,y,w,h,θ)确定旋转矩形，其中(x,y)作为旋转矩形的中心点的坐标，最左侧的边，即水平方向逆时针旋转遇到的该旋转矩形的第一条边，长度为w，另一条边的长度为h，角度θ为最左侧的边与水平方向的夹角，θ∈[-90,0)，如图8所示。

旋转框的边界回归，比直立框的边界回归多了一个角度，如下：

其中i,i_a,i′(i＝x,y,w,h,θ)分别代表ground truth box，anchor box，predicted box的旋转矩形的参数。

损失函数的定义如下：

L_cls(p_n,t_n)＝-log(p_n*t_n),λ₁和λ₂默认值为1,

其中N代表anchor box的个数，v′_*j代表预测旋转矩形边界框(predicted box)坐标位置向量，v_*j代表ground-truth旋转矩形边界框的坐标位置向量，t_n代表目标物的类别，p_n代表预测目标物类别的概率经sigmoid函数计算出的值。

步骤五：利用步骤四训练出的旋转框目标检测模型进行检测，得到芽生孢子和假菌丝的检测结果。

为了清楚的展现本发明的具体提升效果，选取三类比较常见但是复杂的场景，对比常用的直立框目标检测方法(Faster-RCNN、SSD、YOLO结合主干卷积神经网络ResNet152)检测病原体，并对检测结果进行对比分析，具体如下。

第一个场景：芽生孢子较多且与孢子和芽生孢子堆叠交叉的场景，如图9(a)所示，本发明针对图9(a)的检测病原体的结果，如图9(c)所示，对比直立框目标检测模型(检测方法采用SSD，主干网络采用ResNet152)的检测的结果，如图9(b)，对比结果如下表1所示：

从表1可以看出，本发明比直立框目标检测模型检测出了更多芽生孢子，尤其对与其他目标物产生交叉堆叠的芽生孢子有更好的检出率，具体为：采用本发明的方法检测出了15个芽生孢子，而采用直立框目标检测模型仅检测出9个芽生孢子，采用本发明的方法检测结果和人工审核结果更接近，可见，采用本发明的方法有效提升检测准确率和检出率。

第二个场景：存在少量芽生孢子和较多长且弯曲的假菌丝，而且假菌丝之间堆叠交叉的场景，如图10(a)所示，本发明针对图10(a)检测病原体的结果，如图10(c)所示，对比直立框目标检测模型(检测方法采用YOLO，主干网络采用ResNet152)的检测的结果，如图10(b)，对比结果如下表2所示：

从表2可以看出，本发明比直立框目标检测模型检测出了更多假菌丝，尤其是对交叉堆叠的假菌丝有更好的检出率，具体为：采用本发明的方法检测出了24个假菌丝，而采用直立框目标检测模型仅检测出9个假菌丝，采用本发明的方法检测结果和人工审核结果更接近，可见，采用本发明的方法有效提升检测准确率和检出率。

第三个场景：存在较长弯曲的假菌丝且互相之间有堆叠交叉，并存在较多芽生孢子且与假菌丝之间堆叠交叉的场景，如图11(a)所示，本发明针对图11(a)的检测病原体的结果，如图11(c)所示，对比直立框目标检测模型(检测方法采用Faster-RCNN，主干网络采用ResNet152)的检测的结果，如图11(b)，结果如下表3所示：

从表3可以看出，本发明比直立框目标检测模型检测出了更多的芽生孢子和假菌丝，尤其是对交叉堆叠的芽生孢子和假菌丝有更好的检出率，具体为：采用本发明的方法检测出了24个假菌丝，而采用直立框目标检测模型仅检测出9个假菌丝，采用本发明的方法检测出了8个芽生孢子，而采用直立框目标检测模型仅检测出2个芽生孢子，采用本发明的方法检测结果和人工审核结果更接近，可见，采用本发明的方法有效提升检测准确率和检出率。

上述具体实施方式仅是本发明的具体个案，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施方式。但是凡是未脱离本发明技术原理的前提下，依据本发明的技术实质对以上实施方式所作的任何简单修改、等同变化与改型，皆应落入本发明的专利保护范围。

Claims (8)

1.基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于，包括以下步骤：

S1：准备好待训练图像，在待训练图像中采用外接直立矩形边界框的形式标注出目标物；

S2：将S1中目标物的外接直立矩形边界框转换为目标物的外接旋转矩形边界框；

S3：将S2中目标物的外接旋转矩形边界框对应的坐标信息进行保存，构建出检测目标物的外接旋转矩形边界框的训练集；

S4：基于R3Det并结合ResNet152，将S3构建出的训练集进行训练，得到病原体的旋转框目标检测模型；

S5：将待检测的图像输入S4的旋转框目标检测模型进行检测，得到病原体的旋转框检测结果。

2.如权利要求1所述的基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于：所述S1中待训练图像包含芽生孢子、假菌丝的妇科生殖道微生态显微图像，采用外接直立矩形边界框的形式标注出目标物，得到标注信息，其中标注信息包含目标物的类别标签和位置坐标信息，设定芽生孢子的标注标签为“blastospore”，假菌丝的标注标签为“hypha”。

3.如权利要求1至2任一所述的基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于，所述S2包括以下步骤：

S21：从准备好的待训练图像中截取直立矩形边界框坐标位置处的感兴趣区域；

S22：将S21中的感兴趣区域从BGR颜色图像转换成灰度图像；

S23：利用基于高斯平滑的自适应阈值方法分割二值化S22中的灰度图像，得到二值化图；

S24：对S23中的二值化图进行一次形态学的开运算；

S25：拟合S24中开运算后二值化图中的轮廓，找到面积最大的轮廓；

S26：拟合S25中面积最大轮廓的最小外接旋转矩形，得到外接旋转矩形边界框。

4.如权利要求3所述的基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于，所述S23中基于高斯平滑的自适应阈值方法包括以下步骤：

S231：将灰度图像gray进行高斯平滑，高斯平滑的结果记为

S232：将S231得到的高斯平滑结果

乘以一个小于1的比例系数ratio；

S233：利用原灰度图像减去S232的结果；

S234：将S233得到结果的大于0的位置处的像素值设置为0，小于0的位置处的像素值设置为255；

其中gray代表灰度图像，

代表对灰度图像gray进行高斯平滑，其中高斯平滑的窗口的大小为k×k，Threshold_adaptive代表自适应阈值的结果。

5.如权利要求4所述的基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于：高斯平滑的窗口的大小为(87,87)，ratio＝0.81。

6.如权利要求4至5任一所述的基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于，还包括以下步骤：

S27：对S26中拟合得到的最小外接旋转矩形进行人工审核，若自动拟合结果正确，则将拟合的最小外接旋转矩形作为目标物最终的外接旋转矩形边界框，若自动拟合结果错误，则需重新人工标注出目标物的轮廓，然后，拟合重新人工标注出目标物的轮廓的最小外接旋转矩形，将以上拟合出的最小外接旋转矩形作为目标物最终的外接旋转矩形标注框。

7.如权利要求1所述的基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于：所述S3中目标物的外接旋转矩形边界框对应的坐标信息的表示方式为：

θ-90-based-旋转矩形，用五个参数(x,y,w,h,θ)确定旋转矩形，其中(x,y)作为旋转矩形的中心点的坐标，最左侧的边，即水平方向逆时针旋转遇到的该旋转矩形的第一条边，长度为w，另一条边的长度为h，角度θ为最左侧的边与水平方向的夹角，θ∈[-90,0)。

8.如权利要求7所述的基于R3Det的女性阴道病原体的旋转框目标检测方法，其特征在于：所述S4中的R3Det具体为：

旋转框的边界回归为：

t_θ＝θ-θ_a，

t′_θ＝θ-θ_a,

其中i，i_a,i′(i＝x,y,w,h,θ)分别代表ground truth box，anchor box，predicted box的旋转矩形的参数；

损失函数的定义如下：

L_cls(p_n,t_n)＝-log(p_n*t_n),λ₁和λ₂默认值为1,

其中N代表anchor box的个数，v′_*j代表预测旋转矩形边界框(predicted box)坐标位置向量，v_*j代表ground-truth旋转矩形边界框的坐标位置向量，t_n代表目标物的类别，p_n代表预测目标物类别的概率经sigmoid函数计算出的值。

Images