CN117710970B - 基于半监督算法的胚胎细胞多核目标检测方法 - Google Patents
基于半监督算法的胚胎细胞多核目标检测方法 Download PDFInfo
- Publication number
- CN117710970B CN117710970B CN202410161206.6A CN202410161206A CN117710970B CN 117710970 B CN117710970 B CN 117710970B CN 202410161206 A CN202410161206 A CN 202410161206A CN 117710970 B CN117710970 B CN 117710970B
- Authority
- CN
- China
- Prior art keywords
- model
- loss
- target detection
- frame
- semi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 210000001161 mammalian embryo Anatomy 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 34
- 210000004027 cell Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 210000002308 embryonic cell Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000001850 reproductive effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005088 multinucleated cell Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于半监督算法的胚胎细胞多核目标检测方法，包括以下步骤：步骤S1：构建半监督多核目标检测模型；所述多核目标检测模型包括教师模型和学生模型，所述教师模型通过设置伪标签过滤器以判断所述教师模型生成的伪标签的置信度，以提高伪标签质量；步骤S2：通过数据集对所述目标检测模型进行训练；步骤S3：将待识别的胚胎图像输入训练后的所述目标检测模型中的教师模型进行胚胎多核目标的检测。采用半监督算法，利用少量的标注数据和大量的无标注数据进行模型训练，将图片标注工作交给计算机处理，有效降低标记损失。
Description
技术领域
本发明涉及细胞检测技术领域，具体涉及一种基于半监督算法的胚胎细胞多核目标检测方法。
背景技术
胚胎细胞的多核检测技术在人类生命早期发育中起着重要作用。它是胚胎评估的关键组成部分，有助于胚胎学家评估胚胎质量和发育潜力。根据D3胚胎评估系统，医生可以在胚胎形成后的D1-D3天获得关键的形态学特征信息，而多核特征是医生评估胚胎质量的重要形态学特征信息之一。多核细胞指的是由细胞分裂错误导致细胞内存在多个细胞核的情况。
在医学领域，尤其是在胚胎学研究中，对大量的图片进行人工判别是一项既耗时又需要专业知识的任务。因此，利用计算机技术构建视觉模型来协助医生快速准确地检测多核特征，对该研究领域具有深远影响。这种技术可以大大提高工作效率，减轻医生的工作负担，并提高诊断的准确性。
然而，在现有技术中对胚胎多核特征的检测仍面临如下挑战：由于胚胎细胞标注是一种既耗时又需要专业知识的任务，让拥有专业知识和经验的多个胚胎学家标注多批次胚胎图片并不现实，但是只有部分标注图片会导致数据集标签数据稀缺的问题，影响模型的泛化性；由于目前的标签是通过计算机标注的图片，称之为伪标签图片，但是难以确保伪标签图片数量足够且可信，最终影响模型的稳定性。
发明内容
本发明提出了一种基于半监督算法的胚胎细胞多核目标检测方法，以解决现有数据集数量不足、准确性低，模型检测难以收敛的技术问题。
为解决上述技术问题，本发明提供了一种基于半监督算法的胚胎细胞多核目标检测方法，包括以下步骤：
步骤S1：构建基于半监督算法的胚胎细胞多核目标检测模型；
所述胚胎细胞多核目标检测模型包括教师模型和学生模型，所述教师模型通过设置伪标签过滤器以判断所述教师模型生成的伪标签的置信度，以提高伪标签质量；
所述学生模型通过伪标签进行权重更新，并将更新后的权重发送给教师模型；
步骤S2：通过数据集对所述胚胎细胞多核目标检测模型进行训练；
步骤S3：将待识别的胚胎图像输入训练后的所述胚胎细胞多核目标检测模型中的教师模型进行胚胎多核目标的检测。
优选地，所述胚胎细胞多核目标检测模型采用DarkNet-53作为主干网络，通过堆叠若干个卷积和残差连接层进行特征提取。
优选地，所述置信度的表达式为：
；
式中，i表示图片上的第i个伪标签，j表示第j张图片，P表示预测框内含有物体的概率，表示模型表达定位的准确率。
优选地，在训练过程中，通过指数移动平均将所述学生模型传递给教师模型的参数进行优化，表达式为：
；
式中，t表示迭代次数，表示第t次迭代时教师模型的权重，/>表示衰减系数，表示第t次迭代时学生模型的权重。
优选地，在训练过程中，所述学生模型的损失函数L为：
；
；
；
式中，表示有标签图片与学生模型预测结果相比得出的损失，/>为伪标签图片与学生模型预测结果相比得出的损失，/>为/>的权重，X为学生模型预测结果，Y为有标签图片，/>为伪标签图片，cls用来计算分类损失，reg用来计算回归损失，obj用来计算目标损失，GIOU为回归函数，/>为二值交叉熵。
优选地，通过在回归损失函数中增加角度损失，以提高小目标检测的准确度。
优选地，所述回归损失函数的表达式为：
；
；
；
；
；
式中，IOU表示预测框与真实框的重叠区域，表示角度损失，/>表示添加了角度损失的距离损失，/>为预测框与真实框中心点之间的连线与/>轴的角度，S为预测框与真实框中心点之间的距离，/>为预测框与真实框中心点之间高度的差值，(/>,/>)为预测框中心点坐标，(/>,/>)为真实框中心点坐标，/>为预测框与真实框形成的矩形框的高，/>为预测框与真实框形成的矩形框的宽，/>和/>为距离归一化的结果。
优选地，通过在回归损失函数中增加形状损失，以提高小目标检测的准确度。
优选地，所述回归损失函数的表达式为：
；
；
；
；
式中，IOU表示预测框与真实框的重叠区域，表示形状损失，/>表示模型对形状损失的关注程度，(/>,/>)和(/>,/>)分别为预测框和真实框的宽和高，/>和/>为计算预测框与真实框长和宽差距的归一化结果，K表示形状损失的衰减指数。
优选地，通过在回归损失函数同时增加角度损失和形状损失，以提高小目标检测的准确度，所述回归损失函数的表达式为：
；
式中，IOU表示预测框与真实框的重叠区域，表示添加了角度损失的距离损失，K表示形状损失的衰减指数，/>表示形状损失。
本发明的有益效果至少包括：
1）本发明采用半监督算法，利用少量的标注数据和大量的无标注数据进行模型训练，将图片标注工作交给计算机处理，有效降低标记损失；
2）本发明针对伪标签质量较低的问题，设计一种伪标签过滤器，通过计算伪标签的置信度，以提高伪标签生成质量，为后续的训练和图像检测奠定了坚实的基础；
3）作为附加技术特征，针对多核的目标小，使半监督算法的损失函数导致模型网络收敛速度慢或者难以收敛的问题，设计了角度损失和距离损失，提高了损失函数的下降速度，提高多模型的定位能力；
4）作为附加技术特征，针对多核的目标小，预测框无法精细的覆盖在多核目标上的问题，设计了形状损失，提高了模型对预测框与真实框的宽高比的敏感性，提高模型检测多核目标的准确度。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的胚胎细胞中多核目标示意图；
图3为本发明实施例的伪标签过滤器选取的可信的伪标签图片和不确定的为标签图片示意图；
图4为本发明实施例的半监督多核目标检测算法CETeacher的原理图，损失分为分类、回归和目标；
图5为本发明实施例的对比传统损失函数更新模型参数的迭代过程和本发明所用损失函数迭代过程的区别；
图6为本发明实施例的角度损失所用参数示意图及角度损失函数图；
图7为本发明实施例的距离损失所用参数示意图及IOU损失示意图；
图8为本发明实施例的基于半监督算法的胚胎图像多核目标检测网络模型CETeacher输入的待检测图像；
图9为本发明实施例的基于半监督算法的胚胎图像多核目标检测网络模型CETeacher检测结果图像。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明成功地收集了来自多个生殖中心的十万张胚胎图像，这些图像在时差培养箱中拍摄，覆盖了D1-D3阶段的胚胎发育过程。这一大量的数据为本发明的研究提供了坚实的基础，然而，数据集的建立却是一项重大的挑战。专业知识和经验丰富的胚胎学家数量有限，他们需要花费大量的时间来标注这些图片，这无疑是一项耗时且繁重的工作，更重要的是，这意味着他们在此期间无法进行其他更有价值的专业工作。因此，急需一种更高效的方法来替代这种机械化的图像标注工作。如何利用少量的标注数据和大量的未标注图像进行模型训练，无疑是一种的新挑战。本发明使用半监督算法进行目标检测，它旨在利用少量的标注数据和大量的无标注数据进行模型训练，将图片标注工作交给计算机处理，有效降低标记损失，提高模型性能。
图2示出了本发明的一个多核目标胚胎细胞图像，从图2可以看出，在电子显微镜的照射下，它们具有透明或半透明的光学特性，这使得被多核目标的大部分图像特征能够有效地保留下来，这为使用深度学习检测算法来检测多核目标提供了良好的基础。
胚胎细胞在分裂过程中确实可能出现多核的现象，这是评估胚胎细胞质量的重要指标之一。然而，多核目标仅占据胚胎细胞物理空间的小部分。在实际计算中，考虑到背景的情况下，粘连的多核目标只占据了整个二维图像很小的像素部分，这对算法的检测效果构成了巨大挑战。
因此本发明实施例提供了一种基于半监督算法的胚胎细胞多核目标检测方法，如图1所示，包括以下步骤：
步骤S1：构建基于半监督的多核目标检测模型；
多核目标检测模型包括教师模型和学生模型，教师模型通过设置伪标签过滤器以判断教师模型生成的伪标签的置信度，以提高伪标签质量。
具体地，在胚胎检测领域，本发明的实际应用需要确保检测的可操作性，因此本发明实施例采用DarkNet-53作为主干网络，其通过堆叠多个卷积和残差连接层来提高特征提取的效果，与其他复杂的网络模型相比，其主干网络的卷积层数适中，这不仅有助于网络进行快速的特征提取，而且具有良好的特征提取能力。
多核目标标注是一项繁琐且复杂的任务，它需要胚胎学家投入大量的时间和精力，这种工作的机械化性质使得它成为一个效率问题。然而，网络模型的训练需要大量的有标签图片，少量的标签图片会严重影响网络模型的泛化能力和检测的准确性。因此，如何有效利用少量的有标签和大量的无标签数据对提高网络模型的性能具有重要影响。
本发明提出一种半监督目标检测算法CETeacher模型结构由教师模型-学生模型构成，教师模型用于标注无标签图像形成伪标签图片，然后将伪标签图片用于学生模型的训练，从而解决数据集标签缺失问题。
网络模型训练的一次迭代主要分为前向传播阶段和反向传播阶段。前向传播阶段是图片从输入层经过隐含层，到达输出层，最后经过检测头生成多核目标检测图片；这是数据由低层次向高层次传播的阶段。反向传播阶段是当前向传播得出的检测结果与预期不相符时，将误差从高层次向底层次进行传播训练。这个阶段依次调节输入层到隐含层的权重和偏置和各个隐含层到输出层的权重和偏置以提高下一轮迭代前向传播生成的多核目标检测图片的准确性。
由上述网络模型训练的知识，本发明对整个网络模型的训练进行了针对性设计以解决其中的效率问题，首先为了方便后续的权重传递本发明设定教师模型和学生模型的网络结构保持一致。其次，半监督网络模型的训练过程为学生模型通过标签图片和无标签图片进行前向传播和反向传播阶段，以此更新其权重。然后，学生模型将这些参数传递给教师模型，教师模型接受到参数后仅进行前向传播，通过无标签图片生成伪标签图片，这些图片将用于学生模型在下一次权重更新。值得注意的是，在整个过程中只有教师模型在生成伪标签图片后，学生模型才会使用无标签图片进行训练。
然而，在模型刚开始进行网络训练时，教师模型生成的伪标签质量很差，将质量很差的伪标签放入学生模型训练，不仅降低网络模型泛化性和准确性，甚至根本无法使用。因此，为了确保伪标签的准确性，本发明提出了一种名为伪标签过滤器（Pseudo LabelFilter，PLF）的机制，在这个训练过程中，一张图像可能会被赋予多个伪标签。如果一个图像的伪标签的置信度高于设定的阈值，那么这个图像就被认为是具有可信的伪标签。相反，如果伪标签的置信度低于阈值/>，那么这个图像就被视为具有不确定的伪标签。置信度的计算公式如下所示：
；
式中，i表示图片上的第i个伪标签，j表示第j张图片，P表示预测框内含有物体的概率，表示模型表达定位的准确率。
如图3所示，将经过教师模型送入PLF后的伪标签质量有了极大的提升。
但是尽管在伪标签质量有了极大的提升的情况下，网络模型在训练过程中获得的伪标签图片可能存在不足的问题，导致网络模型达到收敛时的迭代轮数较高，训练效率缓慢，因此从这个问题的角度出发，对教师模型和学生模型的任务重新审视，教师模型的主要任务是生成伪标签图片，去预测模型未见过的标注图像，需要具有高度的泛化能力。另一方面，学生模型的主要任务是进行权重更新，更好的适应新加入的训练图像。根据不同的任务需求，本发明对教师模型接受的权重进行优化，本发明实施例中，采用了一种使用指数移动平均（Exponential Moving Average，EMA）的方法，将学生模型传递给教师模型的参数进行优化，其公式如下所示：
；
式中，t表示迭代次数，表示第t次迭代时教师模型的权重，/>表示衰减系数，表示第t次迭代时学生模型的权重。
EMA是对梯度下降的步长增加了一个学习率衰减系数，它对教师模型在不同训练步骤的参数进行了平均，相当于在多个模型之间进行了平衡。这样可以有效防止教师模型过度依赖某一部分数据，提高模型的泛化性。
由于EMA考虑了教师模型在不同训练步骤的参数，因此它可以捕捉到教师模型在整个训练过程中的行为，提高模型的泛化能力，这样可以使模型对无标签数据集有更好的预测能力，提高每次迭代时伪标签图像产生质量和数目给予学生模型训练，减少网络模型达到收敛时的迭代轮数，提高了训练效率。
如图4所示，本发明实现了使用计算机无标签图像进行标注，使用PLF提高了教师模型生成伪标签的质量的同时，示例性地采用了EMA进一步提高了生成伪标签的数量，并且在整个训练过程可以相互加强，从而随着训练的进行而变得越来越好，使半监督算法的检测效果接近全监督算法的效果，由于EMA技术的使用教师模型比学生模型对未知的胚胎图片有更好的检测结果，半监督算法CETeacher使用教师模型作为最终网络模型。
步骤S2：通过数据集对目标检测模型进行训练。
具体地，本发明收集了来自不同生殖中心的数万张图像，这些图像是在时差培养箱中拍摄的，涵盖了D1-D3阶段的胚胎图像，这些图像中包含了多核胚胎细胞。考虑到时差培养箱中拍摄的图像在同一阶段具有相似的特征，选取2千张拥有明显特征的图片作为本发明的数据集，每张图像都经过多名胚胎专家的评定，投票后选择得票最多的评定结果作为该图像的标签，为半监督算法提供标准标注图片。这样做可以增加标签的准确性和可靠性。
最后，将标注好的数据集按照7:2:1的比例划分为训练集、验证集和测试集，将无标注图全部放入训练集，确保模型在训练过程中充分利用数据进行学习，并在验证集和测试集上进行评估和验证。通过这样的数据集划分，可以有效地提高网络模型的性能和泛化能力。
在网络训练的过程中，损失函数的主要作用是度量模型预测的结果与实际标签之间的差异。这种差异被用来在训练过程中更新模型的参数，以使模型的预测结果更接近实际的标签。在目标检测算法中，损失函数主要由三个部分构成：分类损失、回归损失和目标损失。对于只有单一类别的多核目标检测任务来说，回归损失函数用于不仅考虑了IOU损失即预测框与真实框的重叠区域，还考虑了距离损失即预测框与真实框中心点之间的距离，而目标损失则用于判断矩形框内是否存在目标，这两种损失构成了该任务损失函数的主要部分。
对于半监督算法CETeacher而言，其学生模型的训练集分为两个部分，一部分为有标签图片，一部分为伪标签图片，所以在训练过程中，其损失函数分为两部分，其公式如下所示:
；
其中为学生模型的总体损失，/>为有标签图片与学生模型预测结果相比得出的损失，/>为伪标签图片与学生模型预测结果相比得出的损失，/>为/>的权重，在迭代过程中，伪标签图片量较多，使模型更加注意伪标签图片的预测结果，故一般设置权重为3，两部分损失计算公式如下所示：
；
；
其中，X为学生模型预测结果，Y为有标签图片，为伪标签图片，cls用来计算分类损失、reg用来计算回归损失，obj用来计算目标损失，GIOU为回归函数，/>为二值交叉熵。
然后由图2可以看出，相对于整张图片，多核目标占据的像素十分稀少，预测矩形框与实际矩形框都非常小。首先，两者未重叠时，回归损失仅仅考虑了预测框与真实框中心点之间的距离，使网络模型的预测框很难找到真实框的位置，如图5所示，这里为了方便观察仅展示一组预测框与真实框，预测框在逼近真实框的过程中，预测框由于出现的角度随机性，从y轴右侧出现在左侧，两者的距离虽然在变小，但这并不是一种快速的逼近方式。其次，较小框导致两者的重叠的难度也大大上升，无论是回归损失还是目标损失都很难减少，使得网络模型较难收敛。
对于有监督算法，虽然小目标检测使损失函数很难减少，但是固定的训练集也能使训练者通过增加迭代次数，使网络逐渐收敛。但对于半监督算法来说，小目标检测是一个特别的挑战，随着迭代次数的上升，伪标签图片会不断加入训练集中更新损失函数，使损失函数上下波动，无法快速减少损失函数L会导致网络模型无法收敛，严重影响网络模型的准确率。
对于网络模型本身，多核目标的检测相比于大目标更具挑战性。由于其宽高比的敏感性，即使是微小的数值变化也会导致宽高比的显著改变。这种变化使得预测框的尺寸难以精确控制，从而导致网络模型难以生成能够精确覆盖多核目标的检测框。
为了解决这些问题，本发明在GIOU只包含距离损失和IOU损失的回归损失函数基础上，通过新增角度损失或形状损失或角度损失和形状损失的结合，以进行提高小目标检测的准确率。
实施例1，添加角度损失：
角度损失的作用是让模型尝试将预测框首先在最接近X或Y轴做预测，然后沿着相关轴继续接近，它使得预测框相当快地移动到最近的轴，并且随后的方法只需要一个坐标X或Y的回归，有效地减少了预测框出现的角度随机性，提高了损失函数下降的速度角度损失的公式如下：
；
其中为角度损失，/>的计算公式如下所示：
如图6角度损失所示，其中为预测框与真实框中心点之间的连线与/>轴的角度，S为预测框与真实框中心点之间的距离，/>为预测框与真实框中心点之间高度的差值。
如图6中的角度损失函数曲线所示，当角度为0和时，无角度损失，角度为时，角度损失最大，将角度损失降低的过程就是让模型尝试将预测框在最接近X或Y轴做预测。因为角度和距离是定位物体最重要的两个因素，所以本发明将角度损失引入距离损失中，公式如下：
；
；
其中，为距离损失，/>为角度损失，(/>,/>)为预测框中心点坐标，(/>,/>)为真实框中心点坐标，/>为预测框与真实框形成的矩形框的高，/>为预测框与真实框形成的矩形框的宽，/>和/>为距离归一化的结果。
距离损失描述了中心点之间的距离，其惩罚代价与角度代价呈正相关，越接近Π/4，距离损失贡献越大。相反，当/>→0时，距离损失的贡献大大降低，距离损失变得常规。
当预测边界框与真实边界框有交集时，网络模型需要使用IOU损失评估预测边界框与真实边界框之间的重叠程度，其公式如下：
；
如图7的IOU损失所示，黑色部分参与实际计算，其中AO是预测框与真实框的重叠面积，AU是预测框与真实框并集的全部面积。
角度的加入使预测框和真实框能够快速重叠，减少了距离损失和IOU损失，加速了损失的函数的下降速度，解决了半监督算法网络模型难以收敛的问题，最后对回归损失函数进行融合得到如下损失函数：
；
表示回归损失函数。
实施例2，仅添加形状损失函数：
多核目标相比于大目标，其检测框的宽高比更加敏感，少量数值的增加和减少都会让宽高比大幅变化，导致预测框的大小难以控制，使得检测框很难精细的覆盖到多核目标上，本发明利用宽高比的相关计算形成形状损失，让模型能够感知宽高比的变化对多核目标检测的影响，提高检测多核目标的精确度，其公式如下所示：
；
；
其中，为形状损失，(/>,/>)和(/>,/>)分别为预测框和真实框的宽和高，控制模型对形状损失的关注程度，为了避免过于关注形状损失而降低对预测框的移动，和/>为计算预测框与真实框长和宽差距的归一化结果。
对于多核目标而言，预测框与真实框太小，为了使模型在两者有重叠之前尽可能的降低形状损失的影响，本发明设计了形状损失的衰减指数K，其公式如下所示：
；
其中，为形状损失，很明显由公式（8）可知/>小于1，当IOU为0时，也就是两者未重叠时，形状损失衰减严重几乎不起作用，如图5所示，本发明所用损失函数当真实框与预测框逐渐重叠时，IOU增加，形状损失的权重K增加，使模型更加注重调整预测框的大小。
最后将IOU损失和形状损失整合，形成最终的回归损失函数，其公式如下所示：
。
实施例3，同时添加角度损失和形状损失：
将角度损失、距离损失、IOU损失和形状损失整合，形成最终的回归损失函数，其公式如下所示：
；
实施例1、实施例2和实施例3的方法带入损失函数中，即将原始的GIOU回归损失函数进行替换，得到如下公式：
；
；
在此部分本发明将用于半监督算法，不仅解决了因多核目标太小，半监督算法的损失函数下降速度过慢导致网络不收敛的问题，还在此基础上使用形状损失提高了检测小目标的精确度，解决了小目标检测问题，提高了半监督算法CETeacher生成的网络模型检测的准确率。
之后，将设置好的训练集和验证集输入网络模型中训练，使用的硬件为Intel®Core™ i5-10400 CPU @ 2.90GHz，16G内存，NVIDIA GeForce GTX1070，设置训练轮数为1000次，一次训练所选取的样本数为32，类型识别为多核类，实际训练时间为8h，最终获得多核检测所需的配置文件。
步骤S3：将待识别的胚胎图像输入训练后的目标检测模型中的教师模型进行胚胎多核目标的检测。
具体地，输入图像被分成固定大小的网格单元格，每个单元格内预测多个边界框。通过选择置信度最高的边界框作为主要预测框，算法确定了每个单元格的目标类别预测，使用sigmoid分类进行类别分类。应用非极大值抑制方法(NMS)来剔除重叠的检测框，只保留最具置信度的边界框。最后，根据置信度阈值过滤掉置信度较低的边界框，输出检测到的目标类别和位置信息。这种方法综合利用了边界框的置信度和类别预测来实现目标检测任务，图8示出了输入的待检测图像，图9示出了检测结果图像，对比可以看出，本发明实施例所提供的一种基于半监督算法的胚胎细胞多核目标检测方法，目标检测的结果符合实际要求。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于半监督算法的胚胎细胞多核目标检测方法，其特征在于：包括以下步骤：
步骤S1：构建基于半监督算法的胚胎细胞多核目标检测模型；
所述胚胎细胞多核目标检测模型包括教师模型和学生模型，所述教师模型通过设置伪标签过滤器以判断所述教师模型生成的伪标签的置信度，以提高伪标签质量；
所述学生模型通过伪标签进行权重更新，并将更新后的权重发送给教师模型；
步骤S2：通过数据集对所述目标检测模型进行训练；
步骤S3：将待识别的胚胎图像输入训练后的所述胚胎细胞目标检测模型中的教师模型进行胚胎多核目标的检测；
在训练过程中，所述学生模型的损失函数L为：
；
；
；
式中，表示有标签图片与学生模型预测结果相比得出的损失，/>为伪标签图片与学生模型预测结果相比得出的损失，/>为/>的权重，X为学生模型预测结果，Y为有标签图片，为伪标签图片，cls用来计算分类损失，reg用来计算回归损失，obj用来计算目标损失，GIOU为回归函数，/>为二值交叉熵；
在回归损失函数中增加角度损失；
所述回归损失函数的表达式为：
；
；
；
；
；
式中，IOU表示预测框与真实框的重叠区域，表示角度损失，/>表示添加了角度损失的距离损失，/>为预测框与真实框中心点之间的连线与/>轴的角度，S为预测框与真实框中心点之间的距离，/>为预测框与真实框中心点之间高度的差值，(/>,/>)为预测框中心点坐标，(/>,/>)为真实框中心点坐标，/>为预测框与真实框形成的矩形框的高，/>为预测框与真实框形成的矩形框的宽，/>和/>为距离归一化的结果。
2.根据权利要求1所述的一种基于半监督算法的胚胎细胞多核目标检测方法，其特征在于：所述胚胎细胞多核目标检测模型采用DarkNet-53作为主干网络，通过堆叠若干个卷积和残差连接层进行特征提取。
3.根据权利要求1所述的一种基于半监督算法的胚胎细胞多核目标检测方法，其特征在于：所述置信度的表达式为：
；
式中，i表示图片上的第i个伪标签，j表示第j张图片，P表示预测框内含有物体的概率，表示模型表达定位的准确率。
4.根据权利要求1所述的一种基于半监督算法的胚胎细胞多核目标检测方法，其特征在于：在训练过程中，通过指数移动平均将所述学生模型传递给教师模型的参数进行优化，表达式为：
；
式中，t表示迭代次数，表示第t次迭代时教师模型的权重，/>表示衰减系数，/>表示第t次迭代时学生模型的权重。
5.根据权利要求1所述的一种基于半监督算法的胚胎细胞多核目标检测方法，其特征在于：在回归损失函数中增加形状损失。
6.根据权利要求5所述的一种基于半监督算法的胚胎细胞多核目标检测方法，其特征在于：所述回归损失函数的表达式为：
；
；
；
；
式中，IOU表示预测框与真实框的重叠区域，表示形状损失，/>表示模型对形状损失的关注程度，(/>,/>)和(/>,/>)分别为预测框和真实框的宽和高，/>和/>为计算预测框与真实框长和宽差距的归一化结果，K表示形状损失的衰减指数。
7.根据权利要求1所述的一种基于半监督算法的胚胎细胞多核目标检测方法，其特征在于：在回归损失函数中同时增加角度损失和形状损失，所述回归损失函数的表达式为：
；
式中，IOU表示预测框与真实框的重叠区域，表示添加了角度损失的距离损失，K表示形状损失的衰减指数，/>表示形状损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410161206.6A CN117710970B (zh) | 2024-02-05 | 2024-02-05 | 基于半监督算法的胚胎细胞多核目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410161206.6A CN117710970B (zh) | 2024-02-05 | 2024-02-05 | 基于半监督算法的胚胎细胞多核目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117710970A CN117710970A (zh) | 2024-03-15 |
| CN117710970B true CN117710970B (zh) | 2024-05-03 |
Family
ID=90157376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410161206.6A Active CN117710970B (zh) | 2024-02-05 | 2024-02-05 | 基于半监督算法的胚胎细胞多核目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710970B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581350A (zh) * | 2022-02-23 | 2022-06-03 | 清华大学 | 一种适用于单目3d目标检测任务的半监督学习方法 |
| CN115565671A (zh) * | 2022-10-14 | 2023-01-03 | 河北工业大学 | 基于跨模型相互教学半监督的房颤辅助分析方法 |
| CN116563687A (zh) * | 2023-06-07 | 2023-08-08 | 厦门大学 | 一种面向半监督指向性目标检测的教师-学生网络方法 |
| CN116821698A (zh) * | 2023-08-31 | 2023-09-29 | 中国科学技术大学 | 基于半监督学习的小麦赤霉病孢子检测方法 |
| CN116958889A (zh) * | 2023-07-25 | 2023-10-27 | 北京能创科技有限公司 | 一种基于伪标签的半监督小样本目标检测方法 |
| CN117422934A (zh) * | 2023-11-29 | 2024-01-19 | 江苏迪赛特医疗科技有限公司 | 异常细胞检测方法、系统、计算机设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784333B (zh) * | 2019-01-22 | 2021-09-28 | 中国科学院自动化研究所 | 基于点云带权通道特征的三维目标检测方法及系统 |
| US20230154167A1 (en) * | 2021-11-15 | 2023-05-18 | Nec Laboratories America, Inc. | Source-free cross domain detection method with strong data augmentation and self-trained mean teacher modeling |
| CN116863274A (zh) * | 2023-07-17 | 2023-10-10 | 燕山大学 | 一种基于半监督学习的钢板表面缺陷检测方法及系统 |
-
2024
- 2024-02-05 CN CN202410161206.6A patent/CN117710970B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581350A (zh) * | 2022-02-23 | 2022-06-03 | 清华大学 | 一种适用于单目3d目标检测任务的半监督学习方法 |
| CN115565671A (zh) * | 2022-10-14 | 2023-01-03 | 河北工业大学 | 基于跨模型相互教学半监督的房颤辅助分析方法 |
| CN116563687A (zh) * | 2023-06-07 | 2023-08-08 | 厦门大学 | 一种面向半监督指向性目标检测的教师-学生网络方法 |
| CN116958889A (zh) * | 2023-07-25 | 2023-10-27 | 北京能创科技有限公司 | 一种基于伪标签的半监督小样本目标检测方法 |
| CN116821698A (zh) * | 2023-08-31 | 2023-09-29 | 中国科学技术大学 | 基于半监督学习的小麦赤霉病孢子检测方法 |
| CN117422934A (zh) * | 2023-11-29 | 2024-01-19 | 江苏迪赛特医疗科技有限公司 | 异常细胞检测方法、系统、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Yihe Tang.et..Humble Teachers Teach Better Students for Semi-Supervised Object Detection.《 arXiv:2106.10456 [cs.CV]》.2021,1-13. * |
| 基于定位置信度加权的半监督目标检测算法;冯泽恒等;《计算机工程与应用》;20230215;11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117710970A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018150812A1 (en) | Balancing active learning | |
| NL2025689B1 (en) | Crop pest detection method based on f-ssd-iv3 | |
| US20220067588A1 (en) | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model | |
| CN111339818B (zh) | 一种人脸多属性识别系统 | |
| CN112052948B (zh) | 一种网络模型压缩方法、装置、存储介质和电子设备 | |
| CN112364747B (zh) | 一种有限样本下的目标检测方法 | |
| CN113222149A (zh) | 模型训练方法、装置、设备和存储介质 | |
| CN113780584B (zh) | 标签预测方法、设备、存储介质 | |
| Liu et al. | A chimp-inspired remora optimization algorithm for multilevel thresholding image segmentation using cross entropy | |
| Ouf | Leguminous seeds detection based on convolutional neural networks: Comparison of faster R-CNN and YOLOv4 on a small custom dataset | |
| CN114580501A (zh) | 骨髓细胞分类方法、系统、计算机设备及存储介质 | |
| Zhang et al. | Merging nucleus datasets by correlation-based cross-training | |
| CN117710970B (zh) | 基于半监督算法的胚胎细胞多核目标检测方法 | |
| CN112270334A (zh) | 一种基于异常点暴露的少样本图像分类方法及系统 | |
| CN111161238A (zh) | 图像质量评价方法及装置、电子设备、存储介质 | |
| CN113408546B (zh) | 基于相互全局上下文注意力机制的单样本目标检测方法 | |
| Chang et al. | Image classification algorithm based on big data and multilabel learning of improved convolutional neural network | |
| CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 | |
| CN112906732B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN117371511A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
| CN117746266A (zh) | 一种基于半监督交互学习的树冠检测方法、装置及介质 | |
| Liu et al. | Nuclei detection in breast histopathology images with iterative correction | |
| CN116310652A (zh) | 一种基于强化学习的小样本图像处理方法及其相关设备 | |
| CN115471714A (zh) | 数据处理方法、装置、计算设备和计算机可读存储介质 | |
| Yang et al. | Research on Aircraft Remote Sensing Image Recognition Network Based on Attention Mechanism and TF Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |