发明内容
基于此,为了解决上述技术问题,提供一种异常细胞检测方法、系统、计算机设备及存储介质,可以提高异常细胞检测的准确率。
一种异常细胞检测方法,所述方法包括:
创建细胞生成模型,并通过所述细胞生成模型构建细胞块数据集;
将所述细胞块数据集作为输入,训练得到细胞分类模型;
获取预先训练好的细胞检测模型,通过所述细胞检测模型对所述细胞块数据集进行细胞异常检测,得到异常细胞数据集;
将所述异常细胞数据集输入到所述细胞分类模型中,得到分类分数;
使用排序损失函数根据所述分类分数对所述细胞检测模型进行参数调整,得到优化后的细胞检测模型;
通过优化后的细胞检测模型进行异常细胞检测。
在其中一个实施例中,所述通过所述细胞检测模型对所述细胞块数据集进行细胞异常检测,得到异常细胞数据集,包括:
通过所述细胞检测模型定位所述细胞块数据集中的各个异常细胞;
将各个所述异常细胞裁剪成各个样本图像块,并将各个所述样本图像块作为异常细胞数据集。
在其中一个实施例中,所述细胞检测模型为一阶段检测模型或二阶段检测模型;
当所述细胞检测模型为一阶段检测模型时,在FPN的输出中加入ROI Align层,生成ROI特征。
在其中一个实施例中,所述使用排序损失函数根据所述分类分数对所述细胞检测模型进行参数调整,得到优化后的细胞检测模型,包括:
根据排序损失函数对所述分类分数进行修正,得到修正后的分类分数;
捕获所述异常细胞数据集中细胞之间的上下文关系;
根据所述上下文关系以及修正后的分类分数对所述细胞检测模型中的分类器进行调整,得到优化后的细胞检测模型。
在其中一个实施例中,所述捕获所述异常细胞数据集中细胞之间的上下文关系,包括:
确定所述ROI特征与所述细胞分类模型中的局部尺度特征之间的ROI相关一致性损失;
使用所述ROI相关一致性损失捕获所述异常细胞数据集中细胞之间的上下文关系。
在其中一个实施例中,所述细胞检测模型为单步的细胞检测模型,或多步的细胞检测模型。
一种异常细胞检测系统,所述系统包括:
数据集构建模块,用于创建细胞生成模型,并通过所述细胞生成模型构建细胞块数据集;
细胞分类模型训练模块,用于将所述细胞块数据集作为输入,训练得到细胞分类模型;
细胞异常检测模块,用于获取预先训练好的细胞检测模型,通过所述细胞检测模型对所述细胞块数据集进行细胞异常检测,得到异常细胞数据集;
分类模块,用于将所述异常细胞数据集输入到所述细胞分类模型中,得到分类分数;
参数调整模块,用于使用排序损失函数根据所述分类分数对所述细胞检测模型进行参数调整,得到优化后的细胞检测模型;
异常细胞检测模块,用于通过优化后的细胞检测模型进行异常细胞检测。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
创建细胞生成模型,并通过所述细胞生成模型构建细胞块数据集;
将所述细胞块数据集作为输入,训练得到细胞分类模型;
获取预先训练好的细胞检测模型,通过所述细胞检测模型对所述细胞块数据集进行细胞异常检测,得到异常细胞数据集;
将所述异常细胞数据集输入到所述细胞分类模型中,得到分类分数;
使用排序损失函数根据所述分类分数对所述细胞检测模型进行参数调整,得到优化后的细胞检测模型;
通过优化后的细胞检测模型进行异常细胞检测。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
创建细胞生成模型,并通过所述细胞生成模型构建细胞块数据集;
将所述细胞块数据集作为输入,训练得到细胞分类模型;
获取预先训练好的细胞检测模型,通过所述细胞检测模型对所述细胞块数据集进行细胞异常检测,得到异常细胞数据集;
将所述异常细胞数据集输入到所述细胞分类模型中,得到分类分数;
使用排序损失函数根据所述分类分数对所述细胞检测模型进行参数调整,得到优化后的细胞检测模型;
通过优化后的细胞检测模型进行异常细胞检测。
上述异常细胞检测方法、系统、计算机设备及存储介质,通过细胞生成模型可以创建类别平衡的细胞块数据集,用于细胞分类模型的训练,可以提高多类别的分类性能;使用排序损失函数根据分数对参数进行调整,在不改变网络结构的情况下对细胞检测模型进行优化,可以节约计算资源和时间成本,提高模型的实用性;以细胞分类模型为教师模型,对细胞检测模型进行不断优化,有助于提高模型的鲁棒性和泛化能力,进一步提高异常细胞的检测精度,降低医疗成本,减少社会资源浪费。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的异常细胞检测方法,可以应用于如图1所示的应用环境中。如图1所示,该应用环境包括计算机设备110。计算机设备110可以创建细胞生成模型,并通过细胞生成模型构建细胞块数据集;计算机设备110可以将细胞块数据集作为输入,训练得到细胞分类模型;计算机设备110可以获取预先训练好的细胞检测模型,通过细胞检测模型对细胞块数据集进行细胞异常检测,得到异常细胞数据集;计算机设备110可以将异常细胞数据集输入到细胞分类模型中,得到分类分数;计算机设备110可以使用排序损失函数根据分类分数对细胞检测模型进行参数调整,得到优化后的细胞检测模型;计算机设备110可以通过优化后的细胞检测模型进行异常细胞检测。其中,计算机设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、机器人、平板电脑等设备。
在一个实施例中,如图2所示,提供了一种异常细胞检测方法,包括以下步骤:
步骤202,创建细胞生成模型,并通过细胞生成模型构建细胞块数据集。
细胞生成模型可以是用于构建细胞块数据集的神经网络模型。在本实施例中,可以采集若干包含有细胞的样本图像,将样本图像作为输入训练创建出细胞生成模型。
在本实施例中,利用细胞生成模型可以生成类别平衡的细胞块数据集,用于细胞分类模型的训练,可以减轻类别不平衡的影响。
步骤204,将细胞块数据集作为输入,训练得到细胞分类模型。
在训练细胞分类模型的过程中,可以通过监督信息来减少噪声标签的影响。其中,细胞分类模型可以用于进行细胞分类,并输出细胞分类分数。其中,细胞分类模型可以基于知识蒸馏的方式作为教师模型,对后续的细胞检测模型进行训练和调整。
步骤206,获取预先训练好的细胞检测模型,通过细胞检测模型对细胞块数据集进行细胞异常检测,得到异常细胞数据集。
其中,细胞检测模型可以是预先使用有细胞标注的图像数据进行训练,得到一个初始的细胞检测模型,该初始的细胞检测模型可以检测出图像中的异常细胞区域,但是可能存在误报或漏报的情况。
细胞检测模型可以是预先训练好的神经网络模型,用于对异常细胞进行检测。其中,细胞检测模型可以基于知识蒸馏的方式作为学生模型,根据细胞分类模型的指导进行调整和优化。
在本实施例中,可以将细胞块数据集作为输入,通过细胞检测模型进行细胞异常检测,从而得到检测结果,构成异常细胞数据集。
步骤208,将异常细胞数据集输入到细胞分类模型中,得到分类分数。
由于使用细胞生成模型构建一个类别平衡的细胞块数据集,用于预训练细胞分类网络,因此,将这些提取出的异常细胞数据集输入到细胞分类模型中可以获得精确的分类分数和局部尺度特征。
步骤210,使用排序损失函数根据分类分数对细胞检测模型进行参数调整,得到优化后的细胞检测模型。
获得分类分数后,可以基于排序损失函数来对细胞检测模型进行调整,具体的,可以通过修正细胞检测模型的分类分数来改进细胞检测网络的分类器,从而得到优化后的细胞检测模型。
步骤212,通过优化后的细胞检测模型进行异常细胞检测。
在本实施例中,通过细胞生成模型可以创建类别平衡的细胞块数据集,用于细胞分类模型的训练,可以提高多类别的分类性能;使用排序损失函数根据分数对参数进行调整,在不改变网络结构的情况下对细胞检测模型进行优化,可以节约计算资源和时间成本,提高模型的实用性;以细胞分类模型为教师模型,对细胞检测模型进行不断优化,有助于提高模型的鲁棒性和泛化能力,进一步提高异常细胞的检测精度,降低医疗成本,减少社会资源浪费。
在一个实施例中,提供的一种异常细胞检测方法还可以包括进行细胞异常检测的过程,具体过程包括:通过细胞检测模型定位细胞块数据集中的各个异常细胞;将各个异常细胞裁剪成各个样本图像块,并将各个样本图像块作为异常细胞数据集。
其中,计算机设备可以利用细胞检测模型定位各个异常细胞,并将前k个异常细胞裁剪成patch,然后输入到训练好的细胞分类模型中获得分类分数。
在一个实施例中,细胞检测模型为一阶段检测模型或二阶段检测模型;当细胞检测模型为一阶段检测模型时,在FPN的输出中加入ROIAlign层,生成ROI特征。
在选取一阶段检测模型作为细胞检测模型,比如RetinaNet,需要在FPN的输出中加入ROIAlign层,生成ROI特征;若选取二阶段检测模型,则无需改变网络结构,由于检测固有的架构限制和注释不完整,细胞检测模型输出的置信度评分可能不准确,因此需要另一种细胞分类模型来对这些patch进行分类,框架利用局部尺度的分类细化机制来指导细胞检测模型的训练,采用SE-ResNext50作为细胞分类模型,对细胞检测模型的分类器进行改进和增强。
在一个实施例中,提供的一种异常细胞检测方法还可以包括对细胞检测模型进行优化的过程,具体过程包括:根据排序损失函数对分类分数进行修正,得到修正后的分类分数;捕获异常细胞数据集中细胞之间的上下文关系;根据上下文关系以及修正后的分类分数对细胞检测模型中的分类器进行调整,得到优化后的细胞检测模型。
计算机设备可以根据排序损失函数(Rank Loss)来纠正分类分数进行修正,然后使用RCC损失(ROI-Correlation Consistency Loss)来捕获提取的细胞之间的上下文关系,以进一步优化细胞检测模型。
在一个实施例中,提供的一种异常细胞检测方法还可以包括提取细胞之间上下文关系的过程,具体过程包括:确定ROI特征与细胞分类模型中的局部尺度特征之间的ROI相关一致性损失;使用ROI相关一致性损失捕获异常细胞数据集中细胞之间的上下文关系。
确定了ROI特征(ROI Features)与细胞分类模型的局部尺度特征(Local-ScaleFeatures)之间的ROI相关一致性损失(ROI-Correlation Consistency Loss)后,可以促使细胞检测模型探索异常细胞的特征相关性。
在一个实施例中,细胞检测模型为单步的细胞检测模型,或多步的细胞检测模型。
细胞检测模型可以使用多种不同结构的检测模型,其中常见的有单步的细胞检测模型和多步的细胞检测模型。单步的细胞检测模型通常采用一种单一的网络架构来直接输出目标的位置和类别信息,例如SSD和YOLO等;而多步的细胞检测模型则将目标检测过程分为两个或更多步骤,通常包括先预测目标位置的区域,例如Faster R-CNN中的区域建议网络,再对每个区域进行分类和回归处理,方法包括Mask R-CNN和RetinaNet等。
在一个实施例中,细胞分类模型也可以采用各种不同的结构,如稠密型网络(DenseNet)、ResNet、Inception等,网络的主要区别在于网络深度、卷积核大小、连接方式等方面。在本实施例中,可以根据数据集的类型和规模选择合适的细胞分类模型,以获得更好的性能。
在一个实施例中,如图3所示,提供的一种异常细胞检测方法中,通过细胞生成模型构建细胞块数据集后,可以输入到细胞检测模型进行检测,得到异常细胞数据集;异常细胞数据集可以输入到细胞分类模型中,使用排序损失函数,调整细胞检测模型的参数,即利用知识蒸馏的方式,使用细胞分类模型指导细胞检测模型,从而得到优化后的细胞检测模型。
在一个实施例中,提供的一种异常细胞检测方法,构建了一个预训练的细胞分类模型,其中,为了解决类别不平衡的问题,利用细胞生成模型构建一个类别平衡的细胞块数据集用于细胞分类模型的预训练;通过细胞分类模型中的监督信息来减少噪声标签的影响,并探索细胞之间的特征相互作用;提出排名损失,通过细胞分类模型的分类得分对细胞检测模型的分类器进行优化,减少噪声标签的影响,对假阳性进行抑制。此外,检测器生成的ROI特征和来自PCN的局部尺度特征用于相关一致性学习,探索提取的细胞之间的关系,在不改变测试阶段检测器模型结构的情况下,可以优化宫颈异常细胞检测的性能,降低细胞检测模型的假阳性。
其中,利用预训练的细胞分类模型中的监督信息来减少噪声标签的影响,从而提高检测的准确性,可以在不增加成本的情况下提高数据质量,有助于提高医疗诊断的精度;
通过细胞生成模型,构建一个类别平衡的细胞块数据集用于细胞分类模型的预训练,有助于提高多类别的分类性能;
通过相关一致性学习,探索了提取的细胞之间的关系,从而使得模型更好地理解宫颈细胞之间的相互作用,助于提高模型的鲁棒性和泛化能力;
使用局部尺度一致性蒸馏技术,能够在不改变推理阶段检测器模型结构的情况下,对宫颈异常细胞检测的性能进行优化,有助于节省计算资源和时间成本,并且提高了模型的实用性;
降低假阳性,提高检测精度,避免了正常视野图的二次检查,进一步降低了医疗成本,减少社会资源浪费。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种异常细胞检测系统,包括:数据集构建模块410、细胞分类模型训练模块420、细胞异常检测模块430、分类模块440、参数调整模块450和异常细胞检测模块460,其中:
数据集构建模块410,用于创建细胞生成模型,并通过细胞生成模型构建细胞块数据集;
细胞分类模型训练模块420,用于将细胞块数据集作为输入,训练得到细胞分类模型;
细胞异常检测模块430,用于获取预先训练好的细胞检测模型,通过细胞检测模型对细胞块数据集进行细胞异常检测,得到异常细胞数据集;
分类模块440,用于将异常细胞数据集输入到细胞分类模型中,得到分类分数;
参数调整模块450,用于使用排序损失函数根据分类分数对细胞检测模型进行参数调整,得到优化后的细胞检测模型;
异常细胞检测模块460,用于通过优化后的细胞检测模型进行异常细胞检测。
在一个实施例中,细胞异常检测模块430,还用于通过细胞检测模型定位细胞块数据集中的各个异常细胞;将各个异常细胞裁剪成各个样本图像块,并将各个样本图像块作为异常细胞数据集。
在一个实施例中,细胞检测模型为一阶段检测模型或二阶段检测模型;当细胞检测模型为一阶段检测模型时,在FPN的输出中加入ROIAlign层,生成ROI特征。
在一个实施例中,参数调整模块450还用于根据排序损失函数对分类分数进行修正,得到修正后的分类分数;捕获异常细胞数据集中细胞之间的上下文关系;根据上下文关系以及修正后的分类分数对细胞检测模型中的分类器进行调整,得到优化后的细胞检测模型。
在一个实施例中,参数调整模块450还用于确定ROI特征与细胞分类模型中的局部尺度特征之间的ROI相关一致性损失;使用ROI相关一致性损失捕获异常细胞数据集中细胞之间的上下文关系。
在一个实施例中,细胞检测模型为单步的细胞检测模型,或多步的细胞检测模型。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常细胞检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
创建细胞生成模型,并通过细胞生成模型构建细胞块数据集;
将细胞块数据集作为输入,训练得到细胞分类模型;
获取预先训练好的细胞检测模型,通过细胞检测模型对细胞块数据集进行细胞异常检测,得到异常细胞数据集;
将异常细胞数据集输入到细胞分类模型中,得到分类分数;
使用排序损失函数根据分类分数对细胞检测模型进行参数调整,得到优化后的细胞检测模型;
通过优化后的细胞检测模型进行异常细胞检测。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过细胞检测模型定位细胞块数据集中的各个异常细胞;将各个异常细胞裁剪成各个样本图像块,并将各个样本图像块作为异常细胞数据集。
在一个实施例中,细胞检测模型为一阶段检测模型或二阶段检测模型;处理器执行计算机程序时还实现以下步骤:当细胞检测模型为一阶段检测模型时,在FPN的输出中加入ROIAlign层,生成ROI特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据排序损失函数对分类分数进行修正,得到修正后的分类分数;捕获异常细胞数据集中细胞之间的上下文关系;根据上下文关系以及修正后的分类分数对细胞检测模型中的分类器进行调整,得到优化后的细胞检测模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定ROI特征与细胞分类模型中的局部尺度特征之间的ROI相关一致性损失;使用ROI相关一致性损失捕获异常细胞数据集中细胞之间的上下文关系。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
创建细胞生成模型,并通过细胞生成模型构建细胞块数据集;
将细胞块数据集作为输入,训练得到细胞分类模型;
获取预先训练好的细胞检测模型,通过细胞检测模型对细胞块数据集进行细胞异常检测,得到异常细胞数据集;
将异常细胞数据集输入到细胞分类模型中,得到分类分数;
使用排序损失函数根据分类分数对细胞检测模型进行参数调整,得到优化后的细胞检测模型;
通过优化后的细胞检测模型进行异常细胞检测。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过细胞检测模型定位细胞块数据集中的各个异常细胞;将各个异常细胞裁剪成各个样本图像块,并将各个样本图像块作为异常细胞数据集。
在一个实施例中,细胞检测模型为一阶段检测模型或二阶段检测模型;计算机程序被处理器执行时还实现以下步骤:当细胞检测模型为一阶段检测模型时,在FPN的输出中加入ROIAlign层,生成ROI特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据排序损失函数对分类分数进行修正,得到修正后的分类分数;捕获异常细胞数据集中细胞之间的上下文关系;根据上下文关系以及修正后的分类分数对细胞检测模型中的分类器进行调整,得到优化后的细胞检测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定ROI特征与细胞分类模型中的局部尺度特征之间的ROI相关一致性损失;使用ROI相关一致性损失捕获异常细胞数据集中细胞之间的上下文关系。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。