CN110705583A - 细胞检测模型训练方法、装置、计算机设备及存储介质 - Google Patents
细胞检测模型训练方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110705583A CN110705583A CN201910755143.6A CN201910755143A CN110705583A CN 110705583 A CN110705583 A CN 110705583A CN 201910755143 A CN201910755143 A CN 201910755143A CN 110705583 A CN110705583 A CN 110705583A
- Authority
- CN
- China
- Prior art keywords
- ratio threshold
- sample
- image
- intersection ratio
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 claims abstract description 46
- 238000012952 Resampling Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 230000001575 pathological effect Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000007797 corrosion Effects 0.000 claims description 12
- 238000005260 corrosion Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000007170 pathology Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 206010008342 Cervix carcinoma Diseases 0.000 description 3
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 3
- 201000010881 cervical cancer Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种细胞检测模型训练方法,所述方法包括:针对每个预设的交并比阈值,训练出目标模型;确定目标模型的正确率,并根据正确率确定第一交并比阈值、第二交并比阈值以及第三交并比阈值;根据第一交并比阈值以及多个样本图像,对神经网络进行训练,获得第一参数;根据第一参数,对样本图像进行重新采样,获得第一样本;根据第二交并比阈值以及第一样本,对神经网络进行训练,获得第二参数;根据第二参数以及第三交并比阈值,对样本图像进行重新采样,获得第二样本;根据第二样本,对神经网络进行训练,获得训练好的细胞检测模型。本发明还提供一种细胞检测模型训练装置、计算机设备以及存储介质。本发明能提高对异常细胞的检测精度。
Description
技术领域
本发明涉及细胞检测技术领域,尤其涉及一种细胞检测模型训练方法、装置、计算机设备及存储介质。
背景技术
宫颈癌是可以早发现并治愈的癌症,每年造成的死亡病例多数发生在宫颈癌普查率低的地区,因此,对宫颈癌细胞的检测工作非常重要。
目前,可以利用深度学习神经网络对异常细胞图像进行特征提取并训练出模型,以检测异常细胞。但在实践中发现,利用深度学习神经网络训练的模型通常是选取0.5作为交并比阈值,这样训练出来的模型在对异常细胞进行检测的时候生成的检测框不够精确。
因此,如何提高对异常细胞的检测精度是一个亟待解决的技术问题。
发明内容
鉴于以上内容,有必要提供一种细胞检测模型训练方法、装置、计算机设备及存储介质,能够提高对异常细胞的检测精度。
本发明的第一方面提供一种细胞检测模型训练方法,所述方法包括:
针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;
使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;
根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;
根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;
根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;
根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;
根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。
在一种可能的实现方式中,所述根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数包括:
针对每个所述样本图像,使用残差卷积网络对所述样本图像进行特征提取,获得特征信息;
根据所述特征信息,使用特征金字塔网络生成第一特征图;
根据所述第一特征图,使用区域候选网络生成候选区域;
根据所述第一交并比阈值,对所述候选区域进行筛选,获得第一区域;
将所述第一特征图以及所述第一区域输入至感兴趣区域池化层,获得所述第一区域对应的第二特征图;
根据所述第二特征图,对所述第一区域的边界框以及类别进行回归,获得第一参数。
在一种可能的实现方式中,所述根据所述第一参数,对所述样本图像进行重新采样,获得第一样本包括:
根据所述第一参数以及所述第一区域,生成第二区域;
根据所述第二交并比阈值,对所述第二区域进行筛选,获得第三区域;
将所述第一特征图以及所述第三区域输入至感兴趣区域池化层,获得所述第三区域对应的第三特征图;
将所述第三区域以及所述第三特征图确定为第一样本。
在一种可能的实现方式中,所述根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本包括:
根据所述第二参数以及所述第三区域,生成第四区域;
根据所述第三交并比阈值,对所述第四区域进行筛选,获得第五区域;
将所述第一特征图以及所述第五区域输入至感兴趣区域池化层,获得所述第五区域对应的第四特征图;
将所述第五区域以及所述第四特征图确定为第二样本。
在一种可能的实现方式中,所述方法还包括:
获取数字病理图像;
对所述数字病理图像进行切割,获得多个图像块;
对所述多个图像块进行预处理,获得多个目标图像;
将多个所述目标图像输入至所述细胞检测模型中,获得异常细胞检测结果。
在一种可能的实现方式中,所述获取数字病理图像之后,以及所述对所述数字病理图像进行切割,获得多个图像块之前,所述方法还包括:
通过最大类间方差算法对所述数字病理图像进行二值化处理,获得二值化图像;
通过膨胀算法和腐蚀算法对所述二值化图像进行开运算,以及通过膨胀算法和腐蚀算法对所述二值化图像进行闭运算,获得细胞区域更明显的二值化图像;
根据所述细胞区域更明显的二值化图像,生成细胞图像掩膜并映射至所述数字病理图像。
在一种可能的实现方式中,所述对所述多个图像块进行预处理,获得多个目标图像包括:
针对每个所述图像块,通过归一化算法对所述图像块的像素进行归一化,获得归一化图像;
根据预设的伽马阈值,对所述归一化图像进行伽马校正,获得目标图像。
本发明的第二方面提供一种细胞检测模型训练装置,所述装置包括:
训练模块,用于针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;
确定模块,用于使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;
所述训练模块,还用于根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;
采样模块,用于根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;
所述训练模块,还用于根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;
所述采样模块,还用于根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;
所述训练模块,还用于根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。
本发明的第三方面提供一种计算机设备,所述计算机设备包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现所述的细胞检测模型训练方法。
本发明的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的细胞检测模型训练方法。
由以上技术方案,本发明中,可以针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。可见,本发明中,通过选取目标交并比阈值,确保训练的细胞检测模型的正确率比较高,并通过提高交并比阈值对所述样本图像进行重新取样,确保正样本数量足够,避免过度拟合,从而提高细胞检测模型对异常细胞的预测框的精度,即提高了对异常细胞的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明公开的一种细胞检测模型训练方法的较佳实施例的流程图。
图2是本发明公开的一种细胞检测模型训练装置的较佳实施例的功能模块图。
图3是本发明实现细胞检测模型训练方法的较佳实施例的计算机设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的细胞检测模型训练方法应用在计算机设备中,也可以应用在计算机设备和通过网络与所述计算机设备进行连接的服务器所构成的硬件环境中,由服务器和计算机设备共同执行。网络包括但不限于:广域网、城域网或局域网。
其中,服务器可以是指能对网络中其它设备(如计算机设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol,简称FTP)服务,也可以叫服务器。从狭义范围上讲,服务器专指某些高性能计算机,能通过网络,对外提供服务,其相对于普通的个人电脑来说,稳定性、安全性、性能等方面都要求更高,因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述计算机设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的计算机设备,其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述计算机设备还可包括网络设备和/或用户设备。其中,所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理PDA、游戏机、交互式网络电视IPTV、智能式穿戴式设备等。其中,所述用户设备及网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络VPN等。
请参见图1,图1是本发明公开的一种细胞检测模型训练方法的较佳实施例的流程图。其中,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
S11、计算机设备针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像。
其中,所述交并比(Intersection over union,IOU)在目标检测类型的模型中指产生的候选框与标注框的交叠率。在设定训练的正负样本(用于训练分类以及对正样本进行坐标回归)时,主要是根据交并比阈值来确定正样本和负样本,比如,选取交并比阈值为0.5,即IOU>0.5的作为正样本。
其中,所述样本图像上标注有异常细胞的边界框(坐标信息)以及类别。
其中,所述目标模型是指使用单个交并比阈值训练出的用来检测异常细胞的模型。
本发明实施例中,可以预先设置多个交并比阈值(比如:0.3,0.4,0.5,0.6,0.7,08,0.9),然后训练出每个交并比阈值对应的目标模型。训练的过程就是对神经网络的训练,神经网络会根据输入的样本图像生成多个候选区域,然后将候选区域的边界框跟标注的异常细胞的边界框(标注框)做比较,将交并比大于交并比阈值的候选区域确定为正样本,对正样本的边界框坐标以及类别进行回归,当损失函数的损失值达到收敛状态时,确定目标模型被训练好。一般来说,交并比阈值越高,正样本的质量越高,训练出来的模型性能越好,但是交并比阈值过高会导致正样本数量过少,从而使得训练出现过度拟合的情况,训练出的模型性能反而下降。在多个目标模型被训练好后,可以对每个目标模型进行评估,以确定性能比较好的目标模型对应的交并比阈值。
S12、计算机设备使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值。
其中,所述自由响应接收器操作特性曲线(Free-response Receiver OperatingCharacteristic Curves,FROC),是接收器操作特性曲线(Receiver OperatingCharacteristic Curves,ROC)的一个变种,通过计算ROC曲线的AUC(Area under curve,曲线下面积)值可以确定一个模型的正确率,但是ROC方法不能解决对一幅图像上多个异常进行评价,而使用FROC方法可以对一幅图像上多个异常进行评价。
其中,所述目标交并比阈值用于对样本进行优化。
本发明实施例中,可以通过FROC方法确定根据不同交并比阈值训练出来的不同的目标模型(细胞检测模型)的正确率。将正确率最高的三个目标模型对应的交并比阈值确定为目标交并比阈值:第一交并比阈值、第二交并比阈值以及第三交并比阈值,其中,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值。
S13、计算机设备根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数。
其中,所述神经网络包括但不限于:残差卷积网络(residual network,ResNet)、特征金字塔网络(Feature Pyramid Networks,FPN)以及区域候选网络(Region ProposalNetwork,RPN)。
本发明实施例中,可以根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数,因为第一交并比阈值训练出的神经网络的探测性能比较好,可以确保后续训练出来的模型的正确率比较高。
具体的,所述根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数包括:
针对每个所述样本图像,使用残差卷积网络对所述样本图像进行特征提取,获得特征信息;
根据所述特征信息,使用特征金字塔网络生成第一特征图;
根据所述第一特征图,使用区域候选网络生成候选区域;
根据所述第一交并比阈值,对所述候选区域进行筛选,获得第一区域;
将所述第一特征图以及所述第一区域输入至感兴趣区域池化层,获得所述第一区域对应的第二特征图;
根据所述第二特征图,对所述第一区域的边界框以及类别进行回归,获得第一参数。
在该可选的实施方式中,可以使用残差卷积网络对图像进行特征提取,获取图像的特征信息,然后将图像的特征信息输入至特征金字塔网络,获得图像的特征图(第一特征图),区域候选网络对特征图进行处理,生成多个候选区域。这时可以根据所述第一交并比阈值对所述候选区域进行筛选,获得第一区域,即正样本。可以将图像的特征图以及第一区域输入至感兴趣区域(region of interest,ROI)池化层,获得第一区域对应的特征图(第二特征图),其中,可以使用ROI Align(感兴趣区域对齐),实现特征图尺寸的统一化。然后,可以根据第一区域的特征图,对第一区域的边界框(坐标)以及类别进行回归,获得神经网络的参数(第一参数)。所述第一参数是指根据第一交并比阈值筛选出来的候选框,进行训练后的整个神经网络的各个参数。
S14、计算机设备根据所述第一参数,对所述样本图像进行重新采样,获得第一样本。
在本发明实施例中,通过训练出来的第一参数对所述样本图像进行重新采样,即使用训练过的神经网络对之前候选区域网络对特征图进行处理,生成的候选框(所述第一区域)进行优化,获得新的一批边界框,优化后的边界框的交并比更高,确保提高交并比阈值后,正样本的数量足够用于训练,可以提高预测框的精度并防止过度拟合。
具体的,所述根据所述第一参数,对所述样本图像进行重新采样,获得第一样本包括:
根据所述第一参数以及所述第一区域,生成第二区域;
根据所述第二交并比阈值,对所述第二区域进行筛选,获得第三区域;
将所述第一特征图以及所述第三区域输入至感兴趣区域池化层,获得所述第三区域对应的第三特征图;
将所述第三区域以及所述第三特征图确定为第一样本。
在该可选的实施方式中,神经网络可以根据所述第一参数对所述第一区域进行优化,生成第二区域,根据所述第二交并比阈值对所述第二区域进行筛选,将交并比大于所述第二交并比阈值的所述第二区域确定为第三区域,可以将图像的特征图以及第三区域输入至感兴趣区域池化层,获得第三区域对应的特征图(第三特征图),其中,可以使用ROIAlign,实现特征图尺寸的统一化。将所述第三区域以及所述第三特征图确定为第一样本(正样本)。
S15、计算机设备根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数。
本发明实施例中,可以根据第一样本中的特征图,对第一样本的边界框(坐标)以及类别进行回归,获得神经网络的参数(第二参数),所述第二参数是指对神经网络进行再训练,得到的各个参数,是对所述第一参数进行优化后得到的参数。
S16、计算机设备根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本。
本发明实施例中,可以通过训练出来的第二参数对所述样本图像进行重新采样,即使用训练过的神经网络对之前产生的候选框(所述第三区域)进行优化,获得新的一批边界框,优化后得到的边界框的交并比更高,确保提高交并比阈值后,正样本的数量足够用于训练,可以继续提高预测框的精度并防止过度拟合。
具体的,所述根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本包括:
根据所述第二参数以及所述第三区域,生成第四区域;
根据所述第三交并比阈值,对所述第四区域进行筛选,获得第五区域;
将所述第一特征图以及所述第五区域输入至感兴趣区域池化层,获得所述第五区域对应的第四特征图;
将所述第五区域以及所述第四特征图确定为第二样本。
在该可选的实施方式中,神经网络可以根据所述第二参数对所述第三区域进行优化,生成第四区域,根据所述第三交并比阈值对所述第四区域进行筛选,将交并比大于所述第三交并比阈值的所述第四区域确定为第五区域,可以将图像的特征图以及第五区域输入至感兴趣区域池化层,获得第五区域对应的特征图(第四特征图),其中,可以使用ROIAlign,实现特征图尺寸的统一化。将所述第五区域以及所述第四特征图确定为第二样本(正样本)。
S17、计算机设备根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。
本发明实施中,可以根据所述第二样本的特征图,对所述第二样本的边框坐标以及类别进行回归,当损失函数的损失值达到收敛状态时,确定获得训练好的细胞检测模型。通过实验,如果继续增加更高的第四交并比阈值对样本图像进行重新采样(对上一个交并比阈值训练出的区域候选网络输出的候选框进行优化)训练出来的模型反而会导致模型的整体性能下降,综合考虑,采用三个交并比阈值对神经网络进行逐步优化,训练出的模型的性能可以得到较大的改善。
作为一种可选的实施方式,所述方法还包括:
获取数字病理图像;
对所述数字病理图像进行切割,获得多个图像块;
对所述多个图像块进行预处理,获得多个目标图像;
将多个所述目标图像输入至所述细胞检测模型中,获得异常细胞检测结果。
其中,所述数字病理图像是通过全自动显微镜或光学放大系统扫描采集得到高分辨数字图像,再应用计算机对得到的图像自动进行高精度多视野无缝隙拼接和处理,获得优质的可视化数据以应用于病理学的各个领域的图像。
在该可选的实施方式中,因为一般的数字病理图像的大小太大,无法直接用计算机做图像分析处理,需要使用划窗将数字病理图像切割成多个小图像块,然后再对这些图像块进行预处理,得到细胞特征更明显,噪声更少的目标图像,以提高对图像检测的准确度,将目标图像输入至训练好的细胞检测模型中,获得异常细胞检测结果,所述检测结果包括异常细胞的边界框、类别以及概率。
作为一种可选的实施方式,所述获取数字病理图像之后,以及所述对所述数字病理图像进行切割,获得多个图像块之前,所述方法还包括:
通过最大类间方差算法对所述数字病理图像进行二值化处理,获得二值化图像;
通过膨胀算法和腐蚀算法对所述二值化图像进行开运算,以及通过膨胀算法和腐蚀算法对所述二值化图像进行闭运算,获得细胞区域更明显的二值化图像;
根据所述细胞区域更明显的二值化图像,生成细胞图像掩膜并映射至所述数字病理图像。
其中,所述最大类间方差算法(ostu)是一种对图像进行二值化的高效算法,可以利用阈值将原图像分割成前景,背景两部分。其中,二值化是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果的过程,可以使图像中数据量大为减少,从而能凸显出目标的轮廓。
其中,膨胀算法可以将与物体接触的所有背景点合并到该物体中,使边界向外部扩张,可以用来填补物体中的空洞。其中,腐蚀算法可以消除边界点,使边界向内部收缩,可以用来消除小且无意义的物体。
其中,开运算是指先腐蚀运算,再膨胀运算;闭运算是指先膨胀运算,再腐蚀运算。
在该可选的实施方式中,可以通过最大类间方差算法对所述数字病理图像进行二值化处理,获得所述数字病理图像的二值化图像,然后通过膨胀算法和腐蚀算法对所述二值化图像进行开运算以及闭运算,可以扩充细胞内部区域,并消除孤立的小点,使得所述二值化图像中的细胞区域更加明显,轮廓更加清晰,方便生成细胞图像掩膜(细胞的轮廓),在生成细胞图像掩膜后,可以将细胞图像掩膜映射至所述数字病理图像。可选的,可以在对所述数字病理图像进行异常细胞检测时,输出异常细胞的掩膜。
具体的,所述对所述多个图像块进行预处理,获得多个目标图像包括:
针对每个所述图像块,通过归一化算法对所述图像块的像素进行归一化,获得归一化图像;
根据预设的伽马阈值,对所述归一化图像进行伽马校正,获得目标图像。
其中,归一化是指RGB(Red Green Blue)归一化,通过对图像的RGB色彩空间进行归一化处理,可以消除一部分光照对图像的影响。
其中,伽马校正(gamma correction)是对图像的伽马曲线进行编辑,以对图像进行非线性色调编辑的方法,检出图像信号中的深色部分和浅色部分,并使两者比例增大,从而提高图像对比度效果。
在该可选的实施方式中,因为不同的图像的来源可能不同,在图像的采集中,图像往往会被不同强度的随机信号(也称噪声)所污染,这会对后续的图像分析和处理产生不可预知的影响,因此,需要对这些图像进行RGB归一化以及伽马校正,以减少噪声对图像的影响,可以提高图像检测的准确性。
在图1所描述的方法流程中,可以针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。可见,通过选取目标交并比阈值,确保训练的细胞检测模型的正确率比较高,并通过提高交并比阈值对所述样本图像进行重新取样,确保正样本数量足够,避免过度拟合,从而提高细胞检测模型对异常细胞的预测框的精度,即提高了对异常细胞的检测精度。
以上所述,仅是本发明的具体实施方式,但本发明的保护范围并不局限于此,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出改进,但这些均属于本发明的保护范围。
请参见图2,图2是本发明公开的一种细胞检测模型训练装置的较佳实施例的功能模块图。
在一些实施例中,所述细胞检测模型训练装置运行于计算机设备中。所述细胞检测模型训练装置可以包括多个由程序代码段所组成的功能模块。所述细胞检测模型训练装置中的各个程序段的程序代码可以存储于存储器中,并由至少一个处理器所执行,以执行图1所描述的细胞检测模型训练方法中的部分或全部步骤,具体可以参照图1所述方法中的相关描述,在此不再赘述。
本实施例中,所述细胞检测模型训练装置根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:训练模块201、确定模块202及采样模块203。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在一些实施例中,关于各模块的功能将在后续的实施例中详述。
训练模块201,用于针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;
确定模块202,用于使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;
所述训练模块201,还用于根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;
采样模块203,用于根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;
所述训练模块201,还用于根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;
所述采样模块203,还用于根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;
所述训练模块201,还用于根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。
作为一种可选的实施方式,所述训练模块201根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数的方式具体为:
针对每个所述样本图像,使用残差卷积网络对所述样本图像进行特征提取,获得特征信息;
根据所述特征信息,使用特征金字塔网络生成第一特征图;
根据所述第一特征图,使用区域候选网络生成候选区域;
根据所述第一交并比阈值,对所述候选区域进行筛选,获得第一区域;
将所述第一特征图以及所述第一区域输入至感兴趣区域池化层,获得所述第一区域对应的第二特征图;
根据所述第二特征图,对所述第一区域的边界框以及类别进行回归,获得第一参数。
作为一种可选的实施方式,所述采样模块203根据所述第一参数,对所述样本图像进行重新采样,获得第一样本的方式具体为:
根据所述第一参数以及所述第一区域,生成第二区域;
根据所述第二交并比阈值,对所述第二区域进行筛选,获得第三区域;
将所述第一特征图以及所述第三区域输入至感兴趣区域池化层,获得所述第三区域对应的第三特征图;
将所述第三区域以及所述第三特征图确定为第一样本。
作为一种可选的实施方式,所述采样模块203根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本的方式具体为:
根据所述第二参数以及所述第三区域,生成第四区域;
根据所述第三交并比阈值,对所述第四区域进行筛选,获得第五区域;
将所述第一特征图以及所述第五区域输入至感兴趣区域池化层,获得所述第五区域对应的第四特征图;
将所述第五区域以及所述第四特征图确定为第二样本。
作为一种可选的实施方式,所述细胞检测模型训练装置还可以包括:
获取模块,用于获取数字病理图像;
切割模块,用于对所述数字病理图像进行切割,获得多个图像块;
预处理模块,用于对所述多个图像块进行预处理,获得多个目标图像;
输入模块,用于将多个所述目标图像输入至所述细胞检测模型中,获得异常细胞检测结果。
作为一种可选的实施方式,所述细胞检测模型训练装置还可以包括:
二值化模块,用于所述获取模块获取数字病理图像之后,以及所述切割模块对所述数字病理图像进行切割,获得多个图像块之前,通过最大类间方差算法对所述数字病理图像进行二值化处理,获得二值化图像;
运算模块,用于通过膨胀算法和腐蚀算法对所述二值化图像进行开运算,以及通过膨胀算法和腐蚀算法对所述二值化图像进行闭运算,获得细胞区域更明显的二值化图像;
生成模块,用于根据所述细胞区域更明显的二值化图像,生成细胞图像掩膜并映射至所述数字病理图像。
作为一种可选的实施方式,所述预处理模块对所述多个图像块进行预处理,获得多个目标图像的方式具体为:
针对每个所述图像块,通过归一化算法对所述图像块的像素进行归一化,获得归一化图像;
根据预设的伽马阈值,对所述归一化图像进行伽马校正,获得目标图像。
在图2所描述的细胞检测模型训练装置中,可以针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。可见,通过选取目标交并比阈值,确保训练的细胞检测模型的正确率比较高,并通过提高交并比阈值对所述样本图像进行重新取样,确保正样本数量足够,避免过度拟合,从而提高细胞检测模型对异常细胞的预测框的精度,即提高了对异常细胞的检测精度。
如图3所示,图3是本发明实现细胞检测模型训练方法的较佳实施例的计算机设备的结构示意图。所述计算机设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解,图3所示的示意图仅仅是所述计算机设备3的示例,并不构成对所述计算机设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机设备3还可以包括输入输出设备、网络接入设备等。
所述计算机设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(InternetProtocol Television,IPTV)、智能式穿戴式设备等。所述计算机设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等,所述处理器32是所述计算机设备3的控制中心,利用各种接口和线路连接整个计算机设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元,所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元,以及调用存储在存储器31内的数据,实现所述计算机设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备3的使用所创建的数据(比如音频数据等)等。此外,存储器31可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
结合图1,所述计算机设备3中的所述存储器31存储多个指令以实现一种细胞检测模型训练方法,所述处理器32可执行所述多个指令从而实现:
针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;
使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;
根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;
根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;
根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;
根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;
根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。
在一种可选的实施方式中,所述根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数包括:
针对每个所述样本图像,使用残差卷积网络对所述样本图像进行特征提取,获得特征信息;
根据所述特征信息,使用特征金字塔网络生成第一特征图;
根据所述第一特征图,使用区域候选网络生成候选区域;
根据所述第一交并比阈值,对所述候选区域进行筛选,获得第一区域;
将所述第一特征图以及所述第一区域输入至感兴趣区域池化层,获得所述第一区域对应的第二特征图;
根据所述第二特征图,对所述第一区域的边界框以及类别进行回归,获得第一参数。
在一种可选的实施方式中,所述根据所述第一参数,对所述样本图像进行重新采样,获得第一样本包括:
根据所述第一参数以及所述第一区域,生成第二区域;
根据所述第二交并比阈值,对所述第二区域进行筛选,获得第三区域;
将所述第一特征图以及所述第三区域输入至感兴趣区域池化层,获得所述第三区域对应的第三特征图;
将所述第三区域以及所述第三特征图确定为第一样本。
在一种可选的实施方式中,所述根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本包括:
根据所述第二参数以及所述第三区域,生成第四区域;
根据所述第三交并比阈值,对所述第四区域进行筛选,获得第五区域;
将所述第一特征图以及所述第五区域输入至感兴趣区域池化层,获得所述第五区域对应的第四特征图;
将所述第五区域以及所述第四特征图确定为第二样本。
在一种可选的实施方式中,所述处理器32可执行所述多个指令从而实现:
获取数字病理图像;
对所述数字病理图像进行切割,获得多个图像块;
对所述多个图像块进行预处理,获得多个目标图像;
将多个所述目标图像输入至所述细胞检测模型中,获得异常细胞检测结果。
在一种可选的实施方式中,所述获取数字病理图像之后,以及所述对所述数字病理图像进行切割,获得多个图像块之前,所述处理器32可执行所述多个指令从而实现:
通过最大类间方差算法对所述数字病理图像进行二值化处理,获得二值化图像;
通过膨胀算法和腐蚀算法对所述二值化图像进行开运算,以及通过膨胀算法和腐蚀算法对所述二值化图像进行闭运算,获得细胞区域更明显的二值化图像;
根据所述细胞区域更明显的二值化图像,生成细胞图像掩膜并映射至所述数字病理图像。
在一种可选的实施方式中,所述对所述多个图像块进行预处理,获得多个目标图像包括:
针对每个所述图像块,通过归一化算法对所述图像块的像素进行归一化,获得归一化图像;
根据预设的伽马阈值,对所述归一化图像进行伽马校正,获得目标图像。
具体地,所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在图3所描述的计算机设备3中,可以针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。可见,通过选取目标交并比阈值,确保训练的细胞检测模型的正确率比较高,并通过提高交并比阈值对所述样本图像进行重新取样,确保正样本数量足够,避免过度拟合,从而提高细胞检测模型对异常细胞的预测框的精度,即提高了对异常细胞的检测精度。
所述计算机设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种细胞检测模型训练方法,其特征在于,所述方法包括:
针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;
使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;
根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;
根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;
根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;
根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;
根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数包括:
针对每个所述样本图像,使用残差卷积网络对所述样本图像进行特征提取,获得特征信息;
根据所述特征信息,使用特征金字塔网络生成第一特征图;
根据所述第一特征图,使用区域候选网络生成候选区域;
根据所述第一交并比阈值,对所述候选区域进行筛选,获得第一区域;
将所述第一特征图以及所述第一区域输入至感兴趣区域池化层,获得所述第一区域对应的第二特征图;
根据所述第二特征图,对所述第一区域的边界框以及类别进行回归,获得第一参数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一参数,对所述样本图像进行重新采样,获得第一样本包括:
利用所述第一参数对所述第一区域进行优化,生成第二区域;
根据所述第二交并比阈值,对所述第二区域进行筛选,获得第三区域;
将所述第一特征图以及所述第三区域输入至感兴趣区域池化层,获得所述第三区域对应的第三特征图;
将所述第三区域以及所述第三特征图确定为第一样本。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本包括:
根据所述第二参数以及所述第三区域,生成第四区域;
根据所述第三交并比阈值,对所述第四区域进行筛选,获得第五区域;
将所述第一特征图以及所述第五区域输入至感兴趣区域池化层,获得所述第五区域对应的第四特征图;
将所述第五区域以及所述第四特征图确定为第二样本。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
获取数字病理图像;
对所述数字病理图像进行切割,获得多个图像块;
对所述多个图像块进行预处理,获得多个目标图像;
将多个所述目标图像输入至所述细胞检测模型中,获得异常细胞检测结果。
6.根据权利要求5所述的方法,其特征在于,所述获取数字病理图像之后,以及所述对所述数字病理图像进行切割,获得多个图像块之前,所述方法还包括:
通过最大类间方差算法对所述数字病理图像进行二值化处理,获得二值化图像;
通过膨胀算法和腐蚀算法对所述二值化图像进行开运算,以及通过膨胀算法和腐蚀算法对所述二值化图像进行闭运算,获得细胞区域更明显的二值化图像;
根据所述细胞区域更明显的二值化图像,生成细胞图像掩膜并映射至所述数字病理图像。
7.根据权利要求5所述的方法,其特征在于,所述对所述多个图像块进行预处理,获得多个目标图像包括:
针对每个所述图像块,通过归一化算法对所述图像块的像素进行归一化,获得归一化图像;
根据预设的伽马阈值,对所述归一化图像进行伽马校正,获得目标图像。
8.一种细胞检测模型训练装置,其特征在于,所述细胞检测模型训练装置包括:
训练模块,用于针对每个预设的交并比阈值,使用多个样本图像训练出目标模型,其中,所述样本图像包括含有异常细胞的图像以及不含有异常细胞的图像;
确定模块,用于使用自由响应接收器操作特性曲线方法确定所述目标模型的正确率,并根据所述正确率确定目标交并比阈值,其中,所述目标交并比阈值包括第一交并比阈值、第二交并比阈值以及第三交并比阈值,所述第三交并比阈值大于所述第二交并比阈值,所述第二交并比阈值大于所述第一交并比阈值;
所述训练模块,还用于根据所述第一交并比阈值以及所述多个样本图像,对神经网络进行训练,获得第一参数;
采样模块,用于根据所述第一参数,对所述样本图像进行重新采样,获得第一样本;
所述训练模块,还用于根据所述第二交并比阈值以及所述第一样本,对所述神经网络进行训练,获得第二参数;
所述采样模块,还用于根据所述第二参数以及所述第三交并比阈值,对所述样本图像进行重新采样,获得第二样本;
所述训练模块,还用于根据所述第二样本,对所述神经网络进行训练,获得训练好的细胞检测模型。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的细胞检测模型训练方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有至少一个指令,所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的细胞检测模型训练方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910755143.6A CN110705583B (zh) | 2019-08-15 | 2019-08-15 | 细胞检测模型训练方法、装置、计算机设备及存储介质 |
PCT/CN2019/117233 WO2021027135A1 (zh) | 2019-08-15 | 2019-11-11 | 细胞检测模型训练方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910755143.6A CN110705583B (zh) | 2019-08-15 | 2019-08-15 | 细胞检测模型训练方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110705583A true CN110705583A (zh) | 2020-01-17 |
CN110705583B CN110705583B (zh) | 2024-03-15 |
Family
ID=69193240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910755143.6A Active CN110705583B (zh) | 2019-08-15 | 2019-08-15 | 细胞检测模型训练方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110705583B (zh) |
WO (1) | WO2021027135A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275191A (zh) * | 2020-02-26 | 2020-06-12 | 上海商汤智能科技有限公司 | 检测细胞的方法及装置、电子设备和存储介质 |
CN111401387A (zh) * | 2020-03-10 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 异常样本构建方法、装置、计算机设备和存储介质 |
CN111524137A (zh) * | 2020-06-19 | 2020-08-11 | 平安科技(深圳)有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
CN111523452A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 用于检测图像中人体位置的方法和装置 |
CN111681738A (zh) * | 2020-06-09 | 2020-09-18 | 平安科技(深圳)有限公司 | 基于病理切片扫描和分析一体化方法、装置、设备及介质 |
CN112581438A (zh) * | 2020-12-10 | 2021-03-30 | 腾讯科技(深圳)有限公司 | 切片图像识别方法、装置和存储介质及电子设备 |
WO2021139447A1 (zh) * | 2020-09-30 | 2021-07-15 | 平安科技(深圳)有限公司 | 一种宫颈异常细胞检测装置及方法 |
CN113160159A (zh) * | 2021-04-13 | 2021-07-23 | 王永彬 | Hpv检测及病理分析系统和方法 |
CN113295692A (zh) * | 2021-05-25 | 2021-08-24 | 郑州中普医疗器械有限公司 | 基于细胞核dna和tbs双分析法的细胞分析方法、计算机设备、存储介质 |
CN114359899A (zh) * | 2021-12-09 | 2022-04-15 | 首都医科大学附属北京天坛医院 | 细胞共培养模型及细胞模型构建方法、计算机设备及存储介质 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052217A (zh) * | 2021-03-15 | 2021-06-29 | 上海云从汇临人工智能科技有限公司 | 预测结果标识及其模型训练方法、装置及计算机存储介质 |
CN113780270B (zh) * | 2021-03-23 | 2024-06-21 | 京东鲲鹏(江苏)科技有限公司 | 目标检测方法和装置 |
CN113128408B (zh) * | 2021-04-21 | 2023-09-22 | 深圳大学 | 一种物品检测方法、装置、终端及存储介质 |
CN113837194B (zh) * | 2021-09-23 | 2024-05-10 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
CN117036227A (zh) * | 2022-09-21 | 2023-11-10 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、电子设备、介质及程序产品 |
CN116434066B (zh) * | 2023-04-17 | 2023-10-13 | 安徽农业大学 | 基于深度学习的大豆豆荚考种方法、系统及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016665B (zh) * | 2017-02-16 | 2021-05-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN109800778B (zh) * | 2018-12-03 | 2020-10-09 | 浙江工业大学 | 一种基于难分样本挖掘的Faster RCNN目标检测方法 |
CN109919230B (zh) * | 2019-03-10 | 2022-12-06 | 西安电子科技大学 | 基于循环特征金字塔的医学图像肺结节检测方法 |
-
2019
- 2019-08-15 CN CN201910755143.6A patent/CN110705583B/zh active Active
- 2019-11-11 WO PCT/CN2019/117233 patent/WO2021027135A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
Non-Patent Citations (1)
Title |
---|
CAI,ZHAOWEI等: "\"Cascade R-CNN: Delving into High Quality Object Detection\"", 《2018IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 6154 - 6162 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275191B (zh) * | 2020-02-26 | 2023-11-28 | 上海商汤智能科技有限公司 | 检测细胞的方法及装置、电子设备和存储介质 |
CN111275191A (zh) * | 2020-02-26 | 2020-06-12 | 上海商汤智能科技有限公司 | 检测细胞的方法及装置、电子设备和存储介质 |
CN111401387A (zh) * | 2020-03-10 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 异常样本构建方法、装置、计算机设备和存储介质 |
CN111401387B (zh) * | 2020-03-10 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 异常样本构建方法、装置、计算机设备和存储介质 |
CN111523452B (zh) * | 2020-04-22 | 2023-08-25 | 北京百度网讯科技有限公司 | 用于检测图像中人体位置的方法和装置 |
CN111523452A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 用于检测图像中人体位置的方法和装置 |
CN111681738A (zh) * | 2020-06-09 | 2020-09-18 | 平安科技(深圳)有限公司 | 基于病理切片扫描和分析一体化方法、装置、设备及介质 |
WO2021151307A1 (zh) * | 2020-06-09 | 2021-08-05 | 平安科技(深圳)有限公司 | 基于病理切片扫描和分析一体化方法、装置、设备及介质 |
CN111681738B (zh) * | 2020-06-09 | 2024-05-07 | 平安科技(深圳)有限公司 | 基于病理切片扫描和分析一体化方法、装置、设备及介质 |
WO2021139258A1 (zh) * | 2020-06-19 | 2021-07-15 | 平安科技(深圳)有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
CN111524137A (zh) * | 2020-06-19 | 2020-08-11 | 平安科技(深圳)有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
CN111524137B (zh) * | 2020-06-19 | 2024-04-05 | 平安科技(深圳)有限公司 | 基于图像识别的细胞识别计数方法、装置和计算机设备 |
WO2021139447A1 (zh) * | 2020-09-30 | 2021-07-15 | 平安科技(深圳)有限公司 | 一种宫颈异常细胞检测装置及方法 |
CN112581438A (zh) * | 2020-12-10 | 2021-03-30 | 腾讯科技(深圳)有限公司 | 切片图像识别方法、装置和存储介质及电子设备 |
CN113160159A (zh) * | 2021-04-13 | 2021-07-23 | 王永彬 | Hpv检测及病理分析系统和方法 |
CN113295692A (zh) * | 2021-05-25 | 2021-08-24 | 郑州中普医疗器械有限公司 | 基于细胞核dna和tbs双分析法的细胞分析方法、计算机设备、存储介质 |
CN114359899A (zh) * | 2021-12-09 | 2022-04-15 | 首都医科大学附属北京天坛医院 | 细胞共培养模型及细胞模型构建方法、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021027135A1 (zh) | 2021-02-18 |
CN110705583B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110705583B (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
CN110033456B (zh) | 一种医疗影像的处理方法、装置、设备和系统 | |
AU2018102232A4 (en) | Bone marrow cell marking method and system | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
CN113160257B (zh) | 图像数据标注方法、装置、电子设备及存储介质 | |
CN110874594A (zh) | 基于语义分割网络的人体外表损伤检测方法及相关设备 | |
WO2021068618A1 (zh) | 图像融合方法、装置、计算处理设备和存储介质 | |
CN111259878A (zh) | 一种检测文本的方法和设备 | |
WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
CN112651953A (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
CN115270184A (zh) | 视频脱敏、车辆的视频脱敏方法、车载处理系统 | |
CN113487473B (zh) | 一种添加图像水印的方法、装置、电子设备及存储介质 | |
CN115345895B (zh) | 用于视觉检测的图像分割方法、装置、计算机设备及介质 | |
CN115439850B (zh) | 基于审单的图文字符识别方法、装置、设备及存储介质 | |
WO2023220913A1 (zh) | 细胞图像处理方法、电子设备以及存储介质 | |
US20220207724A1 (en) | Method of determining a distribution of stem cells in a cell image, electronic device, and storage medium | |
CN116486467A (zh) | 眼睛检测框的确定方法、装置、设备及存储介质 | |
CN113573137A (zh) | 视频画布边界检测方法、系统、终端设备及存储介质 | |
CN114445751A (zh) | 视频关键帧图像轮廓特征的提取方法和装置 | |
CN114140381A (zh) | 一种基于MDP-net的玻璃体混浊分级筛查方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40020263 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |