CN117523205B - 少样本ki67多类别细胞核的分割识别方法 - Google Patents
少样本ki67多类别细胞核的分割识别方法 Download PDFInfo
- Publication number
- CN117523205B CN117523205B CN202410007970.8A CN202410007970A CN117523205B CN 117523205 B CN117523205 B CN 117523205B CN 202410007970 A CN202410007970 A CN 202410007970A CN 117523205 B CN117523205 B CN 117523205B
- Authority
- CN
- China
- Prior art keywords
- feature map
- channel
- layer
- feature
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 title claims abstract description 62
- 210000003855 cell nucleus Anatomy 0.000 title claims abstract description 60
- 210000004940 nucleus Anatomy 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 28
- 238000004140 cleaning Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 claims description 9
- 210000004027 cell Anatomy 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 abstract description 4
- 230000007457 establishment of nucleus localization Effects 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 17
- 230000004913 activation Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000035755 proliferation Effects 0.000 description 3
- 101100441251 Arabidopsis thaliana CSP2 gene Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011532 immunohistochemical staining Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000010190 G1 phase Effects 0.000 description 1
- 230000010337 G2 phase Effects 0.000 description 1
- 230000027311 M phase Effects 0.000 description 1
- 102000007999 Nuclear Proteins Human genes 0.000 description 1
- 108010089610 Nuclear Proteins Proteins 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000022131 cell cycle Effects 0.000 description 1
- 230000004663 cell proliferation Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了少样本ki67多类别细胞核的分割识别方法，包括以下步骤：人工采集并标注ki67典型样本，然后输入到YOLOV5细胞核识别模型进行识别；同时，STARTDIST模型分割ki67细胞核的外轮廓；对现有的未注样本使用YOLOV5细胞核识别模型和STARTDIST模型得到分割分类标注信息进行预先标注得到需要的训练数据；对多分类的STARDIST模型进行训练后进行分类；训练迭代模型；清洗数据。本发明使用少量样本训练的检测器,实现细胞核类型识别；采用强分割器获取细胞核定位和轮廓；通过少量人工标注样本进行模型调优和错误修正。该方案突破了现有分割与分类方法对样本量的依赖,实现了少样本下的Ki67图像多类别细胞核精准分割与分类,具有重要的技术进步意义。
Description
技术领域
本发明涉及细胞检测领域，特别涉及少样本ki67多类别细胞核的分割识别方法。
背景技术
细胞核是组织病理学研究中的重要评估指标。针对不同类型的病理切片,对细胞核进行准确的分割和分类可以帮助病理医生进行疾病的诊断和判断。传统上的人工分割和分类方法费时费力,无法满足临床大规模样本的处理需求。随着计算机视觉和深度学习技术的不断进步,各种基于深度学习的语义分割方法被广泛应用于病理图像中的细胞核分割任务,以实现对大量样本的高效自动处理。
Ki67是一种与细胞增殖密切相关的核蛋白,存在于细胞周期增殖期的细胞核中,包括G1期、S期、G2期和M期。它能够准确反映肿瘤细胞的增殖活性。通过Ki67免疫组化染色和细胞核计数,可以计算Ki67指数,即阳性细胞核所占百分比。
在临床病理诊断中,Ki67免疫组化染色已成为评估肿瘤细胞增殖活性的重要指标。Ki67指数的测定可以为肿瘤的诊断、分期、预后判断、治疗方案选择等提供关键信息。但是,手工读取Ki67免疫组化结果存在一定的主观性和可重复性问题。构建Ki67免疫组化的人工智能自动判读系统,可以克服人工判读的局限,实现更加精确、高效的Ki67指数测定。
目前,构建Ki67人工智能判读系统面临的重要难题,是不同癌种间标注样本的获取难度大。如果每种癌种都需要大量Ki67图像进行细胞核分割与分类标注,工作量将极其巨大。而现有分割与分类模型的泛化能力较差,很难实现不同癌种之间的知识迁移,导致每新增一种癌种都需要重新构建数据集。
现有技术通过有以下几种做法：
1、基于全卷积网络的语义分割方法:例如U-Net、FCN等结构,可以实现对WSIs中的细胞核进行分割,但是无法区分不同类型的细胞,无法计算准确的Ki67指数。
2、基于区域提议网络的实例分割方法:例如MaskR-CNN,可以同时实现细胞核的分割与分类,但其需要进行区域提议及多阶段处理,计算量较大,训练和推理时间长。
3、基于Transformer的实例分割方法:例如MaskFormer系列,引入Transformer模块学习全局上下文信息,提高了分割与分类的效果。但是这类方法对计算资源要求极高,需要大量训练数据进行调优。
综上所述,现有技术尚未解决Ki67多类别细胞核高效分割与分类的问题。开发能够快速适应不同样本的少样本学习方法,仍具有重要的技术意义和应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供少样本ki67多类别细胞核的分割识别方法，该方法仅需要少量样本,就可以实现对Ki67图像中多类别细胞核的高效分割与分类。该方案可以大大降低数据集标注量,实现不同癌种间的快速模型迁移。其技术创新点在于:1、使用少量样本训练的检测器,实现细胞核类型识别；2、采用强分割器获取细胞核定位和轮廓；3、通过少量人工标注样本进行模型调优和错误修正。该方案突破了现有分割与分类方法对样本量的依赖,实现了少样本下的Ki67图像多类别细胞核精准分割与分类,具有重要的技术进步意义。
本发明的目的通过以下的技术方案实现：
少样本ki67多类别细胞核的分割识别方法，包括以下步骤：
S1、人工采集并标注ki67典型样本；
S2、ki67典型样本输入到YOLOV5细胞核识别模型，识别得到ki67细胞核类型；
同时，STARTDIST模型分割ki67细胞核的外轮廓；
S3、对现有的未注样本使用YOLOV5细胞核识别模型和STARTDIST模型得到分割分类标注信息进行预先标注得到步骤S4中需要的训练数据；
S4、对多分类的STARDIST模型进行训练；训练好的多分类的STARDIST模型对Ki67图像中多类别细胞核进行分类；
S5、训练迭代模型；
S6、清洗数据。
步骤S1中，所述ki67典型样本标注后得到的是ki67细胞核的外轮廓坐标，将其转换为opencv的contours，使用opencv的boundrect函数得到细胞核的中心点和宽高，然后将这些坐标和类别转换为yolo的标注格式。
步骤S2中，所述YOLOV5细胞核识别模型的识别过程如下：
S201、原始图像经过缩放为512×512大小后，传入Focus模块进行切分合并操作，用于缩减图像特征在空间上的维度；
S202、经过（CBL+CSP1_1）、（CBL+CSP1_2）对图像特征进行抽取和变换后，得到第一下采样特征featureA；通过设计（CBL+CSP1_1）、（CBL+CSP1_2）网络结构，可以使得输入图像与这些结构进行交互计算的过程中，得到更具表征能力的特征图；
S203、第一下采样特征featureA再经过（CBL+CSP1_3）操作得到第二下采样特征featureB；
第二下采样特征featureB通过第一CBL、SPP、（CSP2_1+CBL）的处理，得到第三下采样特征featureC；通过设计SPP结构，可以对特征进行多尺度的融合；通过设计（CSP2_1+CBL）结构，可以在减轻计算参数量的情况下，提高特征的融合能力；
S204、第三下采样特征featureC经过第一个upsample层，并与第二下采样特征featureB在通道维度上进行合并操作；通过设计CSP2+CBL结构，可以在减轻计算参数量的情况下，提高特征的融合能力；
S205、经过（CSP2_1+CBL）的处理，再经过第二upsample层与第一下采样特征featureA在通道维度上进行合并；
S206、通过第一CSP2_1的处理，得到待传入YOLOhead1的第一检测特征图det_featureA；接着，det_featureA经过第一conv层的通道变换后，进入YOLOhead1来计算预测框与真实框之间的偏差，这个偏差可用于对预测框进行校正，使其更加精准地匹配真实物体；同时，det_featureA经过第二CBL和第二upsample层的输出在通道维度上合并，经过第二CSP2_1的处理得到第二检测特征图det_featureB；然后，det_featureB经过第二conv层提取特征，将其送入YOLOhead2来计算预测框的坐标、概率以及物体的类别；接着，det_featureB经过第三CBL和第三下采样特征图featureC在通道上合并，得到第三检测特征图det_featureC，最终第三CSP2_1和第三conv充分抽象出图像的特征后，送入YOLOhead3；最终在YOLOhead1、YOLOhead2、YOLOhead3处得到需要的结果，即目标检测和分类的预测结果。
所述Focus模块的工作过程如下：首先，通过Focus模块对原始图像进行切片操作，以减小图像在空间维度上的大小，这个过程将图像切分成多个子图像块，每个子图像块的尺寸为1×3×128×128；接着，使用Concat操作将这四个子图像块合并在一起，得到一个1×12×128×128大小的特征图；由此，合并后的特征图在通道维度上具有12个通道，其中每个通道都包含了原始图像的不同局部信息；随后，经过一个卷积模块的处理，对这个合并后的特征图进行降维度操作；CBL模块提取图像中的抽象特征，并通过降低特征图的通道数量来减小计算复杂度；最终，得到了Focus模块的图像降维度输出，其尺寸为1×12×128×128；这个降维度的输出将作为后续网络处理的输入，用于提取图像的关键特征信息。
所述SPP的工作过程如下：输入特征首先通过一个1×1的卷积操作来调整通道数；随后，经过三个最大池化操作，其中每个最大池化层的kernel_size分别设置为5×5、9×9和13×13；每个最大池化层都将提取出不同尺寸的特征图，覆盖不同的感受野范围，这样可以捕捉到不同尺度上的目标物体及其周围的上下文信息；接着，将这三个最大池化层的结果与第一个CBL层的输出进行concat操作，将它们连接成一个更高维度的特征图；这样做的目的是融合不同尺度的特征信息，使得模型能够具备对不同尺度目标的感知能力；最后，通过一个CBL层对融合后的特征进行处理和融合，以生成最终的特征表示。
所述YOLOhead1或者YOLOhead2或者YOLOhead3的工作过程如下：首先使用一个卷积层将输入特征图的通道数变换为num_class+5，其中num_class表示目标类别数量；通过make-grid函数生成网格，网格的大小为[1, nc, ny, nx, 2]，其中，nc表示anchor锚框的数量，ny表示Yolohead的输入特征图的高度，nx表示特征图的宽度，这些网格用于确定目标物体在输入图像中的位置和尺寸；在网格中，实线框表示真实的目标框，它们的宽度和高度分别为Bw和Bh，而虚线框表示make_grid函数生成的其中一个锚框，它的宽度和高度为Pw和Ph；通过使用不同大小和宽高比的锚框，有助于增加模型对不同尺度和形状目标的检测能力；在YOLOhead1或者YOLOhead2或者YOLOhead3中，ny被make_grid函数划分为z个网格，每个网格的长度为Cy；同样，nx也可以被划分为z个网格，每个网格的长度为Cx；这样的划分使得锚框和真值框之间的关系得以建立，方便模型预测目标的位置和尺寸。
所述锚框与真值框之间的关系可以用以下公式表示：
bx=2×fn（tx）-0.5+Cx；
by=2×fn（ty）-0.5+Cy；
Bw=Pw×（2×fn（tw））^2；
Bh=Ph×（2×fn（th））^2；
其中，tx和ty分别表示锚框相对于网格单元的横坐标偏移量、纵坐标偏移量，tw、th分别表示锚框相对于真值框的宽度缩放比例、高度缩放比例，Pw和Ph表示锚框的宽度和高度，Bw和Bh表示真值框的宽度和高度；根据这个公式计算得到的锚框与真值框之间的关系，可以通过反向传播来调整预测结果，从而提高目标检测的准确性；YOLOhead1或者YOLOhead2或者YOLOhead3通过卷积层的通道变换、make-grid函数生成网格以及锚框与真值框之间的关系建立，有助于实现目标的位置和尺寸预测，并为YOLO目标检测网络提供了重要的信息基础。
步骤S3中，所述STARDIST模型包括顺序连接的下采样模块、中间过渡层、上采样模块和后处理模块；其中：
下采样模块中，conv2d_1是输入通道为3，输出通道为32，kernel大小为3，padding为1的卷积层；conv2d_2是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层；max_pooling2d_1是kernel_size为2，stride为2的2倍下采样池化层，将特征图尺寸减小一半；down_level_0_no_0是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层；down_level_0_no_1是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层；max_0是kernel_size为2，stride为2的2倍下采样池化层；down_level_1_no_0是输入通道为32，输出通道为64，kernel大小为3，padding为1的卷积层；down_level_1_no_1是输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层；max_1是kernel_size为2，stride为2的2倍下采样池化层；down_level_2_no_0是输入通道为64，输出通道为128，kernel大小为3，padding为1的卷积层；down_level_2_no_1是输入通道为128，输出通道为128，kernel大小为3，padding为1的卷积层；max_2是kernel_size为2，stride为2的2倍下采样池化层；
中间过渡层中，middle_0为输入通道为128，输出通道为256的卷积层；middle_2为输入通道为256，输出通道为128的卷积层；
上采样模块中，up_sampling2d_1为2倍上采样层，up_level_2_no_0是输入通道为256、输出通道为128、kernel大小为3、padding为1的卷积层；up_level_2_no_2是将特征图的通道数从128减少到64，kernel大小为3，padding为1的卷积层；up_sampling2d_2是2倍上采样操作；up_level_1_no_0是输入通道为128，输出通道为64，kernel大小为3，padding为1的卷积层；up_level_1_no_2是将特征图的通道数从64减少到32；up_sampling2d_3是2倍上采样操作；up_level_0_no_0是输入通道为64，输出通道为32的卷积层；up_level_0_no_2是将特征图的通道数从32减少到32；
后处理模块中，features是将特征图的通道数从32增加到128的1×1卷积层；prob是输入通道为128，输出通道为1的1x1卷积层，padding为0；dist是输入通道为128，输出通道为32的1x1卷积层，padding为0；prob卷积层预测的细胞核掩码为pred_mask，gt标签直接由edt_prob生成单个高斯数值分布的细胞核掩码gt_mask，gt_mask和pred_mask使用BCEWithLogitsLoss计算损失，dist卷积层预测的细胞核的坐标编码为pred_dist,dist层的gt标签由stardist生成单个细胞核边缘坐标的角度编码gt_dist,gt_dist和pred_dist使用L1Loss计算损失。
步骤S4中，所述多分类的STARDIST模型，用于ki67多类别细胞核的mask和分类，其中：conv2d_1是一个输入通道为3，输出通道为64，kernel大小为3，padding为1的卷积层，它将输入图像进行卷积操作，输出特征图的通道数为64；conv2d_2是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层，它对conv2d_1的输出特征图进行卷积操作，输出仍然是64通道的特征图；max_pooling2d_1是一个2倍下采样操作，将特征图的尺寸减小一半，即从1×64×256×256变为1×64×128×128；down_level_0_no_0是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层；down_level_0_no_1是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层；经过max_0的2倍下采样操作后，得到特征图的尺寸为1×64×64×64；down_level_1_no_0、down_level_1_no_1和max_1与上述down_level_0_no_0类似，不同之处在于输入通道变为64，输出通道变为128；经过max_1的2倍下采样操作后，得到特征图的尺寸为1×128×32×32；down_level_2_no_0、down_level_2_no_1和max_2与上述层类似，不同之处在于输入通道变为128，输出通道变为256；经过max_2的2倍下采样操作后，得到特征图的尺寸为1×256×16×16；中间过渡层的两个卷积层middle_0的输入输出通道分别为256,512；middle_2是一个输入通道为512，输出通道为256的卷积层；以上为网络的下采样部分；
网络上采样部分由两个卷积层和一个上采样层组成；up_sampling2d_1对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×256×64×64变为1×256×128×128；然后将该特征图与down_level_2_no_1的输出进行concat操作，得到特征图的尺寸为1×512×128×128；接着将该特征图传入up_level_2_no_0，输入通道为512，输出通道为256；up_level_2_no_2将特征图的通道数从256减少到128；up_sampling2d_2对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×128×128×128变为1×128×256×256；然后将该特征图与down_level_1_no_1的特征图进行concat操作，得到特征图的尺寸为1×256×256×256]；接着将该特征图传入up_level_1_no_0，输入通道为256，输出通道为128的卷积层；up_level_1_no_2将特征图的通道数从128减少到64；up_sampling2d_3对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×64×256×256变为1×64×512×512；然后将该特征图与down_level_0_no_1的特征图进行concat操作，得到特征图的尺寸为1×128×512×512；接着将该特征图传入up_level_0_no_0，输入通道为128，输出通道为64的卷积层；up_level_0_no_2将特征图的通道数不变；最后，通过一个features卷积将特征图的通道数从64增加到256；一个feature_class卷积将特征图的通道数从64增加到256。prob是一个输入通道为32，输出通道为1的1x1卷积层，padding为0；dist是一个输入通道为32，输出通道为32的1x1卷积层，padding为0；class是一个输入通道为32，输出通道为num_class的1x1卷积层，padding为0；prob和dist部分与前文一致，class部分则是使用CrossEntropyLoss来计算损失。
本发明与现有技术相比，具有如下优点和有益效果：
本发明使用单模完成细胞核的实例分割任务，并在速度和精度上兼顾考虑，相对于现有的实例分割方法，该方法具有显著的性能优势。本实施例中仅使用少量的标注信息就能完成细胞核的分类，并将分类信息与细胞核分割信息相结合，实现了实例分割数据的制作。特别是在多分类的STARDIST模型中，它不仅能够解决细胞核分割粘连的问题，同时还能高效地完成细胞核的分类。与现有的实例分割方法相比，该多分类的STARDIST模型的优势主要体现在以下几个方面：
首先，该方法利用了深度学习技术中的端到端训练方式，通过卷积神经网络模型自动学习特征表示并进行实例分割，从而避免了传统方法中复杂的手工特征提取和处理过程。这使得模型更具通用性和适应性，能够自动适应各种细胞核的形状、纹理和颜色变化。
其次，该方法有效利用少量标注信息进行训练，通过迁移学习和数据增强等技术，可以充分利用已有的标注数据并生成更多的预标注样本。这不仅减少了标注数据消耗的时间，还提高了模型的泛化能力和鲁棒性。
另外，这种联合训练的方式不仅减少了模型的复杂性，还能够同时考虑细胞核的形状和类别信息，提高了分割和分类的准确性和一致性。在时间效率上，该方法减少了标注数据消耗的时间，使得病理医生可以将更多的时间用于修正标注困难样本。从而提高了整个细胞核实例分割过程的效率和质量。
综上所述，本发明单一模型的细胞核分割和分类方法，在兼顾速度和精度的同时，相对于现有的实例分割方法具有巨大的性能优势。通过少量标注信息完成细胞核的分类，并将分类信息与细胞核分割信息相结合，实现了实例分割数据的制作。在时间效率上减少了标注数据消耗的时间，为病理医生提供更多修正困难样本的时间，从而提高了整体标注过程的效率和准确性。
附图说明
图1为本发明所述少样本ki67多类别细胞核的分割识别方法的流程图。
图2为本发明所述Yolov5的网络结构图。
图3为本发明所述Focus模块的结构图。
图4为本发明所述CBL的结构图。
图5为本发明所述ResBlock的结构图。
图6为本发明所述CSP1_N模块的结构图。
图7为本发明所述CSP2_N模块的结构图。
图8为本发明所述SPP层的结构图。
图9为本发明所述网格的结构图。
图10为本发明所述STARDIST模型的结构图。
图11为本发明所述多分类的STARDIST模型的结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1，少样本ki67多类别细胞核的分割识别方法，包括以下步骤：
A.病理医生标注典型数据；
B.YOLOV5训练步骤A中标注的典型数据，识别得到细胞核类型；
C.STARTDIST分割细胞核的轮廓；
D.对现有的未注样本，使用YOLOV5和STARTDIST得到分割分类标注信息；进行预先标注得到步骤E中需要的训练数据；
E.多分类的STARDIST进行mask和分类；
F.训练迭代模型；
G.清洗数据。
所述步骤A具体为:病理医生采集并标注ki67的典型样本（肿瘤，间质，淋巴，正常）在所述步骤A中，病理医生在162张512×512大小的图像中进行标注，为了减轻病理医生的负担，本发明使用STARDIST进行细胞核的外轮廓分割，将预标注的数据导入到标注系统当中。由于STARDIST模型输出的细胞核mask不具备细胞核的类别信息，病理医生在标注系统中将512×512内的每一个细胞核赋值一个类别。在切分的典型图像中，阴性细胞样本的数量居多，其次是阳性的细胞，再到免疫细胞，最少的是间质细胞。由于YOLOV5需要的标注信息仅仅为细胞核的中心点和宽高。在标注系统中导出数据得到的是细胞核的外轮廓坐标，将这些坐标转换为opencv的contours，使用opencv的boundrect函数得到细胞核的中心点和宽高，然后将这些坐标和类别转换为yolo的标注格式。
所述步骤B具体为Yolov5的细胞核识别模型，在本发明中负责细胞核的分类任务。
所述步骤B中的Yolov5的结构如图2，工作流程如下：
S201、原始图像经过缩放为512×512大小后，传入Focus模块进行切分合并操作，用于缩减图像特征在空间上的维度；
S202、经过（CBL+CSP1_1）、（CBL+CSP1_2）对图像特征进行抽取和变换后，得到第一下采样特征featureA；通过设计（CBL+CSP1_1）、（CBL+CSP1_2）网络结构，可以使得输入图像与这些结构进行交互计算的过程中，得到更具表征能力的特征图；
S203、第一下采样特征featureA再经过（CBL+CSP1_3）操作得到第二下采样特征featureB；
第二下采样特征featureB通过第一CBL、SPP、（CSP2_1+CBL）的处理，得到第三下采样特征featureC；通过设计SPP结构，可以对特征进行多尺度的融合；通过设计（CSP2_1+CBL）结构，可以在减轻计算参数量的情况下，提高特征的融合能力；
S204、第三下采样特征featureC经过第一个upsample层，并与第二下采样特征featureB在通道维度上进行合并操作；通过设计CSP2+CBL结构，可以在减轻计算参数量的情况下，提高特征的融合能力；
S205、经过（CSP2_1+CBL）的处理，再经过第二upsample层与第一下采样特征featureA在通道维度上进行合并；
S206、通过第一CSP2_1的处理，得到待传入YOLOhead1的第一检测特征图det_featureA；接着，det_featureA经过第一conv层的通道变换后，进入YOLOhead1来计算预测框与真实框之间的偏差，这个偏差可用于对预测框进行校正，使其更加精准地匹配真实物体；同时，det_featureA经过第二CBL和第二upsample层的输出在通道维度上合并，经过第二CSP2_1的处理得到第二检测特征图det_featureB；然后，det_featureB经过第二conv层提取特征，将其送入YOLOhead2来计算预测框的坐标、概率以及物体的类别；接着，det_featureB经过第三CBL和第三下采样特征图featureC在通道上合并，得到第三检测特征图det_featureC，最终第三CSP2_1和第三conv充分抽象出图像的特征后，送入YOLOhead3；最终在YOLOhead1、YOLOhead2、YOLOhead3处得到需要的结果，即目标检测和分类的预测结果。
Focus模块的结构如图3，工作流程为：
首先，通过Focus模块对原始图像进行切片操作，以减小图像在空间维度上的大小。这个过程将图像切分成多个子图像块，每个子图像块的尺寸为1×3×128×128。接着，使用Concat操作将这四个子图像块合并在一起，得到一个1×12×128×128大小的特征图。这意味着，合并后的特征图在通道维度上具有12个通道，其中每个通道都包含了原始图像的不同局部信息。随后，经过一个卷积模块的处理，对这个合并后的特征图进行降维度操作。CBL模块通常包括卷积层、批归一化层和激活函数等，可以提取图像中的抽象特征，并通过降低特征图的通道数量来减小计算复杂度。最终，经过这一系列的操作，我们得到了Focus模块的图像降维度输出，其尺寸为1×12×128×128。这个降维度的输出将作为后续网络处理的输入，用于提取图像的关键特征信息。
CBL模块的结构如图4，CBL由Conv+Bn+Leaky_relu激活函数三者组成,是神经网络计算特征图最小的组合单位，具体工作流程为：
一个基础卷积模块CBL在yolov5中由一个卷积层（Conv）、一个批量归一化层（BN）和一个激活函数（LeakyReLU）组成。卷积层是用来提取特征的关键组件，它通过滑动窗口的方式对输入数据进行卷积操作，从而得到新的特征表示。卷积操作可以有效地捕捉图像中不同位置的局部信息，并对其进行特征提取和变换。批量归一化层用于规范化数值区间，并加速网络的收敛过程。它通过对每个批次的数据进行均值和方差的统计，对输入数据进行归一化处理，使得数据的分布更加稳定和具有可比性。这样可以防止数据分布不一致导致的网络训练困难，并提高模型的泛化能力。激活函数在卷积模块中起到了限制输出值域范围的作用。LeakyReLU是一种常用的激活函数，它在负半轴上引入了一个小的斜率，以解决传统ReLU函数的梯度消失问题。通过引入非线性变换，激活函数可以使得网络模型更加灵活地适应复杂的数据分布，提高模型的表达能力。综合来说，CBL作为yolov5中的基础卷积模块，通过卷积层提取特征，批量归一化层规范化数值区间，激活函数限制输出的值域范围，共同作用于输入数据，以提高模型的性能和准确度。
ResBlock的结构如图5，具体工作流程为：
ResBlock是残差块（Residual Block）的简称，它由两个CBL模块和一个skip跳跃链接组成。每个CBL模块负责对输入图像特征进行抽取和变换，其中包含卷积层、批归一化层和激活函数等操作。这些操作共同作用，将输入特征图经过一系列的卷积和非线性变换，在网络中逐层传递并逐渐提取出更加高级和抽象的特征。而skip跳跃链接的作用是为了防止网络退化现象，它将前面的特征图直接连接到后面的特征图上。这样做的目的是让网络能够保持原有的特征，避免在网络深层传递时损失重要的细节信息。通过skip-connection，前面已经提取的特征能够直接在后面的层级中相加，从而融合两个不同层级的特征。
ResBlock在CSP1_N (N=1,2,3...)内部。
具体地说，skip-connection将两个特征图在对应的特征图尺度上进行逐元素求和的操作，以实现特征的融合。这样可以使得网络在学习更加高级的特征时，仍然能够利用之前低级特征中的有用信息，从而提高网络的性能和表示能力。这种融合的方式可以有效地增加网络的深度和复杂性，同时避免了梯度消失或爆炸等问题，提升了整体网络的性能和稳定性。
CSP1_N的结构如图6，具体工作流程为：
CSP（Cross-Stage Partial Connection）跨级部分连接层是由两个部分组成的。首先是第一部分，输入特征图会经过一个CBL块，用来提取初始特征。然后，这些初始特征会通过N个ResBlock进行进一步的特征提取。每个ResBlock由两个CBL模块组成，利用残差连接的方式有效地传递和利用原始特征信息。接下来，经过一个Conv层来调整通道数量，以匹配第二部分的特征图。第二部分是将特征图经过Conv层进行通道数量的变换。这个处理步骤可以让特征图的通道数量匹配第一部分提取到的特征图，为融合两部分的特征做准备。然后，这两部分的特征通过Concat操作进行融合，将它们沿着通道维度进行连接。这种融合方式可以充分保留两部分特征的信息，并且增强了特征的多样性和表达能力。接着，经过BN层对融合后的特征进行规范化处理，以加速网络的收敛过程。然后，通过LeakyReLU激活函数对特征进行非线性变换，以增强网络模型的非线性表示能力。最后，通过一个CBL层输出处理后的特征图。这个CBL层起到了降维和特征提取的作用，将融合后的特征图转换为最终的输出结果。
综上所述，CSP跨级部分连接层通过两个部分的处理，提取和融合了不同级别的特征信息，并通过各种操作（CBL、Conv、Concat、BN、LeakyReLU）对特征进行处理和优化，以获得更加丰富和准确的特征表示，从而提升模型的性能和效果。
CSP2_N模块的结构如图7，CSP2_N相对于CSP1_N来说，不一样的地方只有CSP2_X将ResBlock结构的堆叠换成了CBL结构的堆叠，主要应用在Neck网络。
具体来说，CSP跨级部分连接层分为两个部分。首先是第一部分，输入特征图会经过一个CBL块，用来进行初始特征提取。这个CBL块包括一个卷积层（Conv）、一个批量归一化层（BN）和一个激活函数（LeakyReLU）。它们的组合能够有效地提取输入特征图的空间和通道信息。然后，经过N个CBL块对特征进行进一步的提取。每个CBL块由一个卷积层、一个批量归一化层和一个激活函数组成。这些CBL块通过多次卷积和非线性变换，逐渐丰富和提取特征图中的语义信息。接下来，通过一个Conv层对通道数量进行变换，使其与第二部分的特征图相匹配。这个Conv层可以根据需要调整特征图的通道数，以便后续的特征融合操作。第二部分是将特征图经过Conv层进行通道数量的变换。这个处理步骤可以让特征图的通道数量与第一部分提取到的特征图匹配起来，为后续的融合操作做好准备。然后，通过Concat操作将两部分的特征图进行融合，即将它们沿着通道维度进行连接。这种融合方式有助于充分保留两部分特征图的信息，增加了特征的多样性和表达能力。随后，经过BN层对融合后的特征进行规范化处理，以加速网络的收敛过程，并提高模型的稳定性和泛化能力。接着，经过LeakyReLU激活函数的非线性变换，增强了网络模型的非线性表示能力。最后，通过一个CBL层输出经过特征融合和处理后的最终结果。这个CBL层可以进一步调整通道数量、降低空间维度，以及提取更高级的特征表示。
综上所述，CSP跨级部分连接层通过两个部分的处理，包括CBL块的特征提取、Conv层的通道变换、Concat的特征融合、BN层的规范化和LeakyReLU层的非线性变换，能够有效地促进特征的融合和信息交流，提升模型在复杂任务中的性能和鲁棒性。
SPP层的结构如图8，具体工作流程为：
在SPP（Spatial Pyramid Pooling）层中，输入特征首先通过一个1×1的卷积操作（即通道数变换的卷积层，记为CBL）来调整通道数。随后，经过三个最大池化操作（maxpool），其中的每个最大池化层的kernel_size分别设置为5×5、9×9和13×13。每个最大池化层都将提取出不同尺寸的特征图，覆盖不同的感受野范围。这样可以捕捉到不同尺度上的目标物体及其周围的上下文信息。接着，将这三个最大池化层的结果与第一个CBL层的输出进行concat操作，将它们连接成一个更高维度的特征图。这样做的目的是融合不同尺度的特征信息，使得模型能够具备对不同尺度目标的感知能力。最后，通过一个CBL层对融合后的特征进行处理和融合，以生成最终的特征表示。这一步骤可以进一步提取和组合特征，增强网络对目标物体的表征能力。综上所述，SPP层通过使用多个不同尺寸的最大池化层和卷积层，以及concat和融合操作，实现了对不同尺度特征的融合和提取，进而增强了模型在处理目标物体的同时获取上下文信息的能力。
YOLOhead1或者YOLOhead2或者YOLOhead3是YOLO目标检测网络中的关键组件之一。在yolohead中，首先使用一个卷积层将输入特征图的通道数变换为num_class+5，其中num_class表示目标类别数量。通过make-grid函数生成如图9所示的网格，网格的大小为[1, nc, ny, nx, 2]。其中，nc表示anchor锚框的数量，ny表示Yolohead的输入特征图的高度，nx表示特征图的宽度。这些网格用于确定目标物体在输入图像中的位置和尺寸。在网格中，实线框表示真实的目标框，它们的宽度和高度分别为Bw和Bh。而虚线框表示make_grid函数生成的其中一个锚框，它的宽度和高度为Pw和Ph。通过使用不同大小和宽高比的锚框，有助于增加模型对不同尺度和形状目标的检测能力。在Yolohead中，ny被make_grid函数划分为z个网格，每个网格的长度为Cy。同样，nx也可以被划分为z个网格，每个网格的长度为Cx。这样的划分使得锚框和真值框之间的关系得以建立，方便模型预测目标的位置和尺寸。具体而言，锚框与真值框之间的关系可以用以下公式表示：
bx=2×fn（tx）-0.5+Cx；
by=2×fn（ty）-0.5+Cy；
Bw=Pw×（2×fn（tw））^2；
Bh=Ph×（2×fn（th））^2；
其中，tx和ty表示锚框相对于网格单元的偏移量，tw，th表示锚框相对于真值框的宽高缩放比例，Pw和Ph表示锚框的宽度和高度，Bw和Bh表示真值框的宽度和高度。通过根据这个公式计算得到的锚框与真值框之间的关系，模型可以通过反向传播来调整预测结果，从而提高目标检测的准确性。综上所述，YOLOhead1或者YOLOhead2或者YOLOhead3通过卷积层的通道变换、make-grid函数生成网格以及锚框与真值框之间的关系建立，有助于实现目标的位置和尺寸预测，并为YOLO目标检测网络提供了重要的信息基础。
所述步骤C具体为StarDist细胞核分割模型，在本发明中负责细胞核外轮廓的识别。
STARDIST模型的结构如图10，具体工作流程为：
下采样部分：
conv2d_1是输入通道为3，输出通道为32，kernel大小为3，padding为1的卷积层。conv2d_2是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层。max_pooling2d_1是kernel_size为2，stride为2的2倍下采样池化层，将特征图尺寸减小一半。down_level_0_no_0是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层。down_level_0_no_1是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层。max_0是kernel_size为2，stride为2的2倍下采样池化层。down_level_1_no_0是输入通道为32，输出通道为64，kernel大小为3，padding为1的卷积层。down_level_1_no_1是输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层。max_1是kernel_size为2，stride为2的2倍下采样池化层。down_level_2_no_0是输入通道为64，输出通道为128，kernel大小为3，padding为1的卷积层。down_level_2_no_1是输入通道为128，输出通道为128，kernel大小为3，padding为1的卷积层。max_2是kernel_size为2，stride为2的2倍下采样池化层。
中间过渡层：middle_0：输入通道为128，输出通道为256的卷积层。middle_2：输入通道为256，输出通道为128的卷积层。
上采样部分：up_sampling2d_1：2倍上采样层。up_level_2_no_0是输入通道为256，输出通道为128，kernel大小为3，padding为1的卷积层。up_level_2_no_2是将特征图的通道数从128减少到64，kernel大小为3，padding为1的卷积层。up_sampling2d_2是2倍上采样操作。up_level_1_no_0是输入通道为128，输出通道为64，kernel大小为3，padding为1的卷积层。up_level_1_no_2是将特征图的通道数从64减少到32。up_sampling2d_3是2倍上采样操作。up_level_0_no_0是输入通道为64，输出通道为32的卷积层。up_level_0_no_2是将特征图的通道数从32减少到32。
后处理部分：features是将特征图的通道数从32增加到128的1×1卷积层。prob是输入通道为128，输出通道为1的1x1卷积层，padding为0。dist是输入通道为128，输出通道为32的1x1卷积层，padding为0。prob卷积层预测的细胞核掩码为pred_mask，gt标签直接由edt_prob生成单个高斯数值分布的细胞核掩码gt_mask，gt_mask和pred_mask使用BCEWithLogitsLoss计算损失，dist卷积层预测的细胞核的坐标编码为pred_dist,dist层的gt标签由stardist生成单个细胞核边缘坐标的角度编码gt_dist,gt_dist和pred_dist使用L1Loss计算损失。
所述步骤D具体为E步骤中需要的标注样本，标注样本具体为一张512×512大小的图片，在该图片中每一个细胞核的标注需要细胞核整体的mask和类别，那么利用步骤A和步骤B可以得到一个yolov5的识别模型，该模型在ki67的单个图像中，有较高的识别准确率，负责完成标注样本中的细胞核的类别分类，步骤C中的stardist使用其预训练模型，该模型在细胞核分类中有较高的细胞核轮廓贴合度。
预标注过程：
1.准备待标注的图像19779张
2.使用yolov5 推理得到每个细胞核的中心点和类别
3.使用stardist推理得到细胞核的掩码，计算掩码和中心点的位置关系，将中心点落入掩码的点赋予该中心点的所属类别。
4.将步骤3中的类别和掩码赋予不同的数值0到N并描绘在class_map上，而distance_map需要的是实例图也就是每个细胞核一个数值区分1到num_kernel。
如图11，所述步骤E具体为多分类StarDist细胞核分割模型，在本发明中负责细胞核的mask和分类，同时间进行，在速度与精度上有着很大的提高。
conv2d_1是一个输入通道为3，输出通道为64，kernel大小为3，padding为1的卷积层。它将输入图像进行卷积操作，输出特征图的通道数为64。conv2d_2是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层。它对conv2d_1的输出特征图进行卷积操作，输出仍然是64通道的特征图。max_pooling2d_1是一个2倍下采样操作，将特征图的尺寸减小一半，即从1×64×256×256变为1×64×128×128。down_level_0_no_0是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层。down_level_0_no_1是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层。经过max_0的2倍下采样操作后，得到特征图的尺寸为1×64×64×64。down_level_1_no_0、down_level_1_no_1和max_1与上述down_level_0_no_0类似，不同之处在于输入通道变为64，输出通道变为128。经过max_1的2倍下采样操作后，得到特征图的尺寸为1×128×32×32。down_level_2_no_0、down_level_2_no_1和max_2与上述层类似，不同之处在于输入通道变为128，输出通道变为256。经过max_2的2倍下采样操作后，得到特征图的尺寸为1×256×16×16。中间过渡层的两个卷积层middle_0的输入输出通道分别为256,512。middle_2是一个输入通道为512，输出通道为256的卷积层。以上为网络的下采样部分。
网络上采样部分由两个卷积层和一个上采样层组成。up_sampling2d_1对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×256×64×64变为1×256×128×128。然后将该特征图与down_level_2_no_1的输出进行concat操作，得到特征图的尺寸为1×512×128×128。接着将该特征图传入up_level_2_no_0，输入通道为512，输出通道为256。up_level_2_no_2将特征图的通道数从256减少到128。up_sampling2d_2对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×128×128×128变为1×128×256×256。然后将该特征图与down_level_1_no_1的特征图进行concat操作，得到特征图的尺寸为1×256×256×256]。接着将该特征图传入up_level_1_no_0，输入通道为256，输出通道为128的卷积层。up_level_1_no_2将特征图的通道数从128减少到64。up_sampling2d_3对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×64×256×256变为1×64×512×512。然后将该特征图与down_level_0_no_1的特征图进行concat操作，得到特征图的尺寸为1×128×512×512。接着将该特征图传入up_level_0_no_0，输入通道为128，输出通道为64的卷积层。up_level_0_no_2将特征图的通道数不变。最后，通过一个features卷积将特征图的通道数从64增加到256。一个feature_class卷积将特征图的通道数从64增加到256。prob是一个输入通道为32，输出通道为1的1x1卷积层，padding为0。dist是一个输入通道为32，输出通道为32的1x1卷积层，padding为0。class是一个输入通道为32，输出通道为num_class的1x1卷积层，padding为0。
prob和dist部分与前文一致，class部分则是使用CrossEntropyLoss来计算损失。
本发明中所述步骤F具体为模型的训练和迭代。
模型训练，模型优化器使用adamw，lr为3e-4，weight-decay为5e-4，lr_scheduler使用CosineAnnealingWarmRestarts，T0=2，T-multi=5。epoch轮数为300。模型评价指标使用iou_score来衡量。
步骤G具体为：预标注部分的数据类别和细胞核的标注可能存在少量的偏差，但是随着模型的迭代，我们选取输出概率为0.98的样本保留，并人工筛选修正预测错误的样本。在多轮修正后，模型指标到达预期水平。
多分类的STARDIST是一种经典的卷积神经网络，其结构由对称的下采样（编码器）和上采样（解码器）部分组成。编码器以卷积和池化操作逐步减小输入图像的尺寸，同时提取不同层次的特征表示。解码器则对编码器输出进行上采样和卷积操作，将特征图恢复到原始输入图像的尺寸，最终得到对细胞核进行分割和分类的预测。多分类的STARDIST相对于Mask-RCNN的方法有以下性能优势：
单一模型：多分类的STARDIST可以通过单一模型同时完成细胞核的分割和分类，不需要使用多个模型进行不同任务的处理。这简化了模型的结构和训练过程，并且更容易进行推理和部署。
速度：多分类的STARDIST结构的编码器和解码器部分仅一次计算。相比之下，Mask-RCNN的方法需要进行目标检测和实例分割的多个步骤，运算量较大，速度相对较慢。
精度：多分类的STARDIST通过多级特征提取和上采样操作，能够更好地保留图像的细节信息，并获得更准确的分割和分类结果。相比之下，Mask-RCNN的方法可能需要额外的后处理步骤来提高精度。
总体而言，多分类的STARDIST在细胞核的分割和分类任务中具有更高的速度和精度，适用于兼顾效率和准确性的应用场景。
Mask-RCNN、MaskFormer和Mask2Former都是实例分割领域的三种模型，它们也都有一些缺点。
Mask-RCNN：
相对较慢：由于需要进行目标检测和实例分割的多个步骤以及运算量较大，Mask-RCNN的速度相对较慢。高昂的硬件需求：为了保障较高的性能和精度，Mask-RCNN需要较高的硬件资源支持，如显存和计算能力等方面。训练过程复杂：Mask-RCNN需要进行目标检测和实例分割的联合训练，训练过程比较复杂，需要更多的数据和更长的时间来达到较好的效果。
MaskFormer：
计算资源要求高：MaskFormer引入了Transformer架构，相比于传统的卷积神经网络，其计算量更大，需要更高的计算资源。
需要更多的数据：为了充分利用Transformer的优势MaskFormer需要更多的数据和更长的训练时间来取得比较好的效果，这可能对资源和时间造成一定的压力。仍存在一些语义信息丢失的问题：尽管MaskFormer结构中融合了Transformer的全局上下文信息，但在高分辨率图像上两者之间的关系还不够强，在一些情况下仍然会出现语义信息丢失。
针对Mask2Former：
硬件需求较高：Mask2Former同样引入了Transformer，计算量也比较大，对硬件资源的要求较高，可能需要更高性能的计算平台来支持。
训练过程较为困难：训练一个高度优化且有效的Mask2Former模型需要大量的数据和充足的训练时间，训练过程比较复杂，需要更多的专业知识和工程经验。仍存在语义信息丢失问题：尽管Mask2Former采用了多层级特征融合的策略，它仍然有可能会遗漏一些细节，这会导致一些语义信息的丢失，从而影响模型的精度。
同时，本发明提供：
一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一段程序，所述程序由所述处理器加载并执行以实现上述少样本ki67多类别细胞核的分割识别方法。
一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述程序由处理器加载并执行以实现上述少样本ki67多类别细胞核的分割识别方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.少样本ki67多类别细胞核的分割识别方法，其特征在于，包括以下步骤：
S1、人工采集并标注ki67典型样本；
S2、ki67典型样本输入到YOLOV5细胞核识别模型，识别得到ki67细胞核类型；
所述YOLOV5细胞核识别模型的识别过程如下：
S201、原始图像经过缩放为512×512大小后，传入Focus模块进行切分合并操作，用于缩减图像特征在空间上的维度；
S202、经过（CBL+CSP1_1）、（CBL+CSP1_2）对图像特征进行抽取和变换后，得到第一下采样特征featureA；
S203、第一下采样特征featureA再经过（CBL+CSP1_3）操作得到第二下采样特征featureB；
第二下采样特征featureB通过第一CBL、SPP、（CSP2_1+CBL）的处理，得到第三下采样特征featureC；
S204、第三下采样特征featureC经过第一个upsample层，并与第二下采样特征featureB在通道维度上进行合并操作；
S205、经过（CSP2_1+CBL）的处理，再经过第二upsample层与第一下采样特征featureA在通道维度上进行合并；
S206、通过第一CSP2_1的处理，得到待传入YOLOhead1的第一检测特征图det_featureA；接着，det_featureA经过第一conv层的通道变换后，进入YOLOhead1来计算预测框与真实框之间的偏差，这个偏差用于对预测框进行校正；同时，det_featureA经过第二CBL和第二upsample层的输出在通道维度上合并，经过第二CSP2_1的处理得到第二检测特征图det_featureB；然后，det_featureB经过第二conv层提取特征，将其送入YOLOhead2来计算预测框的坐标、概率以及物体的类别；接着，det_featureB经过第三CBL和第三下采样特征图featureC在通道上合并，得到第三检测特征图det_featureC，最终第三CSP2_1和第三conv充分抽象出图像的特征后，送入YOLOhead3；最终在YOLOhead1、YOLOhead2、YOLOhead3处得到需要的结果，即目标检测和分类的预测结果；
同时，STARTDIST模型分割ki67细胞核的外轮廓；
S3、对现有的未注样本使用YOLOV5细胞核识别模型和STARTDIST模型得到分割分类标注信息进行预先标注得到步骤S4中需要的训练数据；
S4、对多分类的STARDIST模型进行训练；训练好的多分类的STARDIST模型对Ki67图像中多类别细胞核进行分类；
S5、训练迭代模型；
S6、清洗数据。
2.根据权利要求1所述少样本ki67多类别细胞核的分割识别方法，其特征在于，步骤S1中，所述ki67典型样本标注后得到的是ki67细胞核的外轮廓坐标，将其转换为opencv的contours，使用opencv的boundrect函数得到细胞核的中心点和宽高，然后将这些坐标和类别转换为yolo的标注格式。
3.根据权利要求1所述少样本ki67多类别细胞核的分割识别方法，其特征在于，所述Focus模块的工作过程如下：首先，通过Focus模块对原始图像进行切片操作，以减小图像在空间维度上的大小，这个过程将图像切分成多个子图像块，每个子图像块的尺寸为1×3×128×128；接着，使用Concat操作将这四个子图像块合并在一起，得到一个1×12×128×128大小的特征图；由此，合并后的特征图在通道维度上具有12个通道，其中每个通道都包含了原始图像的不同局部信息；随后，经过一个卷积模块的处理，对这个合并后的特征图进行降维度操作；CBL模块提取图像中的抽象特征，并通过降低特征图的通道数量来减小计算复杂度；最终，得到了Focus模块的图像降维度输出，其尺寸为1×12×128×128；这个降维度的输出将作为后续网络处理的输入，用于提取图像的关键特征信息。
4.根据权利要求1所述少样本ki67多类别细胞核的分割识别方法，其特征在于，所述SPP的工作过程如下：输入特征首先通过一个1×1的卷积操作来调整通道数；随后，经过三个最大池化操作，其中每个最大池化层的kernel_size分别设置为5×5、9×9和13×13；接着，将这三个最大池化层的结果与第一个CBL层的输出进行concat操作，将它们连接成一个更高维度的特征图；最后，通过一个CBL层对融合后的特征进行处理和融合，以生成最终的特征表示。
5.根据权利要求1所述少样本ki67多类别细胞核的分割识别方法，其特征在于，所述YOLOhead1或者YOLOhead2或者YOLOhead3的工作过程如下：首先使用一个卷积层将输入特征图的通道数变换为num_class+5，其中num_class表示目标类别数量；通过make-grid函数生成网格，网格的大小为[1, nc, ny, nx, 2]，其中，nc表示anchor锚框的数量，ny表示Yolohead的输入特征图的高度，nx表示特征图的宽度，这些网格用于确定目标物体在输入图像中的位置和尺寸；在网格中，实线框表示真实的目标框，它们的宽度和高度分别为Bw和Bh，而虚线框表示make_grid函数生成的其中一个锚框，它的宽度和高度为Pw和Ph；
在YOLOhead1或者YOLOhead2或者YOLOhead3中，ny被make_grid函数划分为z个网格，每个网格的长度为Cy；同样，nx被划分为z个网格，每个网格的长度为Cx；这样的划分使得锚框和真值框之间的关系得以建立，方便模型预测目标的位置和尺寸。
6.根据权利要求5所述少样本ki67多类别细胞核的分割识别方法，其特征在于，所述锚框与真值框之间的关系用以下公式表示：
bx=2×fn（tx）-0.5+Cx；
by=2×fn（ty）-0.5+Cy；
Bw=Pw×（2×fn（tw））^2；
Bh=Ph×（2×fn（th））^2；
其中，tx和ty分别表示锚框相对于网格单元的横坐标偏移量、纵坐标偏移量，tw、th分别表示锚框相对于真值框的宽度缩放比例、高度缩放比例，Pw和Ph表示锚框的宽度和高度，Bw和Bh表示真值框的宽度和高度。
7.根据权利要求1所述少样本ki67多类别细胞核的分割识别方法，其特征在于，步骤S3中，所述STARDIST模型包括顺序连接的下采样模块、中间过渡层、上采样模块和后处理模块；其中：
下采样模块中，conv2d_1是输入通道为3，输出通道为32，kernel大小为3，padding为1的卷积层；conv2d_2是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层；max_pooling2d_1是kernel_size为2，stride为2的2倍下采样池化层，将特征图尺寸减小一半；down_level_0_no_0是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层；down_level_0_no_1是输入通道为32，输出通道为32，kernel大小为3，padding为1的卷积层；max_0是kernel_size为2，stride为2的2倍下采样池化层；down_level_1_no_0是输入通道为32，输出通道为64，kernel大小为3，padding为1的卷积层；down_level_1_no_1是输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层；max_1是kernel_size为2，stride为2的2倍下采样池化层；down_level_2_no_0是输入通道为64，输出通道为128，kernel大小为3，padding为1的卷积层；down_level_2_no_1是输入通道为128，输出通道为128，kernel大小为3，padding为1的卷积层；max_2是kernel_size为2，stride为2的2倍下采样池化层；
中间过渡层中，middle_0为输入通道为128，输出通道为256的卷积层；middle_2为输入通道为256，输出通道为128的卷积层；
上采样模块中，up_sampling2d_1为2倍上采样层，up_level_2_no_0是输入通道为256、输出通道为128、kernel大小为3、padding为1的卷积层；up_level_2_no_2是将特征图的通道数从128减少到64，kernel大小为3，padding为1的卷积层；up_sampling2d_2是2倍上采样操作；up_level_1_no_0是输入通道为128，输出通道为64，kernel大小为3，padding为1的卷积层；up_level_1_no_2是将特征图的通道数从64减少到32；up_sampling2d_3是2倍上采样操作；up_level_0_no_0是输入通道为64，输出通道为32的卷积层；up_level_0_no_2是将特征图的通道数从32减少到32；
后处理模块中，features是将特征图的通道数从32增加到128的1×1卷积层；prob是输入通道为128，输出通道为1的1x1卷积层，padding为0；dist是输入通道为128，输出通道为32的1x1卷积层，padding为0；prob卷积层预测的细胞核掩码为pred_mask，gt标签直接由edt_prob生成单个高斯数值分布的细胞核掩码gt_mask，gt_mask和pred_mask使用BCEWithLogitsLoss计算损失，dist卷积层预测的细胞核的坐标编码为pred_dist,dist层的gt标签由stardist生成单个细胞核边缘坐标的角度编码gt_dist,gt_dist和pred_dist使用L1Loss计算损失。
8.根据权利要求1所述少样本ki67多类别细胞核的分割识别方法，其特征在于，步骤S4中，所述多分类的STARDIST模型，用于ki67多类别细胞核的mask和分类，其中：conv2d_1是一个输入通道为3，输出通道为64，kernel大小为3，padding为1的卷积层，它将输入图像进行卷积操作，输出特征图的通道数为64；conv2d_2是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层，它对conv2d_1的输出特征图进行卷积操作，输出仍然是64通道的特征图；max_pooling2d_1是一个2倍下采样操作，将特征图的尺寸减小一半，即从1×64×256×256变为1×64×128×128；down_level_0_no_0是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层；down_level_0_no_1是一个输入通道为64，输出通道为64，kernel大小为3，padding为1的卷积层；经过max_0的2倍下采样操作后，得到特征图的尺寸为1×64×64×64；down_level_1_no_0、down_level_1_no_1和max_1与上述down_level_0_no_0类似，不同之处在于输入通道变为64，输出通道变为128；经过max_1的2倍下采样操作后，得到特征图的尺寸为1×128×32×32；down_level_2_no_0、down_level_2_no_1和max_2与上述层类似，不同之处在于输入通道变为128，输出通道变为256；经过max_2的2倍下采样操作后，得到特征图的尺寸为1×256×16×16；中间过渡层的两个卷积层middle_0的输入输出通道分别为256,512；middle_2是一个输入通道为512，输出通道为256的卷积层；以上为网络的下采样部分；
网络上采样部分由两个卷积层和一个上采样层组成；up_sampling2d_1对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×256×64×64变为1×256×128×128；然后将该特征图与down_level_2_no_1的输出进行concat操作，得到特征图的尺寸为1×512×128×128；接着将该特征图传入up_level_2_no_0，输入通道为512，输出通道为256；up_level_2_no_2将特征图的通道数从256减少到128；up_sampling2d_2对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×128×128×128变为1×128×256×256；然后将该特征图与down_level_1_no_1的特征图进行concat操作，得到特征图的尺寸为1×256×256×256]；接着将该特征图传入up_level_1_no_0，输入通道为256，输出通道为128的卷积层；up_level_1_no_2将特征图的通道数从128减少到64；up_sampling2d_3对输入特征图进行2倍的上采样操作，将特征图的尺寸从1×64×256×256变为1×64×512×512；然后将该特征图与down_level_0_no_1的特征图进行concat操作，得到特征图的尺寸为1×128×512×512；接着将该特征图传入up_level_0_no_0，输入通道为128，输出通道为64的卷积层；up_level_0_no_2将特征图的通道数不变；最后，通过一个features卷积将特征图的通道数从64增加到256；一个feature_class卷积将特征图的通道数从64增加到256；prob是一个输入通道为32，输出通道为1的1x1卷积层，padding为0；dist是一个输入通道为32，输出通道为32的1x1卷积层，padding为0；class是一个输入通道为32，输出通道为num_class的1x1卷积层，padding为0；prob和dist部分与前文一致，class部分则是使用CrossEntropyLoss来计算损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410007970.8A CN117523205B (zh) | 2024-01-03 | 2024-01-03 | 少样本ki67多类别细胞核的分割识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410007970.8A CN117523205B (zh) | 2024-01-03 | 2024-01-03 | 少样本ki67多类别细胞核的分割识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523205A CN117523205A (zh) | 2024-02-06 |
| CN117523205B true CN117523205B (zh) | 2024-03-29 |
Family
ID=89749749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410007970.8A Active CN117523205B (zh) | 2024-01-03 | 2024-01-03 | 少样本ki67多类别细胞核的分割识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523205B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215790A (zh) * | 2019-06-24 | 2021-01-12 | 杭州迪英加科技有限公司 | 基于深度学习的ki67指数分析方法 |
| CN113393443A (zh) * | 2021-06-17 | 2021-09-14 | 华南理工大学 | 一种he病理图像细胞核分割方法及系统 |
| CN114119525A (zh) * | 2021-11-19 | 2022-03-01 | 重庆大学 | 一种细胞医学图像分割的方法和系统 |
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN114972202A (zh) * | 2022-04-30 | 2022-08-30 | 中国人民解放军联勤保障部队第九二〇医院 | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220343623A1 (en) * | 2019-11-28 | 2022-10-27 | Beijing Xiaoying Technology Co., Ltd. | Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method |
-
2024
- 2024-01-03 CN CN202410007970.8A patent/CN117523205B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215790A (zh) * | 2019-06-24 | 2021-01-12 | 杭州迪英加科技有限公司 | 基于深度学习的ki67指数分析方法 |
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN113393443A (zh) * | 2021-06-17 | 2021-09-14 | 华南理工大学 | 一种he病理图像细胞核分割方法及系统 |
| CN114119525A (zh) * | 2021-11-19 | 2022-03-01 | 重庆大学 | 一种细胞医学图像分割的方法和系统 |
| CN114972202A (zh) * | 2022-04-30 | 2022-08-30 | 中国人民解放军联勤保障部队第九二〇医院 | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于CSPPNet与集成学习的人类蛋白质图像分类方法;李培媛;黄迟;;计算机工程;20201231(08);第241-248页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523205A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287932B (zh) | 基于深度学习图像语义分割的道路阻断信息提取方法 | |
| CN110298321B (zh) | 基于深度学习图像分类的道路阻断信息提取方法 | |
| CN111612754B (zh) | 基于多模态图像融合的mri肿瘤优化分割方法及系统 | |
| CN114897779B (zh) | 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置 | |
| CN111028327B (zh) | 一种三维点云的处理方法、装置及设备 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN113408423B (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN116665176B (zh) | 一种面向车辆自动驾驶的多任务网络道路目标检测方法 | |
| Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN111915650B (zh) | 基于改进孪生网络的目标跟踪方法及系统 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN114639102B (zh) | 基于关键点与尺寸回归的细胞分割方法和装置 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN113569724A (zh) | 基于注意力机制和扩张卷积的道路提取方法及系统 | |
| CN113591823A (zh) | 深度预测模型的训练及人脸深度图像的生成方法、装置 | |
| CN111079807B (zh) | 一种地物分类方法及装置 | |
| CN114882490B (zh) | 一种基于点引导定位的无受限场景车牌检测分类方法 | |
| CN117523205B (zh) | 少样本ki67多类别细胞核的分割识别方法 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
| CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 | |
| CN115035193A (zh) | 一种基于双目视觉与图像分割技术的散装粮随机扦样方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |