CN117315651B - 基于仿射一致Transformer的多类别细胞检测分类方法以及装置 - Google Patents
基于仿射一致Transformer的多类别细胞检测分类方法以及装置 Download PDFInfo
- Publication number
- CN117315651B CN117315651B CN202311178572.4A CN202311178572A CN117315651B CN 117315651 B CN117315651 B CN 117315651B CN 202311178572 A CN202311178572 A CN 202311178572A CN 117315651 B CN117315651 B CN 117315651B
- Authority
- CN
- China
- Prior art keywords
- affine
- detection
- network
- image
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 288
- 238000000034 method Methods 0.000 title claims abstract description 43
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 114
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 230000007170 pathology Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000000120 cytopathologic effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 description 66
- 230000008569 process Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于仿射一致Transformer的多类别细胞检测分类方法，包括：获取样本数据集，其包括多个携带有标注信息的细胞病理图像；构建待训练模型，其包括全局检测网络、仿射变换Transformer模块以及局部检测网络；将细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将细胞病理图像经过仿射变换Transformer模块处理后得到的仿射图像输入至局部检测网络中，以得到局部检测结果；按照预设更新规则，分别对全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件条件时，生成目标检测模型；通过目标检测模型对真实细胞病理图像进行细胞检测和分类。通过仿射一致的Transformer架构，可预测细胞位置和类别，同时分析细胞上下文信息，提高识别精度。
Description
技术领域
本发明涉及神经网络技术领域，尤其涉及一种基于仿射一致Transformer的多类别细胞检测分类方法、装置、计算机设备及存储介质。
背景技术
病理图像中细胞分布不均，部分细胞分布十分密集，给检测和分类带来阻碍。目前，在对病理细胞进行检测时大多使用取样装置进细胞取样，然后在实验室内部进行检测分析，这样不仅操作比较麻烦，而且还容易因为样本失活而影响检测准确性，造成分析失误。或者，虽然也有通过检测模型实现对病理细胞进行检测的方法，但是，大多数方法都以复杂的中间表示作为学习的目标，需要繁琐的后期处理，同时缺乏对细胞上下文的关注，导致检测的效率较低，且精度较差。
发明内容
基于此，有必要针对上述技术问题，提供一种基于仿射一致Transformer的多类别细胞检测分类方法、装置、计算机设备及存储介质，以解决现有技术中病理图像中的细胞检测与分类的效率较低，且精度较差的问题。
第一方面，本申请实施例是这样实现的，一种基于仿射一致Transformer的多类别细胞检测分类方法，包括如下步骤：
获取样本数据集，所述样本数据集中包括多个携带有标注信息的细胞病理图像；
构建待训练模型，所述待训练模型包括全局检测网络、仿射变换Transformer模块以及局部检测网络；
将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将所述细胞病理图像经过所述仿射变换Transformer模块处理后得到的仿射图像输入至所述局部检测网络中，以得到局部检测结果；
基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，生成目标检测模型；
通过所述目标检测模型对真实细胞病理图像进行细胞检测和分类。
在一实施例中，所述基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，包括：
基于所述真实检测结果计算损失，以对所述局部检测网络进行更新；
基于所述全局检测结果计算损失，以对更新后的局部检测网络再次进行更新；
基于再次更新后的局部检测网络对所述全局检测网络进行更新。
在一实施例中，所述基于所述真实检测结果计算损失，以对所述局部检测网络进行更新，包括：
通过预设匹配算法，将所述真实检测结果与所述局部检测结果进行匹配；
根据匹配结果，分别计算所述真实检测结果与所述局部检测结果之间的位置差异以及类别差异；
根据所述位置差异以及所述类别差异，对所述局部检测网络进行更新。
在一实施例中，所述将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，包括：
对所述细胞病理图像进行特征提取，以得到多尺度特征；
对所述多尺度特征进行特征编码，以得到编码后的多尺度特征；
对所述编码后的多尺度特征进行解码处理，以得到每一层解码后的特征；
根据所述每一层解码后的特征，得到所述全局检测结果。
在一实施例中，所述对所述编码后的多尺度特征进行解码处理，以得到每一层解码后的特征，包括：
将所述编码后的多尺度特征输入至全连接层中，以得到预测结果；
基于所述预测结果，通过预设神经网络得到预设个推荐点以及预设个候选对象；
基于所述预设个推荐点以及预设个候选对象，与所述编码后的多尺度特征进行交叉注意力计算，以得到所述每一层解码后的特征。
在一实施例中，所述仿射图像通过如下方式获取：
将所述细胞病理图像切分为预设块，并通过全连接层以及标准化处理得到编码块；
将位置编码与所述编码块进行相加后，通过自注意力层得到仿射编码矩阵；
基于所述仿射编码矩阵，通过网络采样器，从所述细胞病理图像中采样出相应的仿射图像。
在一实施例中，所述基于所述仿射编码矩阵，通过网络采样器，从所述细胞病理图像中采样出相应的仿射图像，包括：
通过所述仿射编码矩阵以及细胞病理图像的像素坐标，获取所述仿射图像的像素坐标；
通过所述网络采样器，获取所述仿射图像的像素坐标的像素值；
基于所述像素值，得到所述仿射图像。
第二方面，提供了一种基于仿射一致Transformer的多类别细胞检测分类装置，包括：
样本数据集获取单元，用于获取样本数据集，所述样本数据集中包括多个携带有标注信息的细胞病理图像；
待训练模型构建单元，用于构建待训练模型，所述待训练模型包括全局检测网络、仿射变换Transformer模块以及局部检测网络；
检测结果获取单元，用于将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将所述细胞病理图像经过所述仿射变换Transformer模块处理后得到的仿射图像输入至所述局部检测网络中，以得到局部检测结果；
目标检测模型生成单元，用于基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，生成目标检测模型；
真实检测单元，用于通过所述目标检测模型对真实细胞病理图像进行细胞检测和分类。
第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述所述基于仿射一致Transformer的多类别细胞检测分类方法的步骤。
第四方面，提供一种可读存储介质，所述可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述基于仿射一致Transformer的多类别细胞检测分类方法的步骤。
上述基于仿射一致Transformer的多类别细胞检测分类方法、装置、计算机设备及存储介质，其方法实现，包括：获取样本数据集，所述样本数据集中包括多个携带有标注信息的细胞病理图像；构建待训练模型，所述待训练模型包括全局检测网络、仿射变换Transformer模块以及局部检测网络；将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将所述细胞病理图像经过所述仿射变换Transformer模块处理后得到的仿射图像输入至所述局部检测网络中，以得到局部检测结果；基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，生成目标检测模型；通过所述目标检测模型对真实细胞病理图像进行细胞检测和分类。本申请实施例中，通过仿射一致的Transformer架构，能够直接预测细胞位置和类别，同时分析细胞上下文信息，提高识别精度。对训练不到位或预测精度较低的区域进行针对性训练，为训练提供难例，提高模型泛化性。并且能够仅利用细胞位置和类别进行训练推理，降低医生标注难度，同时推理过程中不需要繁琐的后处理步骤，可有效提高推理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于仿射一致Transformer的多类别细胞检测分类方法的一流程示意图一；
图2是本发明一实施例中全局检测网络以及局部检测网络的网络结构图；
图3是本发明一实施例中方式变化Transformer模块的网络结构图；
图4是本发明一实施例中基于仿射一致Transformer的多类别细胞检测分类方法的一流程示意图二；
图5是本发明一实施例中基于仿射一致Transformer的多类别细胞检测分类装置的一结构示意图；
图6是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中，通过仿射一致的Transformer架构，能够直接预测细胞位置和类别，同时分析细胞上下文信息，提高识别精度。对训练不到位或预测精度较低的区域进行针对性训练，为训练提供难例，提高模型泛化性。并且能够仅利用细胞位置和类别进行训练推理，降低医生标注难度，同时推理过程中不需要繁琐的后处理步骤，可有效提高推理效率。
在一实施例中，如图1所示，提供一种基于仿射一致Transformer的多类别细胞检测分类方法，包括如下步骤：
在步骤S110中，获取样本数据集，所述样本数据集中包括多个携带有标注信息的细胞病理图像；
在本申请实施例中，可随机从医学图像数据集中选取多幅带有真实标签的细胞病理图像作为训练样本数据集，该细胞病理图像中可预先通过医生在细胞位置以及类别进行了标注，以形成该真实标签。
进一步，在获取带有真实标签的细胞病理图像后，可该细胞病理图像进行预处理，由于不同的数据集其提供的坐标维度不同，例如质心坐标、包围盒坐标，因此，通过预处理可将所有注释进行统一，例如，将所有标注，例如细胞核掩码和细胞核包围盒转换为细胞质心坐标，从而减少训练过程中带来的干扰。
在步骤S120中，构建待训练模型，所述待训练模型包括全局检测网络、仿射变换Transformer模块以及局部检测网络；
在本申请实施例中，该待训练模型可包括全局分支以及局部分支，该全局分支上配置有该全局检测网络，该局部分支上配置有该仿射变换Transformer模块以及局部检测网络。该仿射变换Transformer模块设置在该局部检测网络之前，可以理解为，细胞病理图像先经过仿射变换Transformer模块的仿射变化处理后，得到的仿射图像再进入至该局部检测网络中进行检测处理。
其中，参见图2，全局检测网络与该局部检测在结构上可一致，均可为类DETR架构，包含以下模块：特征提取骨干网络，特征编码网络，特征解码网络。该仿射变换Transformer模块则可包括全连接层、多层注意力层、网格采样器等结构。
在步骤S130中，将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将所述细胞病理图像经过所述仿射变换Transformer模块处理后得到的仿射图像输入至所述局部检测网络中，以得到局部检测结果；
在本申请实施例中，在对该待训练模型进行训练时，可将该细胞病理图像同时输入至该全局分支以及局部分支中，在全局分支中，可通过全局检测网络对该细胞病理图像进行处理，以得到全局检测结果。在局部分支中，可先通过该仿射变换Transformer模块将该细胞病理图像进行仿射变化，以形成多张仿射图像，然后将仿射图像输入至该局部检测网络中进行处理，以得到局部检测结果。
在本申请一实施例中，所述将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，包括：
对所述细胞病理图像进行特征提取，以得到多尺度特征；
对所述多尺度特征进行特征编码，以得到编码后的多尺度特征；
对所述编码后的多尺度特征进行解码处理，以得到每一层解码后的特征；
根据所述每一层解码后的特征，得到所述全局检测结果。
具体地，参见图3，该全局检测网络可为类DETR架构，包含以下模块：特征提取骨干网络，特征编码网络，特征解码网络。当将细胞病理图像输入至该全局检测网络中时，首先通过特征提取骨干网络，对该细胞病理图像进行特征提取，以提取出细胞病理图像的多尺度特征，然后可将提取的多尺度特征发送至该特征编码网络中进行特征编码，以得到编码后的多尺度特征，然后通过特征解码网络对编码后的多尺度特征进行解码，以得到每一层解码后的特征，然后通过全连接层进行处理后，可得到所述全局检测结果。
其中，该特征提取骨干网络可采用ConvNeXt-Base模型，如图3所示，对其提取的第二，第三和第四阶段特征以及对第四阶段特征进行卷积采样降低分辨率得到的第五阶段特征都送入到特征编码网络中。具体地，细胞病理图像在经过特征提取骨干网络时，其每一个阶段都可以得到一个特征图像，比如，一张3x1024x1024的图像，第一阶段会得到256x256x256的特征，第二阶段会得到256x128x128的特征图像，以此类推，第四阶段会得到256x32x32的特征，将这个特征进行下采样得到256x16x16，作为第五阶段特征，此时，可将提取到的第二，第三和第四阶段特征以及对第四阶段特征进行卷积采样降低分辨率得到的第五阶段特征都送入到特征编码网络中进行编码处理。
进一步，所述对所述编码后的多尺度特征进行解码处理，以得到每一层解码后的特征，包括：
将所述编码后的多尺度特征输入至全连接层中，以得到预测结果；
基于所述预测结果，通过预设神经网络得到预设个推荐点以及预设个候选对象；
基于所述预设个推荐点以及预设个候选对象，与所述编码后的多尺度特征进行交叉注意力计算，以得到所述每一层解码后的特征。
具体地，该特征编码网络由多层可形变的网络层构成，例如3层，可形变的网络层主要包含可形变的自注意力机制用于计算自注意力。自注意力机制可为提取得到的特征分配3个不同的矩阵，分别是询问矩阵（Q），键值矩阵（K）和值矩阵（V），该3个不同的权值矩阵可由注意力层的输入特征X乘以三个不同的权值矩阵得到。其中，计算注意力的方法如下：
首先根据注意力层的输入特征X乘以权值矩阵得到Q，K，V三个矩阵，然后为每个矩阵计算分数，分数=；接着将分数归一化，除以/>，/>为K矩阵的维度；对分数施以softmax激活函数后点成值矩阵，得到加权的每个输入的特征的评分v，最后将评分相加得到最终的输出结果/>。公式如下所示：
由该可形变的注意力机制可剔除一些可学习的推荐点，计算注意力时，每个特征只会和推荐点所在位置的特征进行计算学习，可以有效减少计算量，提高网络拟合速度。
经过特征提取骨干网络提取的多尺度特征经过特征编码网络后，可得到经过编码的多尺度特征，先将该编码后的多尺度特征经过全连接层得到预测结果，并根据预测结果利用可学习的神经网络，例如，embedding，可得到输入到特征解码网络的N个推荐点和N个候选对象。
其中，预测结果表示预测出来的细胞位置和类别置信度，例如，预测出1000个细胞的位置和类别，通过该embedding操作后，可以得到000x256的对应位置嵌入和类别嵌入，这里的N个代表取类别置信度最高的前N个。
进一步，该特征解码网络同样可包含多层可形变的网络层，例如三层，通过该N个候选对象与编码后的多尺度特征计算交叉注意力，最终可得到解码后的候选对象特征。其中，每一层的解码后的候选对象特征都将经过全连接层得到相应的预测结果，并根据预测结果与真实值计算损失用以更新网络。
可以理解的，由于局部检测网络与该全局检测网络的网络架构一致，因此通过局部检测网络得到局部检测结果的过程可参考该全局检测结果的获取过程，本申请再此不在赘述。
在本申请一实施例中，所述仿射图像通过如下方式获取：
将所述细胞病理图像切分为预设块，并通过全连接层以及标准化处理得到编码块；
将位置编码与所述编码块进行相加后，通过自注意力层得到仿射编码矩阵；
基于所述仿射编码矩阵，通过网络采样器，从所述细胞病理图像中采样出相应的仿射图像。
参见图4，具体地，仿射变换Transformer模块可将输入的细胞病理图像切分成块，再经过全连接层和标准化后得到/>的编码块，将位置编码与编码块相加后，经过两层标准的自注意力层得到仿射变换矩阵/>，该仿射变换矩阵/>如下所示：
其中，是尺度变换参数，/>是翻转参数，/>是旋转和剪断参数。
得到仿射变换矩阵后，可利用网格采样器，从输入的细胞病理图像中采样出相应的仿射变换后图像，作为仿射图像。
进一步，所述基于所述仿射编码矩阵，通过网络采样器，从所述细胞病理图像中采样出相应的仿射图像，包括：
通过所述仿射编码矩阵以及细胞病理图像的像素坐标，获取所述仿射图像的像素坐标；
通过所述网络采样器，获取所述仿射图像的像素坐标的像素值；
基于所述像素值，得到所述仿射图像。
具体地，仿射变换后的图像像素坐标可以由输入细胞病理图像上的像素坐标/>经过仿射变换矩阵获得，具体可通过如下公式获取：
然后，仿射变换后的图像对应像素坐标的值通过网格采样器获得，具体如下所示：
其中表示输入病理图像上位置为/>上的像素值。
经过上述自适应仿射变换后，即可能够得到多张仿射变换后仿射图像。
在步骤S140中，基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，生成目标检测模型；
在本申请实施例中，通过全局检测网络以及局部检测网络分别获取到全局检测结果以及局部检测结果，并通过该全局检测结果以及局部检测结果计算损失，根据损失结果分别对全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，训练完成，生成目标检测模型。
其中，参见图5，所述基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，包括：
基于真实检测结果计算损失，以对所述局部检测网络进行更新；
基于全局检测结果计算损失，以对更新后的局部检测网络再次进行更新；
基于再次更新后的局部检测网络对所述全局检测网络进行更新。
可以理解的，将细胞病理图像分别输入至全局分支以及局部分支，该全局分支中，通过该全局检测网络得到全局检测结果，同时，输入至局部分支中的细胞病理图像，先通过仿射变化Transformer模块，得到M张仿射变换后图像，将这些仿射变换后图像经过局部检测网络后得到局部检测结果。得到全局检测结果以及局部检测结果后，将局部检测结果与真实值计算损失以更新局部网络，接着利用全局检测的结果作为真实值与局部检测结果计算损失以更新局部网络。更新完局部检测网络后可采用指数平均更新策略（EMA）更新全局检测网络。
其中，所述基于真实检测结果计算损失，以对所述局部检测网络进行更新，包括：
通过预设匹配算法，将所述真实检测结果与所述局部检测结果进行匹配；
根据匹配结果，分别计算所述真实检测结果与所述局部检测结果之间的位置差异以及类别差异；
根据所述位置差异以及所述类别差异，对所述局部检测网络进行更新。
具体地，该预设匹配算法可为匈牙利匹配损失，可先利用匈牙利匹配算法，将局部检测结果和真实检测结果进行匹配，匹配后计算局部检测结果中，细胞位置和真实值的位置差异和类别差异，其中，位置差异可采用欧几里得距离进行衡量，类别差异可采用focalloss进行衡量，从而可得到该真实检测结果与该局部检测结果之间的差异性，根据该差异性，可对该局部检测网络进行更新。
进一步，在通过真实值对该局部检测网络进行更新后，还可再次通过全局检测结果计算损失，例如，可将该全局检测结果作为真实检测结果，通过上述匈牙利匹配损失，将局部检测结果和真实检测结果进行匹配，匹配后计算局部检测结果中，细胞位置和真实值的位置差异和类别差异。从而根据差异性，可对该局部检测网络进行更新。
在步骤S150中，通过所述目标检测模型对真实细胞病理图像进行细胞检测和分类。
在本申请实施例中，目标检测模型在对真实细胞病理图像进行细胞检测和分类时，仅采用全局分支实现，即，该真实细胞病理图像仅输入至训练完成的全局检测网络中，通过特征提取骨干提取多尺度特征，并通过特征编码网络对多尺度特征进行编码处理，然后可通过特征解码网络进行解码处理，将该特征解码网络的最后一层作为实际检测结果。该真实细胞病理图像为患者在医院就诊时根据患病部位拍摄的病理图像，通过该目标检测模型对该病理图像进行处理后，可在该病理图像中标注出各个细胞的位置以及类别，以帮助医生快速定位病灶区域。
上述基于仿射一致Transformer的多类别细胞检测分类方法，包括：获取样本数据集，所述样本数据集中包括多个携带有标注信息的细胞病理图像；构建待训练模型，所述待训练模型包括全局检测网络、仿射变换Transformer模块以及局部检测网络；将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将所述细胞病理图像经过所述仿射变换Transformer模块处理后得到的仿射图像输入至所述局部检测网络中，以得到局部检测结果；基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，生成目标检测模型；通过所述目标检测模型对真实细胞病理图像进行细胞检测和分类。本申请实施例中，通过仿射一致的Transformer架构，能够直接预测细胞位置和类别，同时分析细胞上下文信息，提高识别精度。对训练不到位或预测精度较低的区域进行针对性训练，为训练提供难例，提高模型泛化性。并且能够仅利用细胞位置和类别进行训练推理，降低医生标注难度，同时推理过程中不需要繁琐的后处理步骤，可有效提高推理效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于仿射一致Transformer的多类别细胞检测分类装置，该基于仿射一致Transformer的多类别细胞检测分类装置与上述实施例中基于仿射一致Transformer的多类别细胞检测分类方法一一对应。如图5所示，该基于仿射一致Transformer的多类别细胞检测分类装置包括样本数据集获取单元10、待训练模型构建单元20、检测结果获取单元30、目标检测模型生成单元40和真实检测单元50。各功能模块详细说明如下：
在一实施例中，目标检测模型生成单元40，还用于：
基于真实检测结果计算损失，以对所述局部检测网络进行更新；
基于全局检测结果计算损失，以对更新后的局部检测网络再次进行更新；
基于再次更新后的局部检测网络对所述全局检测网络进行更新。
在一实施例中，目标检测模型生成单元40，还用于：
通过预设匹配算法，将所述真实检测结果与所述局部检测结果进行匹配；
根据匹配结果，分别计算所述真实检测结果与所述局部检测结果之间的位置差异以及类别差异；
根据所述位置差异以及所述类别差异，对所述局部检测网络进行更新。
在一实施例中，检测结果获取单元30，还用于：
对所述细胞病理图像进行特征提取，以得到多尺度特征；
对所述多尺度特征进行特征编码，以得到编码后的多尺度特征；
对所述编码后的多尺度特征进行解码处理，以得到每一层解码后的特征；
根据所述每一层解码后的特征，得到所述全局检测结果。
在一实施例中，检测结果获取单元30，还用于：
将所述编码后的多尺度特征输入至全连接层中，以得到预测结果；
基于所述预测结果，通过预设神经网络得到预设个推荐点以及预设个候选对象；
基于所述预设个推荐点以及预设个候选对象，与所述编码后的多尺度特征进行交叉注意力计算，以得到所述每一层解码后的特征。
在一实施例中，所述装置，还包括：仿射图像获取单元，用于：
将所述细胞病理图像切分为预设块，并通过全连接层以及标准化处理得到编码块；
将位置编码与所述编码块进行相加后，通过自注意力层得到仿射编码矩阵；
基于所述仿射编码矩阵，通过网络采样器，从所述细胞病理图像中采样出相应的仿射图像。
在一实施例中，该仿射图像获取单元，还用于：
通过所述仿射编码矩阵以及细胞病理图像的像素坐标，获取所述仿射图像的像素坐标；
通过所述网络采样器，获取所述仿射图像的像素坐标的像素值；
基于所述像素值，得到所述仿射图像。
本申请实施例中，通过仿射一致的Transformer架构，能够直接预测细胞位置和类别，同时分析细胞上下文信息，提高识别精度。对训练不到位或预测精度较低的区域进行针对性训练，为训练提供难例，提高模型泛化性。并且能够仅利用细胞位置和类别进行训练推理，降低医生标注难度，同时推理过程中不需要繁琐的后处理步骤，可有效提高推理效率。关于基于仿射一致Transformer的多类别细胞检测分类装置的具体限定可以参见上文中对于基于仿射一致Transformer的多类别细胞检测分类方法的限定，在此不再赘述。上述基于仿射一致Transformer的多类别细胞检测分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质。该可读存储介质存储有计算机可读指令。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于仿射一致Transformer的多类别细胞检测分类方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在本申请实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述所述基于仿射一致Transformer的多类别细胞检测分类方法的步骤。
在申请实施例中，提供了一种可读存储介质，所述可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述基于仿射一致Transformer的多类别细胞检测分类方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于仿射一致Transformer的多类别细胞检测分类方法，其特征在于，所述方法，包括：
获取样本数据集，所述样本数据集中包括多个携带有标注信息的细胞病理图像；
构建待训练模型，所述待训练模型包括全局检测网络、仿射变换Transformer模块以及局部检测网络；
将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将所述细胞病理图像经过所述仿射变换Transformer模块处理后得到的仿射图像输入至所述局部检测网络中，以得到局部检测结果；
基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，生成目标检测模型；
通过所述目标检测模型对真实细胞病理图像进行细胞检测和分类。
2.如权利要求1所述的基于仿射一致Transformer的多类别细胞检测分类方法，其特征在于，所述基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，包括：
基于真实检测结果计算损失，以对所述局部检测网络进行更新；
基于所述全局检测结果计算损失，以对更新后的局部检测网络再次进行更新；
基于再次更新后的局部检测网络对所述全局检测网络进行更新。
3.如权利要求2所述的基于仿射一致Transformer的多类别细胞检测分类方法，其特征在于，所述基于所述真实检测结果计算损失，以对所述局部检测网络进行更新，包括：
通过预设匹配算法，将所述真实检测结果与所述局部检测结果进行匹配；
根据匹配结果，分别计算所述真实检测结果与所述局部检测结果之间的位置差异以及类别差异；
根据所述位置差异以及所述类别差异，对所述局部检测网络进行更新。
4.如权利要求1所述的基于仿射一致Transformer的多类别细胞检测分类方法，其特征在于，所述将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，包括：
对所述细胞病理图像进行特征提取，以得到多尺度特征；
对所述多尺度特征进行特征编码，以得到编码后的多尺度特征；
对所述编码后的多尺度特征进行解码处理，以得到每一层解码后的特征；
根据所述每一层解码后的特征，得到所述全局检测结果。
5.如权利要求4所述的基于仿射一致Transformer的多类别细胞检测分类方法，其特征在于，所述对所述编码后的多尺度特征进行解码处理，以得到每一层解码后的特征，包括：
将所述编码后的多尺度特征输入至全连接层中，以得到预测结果；
基于所述预测结果，通过预设神经网络得到预设个推荐点以及预设个候选对象；
基于所述预设个推荐点以及预设个候选对象，与所述编码后的多尺度特征进行交叉注意力计算，以得到所述每一层解码后的特征。
6.如权利要求1所述的基于仿射一致Transformer的多类别细胞检测分类方法，其特征在于，所述仿射图像通过如下方式获取：
将所述细胞病理图像切分为预设块，并通过全连接层以及标准化处理得到编码块；
将位置编码与所述编码块进行相加后，通过自注意力层得到仿射编码矩阵；
基于所述仿射编码矩阵，通过网络采样器，从所述细胞病理图像中采样出相应的仿射图像。
7.如权利要求6所述的基于仿射一致Transformer的多类别细胞检测分类方法，其特征在于，所述基于所述仿射编码矩阵，通过网络采样器，从所述细胞病理图像中采样出相应的仿射图像，包括：
通过所述仿射编码矩阵以及细胞病理图像的像素坐标，获取所述仿射图像的像素坐标；
通过所述网络采样器，获取所述仿射图像的像素坐标的像素值；
基于所述像素值，得到所述仿射图像。
8.一种基于仿射一致Transformer的多类别细胞检测分类装置，其特征在于，所述装置，包括：
样本数据集获取单元，用于获取样本数据集，所述样本数据集中包括多个携带有标注信息的细胞病理图像；
待训练模型构建单元，用于构建待训练模型，所述待训练模型包括全局检测网络、仿射变换Transformer模块以及局部检测网络；
检测结果获取单元，用于将所述细胞病理图像输入至所述全局检测网络，以得到全局检测结果，同时，将所述细胞病理图像经过所述仿射变换Transformer模块处理后得到的仿射图像输入至所述局部检测网络中，以得到局部检测结果；
目标检测模型生成单元，用于基于所述全局检测结果以及局部检测结果，按照预设更新规则，分别对所述全局检测网络以及局部检测网络进行更新迭代，直到当前迭代满足预设迭代终止条件时，生成目标检测模型；
真实检测单元，用于通过所述目标检测模型对真实细胞病理图像进行细胞检测和分类。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7任意一项所述基于仿射一致Transformer的多类别细胞检测分类方法的步骤。
10.一种可读存储介质，所述可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至7任意一项所述基于仿射一致Transformer的多类别细胞检测分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311178572.4A CN117315651B (zh) | 2023-09-13 | 2023-09-13 | 基于仿射一致Transformer的多类别细胞检测分类方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311178572.4A CN117315651B (zh) | 2023-09-13 | 2023-09-13 | 基于仿射一致Transformer的多类别细胞检测分类方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117315651A CN117315651A (zh) | 2023-12-29 |
| CN117315651B true CN117315651B (zh) | 2024-06-14 |
Family
ID=89249066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311178572.4A Active CN117315651B (zh) | 2023-09-13 | 2023-09-13 | 基于仿射一致Transformer的多类别细胞检测分类方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117315651B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449586A (zh) * | 2021-04-12 | 2021-09-28 | 北京市威富安防科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN114399629A (zh) * | 2021-12-22 | 2022-04-26 | 北京沃东天骏信息技术有限公司 | 一种目标检测模型的训练方法、目标检测的方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022159635A1 (en) * | 2021-01-20 | 2022-07-28 | The Texas A&M University System | Systems and methods for evaluation of structure and property of polynucleotides |
| WO2023147490A1 (en) * | 2022-01-28 | 2023-08-03 | Illumina, Inc. | Image-based variant pathogenicity determination |
| CN116309310A (zh) * | 2023-02-02 | 2023-06-23 | 中国科学技术大学 | 联合全局正则化与局部对抗学习的病理图像细胞核检测方法 |
-
2023
- 2023-09-13 CN CN202311178572.4A patent/CN117315651B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449586A (zh) * | 2021-04-12 | 2021-09-28 | 北京市威富安防科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN114399629A (zh) * | 2021-12-22 | 2022-04-26 | 北京沃东天骏信息技术有限公司 | 一种目标检测模型的训练方法、目标检测的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117315651A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136103B (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| CN114387430B (zh) | 基于人工智能的图像描述生成方法、装置、设备及介质 | |
| CN110197195B (zh) | 一种新型面向行为识别的深层网络系统及方法 | |
| CN111950329A (zh) | 目标检测及模型训练方法、装置、计算机设备和存储介质 | |
| CN110490081B (zh) | 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法 | |
| CN111079683A (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
| CN111651992A (zh) | 命名实体标注方法、装置、计算机设备和存储介质 | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN112949507B (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
| CN112329598B (zh) | 人脸关键点定位的方法、系统、电子装置和存储介质 | |
| CN109410189B (zh) | 图像分割方法以及图像的相似度计算方法、装置 | |
| WO2023155296A1 (zh) | 时间序列数据检测方法、装置、设备及计算机存储介质 | |
| CN113688912A (zh) | 基于人工智能的对抗样本生成方法、装置、设备及介质 | |
| CN113192175A (zh) | 模型训练方法、装置、计算机设备和可读存储介质 | |
| CN115424691A (zh) | 病例匹配方法、系统、设备和介质 | |
| CN114066905A (zh) | 一种基于深度学习的医学图像分割方法、系统、装置 | |
| CN117315651B (zh) | 基于仿射一致Transformer的多类别细胞检测分类方法以及装置 | |
| CN117422065A (zh) | 基于强化学习算法的自然语言数据处理系统 | |
| CN114596588B (zh) | 基于文本辅助特征对齐模型的受损行人图像再识别方法及装置 | |
| CN116091596A (zh) | 一种自下而上的多人2d人体姿态估计方法及装置 | |
| CN115359005A (zh) | 图像预测模型生成方法、装置、计算机设备和存储介质 | |
| CN117693768A (zh) | 语义分割模型的优化方法和装置 | |
| Quazi et al. | Image Classification and Semantic Segmentation with Deep Learning | |
| RU2773232C1 (ru) | Способ и устройство для определения позы человека, устройство и носитель данных | |
| CN115810016B (zh) | 肺部感染cxr图像自动识别方法、系统、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |