CN117351183B - 子宫内膜癌淋巴结转移智能识别方法及系统 - Google Patents

子宫内膜癌淋巴结转移智能识别方法及系统 Download PDF

Info

Publication number
CN117351183B
CN117351183B CN202311299973.5A CN202311299973A CN117351183B CN 117351183 B CN117351183 B CN 117351183B CN 202311299973 A CN202311299973 A CN 202311299973A CN 117351183 B CN117351183 B CN 117351183B
Authority
CN
China
Prior art keywords
lymph node
feature map
attention
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311299973.5A
Other languages
English (en)
Other versions
CN117351183A (zh
Inventor
付欣鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Guangzhou Medical University
Original Assignee
First Affiliated Hospital of Guangzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Guangzhou Medical University filed Critical First Affiliated Hospital of Guangzhou Medical University
Priority to CN202311299973.5A priority Critical patent/CN117351183B/zh
Publication of CN117351183A publication Critical patent/CN117351183A/zh
Application granted granted Critical
Publication of CN117351183B publication Critical patent/CN117351183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及神经网络技术领域，揭露一种子宫内膜癌淋巴结转移智能识别方法及系统，方法包括：从淋巴结图像中分析正常淋巴结特征与异常淋巴结特征；对结构调整模型进行模型训练；对预处理图像进行浅层特征提取，提取浅层特征图中的注意力特征图；利用训练好的模型中的第二注意力机制提取预处理图像中的全局特征与局部特征，融合全局特征与局部特征，在训练好的模型中的解码器中拼接提取特征图、注意力特征图及融合特征图，提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果；利用拼接特征图识别当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移。本发明可以提升子宫内膜癌淋巴结转移识别的效率。

Description

子宫内膜癌淋巴结转移智能识别方法及系统
技术领域
本发明涉及神经网络技术领域，尤其涉及一种子宫内膜癌淋巴结转移智能识别方法及系统。
背景技术
在淋巴结组织内出现异型增生的癌细胞巢时，此时出现子宫内膜癌淋巴结转移，淋巴结组织内的癌细胞的特征表现为核大、深染、可见核仁，由癌细胞构成的癌组织排列呈腺腔样、乳头状、筛状、实性结构，且发生淋巴结转移的首要位置为淋巴结的边缘窦，淋巴结内转移癌可单灶，也可多灶，转移癌的范围可大、可小，有的淋巴结转移癌累及整个淋巴结，转移到淋巴结的癌组织使淋巴结的结构破坏成为异常的淋巴结，而子宫内膜癌淋巴结转移的识别过程为识别异常的淋巴结的过程。
目前，对于子宫内膜癌淋巴结转移识别方式仅通过人工识别实现，类似的有通过机器学习实现胰腺癌病变的识别、宫颈癌病变的识别等，但未有机器学习技术应用到子宫内膜癌根治标本中淋巴结是否转移的识别领域的技术方案，其次，子宫内膜癌根治标本中清扫淋巴结的数量较多，人工镜下判读淋巴结是否转移的方式费时、费力。因此，子宫内膜癌淋巴结转移识别的效率不足。
发明内容
为了解决上述问题，本发明提供了一种子宫内膜癌淋巴结转移智能识别方法及系统，可以提升子宫内膜癌淋巴结转移识别的效率。
第一方面，本发明提供了一种子宫内膜癌淋巴结转移智能识别方法，包括：
采集子宫内膜癌根治标本的淋巴结图像，从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，对所述淋巴结图像中的正常淋巴结区域与异常淋巴结区域进行区域标注，得到标注样本；
构建所述标注样本的语义分割模型，利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，并确定所述结构调整模型的模型训练方式，基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型；
对当前的淋巴结图像进行图像预处理，得到预处理图像，利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图；
利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，融合所述全局特征与所述局部特征，得到融合特征图，在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果；
利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，在所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移时，确定所述当前的淋巴结图像的子宫内膜癌淋巴结转移结果。
在第一方面的一种可能实现方式中，所述基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型，包括：
基于所述模型训练方式，识别所述结构调整模型中所述标注样本对应的淋巴结架构；
标记所述淋巴结架构的骨架形态与边界形态；
利用下述公式计算所述骨架形态与所述标注样本中的真实骨架形态之间的第一损失值：
其中，LOSS1表示第一损失值，e表示真实骨架形态的向量表示，E表示所述淋巴结架构的骨架形态的向量表示，i表示向量的序号，N表示向量的总数；
利用下述公式计算所述边界形态与所述标注样本中的真实边界形态之间的第二损失值：
其中，LOSS2表示第二损失值，r表示真实边界形态的向量表示，R表示所述淋巴结架构的边界形态的向量表示，j表示向量的序号，M表示向量的总数；
基于所述第一损失值与所述第二损失值，完成所述结构调整模型的模型训练，得到训练好的模型。
在第一方面的一种可能实现方式中，所述利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，包括：
利用所述编码器中的初始卷积层与初始最大池化层对所述预处理图像进行图像初始浅层特征提取，得到初始浅层特征图；
利用所述编码器中的循环卷积层与循环最大池化层对所述初始浅层特征图进行循环浅层特征提取，得到循环浅层特征图；
将所述初始浅层特征图与所述循环浅层特征图作为所述浅层特征图。
在第一方面的一种可能实现方式中，所述利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，包括：
获取从所述浅层特征图中的终止浅层特征图至起始浅层特征图的特征图反序；
按照所述特征图反序，依次将所述浅层特征图输入至所述第一注意力机制中，得到第一注意力特征图；
将所述第一注意力特征图中所述浅层特征图反序对应的第一注意力特征图与所述浅层特征图反序对应的深层特征进行特征图融合，得到第二注意力特征图，并将所述第二注意力特征图作为所述注意力特征图。
在第一方面的一种可能实现方式中，所述按照所述特征图反序，依次将所述浅层特征图输入至所述第一注意力机制中，得到第一注意力特征图，包括：
在所述第一注意力机制中利用下述公式提取所述浅层特征图对应的第一注意力特征图：
x”＝(Sigmoid(w3ReLU(w1x+w2x')))x
其中，x”表示所述第一注意力特征图，x'表示所述训练好的模型中解码器中转置卷积层及堆叠卷积层对上一层的第二注意力特征图处理后的特征图，w1,w2,w3分别是第一注意力机制中三个卷积层中的权重参数，x表示所述浅层特征图。
在第一方面的一种可能实现方式中，所述利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，包括：
利用所述第二注意力机制中自注意力网络提取所述预处理图像中的全局特征；
利用所述第二注意力机制中轻量级卷积神经网络提取所述预处理图像中的局部特征。
在第一方面的一种可能实现方式中，所述利用所述第二注意力机制中自注意力网络提取所述预处理图像中的全局特征，包括：
在所述自注意力网络的输入模块中将所述预处理图像转换为预处理向量，并计算所述预处理向量的位置编码，融合所述预处理向量与所述位置编码，得到融合向量；
在所述自注意力网络的多头注意力机制中利用下述公式计算所述融合向量的注意力值：
其中，Attention(Q,K,V)表示所述注意力值，Q表示查询向量，K表示键向量，V表示值向量，x0表示所述融合向量，dk表示表示键向量的长度，Wq表示查询向量对应的权重，Wk表示表示键向量对应的权重，Wv表示值向量对应的权重；
在所述自注意力网络的前馈神经网络中利用下述公式将所述注意力值映射至高维空间中，得到在所述高维空间中的高维向量：
y＝v2(f(v1A+b))+s
其中，y表示所述高维向量，A表示所述注意力值，v1表示所述前馈神经网络中的第一层的权重，b表示所述前馈神经网络中的第一层的偏置，f表示所述前馈神经网络中的全连接层，v2表示所述前馈神经网络中的第二层的权重，s表示所述前馈神经网络中的第二层的偏置；
利用所述自注意力网络的激活函数将所述高维向量转换为所述全局特征。
在第一方面的一种可能实现方式中，所述利用所述第二注意力机制中轻量级卷积神经网络提取所述预处理图像中的局部特征，包括：
利用下述公式对所述预处理图像进行标准卷积，得到标准卷积图：
Y＝RELU(BN(conv(X)))
其中，Y表示所述标准卷积图，RELU表示激活函数，BN表示批标准化，conv表示卷积层；
利用下述公式对所述标准卷积图进行深度可分离卷积，得到深度可分离卷积图：
Y'＝RELU(BN(conv(RELU(BN(depthwise conv(Y))))))
其中，Y'表示所述深度可分离卷积图，RELU表示激活函数，BN表示批标准化，conv表示卷积层，depthwise conv表示深度可分离卷积，Y表示所述标准卷积图；
对所述深度可分离卷积图进行平均池化，得到平均池化图；
对所述平均池化图进行线性映射，得到所述局部特征。
在第一方面的一种可能实现方式中，所述利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，包括：
计算所述拼接特征图对应的淋巴结概率；
利用所述淋巴结概率判别所述当前的淋巴结图像中是否存在异常淋巴结；
在所述当前的淋巴结图像中存在所述异常淋巴结时，计算所述异常淋巴结的数量与所述当前的淋巴结图像中异常淋巴结和正常淋巴结的总数之比，得到异常淋巴结占比；
在所述异常淋巴结占比大于预设的占比阈值时，判定所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移；
在所述异常淋巴结占比不大于所述预设的占比阈值时，判定所述当前的淋巴结图像中未发生子宫内膜癌淋巴结转移。
第二方面，本发明提供了一种子宫内膜癌淋巴结转移智能识别系统，所述系统包括：
区域标注模块，用于采集子宫内膜癌根治标本的淋巴结图像，从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，对所述淋巴结图像中的正常淋巴结区域与异常淋巴结区域进行区域标注，得到标注样本；
模型训练模块，用于构建所述标注样本的语义分割模型，利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，并确定所述结构调整模型的模型训练方式，基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型；
特征提取模块，用于对当前的淋巴结图像进行图像预处理，得到预处理图像，利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图；
特征拼接模块，用于利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，融合所述全局特征与所述局部特征，得到融合特征图，在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果；
结果确定模块，用于利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，在所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移时，确定所述当前的淋巴结图像的子宫内膜癌淋巴结转移结果。
与现有技术相比，本方案的技术原理及有益效果在于：
本发明实施例通过从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，以用于将所述正常淋巴结特征与所述异常淋巴结特征作为后续用于识别异常淋巴结的U-net模型的训练依据，进一步地，本发明实施例通过利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，以用于基于淋巴结区域形状不规则、边界不清晰，异常淋巴结与周围组织强度相近等特征，选取易于所述语义分割模型进行高效学习与分类的训练方式，进一步地，本发明实施例通过确定所述结构调整模型的模型训练方式，以用于使得模型能够较多地关注图像中淋巴结的骨架信息和边缘信息，本发明实施例通过对当前的淋巴结图像进行图像预处理，以用于使得所述当前的淋巴结图像能够适应所述训练好的模型的输入数据标准，并且可以提升所述训练好的模型对所述当前的淋巴结图像进行图像分类的效率，进一步地，本发明实施例通过利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，以用于从所述浅层特征图中得到所述预处理图像的局部信息，进一步地，本发明实施例通过利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，以用于保留所述浅层特征图中的有效信息和去除所述浅层特征图中的大量冗余信息，本发明实施例通过利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，以用于提取更多的像素信息和细粒度信息，从而提升图像中异常淋巴结的分割效果。因此，本发明实施例提出的一种子宫内膜癌淋巴结转移智能识别方法及系统，可以提升子宫内膜癌淋巴结转移识别的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种子宫内膜癌淋巴结转移智能识别方法的流程示意图；
图2a为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第一正常淋巴结的示意图；
图2b为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第二正常淋巴结的示意图；
图2c为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第三正常淋巴结的示意图；
图2d为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的异常淋巴结的示意图；
图2e为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的淋巴结被癌组织侵占的示意图；
图3为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的语义分割模型的示意图；
图4为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的结构调整模型的示意图；
图5为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第一注意力机制的示意图；
图6为本发明一实施例提供的一种子宫内膜癌淋巴结转移智能识别系统的模块示意图。
具体实施方式
应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种子宫内膜癌淋巴结转移智能识别方法，所述子宫内膜癌淋巴结转移智能识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之，所述子宫内膜癌淋巴结转移智能识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示，是本发明一实施例提供的子宫内膜癌淋巴结转移智能识别方法的流程示意图。其中，图1中描述的子宫内膜癌淋巴结转移智能识别方法包括：
S1、采集子宫内膜癌根治标本的淋巴结图像，从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，对所述淋巴结图像中的正常淋巴结区域与异常淋巴结区域进行区域标注，得到标注样本。
本发明实施例中，所述子宫内膜癌根治标本的淋巴结图像是指盆腔内淋巴结(包括左右腹股沟深部淋巴结、左右髂外淋巴结、左右髂内淋巴结、左右髂总淋巴结、左右闭孔淋巴结、左右腹主动脉旁淋巴结等)的切片图像，由于子宫内膜癌会转移至盆腔内淋巴结，因此，子宫内膜癌根治术要进行盆腔内淋巴结的清扫，以分析盆腔内淋巴结是否发生癌转移，帮助临床医生判断分期，确定术后辅助治疗。
进一步地，本发明实施例通过从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，以用于将所述正常淋巴结特征与所述异常淋巴结特征作为后续用于识别异常淋巴结的U-net模型的训练依据。
本发明的一实施例中，所述从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，包括：从所述淋巴结图像中划分正常淋巴结与异常淋巴结；确定所述正常淋巴结与所述异常淋巴结对应的文本特征；将所述文本特征转换为数字特征，并将所述数字特征作为所述正常淋巴结特征与所述异常淋巴结特征。
其中，所述文本特征包括所述正常淋巴结的文本特征和所述异常淋巴结的文本特征。
参阅图2a所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第一正常淋巴结的示意图。
参阅图2b所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第二正常淋巴结的示意图。在图2b中，正常淋巴结的特征由次级淋巴滤泡由边缘区(MZ)、套区(MCZ)和生发中心(GC)构成，套区细胞是未受抗原刺激的童贞B细胞，边缘区细胞是经历生发中心反应并存活的淋巴细胞，生发中心含中心细胞、中心母细胞、可染小体巨噬细胞和滤泡树突细胞，生发中心极性分布形成“明区“和“暗区”，暗区淋巴细胞增殖活性高，核分裂象多，富含中心母细胞(大无裂细胞)，亮区富含中心细胞(小裂细胞)和滤泡树突细胞，生发中心消退，表现为生发中心淋巴细胞耗竭和边缘区消失，需要说明的是，上述内容为所述文本特征。
参阅图2c所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第三正常淋巴结的示意图。
参阅图2d所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的异常淋巴结的示意图。
参阅图2e所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的淋巴结被癌组织侵占的示意图。在图2e中，左侧为正常的淋巴结组织，右侧为转移至淋巴结的癌组织，即为异常淋巴结。
可选地，所述从所述淋巴结图像中划分正常淋巴结与异常淋巴结的过程通过专家进行人工识别实现；所述将所述文本特征转换为数字特征的过程为：将不规则细胞(文本特征)转换为细胞占比面积、细胞边角、细胞与其他细胞大小之比，将不清晰边界转换为周长等。
S2、构建所述标注样本的语义分割模型，利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，并确定所述结构调整模型的模型训练方式，基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型。
本发明实施例中，所述语义分割模型为U-net模型，用于医学图像的分割。
参阅图3所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的语义分割模型的示意图。在图3中，左侧和右侧均有5层的特征提取层，左侧为浅层特征提取层，右侧为深层特征提取层。
进一步地，本发明实施例通过利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，以用于基于淋巴结区域形状不规则、边界不清晰，异常淋巴结与周围组织强度相近等特征，选取易于所述语义分割模型进行高效学习与分类的训练方式。
参阅图4所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的结构调整模型的示意图。
可选地，所述利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，包括：由于所述正常淋巴结特征与所述异常淋巴结特征较多，其中会包含一些冗余信息，因此，在所述语义分割模型上增加第一注意力机制提取图像中的有效特征，其次，在所述语义分割模型上增加第二注意力机制去除较多的冗余信息。
进一步地，本发明实施例通过确定所述结构调整模型的模型训练方式，以用于使得模型能够较多地关注图像中淋巴结的骨架信息和边缘信息。
本发明的一实施例中，所述基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型，包括：基于所述模型训练方式，识别所述结构调整模型中所述标注样本对应的淋巴结架构；标记所述淋巴结架构的骨架形态与边界形态；利用下述公式计算所述骨架形态与所述标注样本中的真实骨架形态之间的第一损失值：
其中，LOSS1表示第一损失值，e表示真实骨架形态的向量表示，E表示所述淋巴结架构的骨架形态的向量表示，i表示向量的序号，N表示向量的总数；
利用下述公式计算所述边界形态与所述标注样本中的真实边界形态之间的第二损失值：
其中，LOSS2表示第二损失值，r表示真实边界形态的向量表示，R表示所述淋巴结架构的边界形态的向量表示，j表示向量的序号，M表示向量的总数；
基于所述第一损失值与所述第二损失值，完成所述结构调整模型的模型训练，得到训练好的模型。
S3、对当前的淋巴结图像进行图像预处理，得到预处理图像，利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图。
本发明实施例通过对当前的淋巴结图像进行图像预处理，以用于使得所述当前的淋巴结图像能够适应所述训练好的模型的输入数据标准，并且可以提升所述训练好的模型对所述当前的淋巴结图像进行图像分类的效率。
可选地，所述对当前的淋巴结图像进行图像预处理，得到预处理图像的过程为：对所述当前的淋巴结图像进行大小裁剪、标准化、灰度化、图像增强等处理。
进一步地，本发明实施例通过利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，以用于从所述浅层特征图中得到所述预处理图像的局部信息。
本发明的一实施例中，所述利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，包括：利用所述编码器中的初始卷积层与初始最大池化层对所述预处理图像进行图像初始浅层特征提取，得到初始浅层特征图；利用所述编码器中的循环卷积层与循环最大池化层对所述初始浅层特征图进行循环浅层特征提取，得到循环浅层特征图；将所述初始浅层特征图与所述循环浅层特征图作为所述浅层特征图。
其中，所述初始卷积层与所述初始最大池化层为所述训练好的模型中的第一层浅层特征提取层，所述循环卷积层与所述循环最大池化层为所述训练好的模型中的第二层至第n层浅层特征提取层，需要说明的是，所述利用所述编码器中的循环卷积层与循环最大池化层对所述初始浅层特征图进行循环浅层特征提取的过程包括对利用第二层对所述初始浅层特征图进行进一步地浅层特征提取，利用第三层对第二层的结果进行进一步地浅层特征提取，.....，利用第n层对第n-1层的结果进行进一步地浅层特征提取，并将第二层至第n层中每层的输出结果作为所述循环浅层特征图。
进一步地，本发明实施例通过利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，以用于保留所述浅层特征图中的有效信息和去除所述浅层特征图中的大量冗余信息。
参阅图5所示，为本发明一实施例中图1提供的一种子宫内膜癌淋巴结转移智能识别方法的第一注意力机制的示意图。
本发明的一实施例中，所述利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，包括：获取从所述浅层特征图中的终止浅层特征图至起始浅层特征图的特征图反序；按照所述特征图反序，依次将所述浅层特征图输入至所述第一注意力机制中，得到第一注意力特征图；将所述第一注意力特征图中所述浅层特征图反序对应的第一注意力特征图与所述浅层特征图反序对应的深层特征进行特征图融合，得到第二注意力特征图，并将所述第二注意力特征图作为所述注意力特征图。
本发明的又一实施例中，所述按照所述特征图反序，依次将所述浅层特征图输入至所述第一注意力机制中，得到第一注意力特征图，包括：在所述第一注意力机制中利用下述公式提取所述浅层特征图对应的第一注意力特征图：
x”＝(Sigmoid(w3ReLU(w1x+w2x')))x
其中，x”表示所述第一注意力特征图，x'表示所述训练好的模型中解码器中转置卷积层及堆叠卷积层对上一层的第二注意力特征图处理后的特征图，w1,w2,w3分别是第一注意力机制中三个卷积层中的权重参数，x表示所述浅层特征图。
S4、利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，融合所述全局特征与所述局部特征，得到融合特征图，在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果。
本发明实施例通过利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，以用于提取更多的像素信息和细粒度信息，从而提升图像中异常淋巴结的分割效果。
其中，所述第二注意力机制是指Transformer网络与MobileNet网络并行结合的网络结构。
本发明的一实施例中，所述利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，包括：利用所述第二注意力机制中自注意力网络提取所述预处理图像中的全局特征；利用所述第二注意力机制中轻量级卷积神经网络提取所述预处理图像中的局部特征。
其中，所述自注意力网络是指Transformer网络，所述轻量级卷积神经网络是指MobileNet网络。
本发明的又一实施例中，所述利用所述第二注意力机制中自注意力网络提取所述预处理图像中的全局特征，包括：在所述自注意力网络的输入模块中将所述预处理图像转换为预处理向量，并计算所述预处理向量的位置编码，融合所述预处理向量与所述位置编码，得到融合向量；在所述自注意力网络的多头注意力机制中利用下述公式计算所述融合向量的注意力值：
其中，Attention(Q,K,V)表示所述注意力值，Q表示查询向量，K表示键向量，V表示值向量，x0表示所述融合向量，dk表示表示键向量的长度，Wq表示查询向量对应的权重，Wk表示表示键向量对应的权重，Wv表示值向量对应的权重；
在所述自注意力网络的前馈神经网络中利用下述公式将所述注意力值映射至高维空间中，得到在所述高维空间中的高维向量：
y＝v2(f(v1A+b))+s
其中，y表示所述高维向量，A表示所述注意力值，v1表示所述前馈神经网络中的第一层的权重，b表示所述前馈神经网络中的第一层的偏置，f表示所述前馈神经网络中的全连接层，v2表示所述前馈神经网络中的第二层的权重，s表示所述前馈神经网络中的第二层的偏置；
利用所述自注意力网络的激活函数将所述高维向量转换为所述全局特征。
本发明的又一实施例中，所述利用所述第二注意力机制中轻量级卷积神经网络提取所述预处理图像中的局部特征，包括：利用下述公式对所述预处理图像进行标准卷积，得到标准卷积图：
Y＝RELU(BN(conv(X)))
其中，Y表示所述标准卷积图，RELU表示激活函数，BN表示批标准化，conv表示卷积层；
利用下述公式对所述标准卷积图进行深度可分离卷积，得到深度可分离卷积图：
Y'＝RELU(BN(conv(RELU(BN(depthwise conv(Y))))))
其中，Y'表示所述深度可分离卷积图，RELU表示激活函数，BN表示批标准化，conv表示卷积层，depthwise conv表示深度可分离卷积，Y表示所述标准卷积图；
对所述深度可分离卷积图进行平均池化，得到平均池化图；对所述平均池化图进行线性映射，得到所述局部特征。
进一步地，本发明实施例中，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果。
可选地，所述融合所述全局特征与所述局部特征，得到融合特征图的过程与所述在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图的过程均通过对每个特征图之间进行异或的方式实现。
S5、利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，在所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移时，确定所述当前的淋巴结图像的子宫内膜癌淋巴结转移结果。
本发明的一实施例中，所述利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，包括：计算所述拼接特征图对应的淋巴结概率；利用所述淋巴结概率判别所述当前的淋巴结图像中是否存在异常淋巴结；在所述当前的淋巴结图像中存在所述异常淋巴结时，判定所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移。
本发明实施例中，所述子宫内膜癌淋巴结转移结果包含所述异常淋巴结的数量、所述当前的淋巴结图像中异常淋巴结和正常淋巴结的总数。
可以看出，本发明实施例通过从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，以用于将所述正常淋巴结特征与所述异常淋巴结特征作为后续用于识别异常淋巴结的U-net模型的训练依据，进一步地，本发明实施例通过利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，以用于基于淋巴结区域形状不规则、边界不清晰，异常淋巴结与周围组织强度相近等特征，选取易于所述语义分割模型进行高效学习与分类的训练方式，进一步地，本发明实施例通过确定所述结构调整模型的模型训练方式，以用于使得模型能够较多地关注图像中淋巴结的骨架信息和边缘信息，本发明实施例通过对当前的淋巴结图像进行图像预处理，以用于使得所述当前的淋巴结图像能够适应所述训练好的模型的输入数据标准，并且可以提升所述训练好的模型对所述当前的淋巴结图像进行图像分类的效率，进一步地，本发明实施例通过利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，以用于从所述浅层特征图中得到所述预处理图像的局部信息，进一步地，本发明实施例通过利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，以用于保留所述浅层特征图中的有效信息和去除所述浅层特征图中的大量冗余信息，本发明实施例通过利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，以用于提取更多的像素信息和细粒度信息，从而提升图像中异常淋巴结的分割效果。因此，本发明实施例提出的一种子宫内膜癌淋巴结转移智能识别方法可以提升子宫内膜癌淋巴结转移识别的效率。
如图6所示，是本发明子宫内膜癌淋巴结转移智能识别系统功能模块图。
本发明所述子宫内膜癌淋巴结转移智能识别系统600可以安装于电子设备中。根据实现的功能，所述子宫内膜癌淋巴结转移智能识别系统可以包括区域标注模块601、模型训练模块602、特征提取模块603、特征拼接模块604以及结果确定模块605。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本发明实施例中，关于各模块/单元的功能如下：
所述区域标注模块601，用于采集子宫内膜癌根治标本的淋巴结图像，从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，对所述淋巴结图像中的正常淋巴结区域与异常淋巴结区域进行区域标注，得到标注样本；
所述模型训练模块602，用于构建所述标注样本的语义分割模型，利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，并确定所述结构调整模型的模型训练方式，基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型；
所述特征提取模块603，用于对当前的淋巴结图像进行图像预处理，得到预处理图像，利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图；
所述特征拼接模块604，用于利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，融合所述全局特征与所述局部特征，得到融合特征图，在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果；
所述结果确定模块605，用于利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，在所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移时，确定所述当前的淋巴结图像的子宫内膜癌淋巴结转移结果。
详细地，本发明实施例中所述子宫内膜癌淋巴结转移智能识别系统600中的所述各模块在使用时采用与上述的图1至图5中所述的子宫内膜癌淋巴结转移智能识别方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
本发明还提供一种存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
采集子宫内膜癌根治标本的淋巴结图像，从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，对所述淋巴结图像中的正常淋巴结区域与异常淋巴结区域进行区域标注，得到标注样本；
构建所述标注样本的语义分割模型，利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，并确定所述结构调整模型的模型训练方式，基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型；
对当前的淋巴结图像进行图像预处理，得到预处理图像，利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图；
利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，融合所述全局特征与所述局部特征，得到融合特征图，在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果；
利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，在所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移时，确定所述当前的淋巴结图像的子宫内膜癌淋巴结转移结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种子宫内膜癌淋巴结转移智能识别方法，其特征在于，所述方法包括：
采集子宫内膜癌根治标本的淋巴结图像，从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，对所述淋巴结图像中的正常淋巴结区域与异常淋巴结区域进行区域标注，得到标注样本；
构建所述标注样本的语义分割模型，利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，并确定所述结构调整模型的模型训练方式，基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型，其中，所述利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，包括：基于所述正常淋巴结特征与所述异常淋巴结特征，在所述语义分割模型上增加第一注意力机制与第二注意力机制，得到结构调整模型；
对当前的淋巴结图像进行图像预处理，得到预处理图像，利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，其中，所述第一注意力机制是指由卷积层、RELU及sigmoid构成的注意力机制；
利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，融合所述全局特征与所述局部特征，得到融合特征图，在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图，其中，所述第二注意力机制是指Transformer网络与MobileNet网络并行结合的网络结构，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果；
利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，在所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移时，确定所述当前的淋巴结图像的子宫内膜癌淋巴结转移结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型，包括：
基于所述模型训练方式，识别所述结构调整模型中所述标注样本对应的淋巴结架构；
标记所述淋巴结架构的骨架形态与边界形态；
利用下述公式计算所述骨架形态与所述标注样本中的真实骨架形态之间的第一损失值：
其中，LOSS1表示第一损失值，e为真实骨架形态的向量表示，E为所述淋巴结架构的骨架形态的向量表示，i表示骨架形态的向量序号，N表示骨架形态的向量总数；
利用下述公式计算所述边界形态与所述标注样本中的真实边界形态之间的第二损失值：
其中，LOSS2表示第二损失值，r为真实边界形态的向量表示，R为所述淋巴结架构的边界形态的向量表示，j表示边界形态的向量序号，M表示边界形态的向量总数；
基于所述第一损失值与所述第二损失值，完成所述结构调整模型的模型训练，得到训练好的模型。
3.根据权利要求1所述的方法，其特征在于，所述利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，包括：
利用所述编码器中的初始卷积层与初始最大池化层对所述预处理图像进行图像初始浅层特征提取，得到初始浅层特征图；
利用所述编码器中的循环卷积层与循环最大池化层对所述初始浅层特征图进行循环浅层特征提取，得到循环浅层特征图；
将所述初始浅层特征图与所述循环浅层特征图作为所述浅层特征图。
4.根据权利要求1所述的方法，其特征在于，所述利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，包括：
获取从所述浅层特征图中的终止浅层特征图至起始浅层特征图的特征图反序；
按照所述特征图反序，依次将所述浅层特征图输入至所述第一注意力机制中，得到第一注意力特征图；
将所述第一注意力特征图中所述浅层特征图反序对应的第一注意力特征图与所述浅层特征图反序对应的深层特征进行特征图融合，得到第二注意力特征图，并将所述第二注意力特征图作为所述注意力特征图。
5.根据权利要求4所述的方法，其特征在于，所述按照所述特征图反序，依次将所述浅层特征图输入至所述第一注意力机制中，得到第一注意力特征图，包括：
在所述第一注意力机制中利用下述公式提取所述浅层特征图对应的第一注意力特征图：
x”＝(Sigmoid(w3ReLU(w1x+w2x')))x
其中，x”表示所述第一注意力特征图，x'表示所述训练好的模型中解码器中转置卷积层及堆叠卷积层对上一层的第二注意力特征图处理后的特征图，w1,w2,w3分别是第一注意力机制中三个卷积层中的权重参数，x表示所述浅层特征图。
6.根据权利要求1所述的方法，其特征在于，所述利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，包括：
利用所述第二注意力机制中自注意力网络提取所述预处理图像中的全局特征；
利用所述第二注意力机制中轻量级卷积神经网络提取所述预处理图像中的局部特征。
7.根据权利要求6所述的方法，其特征在于，所述利用所述第二注意力机制中自注意力网络提取所述预处理图像中的全局特征，包括：
在所述自注意力网络的输入模块中将所述预处理图像转换为预处理向量，并计算所述预处理向量的位置编码，融合所述预处理向量与所述位置编码，得到融合向量；
在所述自注意力网络的多头注意力机制中利用下述公式计算所述融合向量的注意力值：
其中，Attention(Q,K,V)表示所述注意力值，Q表示查询向量，K表示键向量，V表示值向量，x0表示所述融合向量，dk表示表示键向量的长度，Wq表示查询向量对应的权重，Wk表示表示键向量对应的权重，Wv表示值向量对应的权重；
在所述自注意力网络的前馈神经网络中利用下述公式将所述注意力值映射至高维空间中，得到在所述高维空间中的高维向量：
y＝v2(f(v1A+b))+s
其中，y表示所述高维向量，A表示所述注意力值，v1表示所述前馈神经网络中的第一层的权重，b表示所述前馈神经网络中的第一层的偏置，f表示所述前馈神经网络中的全连接层，v2表示所述前馈神经网络中的第二层的权重，s表示所述前馈神经网络中的第二层的偏置；
利用所述自注意力网络的激活函数将所述高维向量转换为所述全局特征。
8.根据权利要求6所述的方法，其特征在于，所述利用所述第二注意力机制中轻量级卷积神经网络提取所述预处理图像中的局部特征，包括：
利用下述公式对所述预处理图像进行标准卷积，得到标准卷积图：
Y＝RELU(BN(conv(X)))
其中，Y表示所述标准卷积图，RELU表示激活函数，BN表示批标准化，conv表示卷积层；
利用下述公式对所述标准卷积图进行深度可分离卷积，得到深度可分离卷积图：
Y'＝RELU(BN(conv(RELU(BN(depthwise conv(Y))))))
其中，Y'表示所述深度可分离卷积图，RELU表示激活函数，BN表示批标准化，conv表示卷积层，depthwise conv表示深度可分离卷积，Y表示所述标准卷积图；
对所述深度可分离卷积图进行平均池化，得到平均池化图；
对所述平均池化图进行线性映射，得到所述局部特征。
9.根据权利要求1所述的方法，其特征在于，所述利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，包括：
计算所述拼接特征图对应的淋巴结概率；
利用所述淋巴结概率判别所述当前的淋巴结图像中是否存在异常淋巴结；
在所述当前的淋巴结图像中存在所述异常淋巴结时，判定所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移。
10.一种子宫内膜癌淋巴结转移智能识别系统，其特征在于，所述系统包括：
区域标注模块，用于采集子宫内膜癌根治标本的淋巴结图像，从所述淋巴结图像中分析正常淋巴结特征与异常淋巴结特征，对所述淋巴结图像中的正常淋巴结区域与异常淋巴结区域进行区域标注，得到标注样本；
模型训练模块，用于构建所述标注样本的语义分割模型，利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，并确定所述结构调整模型的模型训练方式，基于所述标注样本，利用所述模型训练方式对所述结构调整模型进行模型训练，得到训练好的模型，其中，所述利用所述正常淋巴结特征与所述异常淋巴结特征对所述语义分割模型进行结构调整，得到结构调整模型，包括：基于所述正常淋巴结特征与所述异常淋巴结特征，在所述语义分割模型上增加第一注意力机制与第二注意力机制，得到结构调整模型；
特征提取模块，用于对当前的淋巴结图像进行图像预处理，得到预处理图像，利用所述训练好的模型中的编码器对所述预处理图像进行浅层特征提取，得到浅层特征图，利用所述训练好的模型中的第一注意力机制提取所述浅层特征图中的注意力特征图，其中，所述第一注意力机制是指由卷积层、RELU及sigmoid构成的注意力机制；
特征拼接模块，用于利用所述训练好的模型中的第二注意力机制提取所述预处理图像中的全局特征与局部特征，融合所述全局特征与所述局部特征，得到融合特征图，在所述训练好的模型中的解码器中拼接提取特征图、所述注意力特征图及所述融合特征图，得到拼接特征图，其中，所述第二注意力机制是指Transformer网络与MobileNet网络并行结合的网络结构，所述提取特征图是指训练好的模型中的深层特征提取层中除最后一层外的深层特征提取层的输出结果；
结果确定模块，用于利用所述拼接特征图识别所述当前的淋巴结图像中是否发生子宫内膜癌淋巴结转移，在所述当前的淋巴结图像中发生子宫内膜癌淋巴结转移时，确定所述当前的淋巴结图像的子宫内膜癌淋巴结转移结果。
CN202311299973.5A 2023-10-09 2023-10-09 子宫内膜癌淋巴结转移智能识别方法及系统 Active CN117351183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311299973.5A CN117351183B (zh) 2023-10-09 2023-10-09 子宫内膜癌淋巴结转移智能识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311299973.5A CN117351183B (zh) 2023-10-09 2023-10-09 子宫内膜癌淋巴结转移智能识别方法及系统

Publications (2)

Publication Number Publication Date
CN117351183A CN117351183A (zh) 2024-01-05
CN117351183B true CN117351183B (zh) 2024-06-04

Family

ID=89362519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311299973.5A Active CN117351183B (zh) 2023-10-09 2023-10-09 子宫内膜癌淋巴结转移智能识别方法及系统

Country Status (1)

Country Link
CN (1) CN117351183B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147257A1 (zh) * 2020-01-20 2021-07-29 上海商汤智能科技有限公司 网络训练、图像处理方法及装置、电子设备和存储介质
CN114972266A (zh) * 2022-05-31 2022-08-30 东华大学 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
WO2023151141A1 (zh) * 2022-02-09 2023-08-17 苏州大学 一种基于全局与局部特征重建网络的医学图像分割方法
CN116665896A (zh) * 2023-04-28 2023-08-29 天津市肿瘤医院（天津医科大学肿瘤医院） 预测乳腺癌腋窝淋巴结转移的模型建立方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220328189A1 (en) * 2021-04-09 2022-10-13 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing advancements towards annotation efficient deep learning in computer-aided diagnosis
US11830187B2 (en) * 2021-05-26 2023-11-28 International Business Machines Corporation Automatic condition diagnosis using a segmentation-guided framework

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147257A1 (zh) * 2020-01-20 2021-07-29 上海商汤智能科技有限公司 网络训练、图像处理方法及装置、电子设备和存储介质
WO2023151141A1 (zh) * 2022-02-09 2023-08-17 苏州大学 一种基于全局与局部特征重建网络的医学图像分割方法
CN114972266A (zh) * 2022-05-31 2022-08-30 东华大学 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
CN116665896A (zh) * 2023-04-28 2023-08-29 天津市肿瘤医院（天津医科大学肿瘤医院） 预测乳腺癌腋窝淋巴结转移的模型建立方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Fovea-UNet: detection and segmentation of lymph node metastases in colorectal cancer with deep learning";Yajiao Liu;《BioMedical Engineering OnLine 》;20230721;第1-20页 *
基于多尺度特征融合的肺结节良恶性分类方法;顾军华;孙哲然;王锋;戚永军;张亚娟;;深圳大学学报(理工版);20200721(第04期);第91-98页 *

Also Published As

Publication number Publication date
CN117351183A (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
Tofighi et al. Prior information guided regularized deep learning for cell nucleus detection
CN109410184B (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN111583210B (zh) 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
CN111986183B (zh) 一种染色体散型图像自动分割识别系统及装置
US20080071711A1 (en) Method and System for Object Detection Using Probabilistic Boosting Cascade Tree
CN110458217A (zh) 图像识别方法及装置、眼底图像识别方法和电子设备
Fan et al. Principal component analysis based cataract grading and classification
CN112905997B (zh) 面向深度学习模型中毒攻击的检测方法、装置及系统
CN115601602A (zh) 癌症组织病理图像分类方法、系统、介质、设备及终端
EP4428809A1 (en) Image detection method and apparatus, and device and readable storage medium
CN111160096A (zh) 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
Tavallali et al. A systematic training procedure for viola-jones face detector in heterogeneous computing architecture
CN110633689B (zh) 基于半监督注意力网络的人脸识别模型
CN117877068B (zh) 一种基于掩码自监督遮挡像素重建的遮挡行人重识别方法
KR20100116404A (ko) 영상정보로부터 독립세포와 군집세포를 분류하는 방법 및 장치
Mohan et al. MRI Brain Tumor Detection and Classification Using U-NET CNN
Imran et al. Enhanced Skin Cancer Classification using Deep Learning and Nature-based Feature Optimization
CN117351183B (zh) 子宫内膜癌淋巴结转移智能识别方法及系统
CN113421546A (zh) 基于跨被试多模态的语音合成方法及相关设备
CN117173409A (zh) 一种实时的交互式图像分割方法
KR20210086374A (ko) 인공지능 기반의 피부질환 분류 방법
CN115100509B (zh) 基于多分支块级注意力增强网络的图像识别方法及系统
CN116704217A (zh) 基于困难样本挖掘的模型训练方法、设备和存储介质
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant