CN116188474A - 基于图像语义分割的三级淋巴结构识别方法和系统 - Google Patents

基于图像语义分割的三级淋巴结构识别方法和系统 Download PDF

Info

Publication number
CN116188474A
CN116188474A CN202310494161.XA CN202310494161A CN116188474A CN 116188474 A CN116188474 A CN 116188474A CN 202310494161 A CN202310494161 A CN 202310494161A CN 116188474 A CN116188474 A CN 116188474A
Authority
CN
China
Prior art keywords
mature
tertiary
pixel point
panoramic
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310494161.XA
Other languages
English (en)
Other versions
CN116188474B (zh
Inventor
王卫东
杨曼
李柯臻
车雨柔
李思敏
方曾怡
罗丽萍
吴川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Cancer Hospital
Original Assignee
Sichuan Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Cancer Hospital filed Critical Sichuan Cancer Hospital
Priority to CN202310494161.XA priority Critical patent/CN116188474B/zh
Publication of CN116188474A publication Critical patent/CN116188474A/zh
Application granted granted Critical
Publication of CN116188474B publication Critical patent/CN116188474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像分割领域技术，提出基于图像语义分割的三级淋巴结构识别方法和系统，包括步骤：获取肿瘤组织的全景病理扫描图，并对其中成熟三级淋巴结构、非成熟三级淋巴结构进行标注；根据贝叶斯理论计算全景病理扫描图中像素点的类别概率，并计算像素点的特征向量；将像素点的特征向量作为训练数据集，构对多模态卷积神经网络模型进行训练；将实时采集的全景病理扫描图输入训练好的多模态卷积神经网络模型，得到勾画好的成熟三级淋巴结构和非成熟三级淋巴结构。本发明识别三级淋巴结构的同时，也识别背景，且将背景区分为参考器官和纯粹背景，使得在分割三级淋巴结构时，能平滑边缘锯齿，也不会到边缘模糊的程度。

Description

基于图像语义分割的三级淋巴结构识别方法和系统
技术领域
本发明涉及图像分割技术领域，特别涉及一种基于图像语义分割的三级淋巴结构识别方法和系统。
背景技术
免疫治疗是肿瘤治疗的重要手段，但存在单个免疫治疗反应低、免疫副反应、缺乏准确的免疫疗效预测标志物等问题，而肿瘤免疫微环境逐渐成为了热点探索对象。
其内的三级淋巴结构是在慢性炎症（包括肿瘤抗原释放、免疫性肿瘤细胞死亡）环境下，暴露于多类趋化因子、细胞因子后，主要由T细胞和B细胞聚集形成的异位、无包膜的致密淋巴组织。成熟的三级淋巴结构（Tertiary lymphoid structures，TLS）主要由三部分组成：相对在内的B细胞区，其由滤泡B细胞与CD21+的滤泡树突状细胞聚集形成的生发中心为特征；相对在外的T细胞区；散在周围的高内皮微静脉区。今年来在肿瘤免疫方面的研究中，由于成熟的三级淋巴结构是良好的预后的因素、能提高肿瘤化疗以及免疫治疗的反应性和有望成为免疫检查点抑制剂疗效预测的标志物等优势，备受研究者的关注。成熟的三级淋巴结构是其发挥功能的主要阶段，许多研究也致力于诱导三级淋巴结构的成熟。但是三级淋巴结构的检测，目前仍受限于传统的技术。
公开号为CN115063403A，名称为《三级淋巴结构的识别方法、装备及设备》的专利申请，公开了基于三级淋巴结构检测模型识别图像中预选三级淋巴结构的检测框、检测概率和检测类别，再基于基于所述检测框、所述检测概率和所述检测类别，从所述预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到所述待识别图像的识别结果。但是该专利申请中未考虑背景对成熟三级淋巴结构及非成熟三级淋巴结构的分割所带来的影像，所以最终会存在分割的三级淋巴结构与背景有边缘模糊或边缘锯齿的情况，使得分割不精准。
发明内容
本发明的目的在于识别成熟三级淋巴结构和非成熟三级淋巴结构的同时，也识别背景，且将背景区分为参考器官和纯粹背景（即非参考器官），使得在分割成熟三级淋巴结构和非成熟三级淋巴结构时，能平滑边缘锯齿，也不会到边缘模糊的程度，提供一种基于图像语义分割的三级淋巴结构识别方法和系统。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
基于图像语义分割的三级淋巴结构识别系统，包括：
图像预处理模块，用于对全景病理扫描图中的成熟三级淋巴结构、非成熟三级淋巴结构进行标注；
类别概率计算模块，用于根据贝叶斯理论计算全景病理扫描图中像素点的类别概率；
特征向量计算模块，用于基于像素点的类别概率，计算像素点的特征向量；
模型训练模块，用于使用像素点的特征向量对多模态卷积神经网络模型进行训练，得到训练好的多模态卷积神经网络模型。
基于图像语义分割的三级淋巴结构识别方法，包括以下步骤：
步骤1，获取肿瘤组织的全景病理扫描图，并对其中成熟三级淋巴结构、非成熟三级淋巴结构进行标注；
步骤2，根据贝叶斯理论计算全景病理扫描图中像素点的类别概率，并计算像素点的特征向量；
步骤3，将像素点的特征向量作为训练数据集，对多模态卷积神经网络模型进行训练；
步骤4，将实时采集的全景病理扫描图输入训练好的多模态卷积神经网络模型，得到勾画好的成熟三级淋巴结构和非成熟三级淋巴结构。
与现有技术相比，本发明的有益效果：
本发明识别成熟三级淋巴结构和非成熟三级淋巴结构的同时，也识别背景，且将背景区分为参考器官和纯粹背景（即非参考器官），使得在分割成熟三级淋巴结构和非成熟三级淋巴结构时，能平滑边缘锯齿，也不会到边缘模糊的程度，能够更加准确输出分割的成熟三级淋巴结构和非成熟三级淋巴结构。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明系统模块框图；
图2为本发明方法流程图；
图3为本发明多模态卷积神经网络模型结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。另外，术语“相连”、“连接”等可以是元件之间直接相连，也可以是经由其他元件的间接相连。
实施例：
本发明通过下述技术方案实现，如图1所示，基于图像语义分割的三级淋巴结构识别系统，包括：
图像预处理模块，用于对全景病理扫描图中的成熟三级淋巴结构、非成熟三级淋巴结构进行标注；
类别概率计算模块，用于根据贝叶斯理论计算全景病理扫描图中像素点的类别概率；
特征向量计算模块，用于基于像素点的类别概率，计算像素点的特征向量；
模型训练模块，用于使用像素点的特征向量对多模态卷积神经网络模型进行训练，得到训练好的多模态卷积神经网络模型。
如图2所示，基于上述系统，本发明还提出一种基于图像语义分割的三级淋巴结构识别方法，包括以下步骤：
步骤1，获取肿瘤组织的全景病理扫描图，并对其中成熟三级淋巴结构、非成熟三级淋巴结构进行标注。
获取若干患者的医学图像，该医学图像为患者的肿瘤组织的全景病理扫描图（Whole-Slide Imaging，WSI）。将全景病理扫描图放大40倍，使用Qupath软件对全景病理扫描图中的成熟三级淋巴结构、非成熟三级淋巴结构、参考器官进行标注，未标注的地方作为纯粹背景。
在标注前，将放大40倍的全景病理扫描图进行栅格化处理，划分为N×M个长宽相等的栅格。每个栅格中包含n×n个像素点，任一像素点在该栅格中的坐标为(x,y)，像素点的边长为0.25um。
在标注时，成熟三级淋巴结构携带的标签值为
Figure SMS_1
，非成熟三级淋巴结构携带的标签值为/>
Figure SMS_2
，参考器官携带的标签值为/>
Figure SMS_3
，纯粹背景携带的标签值为/>
Figure SMS_4
。T表示全景病理扫描图中共有T个成熟三级淋巴结构，t表示其中第t个成熟三级淋巴结构；Z表示全景病理扫描图中共有Z个非成熟三级淋巴结构，z表示其中第z个非成熟三级淋巴结构；O表示全景病理扫描图中共有O个参考器官，o表示其中第o个参考器官，通常O=o=1；B表示全景病理扫描图中共有B个纯粹背景，b表示其中第b个纯粹背景，若纯粹背景连成一片，则B=b=1。
下标num_NM表示所在的栅格编号，编号依据为从左到右、从上到下，比如每一行从左到右共有N个栅格，每一列从上到下共有M个栅格，则处于第4行第4列的栅格编号为“3N+4”（或者通过其他方式既定编号）。如果某一成熟三级淋巴结构同时处于多个栅格内，则将这些栅格的编号作为下标num_NM，例如成熟三级淋巴结构t同时处于编号为“3N+4、3N+5、4N+4、4N+5”的四个栅格中，则下标num_NM={3N+4, 3N+5, 4N+4, 4N+5}；非成熟三级淋巴结构、参考器官、纯粹背景同理。
步骤2，根据贝叶斯理论计算全景病理扫描图中像素点的类别概率，并计算像素点的特征向量。
由于在全景病理扫描图中三级淋巴结构（包括成熟三级淋巴结构、非成熟三级淋巴结构）有可能置于某参考器官中，也有可能不置于某参考器官中。从全景病理扫描图中看，若三级淋巴结构置于某参考器官中时，该三级淋巴结构的背景则是该参考器官；若三级淋巴结构没有置于某参考器官中时，该三级淋巴结构的背景则是纯粹背景。
为了解决分割边缘锯齿状的问题，需快速区分三级淋巴结构的背景到底是参考器官还是纯粹背景，将全景病理扫描图中的像素点分为四类：成熟三级淋巴结构、非成熟三级淋巴结构、参考器官、纯粹背景。当某像素点为成熟三级淋巴结构或非成熟三级淋巴结构时，像外延伸，从而确定该像素点的背景为参考器官还是纯粹背景。
计算全景病理扫描图中像素点xi的类别概率：
Figure SMS_5
其中，
Figure SMS_6
为像素点xi的类别概率，类别包括四类，分别为成熟三级淋巴结构T、非成熟三级淋巴结构Z、参考器官O、纯粹背景B；/>
Figure SMS_7
表示像素点xi所属的类别。
Figure SMS_8
为似然函数：
Figure SMS_9
其中，
Figure SMS_10
为伽马函数，/>
Figure SMS_11
为尺度参数，/>
Figure SMS_12
，K为类别总数，K=4，k∈K；/>
Figure SMS_13
为位移参数，/>
Figure SMS_14
，I为像素点总数。
Figure SMS_15
为先验概率：
Figure SMS_16
其中，k1表示参考器官O，k2表示纯粹背景B，k3表示成熟三级淋巴结构T，k4表示非成熟三级淋巴结构Z；yk1表示类别k1，yk2表示类别k2；
Figure SMS_17
表示背景混合核函数，
Figure SMS_18
表示像素混合核函数；/>
Figure SMS_19
为第一置信函数，用于表示像素点xi的背景属于k1、k2的置信度；/>
Figure SMS_20
为第二置信函数，用于表示像素点xi属于k1、k2、k3、k4的置信度；
在第一置信函数中：
Figure SMS_21
需要说明的是，若xi为三级淋巴结构（包括成熟三级淋巴结构、非成熟三级淋巴结构）的像素点，则第一置信函数判断的是该三级淋巴结构的背景为参考器官O还是纯粹背景B；若xi不为三级淋巴结构的像素点，则第一置信函数判断的是该像素点为参考器官O还是纯粹背景B。
在第二置信函数中：
Figure SMS_22
需要说明的是，若xi为三级淋巴结构的像素点，则第二置信函数直接输出该像素点的值；若xi不为三级淋巴结构的像素点，则第二置信函数判断的是该像素点为参考器官O还是纯粹背景B。
获得所有像素点xi（i∈I）的类别概率后，计算像素点xi的特征向量
Figure SMS_23
：
Figure SMS_24
其中，FPT(i)表示像素点xi属于类别成熟三级淋巴结构时的特征值，FPZ(i)表示像素点xi属于类别非成熟三级淋巴结构时的特征值，FPO(i)表示像素点xi属于类别参考器官时的特征值，FPB(i)表示像素点xi属于类别纯粹背景时的特征值。
步骤3，将像素点的特征向量作为训练数据集，对多模态卷积神经网络模型进行训练。
请参见图3，所述多模态卷积神经网络模型包括残差网络模块、编码器模块、解码器模块。
所述残差网络模块包括第一残差卷积层、第二残差卷积层、第三残差卷积层。若像素点xi为成熟三级淋巴结构或非成熟三级淋巴结构，则将像素点xi的特征向量输入第一残差卷积层，用于获取成熟三级淋巴结构或非成熟三级淋巴结构的特征图
Figure SMS_25
。若像素点xi为参考器官或纯粹背景，则将像素点xi的特征向量输入第二残差卷积层，用于获取参考器官或纯粹背景的特征图/>
Figure SMS_26
。
若像素点xi为成熟三级淋巴结构或非成熟三级淋巴结构，且所属背景为参考器官，则将像素点xi的特征向量和参考器官的像素点的特征向量一同输入第三残差卷积层，用于获取成熟三级淋巴结构或非成熟三级淋巴结构，以及参考器官的特征图
Figure SMS_27
。
若像素点xi为成熟三级淋巴结构或非成熟三级淋巴结构，且所属背景为纯粹背景，则将像素点xi的特征向量和纯粹背景的像素点的特征向量一同输入第三残差卷积层，用于获取成熟三级淋巴结构或非成熟三级淋巴结构，以及纯粹背景的特征图
Figure SMS_28
。
也就是说，第一残差卷积层用于训练识别成熟三级淋巴结构和非成熟三级淋巴结构。第二残差卷积层用于训练识别参考器官或纯粹背景。第三残差卷积层用于训练识别成熟三级淋巴结构或非成熟三级淋巴结构的背景是参考器官还是纯粹背景。
请继续参见图3，所述编码器模块包括第一编码器、第二编码器、第三编码器，所述第一残差卷积层的输出与第一编码器的输入连接，第二残差卷积层的输出与第二编码器的输入连接，第三残差卷积层的输出与第三编码器的输入连接。
编码器模块用于获取影像特征图：
Figure SMS_29
其中，
Figure SMS_30
表示编码器模块输出的影像特征图，/>
Figure SMS_31
表示特征融合函数，/>
Figure SMS_32
表示第一编码器的输入，/>
Figure SMS_33
表示第二编码器的输入，/>
Figure SMS_34
和/>
Figure SMS_35
表示第三编码器的输入。
请继续参见图3，所述解码器模块包括第一解码器、第二解码器、第三解码器，所述第一解码器的输入分别与第一编码器的输出、第二编码器的输出、第三编码器的输出连接，第二解码器的输入分别与第一编码器的输出、第二编码器的输出、第三编码器的输出连接，第三解码器的输入分别与第一编码器的输出、第二编码器的输出、第三编码器的输出连接。
解码器模块用于输出成熟三级淋巴结构和非成熟三级淋巴结构：
Figure SMS_36
其中，
Figure SMS_37
表示解码器模块输出的成熟三级淋巴结构或非成熟三级淋巴结构，/>
Figure SMS_38
为特征分割函数，/>
Figure SMS_39
表示解码器模块输出的成熟三级淋巴结构，/>
Figure SMS_40
示解码器模块输出的非成熟三级淋巴结构。
对多模态卷积神经网络模型进行迭代训练，损失函数L为：
Figure SMS_41
其中，
Figure SMS_42
为多模态卷积神经网络模型的真实输出，/>
Figure SMS_43
为多模态卷积神经网络模型的预测输出。直到模型迭代收敛或达到训练轮次，得到训练好的多模态卷积神经网络模型。
步骤4，将实时采集的全景病理扫描图输入训练好的多模态卷积神经网络模型，得到勾画好的成熟三级淋巴结构和非成熟三级淋巴结构。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.基于图像语义分割的三级淋巴结构识别系统，其特征在于：包括：
图像预处理模块，用于对全景病理扫描图中的成熟三级淋巴结构、非成熟三级淋巴结构进行标注；
类别概率计算模块，用于根据贝叶斯理论计算全景病理扫描图中像素点的类别概率；
特征向量计算模块，用于基于像素点的类别概率，计算像素点的特征向量；
模型训练模块，用于使用像素点的特征向量对多模态卷积神经网络模型进行训练，得到训练好的多模态卷积神经网络模型。
2.基于图像语义分割的三级淋巴结构识别方法，应用于权利要求1所述的基于图像语义分割的三级淋巴结构识别系统，其特征在于：包括以下步骤：
步骤1，获取肿瘤组织的全景病理扫描图，并对其中成熟三级淋巴结构、非成熟三级淋巴结构进行标注；
步骤2，根据贝叶斯理论计算全景病理扫描图中像素点的类别概率，并计算像素点的特征向量；
步骤3，将像素点的特征向量作为训练数据集，对多模态卷积神经网络模型进行训练；
步骤4，将实时采集的全景病理扫描图输入训练好的多模态卷积神经网络模型，得到勾画好的成熟三级淋巴结构和非成熟三级淋巴结构。
3.根据权利要求2所述的基于图像语义分割的三级淋巴结构识别方法，其特征在于：所述步骤1具体包括以下步骤：
获取若干患者的全景病理扫描图，将全景病理扫描图放大40倍，使用Qupath软件对全景病理扫描图中的成熟三级淋巴结构、非成熟三级淋巴结构、参考器官进行标注，未标注的地方作为纯粹背景；
在标注前，将放大40倍的全景病理扫描图进行栅格化处理，划分为N×M个长宽相等的栅格；每个栅格中包含n×n个像素点；
在标注时，成熟三级淋巴结构携带的标签值为
Figure QLYQS_1
，非成熟三级淋巴结构携带的标签值为/>
Figure QLYQS_2
，参考器官携带的标签值为/>
Figure QLYQS_3
，纯粹背景携带的标签值为/>
Figure QLYQS_4
；
T表示全景病理扫描图中共有T个成熟三级淋巴结构，t表示其中第t个成熟三级淋巴结构；Z表示全景病理扫描图中共有Z个非成熟三级淋巴结构，z表示其中第z个非成熟三级淋巴结构；O表示全景病理扫描图中共有O个参考器官，o表示其中第o个参考器官；B表示全景病理扫描图中共有B个纯粹背景，b表示其中第b个纯粹背景；下标num_NM表示所在的栅格编号。
4.根据权利要求3所述的基于图像语义分割的三级淋巴结构识别方法，其特征在于：所述步骤2中，根据贝叶斯理论计算全景病理扫描图中像素点的类别概率的步骤，包括：
计算全景病理扫描图中像素点xi的类别概率：
Figure QLYQS_5
/>
其中，
Figure QLYQS_6
为像素点xi的类别概率，类别包括四类，分别为成熟三级淋巴结构T、非成熟三级淋巴结构Z、参考器官O、纯粹背景B；/>
Figure QLYQS_7
表示像素点xi所属的类别；
Figure QLYQS_8
为似然函数：
Figure QLYQS_9
其中，
Figure QLYQS_10
为伽马函数，/>
Figure QLYQS_11
为尺度参数，/>
Figure QLYQS_12
，K为类别总数，K=4，k∈K；/>
Figure QLYQS_13
为位移参数，/>
Figure QLYQS_14
，I为像素点总数；
Figure QLYQS_15
为先验概率：
Figure QLYQS_16
其中，k1表示参考器官O，k2表示纯粹背景B，k3表示成熟三级淋巴结构T，k4表示非成熟三级淋巴结构Z；yk1表示类别k1，yk2表示类别k2；
Figure QLYQS_17
表示背景混合核函数，
Figure QLYQS_18
表示像素混合核函数；/>
Figure QLYQS_19
为第一置信函数，用于表示像素点xi的背景属于k1、k2的置信度；/>
Figure QLYQS_20
为第二置信函数，用于表示像素点xi属于k1、k2、k3、k4的置信度；
在第一置信函数中：
Figure QLYQS_21
在第二置信函数中：
Figure QLYQS_22
。
5.根据权利要求3所述的基于图像语义分割的三级淋巴结构识别方法，其特征在于：所述步骤2中，计算像素点的特征向量的步骤，包括：
获得所有像素点xi的类别概率后，计算像素点xi的特征向量
Figure QLYQS_23
：
Figure QLYQS_24
其中，FPT(i)表示像素点xi属于类别成熟三级淋巴结构时的特征值，FPZ(i)表示像素点xi属于类别非成熟三级淋巴结构时的特征值，FPO(i)表示像素点xi属于类别参考器官时的特征值，FPB(i)表示像素点xi属于类别纯粹背景时的特征值。
6.根据权利要求5所述的基于图像语义分割的三级淋巴结构识别方法，其特征在于：所述所述多模态卷积神经网络模型包括依次连接的残差网络模块、编码器模块、解码器模块；
其中，所述残差网络模块包括第一残差卷积层、第二残差卷积层、第三残差卷积层；
若像素点xi为成熟三级淋巴结构或非成熟三级淋巴结构，则将像素点xi的特征向量输入第一残差卷积层，用于获取成熟三级淋巴结构或非成熟三级淋巴结构的特征图
Figure QLYQS_25
；
若像素点xi为参考器官或纯粹背景，则将像素点xi的特征向量输入第二残差卷积层，用于获取参考器官或纯粹背景的特征图
Figure QLYQS_26
；
若像素点xi为成熟三级淋巴结构或非成熟三级淋巴结构，且所属背景为参考器官，则将像素点xi的特征向量和参考器官的像素点的特征向量一同输入第三残差卷积层，用于获取成熟三级淋巴结构或非成熟三级淋巴结构，以及参考器官的特征图
Figure QLYQS_27
；
若像素点xi为成熟三级淋巴结构或非成熟三级淋巴结构，且所属背景为纯粹背景，则将像素点xi的特征向量和纯粹背景的像素点的特征向量一同输入第三残差卷积层，用于获取成熟三级淋巴结构或非成熟三级淋巴结构，以及纯粹背景的特征图
Figure QLYQS_28
。
7.根据权利要求6所述的基于图像语义分割的三级淋巴结构识别方法，其特征在于：所述编码器模块包括第一编码器、第二编码器、第三编码器，所述第一残差卷积层的输出与第一编码器的输入连接，第二残差卷积层的输出与第二编码器的输入连接，第三残差卷积层的输出与第三编码器的输入连接；
编码器模块用于获取影像特征图：
Figure QLYQS_29
其中，
Figure QLYQS_30
表示编码器模块输出的影像特征图，/>
Figure QLYQS_31
表示特征融合函数，/>
Figure QLYQS_32
表示第一编码器的输入，/>
Figure QLYQS_33
表示第二编码器的输入，/>
Figure QLYQS_34
和/>
Figure QLYQS_35
表示第三编码器的输入。
8.根据权利要求7所述的基于图像语义分割的三级淋巴结构识别方法，其特征在于：所述解码器模块包括第一解码器、第二解码器、第三解码器，所述第一解码器的输入分别与第一编码器的输出、第二编码器的输出、第三编码器的输出连接，第二解码器的输入分别与第一编码器的输出、第二编码器的输出、第三编码器的输出连接，第三解码器的输入分别与第一编码器的输出、第二编码器的输出、第三编码器的输出连接；
解码器模块用于输出成熟三级淋巴结构和非成熟三级淋巴结构：
Figure QLYQS_36
其中，
Figure QLYQS_37
表示解码器模块输出的成熟三级淋巴结构或非成熟三级淋巴结构，/>
Figure QLYQS_38
为特征分割函数，/>
Figure QLYQS_39
表示解码器模块输出的成熟三级淋巴结构，/>
Figure QLYQS_40
示解码器模块输出的非成熟三级淋巴结构。
9.根据权利要求2所述的基于图像语义分割的三级淋巴结构识别方法，其特征在于：所述多模态卷积神经网络模型的损失函数L为：
Figure QLYQS_41
其中，
Figure QLYQS_42
为多模态卷积神经网络模型的真实输出，/>
Figure QLYQS_43
为多模态卷积神经网络模型的预测输出，i为第i个像素点，I为像素点数量。/>
CN202310494161.XA 2023-05-05 2023-05-05 基于图像语义分割的三级淋巴结构识别方法和系统 Active CN116188474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310494161.XA CN116188474B (zh) 2023-05-05 2023-05-05 基于图像语义分割的三级淋巴结构识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310494161.XA CN116188474B (zh) 2023-05-05 2023-05-05 基于图像语义分割的三级淋巴结构识别方法和系统

Publications (2)

Publication Number Publication Date
CN116188474A true CN116188474A (zh) 2023-05-30
CN116188474B CN116188474B (zh) 2023-07-07

Family

ID=86446669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310494161.XA Active CN116188474B (zh) 2023-05-05 2023-05-05 基于图像语义分割的三级淋巴结构识别方法和系统

Country Status (1)

Country Link
CN (1) CN116188474B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238488A (zh) * 2023-11-16 2023-12-15 四川省肿瘤医院 一种基于图像分析的直肠癌放疗反应分析方法及系统
CN117405644A (zh) * 2023-12-14 2024-01-16 四川省肿瘤医院 基于多色免疫荧光的三级淋巴结构成熟度识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN109785310A (zh) * 2019-01-11 2019-05-21 南京信息工程大学 一种基于乳腺淋巴结全景图像计算的自动分期系统
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN113316823A (zh) * 2018-09-29 2021-08-27 豪夫迈·罗氏有限公司 基于多模态机器学习的临床预测器
CN115222992A (zh) * 2022-08-05 2022-10-21 中国科学院自动化研究所 基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法
WO2022251400A1 (en) * 2021-05-26 2022-12-01 Genentech, Inc. Detecting tertiary lymphoid structures in digital pathology images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN113316823A (zh) * 2018-09-29 2021-08-27 豪夫迈·罗氏有限公司 基于多模态机器学习的临床预测器
CN109785310A (zh) * 2019-01-11 2019-05-21 南京信息工程大学 一种基于乳腺淋巴结全景图像计算的自动分期系统
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
WO2022251400A1 (en) * 2021-05-26 2022-12-01 Genentech, Inc. Detecting tertiary lymphoid structures in digital pathology images
CN115222992A (zh) * 2022-08-05 2022-10-21 中国科学院自动化研究所 基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANQING HU等: "A Multi-Modal Heterogeneous Graph Forest to Predict Lymph Node Metastasis of Non-Small Cell Lung Cancer", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, pages 1216 - 1224 *
TUAN D. PHAM等: "Deep Learning Of P73 Biomarker Expression In Rectal Cancer Patients", 《2019 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》, pages 1 - 8 *
王睿乔: "基于iOS手机客户端的病理图像分析软件", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》, no. 02, pages 059 - 140 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117238488A (zh) * 2023-11-16 2023-12-15 四川省肿瘤医院 一种基于图像分析的直肠癌放疗反应分析方法及系统
CN117238488B (zh) * 2023-11-16 2024-01-30 四川省肿瘤医院 一种基于图像分析的直肠癌放疗反应分析方法及系统
CN117405644A (zh) * 2023-12-14 2024-01-16 四川省肿瘤医院 基于多色免疫荧光的三级淋巴结构成熟度识别方法
CN117405644B (zh) * 2023-12-14 2024-02-09 四川省肿瘤医院 基于多色免疫荧光的三级淋巴结构成熟度识别方法

Also Published As

Publication number Publication date
CN116188474B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN116188474B (zh) 基于图像语义分割的三级淋巴结构识别方法和系统
US10650286B2 (en) Classifying medical images using deep convolution neural network (CNN) architecture
EP3480786A1 (en) Medical image object detection with dense feature pyramid network architecture in machine learning
CN110969245B (zh) 医学图像的目标检测模型训练方法和装置
Zheng et al. Machine learning based vesselness measurement for coronary artery segmentation in cardiac CT volumes
CN111563897B (zh) 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
CN109859184B (zh) 一种连续扫描乳腺超声图像的实时检测与决策融合方法
US20070110292A1 (en) System and method for computer aided detection via asymmetric cascade of sparse linear classifiers
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN109528230B (zh) 一种基于多级变换网络的乳腺肿瘤分割方法及装置
CN108510489B (zh) 一种基于深度学习的尘肺检测方法与系统
CN113516659A (zh) 一种基于深度学习的医学影像自动分割方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
Kong et al. Automated maxillofacial segmentation in panoramic dental x-ray images using an efficient encoder-decoder network
CN113139977B (zh) 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN111047608A (zh) 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
CN110895815A (zh) 一种基于深度学习的胸部x线气胸分割方法
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
CN116580198A (zh) 基于跨尺度交互式融合Transformer模型的医学图像实例分割方法
CN112530554B (zh) 一种扫描定位方法、装置、存储介质及电子设备
CN113469942B (zh) 一种ct图像病变检测方法
CN113298807A (zh) 一种计算机断层扫描图像处理方法及装置
CN115131280A (zh) 一种融合注意力机制的改进YOLO v4肺结节检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant