CN115222752B - 基于特征解耦的病理图像特征提取器训练方法及装置 - Google Patents

基于特征解耦的病理图像特征提取器训练方法及装置 Download PDF

Info

Publication number
CN115222752B
CN115222752B CN202211138097.3A CN202211138097A CN115222752B CN 115222752 B CN115222752 B CN 115222752B CN 202211138097 A CN202211138097 A CN 202211138097A CN 115222752 B CN115222752 B CN 115222752B
Authority
CN
China
Prior art keywords
image
domain
loss
adv
latent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211138097.3A
Other languages
English (en)
Other versions
CN115222752A (zh
Inventor
薛梦凡
陈怡达
黄海亮
朱闻韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211138097.3A priority Critical patent/CN115222752B/zh
Publication of CN115222752A publication Critical patent/CN115222752A/zh
Priority to JP2023006834A priority patent/JP7244974B1/ja
Application granted granted Critical
Publication of CN115222752B publication Critical patent/CN115222752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5288—Devices using data or image processing specially adapted for radiation diagnosis involving retrospective matching to a physiological signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于特征解耦的病理图像特征提取器训练方法及装置，该训练方法通过构建特征解耦网络，同时设置六个子损失函数对网络进行约束训练，其中特征解耦网络包含多个生成对抗网络，可以将病理图像解耦分解成颜色信息特征和组织结构信息特征，在保留纯净无杂质的组织结构信息的同时消除人为造成的染色差异对网络性能的负面影响。设置的损失函数最大程度的保证颜色编码器和组织结构编码器特征提取的针对性。训练获得的特征提取器可以覆盖不同病理图像的多个颜色域并引入不同域的颜色变化，适应来自不同中心的病理图像，具有更高的泛化性能。

Description

基于特征解耦的病理图像特征提取器训练方法及装置
技术领域
本发明涉及医疗图像处理技术领域以及人工智能领域，更具体的，涉及一种基于特征解耦的病理图像特征提取器训练方法及装置。
背景技术
正常组织细胞在各种因素的刺激下发生基因结构改变，引起不可逆的细胞形态和功能异常，成为癌细胞。癌细胞具有无限增值、可转化和易转移三大特点，正常细胞成为癌细胞后开始不可控的无限分裂繁殖并入侵周围正常组织，甚至经由体内循环系统或淋巴系统扩散到身体其他部位。早期癌症可以通过抗癌药物或者外科手术切除肿瘤的方式治疗，此时治愈率较高，对身体的负担较轻。然而，若放任癌症发展到中晚期甚至转移之后才确诊，治疗手段就变得非常有限，只能通过放疗、化疗等对身体毒副作用极强的治疗方法。因此，癌症的早期诊断是人类应对癌症最有效的武器。
目前，医生通常采用计算机断层扫描（CT）和病理诊断的方法进行癌症诊断。但是计算机断层扫描只能提供初步的诊断，组织病理诊断才是临床诊断的金标准。病理专家将疑似肿瘤部位切下来的组织制成切片后通过数字显微镜和计算机技术制成全视野数字病理图像（WSI），然后在电脑上观察全视野数字病理图像的细胞和细胞间形态来寻找病灶区域并给出诊断意见。但是目前国内具有资质的病理医生仅一万多名，且分布不均，普遍集中于较为发达的省份，中西部等较为落后的地区和省份面临病理医生严重匮乏的现象，无法满足患者的实际需求，这直接或间接地影响着中国十几亿人口的健康。此外，病理医生对全视野数字病理图像的人工诊断极度依赖医生的专业知识积累和工作经验，且医生的诊断结果受主观性的影响，不仅耗时还会因疲劳影响诊断结论。国际最新的研究成果表明，人工对苏木精-伊红（H＆E）染色的肿瘤细胞核统计分析容易产生误差，其中细胞核百分率统计超过评估高达45%。对同一肿瘤，不同的病理医生之间的诊断差异性在10%-95%动态范围变化，造成假阴性的诊断结果或者癌症亚型的误判，这种误诊、漏诊会直接影响临床的治疗手段，威胁患者的生命安全。
在大数据时代，算力的不断增强、开源医疗数据库的建立为人工智能技术在医疗领域的应用扫清了障碍。通过深度学习可以建立计算机辅助诊断系统，端到端的实现全视野数字病理图像的诊断，辅助医生提高诊断的效率和准确率。训练完成的深度学习模型采用相同的标准来检测全视野数字病理图像，避免了主观性的影响，减少病理学家的诊断分歧。
在制造全视野数字病理图像时，需要使用苏木精-伊红（H＆E）染色。然而，受到组织固定时间、染色剂配比、扫描仪等差异影响，不同的肿瘤中心的全视野数字病理图像之间存在较大的颜色差异，当数据量不充分时，网络在学习的过程中也会过度关注颜色的差异而忽略真正需要的组织纹理结构信息。目前，大多数学者采用颜色归一化的方法将所有图像的颜色分布与模板图像对齐。但是这种方法是双阶段的（two-stage），实际应用的过程需要先经过颜色归一化算法生成新的图像后再送入网络学习，在颜色归一化的过程中会引入额外的信息损失，不可避免的破坏原图像的组织结构信息，导致分类准确率的降低。此外，目前公开的医疗图像数据库并不包含病灶区域的标注，很难获得足够的带病灶标注的病理图像数据用于训练深度学习模型。因此，亟需一种无需额外的颜色归一化操作并可以在保留组织结构信息的同时避免颜色差异影响模型的病理图像特征提取器。
发明内容
本发明旨在解决现有基于深度学习的全视野数字病理图像分类方法都需要额外的颜色归一化流程导致的组织结构信息损失这一问题，提出了一种基于特征解耦的病理图像特征提取器训练方法及装置，训练获得的病理图像特征提取器无需额外的颜色归一化流程，在保留完善的组织结构信息的同时避免颜色差异对模型的影响。
为解决上述技术问题，本发明采用的技术方案如下：
一种基于特征解耦的病理图像特征提取器训练方法，该方法具体包括以下步骤：
构建训练数据集，所述训练数据集的每一样本包括两张基于病理图像分割获取的图像块；
构建用于特征提取器训练的特征解耦网络，所述特征解耦网络包括：
组织结构编码器E s ，用于依据输入的图像块编码获得组织结构信息特征；
颜色编码器E c ，用于依据输入的图像块编码获得颜色信息特征；
组织结构判别器D s ，用于判别输入的组织结构信息特征是否处于同一个域；
生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；
域判别器D，用于区分真实图像和生成的图像是否处于同一个域；
基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练优化特征解耦网络的参数，训练好的组织结构编码器即为病理图像特征提取器；所述损失函数L total 表示如下：
L total = -λ adv,s L adv,s -λ adv, domain L adv,domain +λ recon L recon +λ latent,s L latent,s +λ latent,c L latent,c +λ cc L cc
其中，L adv,s 表示组织结构对抗性损失，包括原始样本两张图像块x和y所属的域和组织结构判别器D s 判别的域之间的损失；
L adv,domain 表示域对抗损失，包括原始样本两张图像块x和y对应的X域的域对抗损失和Y域的域对抗损失；
L recon 表示每一原始样本两张图像块的自重建损失；
L latent,s 表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信息一致性损失；L latent,c 表示变换图像块与对应的原始样本图像块的颜色信息特征的颜色信息一致性损失；
所述变换图像块是通过交换样本中两张图像块的颜色信息特征后基于生成器G重新生成的；
L cc 表示变换图像块经过组织结构编码器E s 、颜色编码器E c 编码和生成器G重新生成的图像块与原始样本的图像块的循环一致性损失；
λ adv,s 、λ adv, domain 、λ recon 、λ latent,s 、λ latent,c 和λ cc 分别表示对应的损失的权重。
所述特征解耦网络的训练无需任何图像级、像素级或ROI级注释。所述小图像块的特征提取器即为特征解耦网络中的组织结构编码器E s ，可以在避免颜色信息的情况下提取小图像块中的组织结构信息。
进一步地，所述组织结构对抗性损失表示如下：
L adv,s (E s , D s ) = 𝔼 x [1/2log D s (E s (x)) + 1/2log(1-D s (E s (x)))] + 𝔼 y [1/2log D s (E s (y)) + 1/2log(1-D s (E s (y)))]
其中E s (∙)表示组织结构编码器E s 的输出，D s (∙)表示组织结构判别器D s 的输出，x和y表示每一样本的两张图像块；𝔼[∙]为数学期望。
进一步地，自重建损失L recon 、域对抗损失L adv,domain 、颜色信息一致性损失L latent,c 和组织结构信息一致性损失L latent,s 采用BCE损失函数或MSE损失函数。
进一步地，所述循环一致性损失L cc 表示如下：
L cc (E c , E s , G) = 𝔼 x,y [||G(E s (v), E c (u)) -x||1+||G(E s (u), E c (v))- y||1]
其中E s (∙)表示组织结构编码器E s 的输出，x和y表示每一样本的两张图像块；𝔼[∙]为数学期望，||∙||1表示计算L1范数；G(∙)表示生成器G的输出；E c (∙)表示颜色编码器E c 的输出；u和v表示变换图像块，表示如下：
u= G(E s (y), E c (x)), v= G(E s (x), E c (y))。
一种基于特征解耦的病理图像特征提取器训练装置，包括：
数据获取模块，用于构建训练数据集，所述训练数据集的每一样本包括两张基于病理图像分割获取的图像块；
特征解耦网络构建模块，用于构建用于特征提取器训练的特征解耦网络，所述特征解耦网络包括：
组织结构编码器E s ，用于依据输入的图像块编码获得组织结构信息特征；
颜色编码器E c ，用于依据输入的图像块编码获得颜色信息特征；
组织结构判别器D s ，用于判别输入的组织结构信息特征是否在同一个域中；
生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；
域判别器D，用于区分真实图像和生成的图像是否处于同一个域；
训练模块，用于基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练优化特征解耦网络的参数，训练好的组织结构编码器即为病理图像特征提取器；所述损失函数L total 表示如下：
L total = λ adv,s L adv,s -λ adv, domain L adv,domain +λ recon L recon +λ latent,s L latent,s +λ latent,c L latent,c +λ cc L cc
其中，L adv,s 表示组织结构对抗性损失，包括原始样本两张图像块x和y所属的域和组织结构判别器D s 判别的域之间的损失；
L adv,domain 表示域对抗损失，包括原始样本两张图像块x和y对应的X域的域对抗损失和Y域的域对抗损失；
L recon 表示每一原始样本两张图像块的自重建损失；
L latent,s 表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信息一致性损失；L latent,c 表示变换图像块与对应的原始样本图像块的颜色信息特征的颜色信息一致性损失；
所述变换图像块是通过交换样本中两张图像块的颜色信息特征后基于生成器G重新生成的；
L cc 表示变换图像块经过组织结构编码器E s 、颜色编码器E c 编码和生成器G重新生成的图像块与原始样本的图像块的循环一致性损失；
λ adv,s 、λ adv, domain 、λ recon 、λ latent,s 、λ latent,c 和λ cc 分别表示对应的损失的权重。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的一种基于特征解耦的病理图像特征提取器训练方法。
一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如上述的一种基于特征解耦的病理图像特征提取器训练方法。
一种病理图像分类系统，包括：
数据预处理单元，用于将待分类病理图像分割成多个图像块；
上述基于特征解耦的病理图像特征提取器训练方法训练获得的特征提取器，用于对每个图像块提取组织结构信息特征；
分类单元，用于基于特征提取器提取的每个图像块的组织结构信息特征进行分类获得待分类病理图像的分类结果。
进一步地，分类单元为训练好的多示例学习网络，所述多示例学习网络可以由注意力模块、聚合层和分类层组成，注意力模块用于根据每个小图像块对分类结果的重要程度赋予相应的注意力分数，聚合层用于将来自于同一张全视野数字病理图像的小图像块的组织结构信息向量聚合成slide级别的特征向量，分类层用于对slide级别的特征向量进行分类。
进一步地，所述多示例学习网络无需像素级或ROI级注释，仅需要全视野数字病理图像的类型标签。
进一步地，所述全视野数字病理图像为医学全视野数字病理图像。
与现有技术相比，本发明的有益成果是：
（1）本发明提出了一种包含多个生成对抗网络的特征解耦网络，该特征解耦网络可以在不使用任何配对数据的情况下进行训练，并将全视野数字病理图像解耦分解成颜色信息特征和组织结构信息特征，去除因染色剂配比、组织固定时间、扫描仪等人为因素造成的颜色差异信息，仅保留图像中更深层次的细胞和细胞间结构、形态学特征等与诊断相关的无杂质组织结构信息。此外，在训练的过程中覆盖了不同病理图像的多个域并引入了不同域的变化，可以适应来自不同中心的全视野数字病理图像，具有更强的泛化性能和更高的鲁棒性。
（2）本发明提出的特征解耦网络无需任何颜色归一化过程，避免了现有的基于颜色归一化的计算机辅助诊断方法造成的组织结构信息损失，可以最大程度的保留与诊断相关的组织结构信息，基于更加完整的组织结构信息特征进行全视野数字病理图像的分类具有更高的准确率。单阶段(one-stage)模型框架的辅助诊断具有更好的便利性。
（3）本发明提出的特征解耦网络的损失函数包括组织结构对抗性损失、自重建损失、域对抗损失、隐空间的颜色信息一致性损失、隐空间的组织结构信息一致性损失和循环一致性损失在内的六个损失函数对网络进行约束，最大程度上保证网络中的颜色编码器仅编码全视野数字病理图像的颜色信息特征，组织结构编码器仅编码对诊断相关的组织结构信息特征，保证了不同编码器特征提取的针对性，减少因杂质信息被编码对模型的负面影响，提高模型的分类性能。
（4）基于本发明特征提取器提取的特征信息进行分类的多示例分类网络无需块级或像素级标签，仅需图像级病种标签，且所需数据不限制特定病种，来自任何器官的全视野数字病理图像都可以参与训练，极大缓解了数据集的限制，减轻了数据收集与标注的工作量，具有一定的临床价值。
附图说明
图1为本发明特征解耦网络的网络结构及训练的流程图；
图2为本发明一种基于特征解耦的病理图像特征提取器训练装置的结构图；
图3为本发明电子设备的一种硬件结构图；
图4为本发明一种病理图像分类系统结构图；
图5为本发明一种病理图像分类系统的分类流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于特征解耦的病理图像特征提取器训练方法，通过该基于特征解耦的病理图像特征提取器训练方法可训练得到本发明实施例提供的新型的病理图像特征提取器，基于该病理图像特征提取器可直接从不同中心、不同处理条件获得的病理图像中提取到可靠性更高的组织结构信息特征，具体地，本发明基于特征解耦的病理图像特征提取器训练方法包括以下步骤：
步骤S1：构建训练数据集，所述训练数据集的每一样本包括两张基于病理图像分割获取的图像块。
其中，在分割获取图像块时，应过滤空白背景区域和天然空洞区域，仅保留病理组织区域；从病理组织区域中使用滑动窗口将其切割成大小一致的小图像块，图像块数据不含任何像素、补丁或ROI级标签，也无需进行颜色归一化操作。
步骤S2：构建用于特征提取器的特征解耦网络，参见图1，所述特征解耦网络主要包括：
组织结构编码器E s ，用于依据输入的图像块编码获得组织结构信息特征；
颜色编码器E c ，用于依据输入的图像块编码获得颜色信息特征；
组织结构判别器D s ，用于判别输入的组织结构信息特征是否在同一个域中；
生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；
域判别器D，用于区分真实图像和生成的图像。
步骤S3：基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练，具体地，参见图1，包括以下子步骤：
步骤S3.1：将每一样本的两个小图像块记为x,y，其中图像块x属于X域，图像块y属于Y域。分别送入组织结构编码器E s 和颜色编码器E c 进行特征解耦，得到对应的组织结构信息特征h s,x ，h s,y 和颜色信息特征h c,x ，h c,y 。其中，组织结构编码器E s 、颜色编码器E c 均为常规的编码器，主要由卷积层、残差块、全连接层等组成，示例性地，组织结构编码器E s 可以由三个卷积层和四个残差块组成，颜色编码器E c 由四个卷积层和一个全连接层组成。组织结构编码器E s 将图像映射到共享的组织结构域S，颜色编码器将图像映射到不同的颜色域，公式如下：
h s,x = E s (x), h c,x = E c (x), h s,y = E s (y), h c,y = E c (y)
式中，E s (∙)、E c (∙)分别表示组织结构编码器E s 和颜色编码器E c 的输出。
步骤S3.2：基于图像块x和图像块y组织结构信息特征h s,x ，h s,y 在同一个共享的组织结构域S中这一假设，使用组织结构判别器D s 判别h s,x ，h s,y 在同一个组织结构域S中。计算组织结构对抗性损失L adv,s ，示例性地，组织结构对抗性损失L adv,s 如下：
L adv,s (E s , D s ) = 𝔼 x [1/2log D s (E s (x)) + 1/2log(1-D s (E s (x)))] + 𝔼 y [1/2log D s (E s (y)) + 1/2log(1-D s (E s (y)))]
其中，𝔼[∙]为数学期望，D s (∙)表示组织结构判别器D s 的输出。
步骤S3.3：使用生成器G将基于图像块x提取获得的组织结构信息特征h s,x 和颜色信息特征h c,x 重新生成图像块x r ，将基于图像块y提取获得的组织结构信息特征h s,y 和颜色信息特征h c,y 重新生成图像块y r 。其中，生成器G可以为任一种常规的生成器，示例性地，生成器由四个残差块和三个小步幅卷积层组成。由于h s,x 和h c,x 来自同一图像块x，h s,y 和h c,y 来自同一图像块y，理论上重新生成的图像块x r 应与原图像块x相同，图像块y r 应与原图像块y相同。基于这一假设，计算每一原始样本两张图像块的自重建损失L recon ，自重建损失可以选取BCE损失、MSE损失等作为该损失函数。
步骤S3.4：通过交换样本中两张图像块的颜色信息特征，再使用生成器G，生成新的变换图像块，包括X域的图像块u和Y域的图像块v，公式如下：
u= G(E s (y), E c (x))= G(h s,y ,h c,x ), v= G(E s (x), E c (y))= G(h s,x ,h c,y )
其中，G(∙)表示生成器G的输出。
步骤S3.5：域判别器D致力于区分X和Y域中的真实的图像块（图像块x和图像块y）和生成的变换图像块（图像块u和图像块v），而生成器G则致力于尽量生成真实的图像块以“欺骗”域判别器D。计算域对抗损失L adv,domain ，可以选取BCE损失、MSE损失等作为该损失函数。
步骤S3.6：将图像块u和图像块v分别送入组织结构编码器E s 和颜色编码器E c 进行特征解耦，得到对应的组织结构信息特征h s,u ，h s,v 和颜色信息特征h c,u ，h c,v 。同样地，组织结构编码器E s 将图像映射到共享的组织结构域S，颜色编码器将图像映射到不同的颜色域，公式如下：
h s,u = E s (u), h c,u = E c (u), h s,v = E s (v), h c,v = E c (v)
由于图像块u和图像块v的组织结构信息特征h s,u ，h s,v 分别是由图像块y和图像块x经过两次组织结构编码器E s 和一次生成器G所得，图像块u和图像块v的颜色信息特征h c,u ，h c,v 分别是由图像块x和图像块y经过两次颜色编码器E c 和一次生成器G所得。理论上h c,u 和h c,v 应分别与h c,x 和h c,y 相同，h s,u 和h s,v 应分别与h s,y 和h s,x 相同。基于这一假设，可以由h c,u ，h c,v 和h c,x ，h c,y 计算隐空间的颜色信息一致性损失L latent,c ，由h s,u ，h s,v 和h s,y ，h s,x 计算隐空间的组织结构信息一致性损失L latent,s ，可以选取BCE损失作为隐空间的颜色信息一致性损失函数和组织结构信息一致性损失函数。
步骤S3.7：再交换两个变换图像块的颜色信息特征，并使用生成器G生成新的X域的图像块x cc 和Y域的图像块y cc ，公式如下：
x cc = G(h s,v ,h c,u ), y cc = G(h s,u ,h c,v )
在经过两个I2I转换后，生成的图像块x cc 和y cc 应与原始图像块x和y相同，为了强制执行此约束，构建循环一致性损失L cc ，示例性地，表示如下：
L cc (E c , E s , G) = 𝔼 x,y [||G(E s (v), E c (u)) -x||1+||G(E s (u), E c (v))- y||1]
其中，||∙||1表示计算L1范数。
综上，计算总损失函数L total ，具体公式为：
L total = -λ adv,s L adv,s -λ adv, domain L adv,domain +λ recon L recon +λ latent,s L latent,s +λ latent,c L latent,c +λ cc L cc
其中，λ adv,s 、λ adv, domain 、λ recon 、λ latent,s 、λ latent,c 和λ cc 分别表示对应的损失的权重，示例性地，可以设置λ adv,s =1，λ adv,domain =1，λ recon =10，λ latent,s =10，λ latent,c =10，λ cc =10。
使用随机梯度下降算法以最小化总损失函数为目标来优化网络参数，设置学习率（如0.0001），使用Adam作为优化器，当连续n（如30）轮迭代的损失都不再降低时停止训练，获得训练好的特征解耦网络；训练好的组织结构编码器即为病理图像特征提取器。
训练好的病理图像特征提取器能够去除与染色剂配比、组织固定时间、扫描仪等人为因素造成的颜色差异信息，仅保留并充分学习到图像中更深层次的细胞和细胞间结构、形态学特征等与诊断相关的无杂质组织结构信息；
与前述基于特征解耦的病理图像特征提取器训练方法的实施例相对应，本发明还提供了一种基于特征解耦的病理图像特征提取器训练装置的实施例。
参见图2，本发明实施例提供的一种基于特征解耦的病理图像特征提取器训练装置，包括：
数据获取模块，用于构建训练数据集，所述训练数据集的每一样本包括两张基于病理图像分割获取的图像块；
特征解耦网络构建模块，用于构建用于特征提取器训练的特征解耦网络，所述特征解耦网络包括：
组织结构编码器E s ，用于依据输入的图像块编码获得组织结构信息特征；
颜色编码器E c ，用于依据输入的图像块编码获得颜色信息特征；
组织结构判别器D s ，用于判别输入的组织结构信息特征是否在同一个域中；
生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；
域判别器D，用于区分真实图像和生成的图像是否处于同一个域；
训练模块，用于基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练优化特征解耦网络的参数，训练好的组织结构编码器即为病理图像特征提取器；所述损失函数L total 表示如下：
L total = λ adv,s L adv,s -λ adv, domain L adv,domain +λ recon L recon +λ latent,s L latent,s +λ latent,c L latent,c +λ cc L cc
其中，L adv,s 表示组织结构对抗性损失，包括原始样本两张图像块x和y所属的域和组织结构判别器D s 判别的域之间的损失；
L adv,domain 表示域对抗损失，包括两张原始样本两张图像块x和y对应的X域的域对抗损失和Y域的域对抗损失；
L recon 表示每一原始样本两张图像块的自重建损失；
L latent,s 表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信息一致性损失；L latent,c 表示变换图像块与对应的原始样本图像块的颜色信息特征的颜色信息一致性损失；
所述变换图像块是通过交换样本中两张图像块的颜色信息特征后基于生成器G重新生成的；
L cc 表示变换图像块经过组织结构编码器E s 、颜色编码器E c 编码和生成器G重新生成的图像块与原始样本的图像块的循环一致性损失；
λ adv,s 、λ adv, domain 、λ recon 、λ latent,s 、λ latent,c 和λ cc 分别表示对应的损失的权重。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种基于特征解耦的病理图像特征提取器训练方法。图3所示，为本发明电子设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中电子设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述电子设备中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于特征解耦的病理图像特征提取器训练方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡( Smart Media Card,SMC ) 、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
进一步地，基于训练好的特征提取器提取的组织结构信息特征，能够得到泛化性能更强的病理图像分类系统，本实施例提供的一种病理图像分类系统，如图4所示，包括：
数据预处理单元，用于将待分类病理图像分割成多个图像块；
前述实施例所述基于特征解耦的病理图像特征提取器训练方法训练获得的特征提取器，用于对每个图像块提取组织结构信息特征；
分类单元，用于基于特征提取器提取的每个图像块的组织结构信息特征进行分类获得待分类病理图像的分类结果。
示例性地，以下以肺癌亚型诊断（肺腺癌、肺鳞癌的诊断）为目的的全病理图像分类与病灶检测为例，结合具体实施方法对本发明病理图像分类系统的构建及应用作进一步详细说明，其中分类单元采用多示例分类网络，基于获取的训练数据集进行训练获得。具体地，本发明病理图像分类系统的构建主要为多示例分类网络的训练，包括以下步骤：
步骤S1：构建肺癌全视野数字病理图像数据集，从开源数据集TCGA和TCIA中收集3000张肺癌全视野数字病理图像，其中肺腺癌1524张，肺鳞癌1476张，保持两个类别的数据量分布均匀。对图像进行标注，其中肺腺癌的WSI标记为0，肺鳞癌的WSI标记为1，所有数据不含任何像素、补丁或ROI级标签。
步骤S2：对所有全视野数字病理图像进行预处理，包括提取病理组织区域，并使用滑动窗口将其切割成尺寸为256×256的小图像块，记录每一小图像块所属的病理图像编号并保存每个小图像块的坐标。
步骤S3：将训练好的特征解耦网络中的组织结构编码器E s 作为小图像块的特征提取器，提取所有小图像块的组织结构信息特征h s,k ，k=1 ,…, K，K表示一张全视野数字病理图像分割得到的小图像块的数量。
步骤S4：训练基于门控注意力的多示例分类网络，所述多示例分类网络包括门控注意力模块、聚合层和分类层，具体地：
步骤S4.1：将所有小图像块的组织结构信息特征h s,k 送入门控注意力模块，得到每一张小图像块的注意力分数a k :
Figure 882824DEST_PATH_IMAGE001
其中，W a,1,…, W a,4，P a 为全连接层的可调参数，σ(∙)表示sigmoid激活函数，tanh(∙)为双曲正切激活函数，⊙表示两个矩阵逐元素相乘。
步骤S4.2：输入聚合层，将注意力分数作为对应的权重，计算所有组织结构信息特征的加权和，聚合生成slide级别的特征g slide：
Figure 268806DEST_PATH_IMAGE002
步骤S4.3：将slide级别的特征g slide 送入分类层，得到预测分类结果prob，由分类层输出的预测分类结果和真实标签的二值交叉熵损失函数：
L=-f log(prob)-(1-f )log(1-prob)
其中，f ∈{0,1}表示病理图像的真实标签，在本实施例中，0表示肺腺癌，1表示肺鳞癌。
步骤S4.4：使用随机梯度下降算法进行梯度的反向传播，以最小化损失函数为目标来优化网络参数，本实施例采用Adam优化器，初始学习率设置为0.0001，同时，使用早停法来及时更新并保存参数，运用十折交叉验证确定最佳模型，获得训练好的多实例分类网络。
应用本发明的病理图像分类系统进行病理图像分类的流程参见图5，具体包括以下步骤：
步骤S1：获取患者的肺部全视野数字病理图像；
步骤S2：利用数据预处理单元使用训练时对每幅全视野数字病理图像进行预处理的方法进行预处理获得K张小图像块；
步骤S3：使用训练好的特征提取器，提取所有小图像块的组织结构信息特征h s,k ；
步骤S4：输入至训练好的多示例分类网络获得分类结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种基于特征解耦的病理图像特征提取器训练方法，其特征在于，该方法具体包括以下步骤：
构建训练数据集，所述训练数据集的每一样本包括两个基于病理图像分割获取的图像块；
构建用于特征提取器训练的特征解耦网络，所述特征解耦网络包括：
组织结构编码器E s ，用于依据输入的图像块编码获得组织结构信息特征；
颜色编码器E c ，用于依据输入的图像块编码获得颜色信息特征；
组织结构判别器D s ，用于判别输入的组织结构信息特征是否在同一个域中；
生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；
域判别器D，用于区分真实图像和生成的图像是否处于同一个域；
基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练优化特征解耦网络的参数，训练好的组织结构编码器即为病理图像特征提取器；所述损失函数L total 表示如下：
L total = -λ adv,s L adv,s -λ adv, domain L adv,domain +λ recon L recon +λ latent,s L latent,s +λ latent,c L latent,c +λ cc L cc
其中，L adv,s 表示组织结构对抗性损失，包括组织结构编码器E s 和组织结构判别器D s 的对抗损失；
L adv,domain 表示域对抗损失，包括原始样本两个图像块x和y对应的X域的域对抗损失和Y域的域对抗损失；
L recon 表示每一原始样本两个图像块的自重建损失；
L latent,s 表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信息一致性损失；L latent,c 表示变换图像块与对应的原始样本图像块的颜色信息特征的颜色信息一致性损失；
所述变换图像块是通过交换样本中两个图像块的颜色信息特征后基于生成器G重新生成的；
L cc 表示变换图像块经过组织结构编码器E s 、颜色编码器E c 编码和生成器G重新生成的图像块与原始样本的图像块的循环一致性损失；
λ adv,s 、λ adv, domain 、λ recon 、λ latent,s 、λ latent,c 和λ cc 分别表示对应的损失的权重。
2.根据权利要求1所述的方法，其特征在于，所述组织结构对抗性损失表示如下：
L adv,s (E s , D s ) = 𝔼 x [1/2log D s (E s (x)) + 1/2log(1-D s (E s (x)))] + 𝔼 y [1/2log D s (E s (y)) + 1/2log(1-D s (E s (y)))]
其中E s (∙)表示组织结构编码器E s 的输出，D s (∙)表示组织结构判别器D s 的输出，x和y表示每一样本的两个图像块；𝔼[∙]为数学期望。
3.根据权利要求1所述的方法，其特征在于，自重建损失L recon 、域对抗损失L adv,domain 、颜色信息一致性损失L latent,c 和组织结构信息一致性损失L latent,s 采用BCE损失函数或MSE损失函数。
4.根据权利要求1所述的方法，其特征在于，所述循环一致性损失L cc 表示如下：
L cc (E c , E s , G) = 𝔼 x,y [||G(E s (v), E c (u)) -x||1+||G(E s (u), E c (v))- y||1]
其中E s (∙)表示组织结构编码器E s 的输出，x和y表示每一样本的两个图像块；𝔼[∙]为数学期望，||∙||1表示计算L1范数；G(∙)表示生成器G的输出；E c (∙)表示颜色编码器E c 的输出；u和v表示变换图像块，表示如下：
u= G(E s (y), E c (x)), v= G(E s (x), E c (y))。
5.一种基于特征解耦的病理图像特征提取器训练装置，其特征在于，包括：
数据获取模块，用于构建训练数据集，所述训练数据集的每一样本包括两个基于病理图像分割获取的图像块；
特征解耦网络构建模块，用于构建用于特征提取器训练的特征解耦网络，所述特征解耦网络包括：
组织结构编码器E s ，用于依据输入的图像块编码获得组织结构信息特征；
颜色编码器E c ，用于依据输入的图像块编码获得颜色信息特征；
组织结构判别器D s ，用于判别输入的组织结构信息特征是否在同一个域中；
生成器G，用于将输入的组织结构信息特征和颜色信息特征重新生成图像块；
域判别器D，用于区分真实图像和生成的图像是否处于同一个域；
训练模块，用于基于训练数据集，将每一样本作为特征解耦网络的输入，以最小化损失函数为目标进行训练优化特征解耦网络的参数，训练好的组织结构编码器即为病理图像特征提取器；所述损失函数L total 表示如下：
L total = -λ adv,s L adv,s -λ adv, domain L adv,domain +λ recon L recon +λ latent,s L latent,s +λ latent,c L latent,c +λ cc L cc
其中，L adv,s 表示组织结构对抗性损失，包括原始样本两个图像块x和y所属的域和组织结构判别器D s 判别的域之间的损失；
L adv,domain 表示域对抗损失，包括原始样本两个图像块x和y对应的X域的域对抗损失和Y域的域对抗损失；
L recon 表示每一原始样本两个图像块的自重建损失；
L latent,s 表示变换图像块与对应的原始样本图像块的组织结构信息特征的组织结构信息一致性损失；L latent,c 表示变换图像块与对应的原始样本图像块的颜色信息特征的颜色信息一致性损失；
所述变换图像块是通过交换样本中两个图像块的颜色信息特征后基于生成器G重新生成的；
L cc 表示变换图像块经过组织结构编码器E s 、颜色编码器E c 编码和生成器G重新生成的图像块与原始样本的图像块的循环一致性损失；
λ adv,s 、λ adv, domain 、λ recon 、λ latent,s 、λ latent,c 和λ cc 分别表示对应的损失的权重。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述的一种基于特征解耦的病理图像特征提取器训练方法。
7.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-4任一项所述的一种基于特征解耦的病理图像特征提取器训练方法。
8.一种病理图像分类系统，其特征在于，包括：
数据预处理单元，用于将待分类病理图像分割成多个图像块；
权利要求1-4任一项所述基于特征解耦的病理图像特征提取器训练方法训练获得的特征提取器，用于对每个图像块提取组织结构信息特征；
分类单元，用于基于特征提取器提取的每个图像块的组织结构信息特征进行分类获得待分类病理图像的分类结果。
CN202211138097.3A 2022-09-19 2022-09-19 基于特征解耦的病理图像特征提取器训练方法及装置 Active CN115222752B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211138097.3A CN115222752B (zh) 2022-09-19 2022-09-19 基于特征解耦的病理图像特征提取器训练方法及装置
JP2023006834A JP7244974B1 (ja) 2022-09-19 2023-01-19 特徴分離に基づく病理画像特徴抽出器の訓練方法、訓練装置、電子機器、記憶媒体及び病理画像分類システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211138097.3A CN115222752B (zh) 2022-09-19 2022-09-19 基于特征解耦的病理图像特征提取器训练方法及装置

Publications (2)

Publication Number Publication Date
CN115222752A CN115222752A (zh) 2022-10-21
CN115222752B true CN115222752B (zh) 2023-01-24

Family

ID=83617646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211138097.3A Active CN115222752B (zh) 2022-09-19 2022-09-19 基于特征解耦的病理图像特征提取器训练方法及装置

Country Status (2)

Country Link
JP (1) JP7244974B1 (zh)
CN (1) CN115222752B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116741347B (zh) * 2023-05-12 2024-06-04 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN116883397B (zh) * 2023-09-06 2023-12-08 佳木斯大学 一种应用于解剖病理学的自动精益方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415184A (zh) * 2019-06-28 2019-11-05 南开大学 一种基于正交元空间的多模态图像增强方法
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
CN112863529A (zh) * 2020-12-31 2021-05-28 平安科技（深圳）有限公司 基于对抗学习的说话人语音转换方法及相关设备
CN113449786A (zh) * 2021-06-22 2021-09-28 华东师范大学 基于风格迁移的强化学习对抗防御方法
CN114299324A (zh) * 2021-12-01 2022-04-08 万达信息股份有限公司 一种基于多尺度域对抗网络的病理图像分类方法及系统
CN114638767A (zh) * 2022-05-18 2022-06-17 山东师范大学 基于生成对抗网络的腹腔镜影像除烟方法
CN115053264A (zh) * 2020-09-11 2022-09-13 辉达公司 使用神经网络标记图像

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6979278B2 (ja) 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
JP7344149B2 (ja) * 2020-02-07 2023-09-13 キオクシア株式会社 最適化装置及び最適化方法
JP7413295B2 (ja) 2021-02-05 2024-01-15 株式会社日立製作所 画像処理装置、画像処理方法及びプログラム
CN113361489B (zh) * 2021-07-09 2022-09-16 重庆理工大学 基于解耦表示的人脸正面化模型构建方法和训练方法
CN114898159B (zh) * 2022-06-01 2024-03-08 西北工业大学 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415184A (zh) * 2019-06-28 2019-11-05 南开大学 一种基于正交元空间的多模态图像增强方法
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
CN115053264A (zh) * 2020-09-11 2022-09-13 辉达公司 使用神经网络标记图像
CN112863529A (zh) * 2020-12-31 2021-05-28 平安科技（深圳）有限公司 基于对抗学习的说话人语音转换方法及相关设备
CN113449786A (zh) * 2021-06-22 2021-09-28 华东师范大学 基于风格迁移的强化学习对抗防御方法
CN114299324A (zh) * 2021-12-01 2022-04-08 万达信息股份有限公司 一种基于多尺度域对抗网络的病理图像分类方法及系统
CN114638767A (zh) * 2022-05-18 2022-06-17 山东师范大学 基于生成对抗网络的腹腔镜影像除烟方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Dual Encoder-Decoder Based Generative Adversarial Networks for Disentangled Facial Representation Learning》;Cong Hu等;《IEEE Access》;20201231;第8卷;第130159-130171页 *
《生成对抗式网络及其医学影像应用研究综述》;张颖麟等;《中国图象图形学报》;20220331;第27卷(第3期);第687-703页 *
《解耦表征学习综述》;文载道等;《自动化学报》;20220228;第48卷(第2期);第351-374页 *

Also Published As

Publication number Publication date
JP7244974B1 (ja) 2023-03-23
JP2024043567A (ja) 2024-04-01
CN115222752A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN115222752B (zh) 基于特征解耦的病理图像特征提取器训练方法及装置
Sajja et al. Lung cancer detection based on CT scan images by using deep transfer learning
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN113724880A (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
Liao et al. A segmentation method for lung parenchyma image sequences based on superpixels and a self-generating neural forest
CN111882538A (zh) 一种区分肺结核与肿瘤信息的处理系统及信息处理方法
Liu et al. Gastric pathology image recognition based on deep residual networks
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
Song et al. Adaptive fast marching method for automatic liver segmentation from CT images
CN116681958A (zh) 基于机器学习的胎儿肺脏超声影像成熟度预测方法
Visalaxi et al. Automated prediction of endometriosis using deep learning
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
Wen et al. Pulmonary nodule detection based on convolutional block attention module
CN111275103A (zh) 多视角信息协作的肾脏良恶性肿瘤分类方法
Hu et al. A Hybrid Convolutional Neural Network Model Based on Different Evolution for Medical Image Classification.
Yi et al. Multi-label softmax networks for pulmonary nodule classification using unbalanced and dependent categories
Yoon et al. Classification of radiographic lung pattern based on texture analysis and machine learning
CN115274119B (zh) 一种融合多影像组学特征的免疫治疗预测模型的构建方法
CN115440386B (zh) 基于加权多病灶的影像组学特征预测晚期癌症患者免疫治疗效果的方法及设备
CN110428405A (zh) 一种检测生物组织图像中肿块的方法、相应设备及介质
Balannolla et al. Detection and Classification of Lung Carcinoma using CT scans
CN115100155A (zh) 放射性肺炎预测模型的建立方法与系统
CN115472258A (zh) 乳腺癌新辅助化疗后mri影像生成及疗效预测方法
CN115222651A (zh) 一种基于改进Mask R-CNN的肺结节检测系统
Nugroho et al. An automated detection and segmentation of thyroid nodules using Res-UNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant