CN113408595B - 病理图像处理的方法、装置、电子设备及可读存储介质 - Google Patents

病理图像处理的方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113408595B
CN113408595B CN202110642832.3A CN202110642832A CN113408595B CN 113408595 B CN113408595 B CN 113408595B CN 202110642832 A CN202110642832 A CN 202110642832A CN 113408595 B CN113408595 B CN 113408595B
Authority
CN
China
Prior art keywords
nodule
information
category
thyroid nodule
thyroid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110642832.3A
Other languages
English (en)
Other versions
CN113408595A (zh
Inventor
杜强
王晓勇
牟晓勇
聂方兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiao Bai Century Network Technology Co ltd
Original Assignee
Beijing Xiao Bai Century Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiao Bai Century Network Technology Co ltd filed Critical Beijing Xiao Bai Century Network Technology Co ltd
Priority to CN202110642832.3A priority Critical patent/CN113408595B/zh
Publication of CN113408595A publication Critical patent/CN113408595A/zh
Application granted granted Critical
Publication of CN113408595B publication Critical patent/CN113408595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种病理图像处理的方法、装置、电子设备及可读存储介质，包括：对待处理的病理图像进行目标检测，得到目标检测结果，然后将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息，然后基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息，然后根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。本申请可以得到甲状腺结节的更为精细的特征，以辅助医生进行准确的诊断。

Description

病理图像处理的方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种病理图像处理的方法、装置、电子设备及可读存储介质。
背景技术
深度学习技术近年来发展迅速，其在医疗影像领域的检测识别方面也表现出巨大的应用潜力，例如，可以对包含甲状腺结节的病理影像进行良性和恶性的区分，或者对包含甲状腺结节的病理影像进行甲状腺影像报告与数据（Thyroid imaging reporting anddata，Tirad）级别区分。
在相关技术中，存在一些方式可以对包含甲状腺结节的病理影像进行良性和恶性的区别，或者对包含甲状腺结节的病理影像进行Tirad区别，例如，可以通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者，通过深度学习的方式对包含甲状腺结节的病理影像进行Tirad级别区分。
但是，在相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分，需要依赖提取的特征的精确度以及模型训练的准确度，并且在相关技术中通过深度学习的方式对包含甲状腺结节的病理影像的区分仅是比较粗粒度的区分，因此，从何基于包含甲状腺结节的病理影像得到更为精细的特征，以辅助医生进行准确诊断成为一个重要问题。
发明内容
本申请目的是提供一种病理图像处理的方法、装置、电子设备及可读存储介质，用于解决以上至少一项技术问题。
本申请的上述申请目的一是通过以下技术方案得以实现的：
第一方面，提供了一种病理图像处理的方法，包括：
对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息；
将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。
在一种可能的实现方式，对待处理的病理图像进行目标检测，得到目标检测结果，包括：
通过掩膜递归卷积神经网络Mask-RCNN模型对待处理的病理图像进行目标检测，得到所目标检测结果。
在另一种可能的实现方式中，将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息，包括：
将目标检测结果通过递归注意力卷积神经网络RA-CNN模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息。
在另一种可能的实现方式中，基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息，包括：
确定甲状腺结节信息中包含的各个像素分别对应的像素值；
基于甲状腺结节信息中包含的各个像素分别对应的像素值与成分分类阈值的关系，确定甲状腺结节信息所对应的结节成分所属类别的第三概率信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
在另一种可能的实现方式中，基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息，包括：
确定第一概率信息和第三概率信息分别对应的权重信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息、甲状腺结节信息所对应的结节成分所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
在另一种可能的实现方式中，该方法还包括：
获取训练样本，训练样本包括：多个甲状腺结节图像；
对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
基于数据增强处理后的训练样本对细粒度分类模型进行训练。
在另一种可能的实现方式中，根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节所对应的甲状腺结节成分所属类别，之后还包括：
基于目标检测结果和甲状腺结节所对应的甲状腺结节成分所属类别，对细粒度分类模型进行训练。
第二方面，提供了一种病理图像处理的装置，包括:
目标检测模块，用于对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息；
成分识别处理模块，用于将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息；
第一确定模块，用于基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
第二确定模块，用于根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。
在一种可能的实现方式中，目标检测模块在对待处理的病理图像进行目标检测，得到目标检测结果时，具体用于：
通过掩膜递归卷积神经网络Mask-RCNN模型对待处理的病理图像进行目标检测，得到所目标检测结果。
在另一种可能的实现方式中，成分识别处理模块在将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息时，具体用于：
将目标检测结果通过递归注意力卷积神经网络RA-CNN模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息。
在另一种可能的实现方式中，第一确定模块在基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息时，具体用于：
确定甲状腺结节信息中包含的各个像素分别对应的像素值；
基于甲状腺结节信息中包含的各个像素分别对应的像素值与成分分类阈值的关系，确定甲状腺结节信息所对应的结节成分所属类别的第三概率信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
在另一种可能的实现方式中，第一确定模块在基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息时，具体用于：
确定第一概率信息和第三概率信息分别对应的权重信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息、甲状腺结节信息所对应的结节成分所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
在另一种可能的实现方式中，该装置还包括：获取模块、数据增强处理模块，以及第一训练模块，其中，
获取模块，用于获取训练样本，训练样本包括：多个甲状腺结节图像；
数据增强处理模块，用于对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
第一训练模块，用于基于数据增强处理后的训练样本对细粒度分类模型进行训练。
在另一种可能的实现方式中，该装置还包括：第二训练模块，其中，
第二训练模块，用于基于目标检测结果和甲状腺结节所对应的甲状腺结节成分所属类别，对细粒度分类模型进行训练。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面中任一可能的实现方式所示的病理图像处理的方法对应的操作。
第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面中任一可能的实现方式所示的病理图像处理的方法。
本申请提供了一种病理图像处理的方法、装置、电子设备及可读存储介质，与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息，然后基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息，然后根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。也即将病理图像通过上述方式可以得到甲状腺结节中成分所属类别，从而可以得到更为精细的特征，以辅助医生进行准确诊断。
附图说明
图1是本申请实施例的一种病理图像处理的方法流程示意图；
图2是本申请实施例的一种病理图像处理的装置结构示意图；
图3为本申请实施例的一种病理图像处理的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
甲状腺结节是甲状腺组织中非常常见的发现，可能预示着甲状腺癌。在美国，欧洲和日本，大约有2％至7％的人口被诊断出他们。在早期发现时，甲状腺癌是一种可以治愈的疾病，因此，准确区分恶性和良性甲状腺结节对于确保正确管理恶性结节是必要的。高分辨率超声技术作为术前诊断工具的出现使获得有关甲状腺结构的详细信息成为可能。如今，在当代的超声系统中，可以定位，测量和检查甲状腺结节，以确定是否需要手术干预。除了回声和结节内有微钙化外，其他一些超声特征（例如结节的形状和轮廓）也可以用作恶性肿瘤的危险因素标准。边界不清或形状不规则可能提示恶性肿瘤，而圆形区域则表示良性病变。尽管其无创性，低成本和易于使用的实时应用，超声成像仍遭受称为斑点的颗粒状图案的困扰。这是各种相长和相消干涉现象的结果，这些现象在组织散射体之间的距离小于系统的轴向分辨率极限时发生。它会导致解剖结构变形以及图像强度分布的随机波动。如果图像因斑点而损坏，即使反射组织完全均匀，也不会存在强度分布大致恒定的区域。此外，某些超声属性可能会导致超声图像产生误导效应。混响，阴影，折射，旁瓣和光栅瓣会降低超声图像的分辨率，从而降低其整体质量。由于超声成像的复杂性而产生的上述问题构成了精确的边界检测，即使对于具有丰富专业知识的医生而言，这也是一项艰巨的任务。甲状腺结节的正确边界估计可能在超声甲状腺成像应用中起关键作用，例如根据结节的形状，大小和位置进行分类。此外，它可以在细针穿刺活检过程中帮助准确放置针头。在前列腺，肾脏，心脏解剖结构，卵巢，胎儿头部和乳腺病变的超声成像中已采用多种计算机分割方法。根据对感兴趣区域进行细分所选择的策略，所有这些算法都可以分为五种类型。基于边缘检测，纹理或特征分析的分割方法，可变形模型和活动模型，基于上述算法组合优化结果的方法以及基于多尺度算法的方法，这些方法可将不同分辨率的超声图像可视化。基于边缘的分割算法可检测超声图像内灰度值的任何突然变化。对于最终轮廓提取，执行附加过程以选择和链接边缘像素。在纹理分析中，不是试图在超声图像中定位边缘，而是使用了几个纹理特征来进行区域表征。这些特征通常用作分类或聚类算法的输入，以将一组像素区分为正确或错误区域。基于模型的分割方法要么使用具有命名活动轮廓和变形模型的先验知识，要么使用不使用任何有关感兴趣区域的先验信息的统计模型。多尺度方法将输入的超声图像分解为几个不同级别的分辨率，以便获取所有可用于有效的细分。一般而言，超声图像质量差，再加上超声性质所带来的缺点，限制了过去十年提出的各种分割方法的性能。直到深度学习的崛起。
传统机器学习方法的甲状腺癌自动识别往往分为两步走，首先提取特征，然后使用分类器进行分类。分类器的好坏严重依赖提取特征的优劣。深度学习取代了人工抽取特征的过程，随后在图像识别领域获得统治地位，由于其在图像识别、定位、分割等各种视觉任务上取得的出色表现，加上超声数据量的增多，渐渐的在超声自动领域也不断应用。
发明人在研究中发现，相关技术中的深度学习方法主要集中在甲状腺结节良恶性、Tirad等粗分类自动识别，对于结节成分等超声影像特征细粒度上少见研究，然而这些细粒度特征会更好的确定出超声图像中的结节信息，并且这些更精细的特征会更好的提供信息帮助医生进行诊断。
本申请实施例提供了一种病理图像处理的方法，通过对包含甲状腺结节图像基于人工智能中的机器学习/深度学习进行成分识别处理，以确定病理图像中包含的甲状腺结节的成分信息。
其中，人工智能(ArtificialIntelligence ,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
而机器学习(MachineLearning ,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供一种病理图像处理的方法，如图1所示，在本申请实施例中提供的病理图像处理的方法可以由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。该方法包括：
步骤S101、对待处理的病理图像进行目标检测，得到目标检测结果。
其中，目标检测结果中包含甲状腺结节信息。
对于本申请实施例，待处理的病理图像中包含甲状腺结节信息。在本申请实施例中，待处理的病理图像可以包含超声影响，也可以包含计算机断层扫描 (ComputedTomography，CT)影像图等，还可以包含其他的医疗影像图，在本申请实施例中并不对病理图像的类型进行限定。
对于本申请实施例，由于包含甲状腺结节信息的待处理的病理图像中还包含其他组织区域，例如，皮肤组织区域、颈动脉以及血管等，因此为了更准确地对甲状腺结节的成分进行分类以及进一步地降低甲状腺结节细粒度分类模型的复杂度，需要在待处理的病理图像中定位出甲状腺结节区域。在本申请实施例中，通过目标检测的方式，对待处理的病理图像进行目标检测，以检测出待处理的病理图像中包含甲状腺结节的图像区域（可以称为：甲状腺结节图像），具体的检测方式详见下述实施例。
步骤S102、将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息。
对于本申请实施例，甲状腺结节信息所对应的结节成分所属类别可以包含：囊性成分类别和实性成分类别。也就是说，在本申请实施例中，将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到目标检测结果区域中的甲状腺结节的成分属于囊性类别的第一概率信息或者得到目标检测结果区域中的甲状腺结节的成分属于实性类别的第一概率信息。
步骤S103、基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
对于本申请实施例，甲状腺结节信息中包含的各个像素分别对应的像素信息可以像素值信息，也可以是和像素相关的其他信息。在本申请实施例中并不对此进行限定。
进一步地，在本申请实施例中，在步骤S103之前还可以包括：确定目标检测结果中包含的甲状腺结节区域中各个像素分别对应的像素信息。其中，确定目标检测结果中包含的甲状腺结节区域中各个像素分别对应的像素信息的步骤，可以在步骤S102之前执行，也可以在步骤S102之后执行，还可以和步骤S102同时执行，具体的执行步骤在本申请实施例中并不做限定。
步骤S104、根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。
对于本申请实施例，在通过上述实施例确定出待处理的病理图像包含的甲状腺结节信息所对应的结节成分所属类别的第二概率信息之后，基于得到的第二概率信息确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。
本申请实施例提供了一种病理图像处理的方法，与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请实施例中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息，然后基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息，然后根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。也即将病理图像通过上述方式可以得到甲状腺结节中成分所属类别，从而可以得到更为精细的特征，以辅助医生进行准确诊断。
本申请实施例的一种可能的实现方式，步骤S101具体可以包括：通过掩膜递归卷积神经网络（Mask-Recycle Convolutional Neural Network，Mask-RCNN）模型对待处理的病理图像进行目标检测，得到目标检测结果。
对于本申请实施例，Mask-RCNN模型是Faster RCNN模型的扩展，对于Faster RCNN的每个提取先验框都要使用FCN进行语义分割，在完成检测工作的同时完成分割工作；另外，由于感兴趣区域池化处理（Region Of Interest Pooling，RoI Pooling），并不是按照像素一一对齐的，RoI Align比RoI Pooling有着更高的精度，Mask-RCNN模中还引入了RoIAlign代替Faster RCNN模型中的RoI Pooling；此外，Mask-RCNN加入了FPN网络结构，FPN采用了金字塔特征图的形式，FPN不仅使用了视觉几何学小组（Visual Geometry Group，VGG）模型中层次深的特征图，并且也提取浅层的特征图。并通过自底向上，自顶向下以及横向连接将这些特征图高效的整合起来，获取多尺度特征图信息，大幅提升检测精度。在本申请实施例中，ROI Align操作包括：取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值,从而将整个特征聚集过程转化为一个连续的操作，值得注意的是，在具体的算法操作上，ROI Align并不是简单地补充出候选区域边界上的坐标点，然后将这些坐标点进行池化，而是遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成k×k个单元，每个单元的边界也不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
具体地，在本申请实施例中，Mask-RCNN通过在 Faster-RCNN 的基础上添加一个分支网络，在实现目标检测的同时，把目标像素分割出来。在本申请实施例中，Mask-RCNN模型可以包括：特征金字塔（feature pyramid networks，FPN）网络、区域生成网络(RegionProposal Network，RPN)网络、ROI Align层、全卷积层（Fully Convolution Nets）。
进一步地，步骤S101中对待处理的病理图像进行目标检测，得到目标检测结果的方式可以通过本申请实施例中介绍的方式，还可以通过相关技术中介绍的方式得到目标检测结果。在本申请实施例中并不限定。
本申请实施例的另一种可能的实现方式，步骤S102具体可以包括：将目标检测结果通过递归注意力卷积神经网络（Recurrent Attention Convolutional NeuralNetwork，RA-CNN）模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息。
对于本申请实施例，RA-CNN是一个叠加网络，其输入为从全图像到多尺度的细粒度局部区域。在网络结构设计上主要包含3个不同尺度子网络，每个尺度子网络的网络结构都是一样的，只是网络参数不一样，在每个尺度子网络中包含两种类型的网络：分类网络和注意力建议子网络（Attention Proposal sub-network，APN）网络。输入图像通过分类网络提取特征并进行分类，然后APN网络基于提取到的特征进行训练得到注意力区域信息，再将该区域剪裁出来并放大，再作为第二个尺度网络的输入，这样重复进行3次就能得到3个尺度网络的输出结果，通过融合不同尺度网络的结果，得到最终输出结果。在本申请实施例中，将目标识别结果（甲状腺结节区域图像）通过第一个尺度网络中的分类网络提取特征并进行分类，然后APN网络基于提取的特征得到注意力区域信息，再将该注意力区域裁剪出来并放大，再作为第二个尺度网络的输入，通过第二尺度网络的分类网络提取特征并进行分类，然后APN网络就提取到的特征，得到注意力区域信息，并将该区域裁剪出来并放大，作为第三个尺度网络的输入，通过第三个尺度网络的分类网络提取特征并进行分类，然后APN网络基于提取的特征得到注意力区域信息，再将该注意力区域裁剪出来并放大，然后把每个分类子网络的最后的全连接层堆叠起来，然后将它们连接到一个全连接层，随后通过softmax层，进行分类，得到分类结果，也即甲状腺结节信息所对应的结节成分所属类别的第一概率信息（甲状腺结节为囊性的第一概率信息和/或甲状腺结节为实性的第一概率信息）。
对于本申请实施例，将目标检测结果（甲状腺结节区域图像）通过RA-CNN进行甲状腺结节成分识别处理，得到甲状腺结节成分所属类别的第一概率信息，由于RA-CNN可以融合不同尺度网络的输出结果，从而可以得到的甲状腺结节成分所属类别的准确度更高，也即分类的准确度更高。
进一步地，在本申请实施例中，基于目标检测结果（包含甲状腺结节区域的图像），得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息的方式可以通过本申请实施例介绍的方式，还可以通过相关技术中介绍的方式，在本申请实施例中并不对此进行限制。
本申请实施例的另一种可能的实现方式，步骤S103具体可以包括：步骤S1031（图中未示出）、步骤S1032（图中未示出）以及步骤S1033（图中未示出），其中，
步骤S1031、确定甲状腺结节信息中包含的各个像素分别对应的像素值。
对于本申请实施例，在步骤S1031中的甲状腺结节信息包括：甲状腺结节区域图像。也就是说，确定甲状腺结节区域图像中各个像素分别对应的像素值。
步骤S1032、基于甲状腺结节信息中包含的各个像素分别对应的像素值与成分分类阈值的关系，确定甲状腺结节信息所对应的结节成分所属类别的第三概率信息。
对于本申请实施例，成分分类阈值可以预先设置的，也可以为用户输入的，进一步地，成分分类阈值可以为一个固定值，也可以为一个范围。在本申请实施例中并不做限定。
具体地，在本申请实施例中，甲状腺结节信息所对应的结节成分所属类别可以包括：囊性类别和实性类别，基于甲状腺结节信息中包含的各个像素分别对应的像素值与成分分类阈值的关系，确定甲状腺结节信息中属于囊性类别的像素数目，和/或，甲状腺结节信息中属于实性类别的像素数目，进而基于甲状腺结节信息中属于囊性类别的像素数目和甲状腺结节信息中包含的像素数目，确定出甲状腺结节信息所对应的结节成分属于囊性类别的比例（概率），和/或，基于甲状腺结节信息中属于实性类别的像素数目和甲状腺结节信息中包含的像素数目，确定出甲状腺结节所对应的结节成分属于实性类别的比例（概率）。
例如，成分分类阈值为30，也就是说，将像素值小于30的像素对应的甲状腺结节信息记为囊性，当像素值不小于30的像素对应的甲状腺结节信息记为实性，并且甲状腺结节信息（甲状腺结节区域图像）中包含的像素数目为100，若该图像中像素值小于30的像素数目为60，不小于30的像素数目为40，则确定甲状腺结节信息所对应的结节成分属于囊性的比例为0.6，属于实性的比例为0.4，也就是说，甲状腺结节信息所对应的结节成分为囊性的第三概率信息为0.6，甲状腺结节信息所对应的结节成分为实性的第三概率信息为0.4。
步骤S1033、基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
具体地，步骤S1033具体可以包括：确定第一概率信息和第三概率信息分别对应的权重信息；基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息、甲状腺结节信息所对应的结节成分所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
具体地，在本申请实施例中，通过公式1，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
Score=a×RA-CNN_Score+b×Prior_Score 公式1；
其中，Score为甲状腺结节信息所对应的结节成分所属类别的第二概率信息；RA-CNN_Score为甲状腺结节信息所对应的结节成分所属类别的第一概率信息；Prior _Score为甲状腺结节信息所对应的结节成分所属类别的第三概率信息；a、b为参数，分别表示第一概率信息和第二概率信息分别对应的权重信息。
其中，a + b = 1, 且1 > a > 0, 1 > b > 0。在本申请实施例中，可以通过以0.01为间隔遍历0~1中所有的参数空间，并将score为最大值时确定出a以及b的值。进一步地，在本申请实施例中，a以及b值的确定并不限定于本申请实施例中的方式，例如还可以为预设的固定值，在本申请实施例中并不对此进行限定。
进一步地，为了使得通过细粒度分类模型可以进行甲状腺结节成分识别处理，或者进一步地提高通过细粒度分类模型进行甲状腺结节成分识别处理的准确度，可以对细粒度分类模型进行训练，具体详见下述实施例。
本申请实施例的另一种可能的实现方式，该方法还可以包括：步骤Sa（图中未示出）、步骤Sb（图中未示出）以及步骤Sc（图中未示出），其中，
步骤Sa、获取训练样本。
其中，训练样本包括：多个甲状腺结节图像。
对于本申请实施例，训练样本还可以包括各个甲状腺结节图像分别对应的成分类别标注信息，也可以包含部分甲状腺结节图像分别对应的成分类别标注信息。
步骤Sb、对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理。
对于本申请实施例，数据增强是最为常用提升模型鲁棒性的手段。在深度学习时代，数据的规模越大、质量越高，模型就能够拥有更好的泛化能力，数据直接决定了模型学习的上限。然而在实际工程中，采集的数据很难覆盖全部的场景，比如图像的光照条件，同一场景拍摄的图像可能由于光线不同就会有很大的差异性，那么在训练模型的时就需要加入光照方面的数据增强。诸如其他的影响因素如角度、方向、明暗等等因素，均可使用数据增强提升模型鲁棒性。
进一度地，考虑到截取的甲状腺结节区域尺寸往往远小于分类模型网络输入的224×224的尺寸需要，并且直接进行缩放会遗失图像很多原始细节信息，为了保留原始信息，故采用padding的方式对截取后的图像进行填充，填充后的尺寸为256×256，采用随机剪切、翻转、旋转的方式完成数据增强。在本申请实施例中，padding填充可以包括：零填充、常数填充、镜像填充和重复填充等，也可以包括其他填充方式。在本申请实施例中，在通过padding方式进行数据增强处理时并不限定于padding填充的方式。
步骤Sc、基于数据增强处理后的训练样本对细粒度分类模型进行训练。
对于本申请实施例，步骤Sa、步骤Sb以及步骤Sc可以在步骤S102之前执行，也可以在步骤S102之后执行，还可以和步骤S102同时执行，在本申请实施例中并不限定。
为了进一步地，为了进一步地提升通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的概率信息更为准确，在本申请实施例中，根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节所对应的甲状腺结节成分所属类别，之后还可以包括：基于目标检测结果和甲状腺结节所对应的甲状腺结节成分所属类别，对细粒度分类模型进行训练。
具体地，在根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定出甲状腺结节所对应的甲状腺结节成分所属类别之后，还可以将目标检测结果和甲状腺结节所对应的甲状腺结节成分所属类别作为训练样本，再对细粒度分类模型进行训练。在本申请实施例中，可以在通过甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节所对应的甲状腺结节成分所属类别之后，即基于此对细粒度分类模型进行训练，也可以收集一定数量的目标识别结果，以及各个目标识别结果所对应的甲状腺结节成分所属类别，并以此为训练样本，对细粒度分类模型进行训练。
上述实施例中从方法流程的角度介绍了一种病理图像处理的方法，下述实施例从模块或者单元的角度介绍了一种病理图像处理的装置，具体详见下述实施例。
本申请实施例提供了一种病理图像处理的装置，如图2所示，病理图像处理的装置20具体可以包括：目标检测模块21、成分识别处理模块22、第一确定模块23以及第二确定模块24，其中，
目标检测模块21，用于对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息；
成分识别处理模块22，用于将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息；
第一确定模块23，用于基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
第二确定模块24，用于根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。
对于本申请实施例，第一确定模块23和第二确定模块24可以相同的确定模块，也可以为不同的确定模块，在本申请实施例中不做限定。
本申请实施例的另一种可能的实现方式，目标检测模块21在对待处理的病理图像进行目标检测，得到目标检测结果时，具体用于：
通过掩膜递归卷积神经网络Mask-RCNN模型对待处理的病理图像进行目标检测，得到所目标检测结果。
本申请实施例的另一种可能的实现方式中，成分识别处理模块22在将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息时，具体用于：
将目标检测结果通过递归注意力卷积神经网络RA-CNN模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息。
本申请实施例的另一种可能的实现方式，成分识别处理模块22在将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息时，具体用于：
将目标检测结果通过递归注意力卷积神经网络RA-CNN模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息。
本申请实施例的另一种可能的实现方式，第一确定模块23在基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息时，具体用于：
确定甲状腺结节信息中包含的各个像素分别对应的像素值；
基于甲状腺结节信息中包含的各个像素分别对应的像素值与成分分类阈值的关系，确定甲状腺结节信息所对应的结节成分所属类别的第三概率信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
本申请实施例的另一种可能的实现方式，第一确定模块23在基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息时，具体用于：
确定第一概率信息和第三概率信息分别对应的权重信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息、甲状腺结节信息所对应的结节成分所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
本申请实施例的另一种可能的实现方式中，装置20还包括：获取模块、数据增强处理模块，以及第一训练模块，其中，
获取模块，用于获取训练样本，训练样本包括：多个甲状腺结节图像；
数据增强处理模块，用于对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
第一训练模块，用于基于数据增强处理后的训练样本对细粒度分类模型进行训练。
本申请实施例的另一种可能的实现方式，装置20还包括：第二训练模块，其中，
第二训练模块，用于基于目标检测结果和甲状腺结节所对应的甲状腺结节成分所属类别，对细粒度分类模型进行训练。
进一步地，在本申请实施例中，第一训练模块和第二训练模块可以相同的训练模块，也可以为不同的训练模块，在本申请实施例中不做限定。
本申请实施例提供了一种病理图像处理的装置，与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请实施例中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息，然后基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息，然后根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。也即将病理图像通过上述方式可以得到甲状腺结节中成分所属类别，从而可以得到更为精细的特征，以辅助医生进行准确诊断。
进一步地，本申请实施例提供的病理图像处理的装置适用于上述方法实施例，在此不再赘述。
本申请实施例中提供了一种电子设备，如图3所示，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请实施例中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到甲状腺结节信息所对应的结节成分所属类别的第一概率信息，然后基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息，然后根据甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定甲状腺结节信息中所对应的甲状腺结节成分所属类别。也即将病理图像通过上述方式可以得到甲状腺结节中成分所属类别，从而可以得到更为精细的特征，以辅助医生进行准确诊断。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种病理图像处理的方法，其特征在于，包括：
对待处理的病理图像进行目标检测，得到目标检测结果，所述目标检测结果中包含甲状腺结节信息；
将所述目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息；
基于所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及所述甲状腺结节信息中包含的各个像素分别对应的像素值，确定所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
根据所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定所述甲状腺结节信息中所对应的甲状腺结节成分所属类别，所述甲状腺结节信息中所对应的甲状腺结节成分所属类别包括：囊性成分类别以及实性成分类型；
其中，所述基于所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及所述甲状腺结节信息中包含的各个像素分别对应的像素值，确定所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息，包括：
确定所述甲状腺结节信息中包含的各个像素分别对应的像素值；
基于所述甲状腺结节信息中包含的各个像素分别对应的像素值与成分分类阈值的关系，确定所述甲状腺结节信息所对应的结节成分所属类别的第三概率信息；
基于所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及所述甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
其中，基于所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及所述甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息，包括：
通过下述公式，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
Score=a×RA-CNN_Score+b×Prior_Score；
其中，Score为甲状腺结节信息所对应的结节成分所属类别的第二概率信息；RA-CNN_Score为甲状腺结节信息所对应的结节成分所属类别的第一概率信息；Prior _Score为甲状腺结节信息所对应的结节成分所属类别的第三概率信息；a、b为参数，分别表示第一概率信息和第二概率信息分别对应的权重信息；
其中，a + b = 1, 且1 > a > 0, 1 > b > 0；
其中，a以及b的值是以0.01为间隔遍历0~1中所有的参数空间，并将score为最大值时确定出的。
2.根据权利要求1所述的方法，其特征在于，所述对待处理的病理图像进行目标检测，得到目标检测结果，包括：
通过掩膜递归卷积神经网络Mask-RCNN模型对所述待处理的病理图像进行目标检测，得到所述目标检测结果。
3.根据权利要求1所述的方法，其特征在于，所述将所述目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息，包括：
将所述目标检测结果通过递归注意力卷积神经网络RA-CNN模型进行甲状腺结节成分识别处理，得到所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息。
4.根据权利要求1所述的方法，其特征在于，所述基于所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及所述甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息，包括：
确定所述第一概率信息和所述第三概率信息分别对应的权重信息；
基于所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息、所述甲状腺结节信息所对应的结节成分所属类别的第三概率信息，以及所述第一概率信息和所述第三概率信息分别对应的权重信息，确定所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本，所述训练样本包括：多个甲状腺结节图像；
对所述训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
基于数据增强处理后的训练样本对所述细粒度分类模型进行训练。
6.根据权利要求5所述的方法，其特征在于，所述根据所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定所述甲状腺结节所对应的甲状腺结节成分所属类别，之后还包括：
基于所述目标检测结果和所述甲状腺结节所对应的甲状腺结节成分所属类别，对所述细粒度分类模型进行训练。
7.一种病理图像处理的装置，其特征在于，包括：
目标检测模块，用于对待处理的病理图像进行目标检测，得到目标检测结果，所述目标检测结果中包含甲状腺结节信息；
成分识别处理模块，用于将所述目标检测结果通过细粒度分类模型进行甲状腺结节成分识别处理，得到所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息；
第一确定模块，用于基于所述甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及所述甲状腺结节信息中包含的各个像素分别对应的像素值，确定所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
第二确定模块，用于根据所述甲状腺结节信息所对应的结节成分所属类别的第二概率信息，确定所述甲状腺结节信息中所对应的甲状腺结节成分所属类别，所述甲状腺结节信息中所对应的甲状腺结节成分所属类别包括：囊性成分类别以及实性成分类型；
其中，第一确定模块在基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息中包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息时，具体用于：
确定甲状腺结节信息中包含的各个像素分别对应的像素值；
基于甲状腺结节信息中包含的各个像素分别对应的像素值与成分分类阈值的关系，确定甲状腺结节信息所对应的结节成分所属类别的第三概率信息；
基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
其中，所述第一确定模块在基于甲状腺结节信息所对应的结节成分所属类别的第一概率信息，以及甲状腺结节信息所对应的结节成分所属类别的第三概率信息，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息时，具体用于：
通过下述公式，确定甲状腺结节信息所对应的结节成分所属类别的第二概率信息；
Score=a×RA-CNN_Score+b×Prior_Score ；
其中，Score为甲状腺结节信息所对应的结节成分所属类别的第二概率信息；RA-CNN_Score为甲状腺结节信息所对应的结节成分所属类别的第一概率信息；Prior _Score为甲状腺结节信息所对应的结节成分所属类别的第三概率信息；a、b为参数，分别表示第一概率信息和第二概率信息分别对应的权重信息；
其中，a + b = 1, 且1 > a > 0, 1 > b > 0；
其中，a以及b的值是以0.01为间隔遍历0~1中所有的参数空间，并将score为最大值时确定出的。
8.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据权利要求1至6任一项所述的病理图像处理的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一项所述的病理图像处理的方法。
CN202110642832.3A 2021-06-09 2021-06-09 病理图像处理的方法、装置、电子设备及可读存储介质 Active CN113408595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642832.3A CN113408595B (zh) 2021-06-09 2021-06-09 病理图像处理的方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642832.3A CN113408595B (zh) 2021-06-09 2021-06-09 病理图像处理的方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113408595A CN113408595A (zh) 2021-09-17
CN113408595B true CN113408595B (zh) 2022-12-13

Family

ID=77683250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110642832.3A Active CN113408595B (zh) 2021-06-09 2021-06-09 病理图像处理的方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113408595B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332003A (zh) * 2021-12-27 2022-04-12 什维新智医疗科技(上海)有限公司 一种甲状腺结节质地分析装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232346A1 (en) * 2018-05-31 2019-12-05 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158332A1 (en) * 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108280487A (zh) * 2018-02-05 2018-07-13 深圳天琴医疗科技有限公司 一种结节良恶性的确定方法及装置
CN109003260B (zh) * 2018-06-28 2021-02-09 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN110276745B (zh) * 2019-05-22 2023-04-07 南京航空航天大学 一种基于生成对抗网络的病理图像检测算法
CN111612740B (zh) * 2020-04-16 2023-07-25 深圳大学 一种病理图像处理方法及装置
CN111899252B (zh) * 2020-08-06 2023-10-27 腾讯科技（深圳）有限公司 基于人工智能的病理图像处理方法和装置
CN112132827A (zh) * 2020-10-13 2020-12-25 腾讯科技（深圳）有限公司 病理图像的处理方法、装置、电子设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232346A1 (en) * 2018-05-31 2019-12-05 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法

Also Published As

Publication number Publication date
CN113408595A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
CN110807788B (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN111311592B (zh) 一种基于深度学习的三维医学图像自动分割方法
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
WO2022063198A1 (zh) 一种肺部图像处理方法、装置及设备
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
CN112348082B (zh) 深度学习模型构建方法、影像处理方法及可读存储介质
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
US20230052133A1 (en) Medical image processing method and apparatus, device, storage medium, and product
WO2022247573A1 (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN114758137A (zh) 超声图像分割方法、装置及计算机可读存储介质
CN113408595B (zh) 病理图像处理的方法、装置、电子设备及可读存储介质
CN117710760B (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN113256622A (zh) 基于三维图像的目标检测方法、装置及电子设备
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
CN114757953B (zh) 医学超声图像识别方法、设备及存储介质
CN114118127B (zh) 一种视觉场景标志检测与识别方法及装置
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质
CN117635519A (zh) 基于ct图像的病灶检测方法、装置及计算机可读存储介质
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
Chen et al. ARU-Net: research and application for wrist reference bone segmentation
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN113408596B (zh) 病理图像的处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant