CN113408596A - 病理图像的处理方法、装置、电子设备及可读存储介质 - Google Patents

病理图像的处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113408596A
CN113408596A CN202110644753.6A CN202110644753A CN113408596A CN 113408596 A CN113408596 A CN 113408596A CN 202110644753 A CN202110644753 A CN 202110644753A CN 113408596 A CN113408596 A CN 113408596A
Authority
CN
China
Prior art keywords
information
nodule
echo
thyroid nodule
thyroid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110644753.6A
Other languages
English (en)
Other versions
CN113408596B (zh
Inventor
杜强
王晓勇
牟晓勇
聂方兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xbentury Network Technology Co ltd
Original Assignee
Beijing Xbentury Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xbentury Network Technology Co ltd filed Critical Beijing Xbentury Network Technology Co ltd
Priority to CN202110644753.6A priority Critical patent/CN113408596B/zh
Publication of CN113408596A publication Critical patent/CN113408596A/zh
Application granted granted Critical
Publication of CN113408596B publication Critical patent/CN113408596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种病理图像的处理方法、装置、电子设备及可读存储介质，包括：对待处理的病理图像进行目标检测，得到目标检测结果，然后将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节所属回声类别的第一概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。本申请可以得到关于甲状腺结节的更为精细化的特征，进而可以辅助医生准确诊断。

Description

病理图像的处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种病理图像的处理方法、装置、电子设备及可读存储介质。
背景技术
深度学习技术近年来发展迅速，其在医疗影像领域的检测识别方面也表现出巨大的应用潜力，例如，可以对包含甲状腺结节的病理影像进行良性和恶性的区分，或者对包含甲状腺结节的病理影像进行甲状腺影像报告与数据（Thyroid imaging reporting anddata，Tirad）级别区分。
在相关技术中，存在一些方式可以对包含甲状腺结节的病理影像进行良性和恶性的区别，或者对包含甲状腺结节的病理影像进行Tirad区别，例如，可以通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者，通过深度学习的方式对包含甲状腺结节的病理影像进行Tirad级别区分。
但是，在相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分，需要依赖提取的特征的精确度以及模型训练的准确度，并且在相关技术中通过深度学习的方式对包含甲状腺结节的病理影像的区分仅是比较粗粒度的区分，因此，从何基于包含甲状腺结节的病理影像得到更为精细的特征，以辅助医生进行准确诊断成为一个重要问题。
发明内容
本申请目的一是提供一种病理图像的处理方法、装置、电子设备及可读存储介质，用于解决以上至少一项技术问题。
本申请的上述申请目的一是通过以下技术方案得以实现的：
第一方面，提供了一种病理图像的处理方法，包括：
对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息；
将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息；
基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息；
基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。
在一种可能的实现方式中，对待处理的病理图像进行目标检测，得到目标检测结果，包括：通过高精确检测EfficientDet模型对待处理的病理图像进行目标检测，得到目标检测结果。
在另一种可能的实现方式中，基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息，包括：
确定甲状腺结节信息中包含的各个像素分别对应的像素值；
基于甲状腺结节信息中包含的各个像素分别对应的像素值分别与各个回声类别的预设阈值的关系，确定甲状腺结节信息所对应的回声所属类别的第三概率信息，甲状腺结节所对应的回声所属类别的第三概率信息为甲状腺结节信息中所对应的回声所属类别的像素数量与甲状腺结节信息中包含像素数量的比例；
基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息所对应的回声所属类别的第三概率信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
在另一种可能的实现方式中，基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息所对应的回声所属类别的第三概率信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息，包括：
确定第一概率信息和第三概率信息分别对应的权重信息；
基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息、甲状腺结节信息所对应的回声所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
在另一种可能的实现方式中，该方法还包括：
获取训练样本，训练样本包括：多个甲状腺结节图像；
对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
基于数据增强处理后的训练样本对双线性卷积神经网络进行训练。
在另一种可能的实现方式中，基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别，之后还包括：
基于目标检测结果和甲状腺结节信息所对应的结节所属回声类别，对双线性卷积神经网络进行训练。
在另一种可能的实现方式中，对任一甲状腺结节图像通过填充padding的方式进行数据增强处理的方式，包括：
确定任一甲状腺结节图像中各个像素分别对应的像素值；
对各个像素分别对应的像素值进行预设处理，预设处理包括：均值处理、对数处理以及方差处理中的至少一项；
基于任一甲状腺结节图像通过预设处理后的像素值，并通过padding的方式，对任一甲状腺结节图像进行数据增强处理。
第二方面，提供了一种病理图像的处理装置，包括：
目标检测模块，用于对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息；
回声识别处理模块，用于将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息；
第一确定模块，用于基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息；
第二确定模块，用于基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。
在一种可能的实现方式中，目标检测模块在对待处理的病理图像进行目标检测，得到目标检测结果时，具体用于：
通过高精确检测EfficientDet模型对待处理的病理图像进行目标检测，得到目标检测结果。
在另一种可能的实现方式中，第一确定模块在基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息时，具体用于：
确定甲状腺结节信息中包含的各个像素分别对应的像素值；
基于甲状腺结节信息中包含的各个像素分别对应的像素值分别与各个回声类别的预设阈值的关系，确定甲状腺结节信息所对应的回声所属类别的第三概率信息，甲状腺结节所对应的回声所属类别的第三概率信息为甲状腺结节信息中所对应的回声所属类别的像素数量与甲状腺结节信息中包含像素数量的比例；
基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息所对应的回声所属类别的第三概率信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
在另一种可能的实现方式中，第一确定模块在基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息所对应的回声所属类别的第三概率信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息时，具体用于：
确定第一概率信息和第三概率信息分别对应的权重信息；
基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息、甲状腺结节信息所对应的回声所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
在另一种可能的实现方式中，该装置还包括：获取模块、数据增强处理模块以及第一训练模块，其中，
获取模块，用于获取训练样本，训练样本包括：多个甲状腺结节图像；
数据增强处理模块，用于对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
第一训练模块，用于基于数据增强处理后的训练样本对双线性卷积神经网络进行训练。
在另一种可能的实现方式中，该装置还包括：第二训练模块，其中，
第二训练模块，用于基于目标检测结果和甲状腺结节信息所对应的结节所属回声类别，对双线性卷积神经网络进行训练。
在另一种可能的实现方式中，数据增强处理模块在对任一甲状腺结节图像通过填充padding的方式进行数据增强处理时，具体用于：
确定任一甲状腺结节图像中各个像素分别对应的像素值；
对各个像素分别对应的像素值进行预设处理，预设处理包括：均值处理、对数处理以及方差处理中的至少一项；
基于任一甲状腺结节图像通过预设处理后的像素值，并通过padding的方式，对任一甲状腺结节图像进行数据增强处理。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面中任一可能的实现方式所示的病理图像的处理方法对应的操作。
第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面中任一可能的实现方式所示的病理图像的处理方法。
本申请提供了一种病理图像的处理的方法、装置、电子设备及可读存储介质，与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。也即通过对包含甲状腺结节信息的病理图像进行处理，可以确定出甲状腺结节信息所对应的结节所属回声类别，从而可以得到关于甲状腺结节的更为精细化的特征，进而可以辅助医生进行准确诊断。
附图说明
图1是本申请实施例提供的一种病理图像的处理方法流程示意图；
图2是本申请实施例提供的一种病理图像的处理装置结构示意图；
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
甲状腺结节是最常见的结节性病变之一，在一般人群中患病率为19％至68％。现在，在过去的30年中，已经目睹了甲状腺癌增加约240％，这是所有类型癌症中最差的一种。在影像学方面，超声检查已成为甲状腺临床诊断的主要且首选的筛查方式结节，也可用作细针穿刺活检和后续治疗的指南。最近，已经建立了许多指导放射线医师根据超声特征评估甲状腺结节的指南。但是，由于超声检查容易受到回声干扰和斑点噪声的影响，因此基于超声检查的甲状腺结节诊断仍然严重依赖于高级放射科医生的丰富经验和精湛的技能。经验不足的从业者由于无法准确地理解超声检查特征而可能具有较高的误诊率。错误的诊断结果可能需要进行不必要的活检和手术，这将使患者承受更大的压力和焦虑，同时不可避免地增加医疗费用。为了有效利用高级放射科医生的高质量诊断经验，迫切需要智能甲状腺诊断计算机辅助诊断系统。然而，智能甲状腺诊断计算机辅助诊断系统的成功建立可能受到以下事实的阻碍：超声甲状腺的外观经常受内部含量，形状，回声性和许多其他因素影响。良性结节和恶性结节都有各种各样的样式和布局。良性结节大多数结节具有不规则的形状，光滑的区域和边界。恶性结节，其中大多数具有不规则的形状，粗糙的区域和边界。因此，根据颜色和形状特征很难直接识别甲状腺结节。近年来，已有许多利用超声检查特征进行甲状腺恶性肿瘤诊断的研究，大致可分为两大类：基于手工特征的分类器和数据驱动的方法。
基于手工特征方法。这些方法的流水线经常涉及特征提取和分类。此类中的典型方法可能包括灰度共生矩阵（Gray-level Co-occurrence Matrix，GLCM），局部二值模式（Local Binary Pattern，LBP），离散小波变换，K最近邻，概率神经网络，决策树，高斯混合模型，支持向量机，Adaboost分类器，贝叶斯分类器，梯度提升决策树(Gradient BoostingDecision Tree，GBDT)和随机森林。尽管近年来它们快速发展，但是从某种意义上讲，手工制作的功能只能利用低级信息，例如图像纹理，几何形态和统计分布。此类方法通常需要进一步采用分类器进行分类。因此，只有赋予高度区分性的特征，这些方法才能很好地解决识别问题。
至于数据驱动的方法，最近，卷积神经网络（Convolutional Neural Networks，CNN）可以大大改善对自然图像的分类和检测性能，而无需手工进行特征描述，例如Alexnet，GoogLenet，残留网络，Faster-RCNN等。CNN的一个显着优势是，它们可以通过自动提取多级特征来克服上述困难。现在，即使可以使用混合CNN对甲状腺结节进行分类，但提取CNN中具有多个尺度的特征仍然更加复杂和多余。例如，现有方法常常无法识别较小规模或较低对比度的结节，对于甲状腺结节尤其如此，因为甲状腺结节将依赖于其相邻组织的正确识别来进行正确诊断。 CNN转换的要素汇总在多层中，其中，较低的层代表浅的特征，例如形状，渐变和颜色外观，而较高的层代表的是语义区分特征。
与传统特征提取方法相比，CNN具有两个优点。基于CNN特征的检测对失真具有鲁棒性，包括由相机镜头引起的变化，不同的光照条件，不同的姿势，部分遮挡，水平和垂直偏移等；因为在整个输入图像中使用卷积层中相同的系数，因此基于CNN的特征提取的计算成本相对较低。受自然图像识别成功的推动，有人提出了一些近期的工作来将CNN应用于甲状腺识别。
发明人在研究中发现，相关的深度学习方法主要集中在甲状腺结节良恶性、Tirad等粗分类自动识别，对于结节回声等超声影像特征细粒度上少见研究，而这些更精细的特征会更好的提供信息帮助医生进行诊断。
本申请实施例提供了一种病理图像的处理方法，通过对包含甲状腺结节图像基于人工智能中的机器学习/深度学习进行成分识别处理，以确定病理图像中包含的甲状腺结节的回声类别信息。
其中，人工智能(ArtificialIntelligence ,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
而机器学习(MachineLearning ,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供一种病理图像的处理方法，如图1所示，在本申请实施例中提供的病理图像的处理方法可以由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，该方法包括：
步骤S101、对待处理的病理图像进行目标检测，得到目标检测结果。
其中，目标检测结果中包含甲状腺结节信息。
对于本申请实施例，待处理的病理图像中包含甲状腺结节信息。在本申请实施例中，待处理的病理图像可以包含超声影响，也可以包含计算机断层扫描 (ComputedTomography，CT)影像图等，还可以包含其他的医疗影像图，在本申请实施例中并不对病理图像的类型进行限定。
对于本申请实施例，由于包含甲状腺结节信息的待处理的病理图像中还包含其他组织区域，例如，皮肤组织区域、颈动脉以及血管等，因此为了更准确地对甲状腺结节的回声进行分类以及进一步地降低双线性卷积神经网络进行甲状腺结节回声类型识别处理的复杂度，需要从待处理的病理图像中定位出甲状腺结节区域。在本申请实施例中，通过目标检测的方式，对待处理的病理图像进行目标检测，以检测出待处理的病理图像中包含甲状腺结节的图像区域（可以称为：甲状腺结节图像或者目标检测结果），具体的检测方式详见下述实施例。
步骤S102、将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息。
对于本申请实施例，双线性卷积神经网络（Bilinear models for imageclassification，Bilinear CNN）包含两个特征提取器，其输出经过外积相乘，池化后获得图像描述符（image descriptor）。
具体地，在本申请实施例中，将目标检测结果中同一位置上的两个特征进行bilinear feature combination（矩阵外积）后，得到矩阵b；然后对b进行sum pooling，得到矩阵ξ；ξ张成向量，记为bilinear vector χ；对χ进行矩归一化操作和L2归一化操作后，就得到融合后的特征z；最后z用于细粒度分类。
具体地，在本申请实施例中，甲状腺结节信息所对应的结节所属回声类别可以包含：高回声、低回声，当然也可以包含其他的分类方式，也就是说，将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类别识别处理，得到甲状腺结节信息所对应的结节所属回声类别为高回声的第一概率信息，或者得到甲状腺结节信息所对应的结节所属回声类别为低回声的第一概率信息。在本申请实施例中，甲状腺结节信息所对应的结节所属回声的分类方式并不作为对本申请实施例的限定。
进一步地，由于双线性卷积神经网络通过以平移不变的方式，建模了局部成对交互特征（local pairwise feature interactions），并且能够泛华多种顺序无关的纹理描述符，因此将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，可以提高对甲状腺结节回声进行分类的准确度。
步骤S103、基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
对于本申请实施例，甲状腺结节信息中包含的各个像素分别对应的像素信息可以像素值信息，也可以是和像素相关的其他信息。在本申请实施例中并不对此进行限定。
进一步地，在本申请实施例中，在步骤S103之前还可以包括：确定目标检测结果中包含的甲状腺结节区域中各个像素分别对应的像素信息。其中，确定目标检测结果中包含的甲状腺结节区域中各个像素分别对应的像素信息的步骤，可以在步骤S102之前执行，也可以在步骤S102之后执行，还可以和步骤S102同时执行，具体的执行步骤在本申请实施例中并不做限定。
步骤S104、基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。
对于本申请实施例，在通过上述实施例确定出待处理的病理图像包含的甲状腺结节信息所对应的结节所属回声类别的第二概率信息之后，基于得到的第二概率信息确定甲状腺结节信息中所对应的甲状腺结节所对应的回声类别。
具体地，通过上述实施例确定出待处理的病理图像包含的甲状腺结节信息所对应的结节所属回声类别的第二概率信息之后，可以根据第二概率信息和各个回声类别概率阈值之间的关系，确定甲状腺结节信息所对应结节所属回声类别。
例如，若甲状腺结节所对应的结节回声所属类别包括：高回声和低回声，并且，基于上述实施例得到甲状腺结节所对应的结节回声所属类别为高回声的第一概率为0.6，甲状腺结节为高回声的概率阈值为0.5，也即病理图像中甲状腺结节信息所对应结节所属回声类别为高回声类别。
本申请实施例提供了一种病理图像的处理的方法，与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请实施例中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。也即通过对包含甲状腺结节信息的病理图像进行处理，可以确定出甲状腺结节信息所对应的结节所属回声类别，从而可以得到关于甲状腺结节的更为精细化的特征，进而可以辅助医生进行准确诊断。
本申请实施例的一种可能的实现方式，步骤S101具体可以包括：通过高精确检测EfficientDet模型对待处理的病理图像进行目标检测，得到目标检测结果。
对于本申请实施例，EfficientDet提出了一个简单而高效的加权双向特征金字塔网络，该网络引入了可学习的权重以了解不同输入特征的重要性，同时反复应用自上而下和自下而上的多尺度特征融合，以解决在融合不同的特征图时，不同的输入特征分辨率不同的问题。此外，EfficientDet同时考虑准确性和效率时，网络也至关重要，其提出了一种用于对象检测器的复合缩放方法，该方法可联合缩放所有特征网络，预测网络的分辨率、深度和宽度的最佳组合。在本申请实施例中，上述EfficientDet具体为一种模型可缩放且高效的目标检测器，提出了一种复合缩放（compound scaling）方法，同时对所有主干网络、特征网络和边界框/类别预测网络的分辨率、深度和宽度执行统一缩放。EfficientDet的整体架构大致遵循单阶段检测器范式，通过将在数据集（训练集）上预训练的EfficientNet作为主干网络，将加权双向特征金字塔网络BiFPN（weighted bi-directional featurepyramid network）作为特征网络，接受来自主干网络的level3-7特征{P3，P4，P5，P6，P7}，并重复应用自上而下和自下而上的双向特征融合，然后将融合后的特征输入边界框/类别预测网络，分别输出目标类别和边界框预测结果。上述BiFPN是将每个双向路径（自上而下和自下而上）作为一个特征网络层，并多次重复同一个层，以实现更高级的特征融合。
其中，甲状腺结节检测，这属于小物体的目标检测，利用网络对物体进行检测时，浅层网络分辨率高，学到的是图片的细节特征，而深层网络分辨率低，学到的更多的是语义特征。因此，为了提高后续对于甲状腺结节的检测结果的精度，可将EfficientDet目标检测器中的多尺度的特征融合level扩展到浅层网络。另外，对上述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理具体是指将BiFPN使用自上而下的路径来融合多尺度特征 level3-7（P3-P7）改进为level1-7（P1-P7），从而能够更好融合浅层网络的细节特征。在对上述EfficientDet目标检测器内的多尺度的特征融合level进行扩展处理的同时，还会对上述EfficientDet目标检测器内的BiFPN Layer模块进行简化处理，进而得到本申请实施例中的EfficientDet模型。其中，对上述EfficientDet目标检测器内的BiFPNLayer模块进行简化处理具体是指在BiFPN Layer模块内的level2-4（P2-P4）低层的输入和输出节点之间只连一条边，使得level2-4（P2-P4）低层的输入边和输出边只有一个节点。通过使用对上述EfficientDet模型进行改进处理后得到本申请实施例中对甲状腺结节进行检测的EfficientDet模型，可以根据输入的病理图像来精准地检测甲状腺结节区域的位置，并准确地输出目标检测结果（甲状腺结节图像）。
进一步地，在通过上述实施例得到目标检测结果（甲状腺结节图像）之后，可以通过本申请实施例中介绍的双线性卷积神经网络进行甲状腺结节回声类型识别处理，还可以通过相关技术中其他的细粒度分类模型进行甲状腺结节回声类型识别处理，例如，通过递归注意力卷积神经网络（Recurrent Attention Convolutional Neural Network，RA-CNN）模型进行甲状腺结节回声类型识别处理，在本申请实施例中不做限定。
进一步地，在对目标检测结果进行甲状腺结节回声类型识别处理得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息之后，基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
具体地，基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息（步骤S103）具体可以包括：步骤S1031（图中未示出）、步骤S1032（图中未示出）以及步骤S1033（图中未示出），其中，
步骤S1031、确定甲状腺结节信息中包含的各个像素分别对应的像素值。
对于本申请实施例，在步骤S1031中的甲状腺结节信息包括：甲状腺结节区域图像（也可以称为甲状腺结节图像）。也就是说，确定甲状腺结节区域图像中各个像素分别对应的像素值。
步骤S1032、基于甲状腺结节信息中包含的各个像素分别对应的像素值分别与各个回声类别的预设阈值的关系，确定甲状腺结节信息所对应的回声所属类别的第三概率信息。
其中，甲状腺结节所对应的回声所属类别的第三概率信息为甲状腺结节信息中所对应的回声所属类别的像素数量与甲状腺结节信息中包含像素数量的比例。
对于本申请实施例，回声类型的预设阈值可以预先设置的，也可以为用户输入的，进一步地，回声类型的预设阈值可以为一个固定值，也可以为一个范围。在本申请实施例中并不做限定。
具体地，在本申请实施例中，甲状腺结节信息所对应的回声类别可以包括：强回声和低回声，基于甲状腺结节信息中包含的各个像素分别对应的像素值分别与各个回声类别的预设阈值的关系，确定甲状腺结节信息中属于强回声类别的像素数目，和/或，甲状腺结节信息中属于低回声类别的像素数目，进而基于甲状腺结节信息中属于强回声类别的像素数目和甲状腺结节信息中包含的像素数目，确定出甲状腺结节信息所对应的回声类别属于强回声的比例（概率），和/或，基于甲状腺结节信息中属于低回声类别的像素数目和甲状腺结节信息中包含的像素数目，确定出甲状腺结节所对应的回声类别属于低回声类别的比例（概率）。
例如，低回声类别对应的预设阈值可以为30，高回声类别对应的预设阈值可以为200，也即像素值小于30的像素属于低回声区域的像素，像素值高于200的像素的属于高回声区域的像素；若甲状腺图像（目标检测结果）中包含的像素数目为200,像素值低于30的像素数目为50，像素值高于200的像素数目为100，也即该甲状腺图像（目标检测结果）中回声类别属于低回声类别的第三概率信息为0.25，和/或，该甲状腺图像（目标检测结果）中呼声类别属于高回声类别的第三概率信息为0.5。
步骤S1033、基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息所对应的回声所属类别的第三概率信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
具体地，在本申请实施例中，步骤S1033具体可以包括：确定第一概率信息和第三概率信息分别对应的权重信息；基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息、甲状腺结节信息所对应的回声所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
具体地，在本申请实施例中，通过公式1，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息；
Score=a×Bilinear-CNN_Score+b×Prior_Score， 公式1；
其中，Score为甲状腺结节信息所对应的结节所属回声类别的第二概率信息；Bilinear-CNN_Score为甲状腺结节信息所对应的结节所属回声类别的第一概率信息；Prior _Score为甲状腺结节信息所对应的结节所属回声类别的第三概率信息；a、b为参数，分别表示第一概率信息和第二概率信息分别对应的权重信息。
其中，a + b = 1, 且1 > a > 0, 1 > b > 0。在本申请实施例中，可以通过以0.01为间隔遍历0~1中所有的参数空间，并将score为最大值时确定出a以及b的值。进一步地，在本申请实施例中，a以及b值的确定并不限定于本申请实施例中的方式，例如还可以为预设的固定值，在本申请实施例中并不对此进行限定。
进一步地，为了使得通过双线性卷积神经网络可以识别甲状腺结节回声类别，或者进一步地提高通过双线性卷积神经网络进行甲状腺结节回声类别识别的准确度，可以对双线性卷积神经网络进行训练，具体详见下述实施例。
本申请实施例的另一种可能的实现方式，该方法可以包括：步骤Sa（图中未示出）、步骤Sb（图中未示出）以及步骤Sc（图中未示出），其中，
步骤Sa、获取训练样本。
其中，训练样本包括：多个甲状腺结节图像。
对于本申请实施例，训练样本还可以包括各个甲状腺结节图像分别对应的回声类别标注信息，也可以包含部分甲状腺结节图像分别对应的回声类别标注信息。
步骤Sb、对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理。
对于本申请实施例，数据增强是最为常用提升模型鲁棒性的手段。在深度学习时代，数据的规模越大、质量越高，模型就能够拥有更好的泛化能力，数据直接决定了模型学习的上限。然而在实际工程中，采集的数据很难覆盖全部的场景，比如图像的光照条件，同一场景拍摄的图像可能由于光线不同就会有很大的差异性，那么在训练模型的时就需要加入光照方面的数据增强（例如，对训练样本中的甲状腺结节图像进行亮度改变、对比度改变、饱和度改变和/或噪声改变）；还可以对训练样本中全部或者部分甲状腺结节图像进行几何畸变处理、图像遮挡随机擦除处理、cutup处理、Hide and Seek处理、mixup处理。其中，对训练样本中的甲状腺结节图像进行几何畸变处理包括：随机缩放、裁剪、翻转和旋转中的至少一项；图像遮挡随机擦除处理，也即通过不同比例的擦除图像和擦除区域的高度比来实现；cutup处理也即对训练样本中全部或者部分图像通过掩盖一个正方形区域进行图像处理；Hide and Seek处理，也即对训练样本中的全部或者部分图像分割成一个由patch组成的网格，mixup处理，也即对训练样本中的全部或者部分图像进行图像对及其标签的凸叠加。
进一度地，考虑到截取的甲状腺结节区域尺寸往往远小于分类模型网络输入的224×224的尺寸需要，并且直接进行缩放会遗失图像很多原始细节信息，为了保留原始信息，故采用padding的方式对截取后的图像进行填充，填充后的尺寸为256×256，采用随机剪切、翻转、旋转的方式完成数据增强。在本申请实施例中，padding填充可以包括：零填充、常数填充、镜像填充和重复填充等，也可以包括其他填充方式。在本申请实施例中，在通过padding方式进行数据增强处理时并不限定于padding填充的方式。
进一步地，考虑到极低回声有低像素值、高回声有高像素值的特性，若采用常用的填充方式，例如零填充可能导致结节回声类别会严重偏向低回声类型，因此采用周围正常组织均值进行填充，具体的填充方式如下所示。
具体地，对任一甲状腺结节图像通过填充padding的方式进行数据增强处理的方式，包括：确定任一甲状腺结节图像中各个像素分别对应的像素值；对各个像素分别对应的像素值进行预设处理；基于任一甲状腺结节图像通过预设处理后的像素值，并通过padding的方式，对任一甲状腺结节图像进行数据增强处理。
其中，预设处理包括：均值处理、对数处理以及方差处理中的至少一项。
例如，对任一甲状腺结节图像中各个像素分别对应的像素值进行均值处理，得到像素平均值，基于得到的像素平均值对该任一甲状腺结节图像进行边缘填充。
进一步地，在本申请实施例中虽然以对任一甲状腺结节图像通过padding的方式进行数据增强处理进行介绍，但是训练样本中其他需要进行padding处理的甲状腺结节图像均可以按照上述方式进行数据增强处理。
步骤Sc、基于数据增强处理后的训练样本对双线性卷积神经网络进行训练。
对于本申请实施例，步骤Sa、步骤Sb以及步骤Sc可以在步骤S102之前执行，也可以在步骤S102之后执行，还可以和步骤S102同时执行，在本申请实施例中并不限定。
为了进一步地，为了进一步地提升通过双线性卷积神经网络进行甲状腺结节回声类别识别处理，得到甲状腺结节信息所对应的结节所属回声类别的概率信息更为准确，在本申请实施例中，基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别，之后还包括：基于目标检测结果和甲状腺结节信息所对应的结节所属回声类别，对双线性卷积神经网络进行训练。
具体地，在根据甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定出甲状腺结节所对应的甲状腺结节所属回声类别之后，还可以将目标检测结果和甲状腺结节所对应的甲状腺结节所属回声类别作为训练样本，再对该双线性卷积神经网络进行训练。在本申请实施例中，可以在通过甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节所对应的甲状腺结节所属回声类别之后，即基于此对双线性卷积神经网络进行训练，也可以收集一定数量的目标识别结果（甲状腺结节图像），以及各个目标识别结果所对应的甲状腺结节所属回声类别，并以此为训练样本，对双线性卷积神经网络进行训练。
在上述实施例中，从方法流程的角度介绍了一种病理图像的处理方法，下述实施例从模块或者单元的角度介绍一种病理图像的处理装置，具体详见下述实施例。
本申请实施例提供了一种病理图像的处理装置，如图2所示，该病理图像的处理装置20可以包括：目标检测模块21、回声识别处理模块22、第一确定模块23以及第四确定模块24，其中，
目标检测模块21，用于对待处理的病理图像进行目标检测，得到目标检测结果。
其中，目标检测结果中包含甲状腺结节信息。
回声识别处理模块22，用于将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息。
第一确定模块23，用于基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
第二确定模块24，用于基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。
对于本申请实施例，第一确定模块23和第二确定模块24可以为相同的确定模块，也可以为不同的确定模块，在本申请实施例中不做限定。
本申请实施例的一种可能的实现方式，目标检测模块21在对待处理的病理图像进行目标检测，得到目标检测结果时，具体用于：通过高精确检测EfficientDet模型对待处理的病理图像进行目标检测，得到目标检测结果。
本申请实施例的另一种可能的实现方式，第一确定模块23在基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息时，具体用于：确定甲状腺结节信息中包含的各个像素分别对应的像素值；基于甲状腺结节信息中包含的各个像素分别对应的像素值分别与各个回声类别的预设阈值的关系，确定甲状腺结节信息所对应的回声所属类别的第三概率信息，甲状腺结节所对应的回声所属类别的第三概率信息为甲状腺结节信息中所对应的回声所属类别的像素数量与甲状腺结节信息中包含像素数量的比例；基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息所对应的回声所属类别的第三概率信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
本申请实施例的另一种可能的实现方式，第一确定模块23在基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息所对应的回声所属类别的第三概率信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息时，具体用于：确定第一概率信息和第三概率信息分别对应的权重信息；基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息、甲状腺结节信息所对应的回声所属类别的第三概率信息，以及第一概率信息和第三概率信息分别对应的权重信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
本申请实施例的另一种可能的实现方式，装置20还包括：获取模块、数据增强处理模块以及第一训练模块，其中，
获取模块，用于获取训练样本，训练样本包括：多个甲状腺结节图像；
数据增强处理模块，用于对训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
第一训练模块，用于基于数据增强处理后的训练样本对双线性卷积神经网络进行训练。
本申请实施例的另一种可能的实现方式，装置20还包括：第二训练模块，其中，
第二训练模块，用于基于目标检测结果和甲状腺结节信息所对应的结节所属回声类别，对双线性卷积神经网络进行训练。
对于本申请实施例，第一训练模块和第二训练模块可以为相同的确定模块，也可以为不同的确定模块，在本申请实施例中不做限定。
本申请实施例的另一种可能的实现方式，数据增强处理模块在对任一甲状腺结节图像通过填充padding的方式进行数据增强处理时，具体用于：确定任一甲状腺结节图像中各个像素分别对应的像素值；对各个像素分别对应的像素值进行预设处理，预设处理包括：均值处理、对数处理以及方差处理中的至少一项；基于任一甲状腺结节图像通过预设处理后的像素值，并通过padding的方式，对任一甲状腺结节图像进行数据增强处理。
本申请实施例提供了一种病理图像的处理的装置，与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请实施例中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。也即通过对包含甲状腺结节信息的病理图像进行处理，可以确定出甲状腺结节信息所对应的结节所属回声类别，从而可以得到关于甲状腺结节的更为精细化的特征，进而可以辅助医生进行准确诊断。
本申请实施例提供的一种病理图像的处理装置适用于上述方法实施例，在此不再赘述。
本申请实施例中提供了一种电子设备，如图3所示，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容，与相关技术中仅是通过深度学习的方式对包含甲状腺结节的病理影像进行良性和恶性的区分，或者进行Tirad级别区分相比，在本申请中，对待处理的病理图像进行目标检测，得到目标检测结果，目标检测结果中包含甲状腺结节信息，然后将目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到甲状腺结节信息所对应的结节所属回声类别的第一概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定甲状腺结节信息所对应的结节所属回声类别的第二概率信息，然后基于甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定甲状腺结节信息所对应结节所属回声类别。也即通过对包含甲状腺结节信息的病理图像进行处理，可以确定出甲状腺结节信息所对应的结节所属回声类别，从而可以得到关于甲状腺结节的更为精细化的特征，进而可以辅助医生进行准确诊断。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种病理图像的处理方法，其特征在于，包括：
对待处理的病理图像进行目标检测，得到目标检测结果，所述目标检测结果中包含甲状腺结节信息；
将所述目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息；
基于所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及所述甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息；
基于所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定所述甲状腺结节信息所对应结节所属回声类别。
2.根据权利要求1所述的方法，其特征在于，所述对待处理的病理图像进行目标检测，得到目标检测结果，包括：
通过高精确检测EfficientDet模型对所述待处理的病理图像进行目标检测，得到所述目标检测结果。
3.根据权利要求1所述的方法，其特征在于，所述基于所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及所述甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息，包括：
确定所述甲状腺结节信息中包含的各个像素分别对应的像素值；
基于所述甲状腺结节信息中包含的各个像素分别对应的像素值分别与各个回声类别的预设阈值的关系，确定甲状腺结节信息所对应的回声所属类别的第三概率信息，所述甲状腺结节所对应的回声所属类别的第三概率信息为所述甲状腺结节信息中所对应的回声所属类别的像素数量与所述甲状腺结节信息中包含像素数量的比例；
基于所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及所述甲状腺结节信息所对应的回声所属类别的第三概率信息，确定所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及所述甲状腺结节信息所对应的回声所属类别的第三概率信息，确定所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息，包括：
确定所述第一概率信息和所述第三概率信息分别对应的权重信息；
基于所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息、所述甲状腺结节信息所对应的回声所属类别的第三概率信息，以及所述第一概率信息和所述第三概率信息分别对应的权重信息，确定所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本，所述训练样本包括：多个甲状腺结节图像；
对所述训练样本中的至少一个甲状腺结节图像通过填充padding的方式进行数据增强处理；
基于数据增强处理后的训练样本对所述双线性卷积神经网络进行训练。
6.根据权利要求5所述的方法，其特征在于，所述基于所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定所述甲状腺结节信息所对应结节所属回声类别，之后还包括：
基于所述目标检测结果和所述甲状腺结节信息所对应的结节所属回声类别，对所述双线性卷积神经网络进行训练。
7.根据权利要求5或6所述的方法，其特征在于，对任一甲状腺结节图像通过填充padding的方式进行数据增强处理的方式，包括：
确定所述任一甲状腺结节图像中各个像素分别对应的像素值；
对所述各个像素分别对应的像素值进行预设处理，所述预设处理包括：均值处理、对数处理以及方差处理中的至少一项；
基于所述任一甲状腺结节图像通过所述预设处理后的像素值，并通过padding的方式，对所述任一甲状腺结节图像进行数据增强处理。
8.一种病理图像的处理装置，其特征在于，包括：
目标检测模块，用于对待处理的病理图像进行目标检测，得到目标检测结果，所述目标检测结果中包含甲状腺结节信息；
回声识别处理模块，用于将所述目标检测结果通过双线性卷积神经网络进行甲状腺结节回声类型识别处理，得到所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息；
第一确定模块，用于基于所述甲状腺结节信息所对应的结节所属回声类别的第一概率信息，以及所述甲状腺结节信息中所包含的各个像素分别对应的像素信息，确定所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息；
第二确定模块，用于基于所述甲状腺结节信息所对应的结节所属回声类别的第二概率信息，确定所述甲状腺结节信息所对应结节所属回声类别。
9.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至7任一项所述的病理图像的处理方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一项所述的病理图像的处理方法。
CN202110644753.6A 2021-06-09 2021-06-09 病理图像的处理方法、装置、电子设备及可读存储介质 Active CN113408596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110644753.6A CN113408596B (zh) 2021-06-09 2021-06-09 病理图像的处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644753.6A CN113408596B (zh) 2021-06-09 2021-06-09 病理图像的处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113408596A true CN113408596A (zh) 2021-09-17
CN113408596B CN113408596B (zh) 2022-09-30

Family

ID=77683332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644753.6A Active CN113408596B (zh) 2021-06-09 2021-06-09 病理图像的处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113408596B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854028A (zh) * 2008-12-22 2014-06-11 赛利恩影像股份有限公司 自动检测医学图像中的病变的方法和系统
CN110728674A (zh) * 2019-10-21 2020-01-24 清华大学 图像处理方法及装置、电子设备和计算机可读存储介质
CN111161216A (zh) * 2019-12-09 2020-05-15 杭州脉流科技有限公司 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质
CN112102343A (zh) * 2020-08-12 2020-12-18 海南大学 基于超声图像的ptc诊断系统
DE102019218349A1 (de) * 2019-11-27 2021-05-27 Robert Bosch Gmbh Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854028A (zh) * 2008-12-22 2014-06-11 赛利恩影像股份有限公司 自动检测医学图像中的病变的方法和系统
CN110728674A (zh) * 2019-10-21 2020-01-24 清华大学 图像处理方法及装置、电子设备和计算机可读存储介质
DE102019218349A1 (de) * 2019-11-27 2021-05-27 Robert Bosch Gmbh Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen
CN111161216A (zh) * 2019-12-09 2020-05-15 杭州脉流科技有限公司 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质
CN112102343A (zh) * 2020-08-12 2020-12-18 海南大学 基于超声图像的ptc诊断系统
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIANJIAO LIU ET AL.: "Automated detection and classification of thyroid nodules in ultrasound images using clinical-knowledge-guided convolutional neural networks", 《MEDICAL IMAGE ANALYSIS》 *
周姝君: "基于深度学习的超声甲状腺结节诊断研究", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 *

Also Published As

Publication number Publication date
CN113408596B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
Lin et al. Comparison of handcrafted features and convolutional neural networks for liver MR image adequacy assessment
Kisilev et al. Medical image description using multi-task-loss CNN
El-Naqa et al. A similarity learning approach to content-based image retrieval: application to digital mammography
Moussa et al. Thyroid nodules classification and diagnosis in ultrasound images using fine‐tuning deep convolutional neural network
US10853409B2 (en) Systems and methods for image search
US20150003701A1 (en) Method and System for the Automatic Analysis of an Image of a Biological Sample
Zhang et al. Automated polyp segmentation in colonoscopy frames using fully convolutional neural network and textons
Shaukat et al. Computer-aided detection of lung nodules: a review
Zhang et al. Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
EP4181059A1 (en) Medical image processing method, apparatus, device, storage medium, and product
CN112614144A (zh) 一种图像分割方法、装置、设备及存储介质
WO2018176189A1 (zh) 图像分割的方法及系统
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN113408595B (zh) 病理图像处理的方法、装置、电子设备及可读存储介质
Liu et al. U2F-GAN: weakly supervised super-pixel segmentation in thyroid ultrasound images
CN113408596B (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
Gómez-Flores et al. Gray-to-color image conversion in the classification of breast lesions on ultrasound using pre-trained deep neural networks
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet
Wu et al. Automatic mass detection from mammograms with region-based convolutional neural network
Nida et al. A Novel Region‐Extreme Convolutional Neural Network for Melanoma Malignancy Recognition
CN113763313A (zh) 文本图像的质量检测方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant