CN114004795A - 一种乳腺结节的分割方法及相关装置 - Google Patents

一种乳腺结节的分割方法及相关装置 Download PDF

Info

Publication number
CN114004795A
CN114004795A CN202111242687.6A CN202111242687A CN114004795A CN 114004795 A CN114004795 A CN 114004795A CN 202111242687 A CN202111242687 A CN 202111242687A CN 114004795 A CN114004795 A CN 114004795A
Authority
CN
China
Prior art keywords
map
prediction probability
feature
pixel points
initial prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111242687.6A
Other languages
English (en)
Inventor
倪东
黄若冰
林铭容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111242687.6A priority Critical patent/CN114004795A/zh
Publication of CN114004795A publication Critical patent/CN114004795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Abstract

本申请公开了一种乳腺结节的分割方法及相关装置，方法包括将待分割的乳腺图像输入特征模块，通过特征模块确定乳腺图像的初始预测概率图及目标特征图；将所述初始预测概率图输入所述边缘渲染模块，控制边缘渲染模块基于初始预测概率确定乳腺图像对应的不确定图，获取不确定图中的若干问题像素点，基于初始预测概率图及目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和初始预测概率图确定所述乳腺图像对应的目标区域。本申请通过获取初始预测概率图的不确定图，并基于不确定图选取到若干问题像素点，再对问题像素点进行重新预测，可以提高问题像素点的预测准确性，从而提高乳腺结节分割的准确性。

Description

一种乳腺结节的分割方法及相关装置
技术领域
本申请涉及医学图像处理技术领域，特别涉及一种乳腺结节的分割方法及相关装置。
背景技术
乳腺癌的早期诊断是提高乳腺癌治愈率、降低乳腺癌死亡率的关键。在乳腺癌的临床检测中，超声成像以其实时性、无辐射和检查费用低等优点而被广泛应用，而且大量研究表明二维超声影像中肿瘤轮廓特征和纹理特征是帮助医师判断肿瘤的良恶性的重要指标。
目前瘤的良恶性普遍是由有经验的医生直接查看图像，根据内部回声、形状、边界等特征提取肿瘤区域的信息分析确定的。然而，医生手工对乳腺超声图像中的肿瘤区域进行边界的划定是一项十分耗时且高度重复的工作。此外，不同医生由于临床经验的不同，对于结节区域的判定容易出现观察者间的差异。因此，通过计算机辅助诊断来简化人力成本，降低误诊率是十分有必要的。其中，基于超声图像的乳腺病灶分割是乳腺癌的计算机辅助诊断、定量分析的常用基本预处理步骤，通过自动获取肿瘤的边界，辅助医生对肿瘤的大小进行自动测量，是确定肿瘤是良性还是恶性的关键。
目前针对乳腺超声图像的分割方法主要包括以下几类：(1)相对传统的机器学习方法，包括基于阈值的方法，基于轮廓的方法以及基于区域的方法等，这些方法只考虑了图像浅层的视觉信息，如亮度、边缘,纹理,轮廓等，当图像中结节区域边界不连续或不够清晰时，浅层的图像特征往往无法准确表示目标区域。(2)基于深度学习的方法，特别是卷积神经网络(CNNs)，使用卷积算子对输入图像进行高层语义信息的提取，通过进行像素点的类别预测实现分割任务。然而，由于在经典CNN网络中使用了重复的下采样操作，对于图像分割任务往往伴随着位置信息的损失，且很难获得足够大的输出分辨率，进而影响预测准确性。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种乳腺结节的分割方法及相关装置。
为了解决上述技术问题，本申请实施例第一方面提供了一种乳腺结节的分割方法，所述方法应用分割模型，所述分割模型包括特征模块以及边缘渲染模块，所述的方法包括：
将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图；
将所述初始预测概率图以及所述目标特征图输入所述边缘渲染模块，控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域，其中，所述不确定图用于反映所述初始预测概率图的可信程度。
所述的乳腺结节的分割方法，其中，所述特征模块包括特征提取单元、融合单元以及初始预测单元；所述将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图具体包括：
将待分割的乳腺图像输入特征提取单元，通过所述特征提取单元确定所述乳腺图像的若干第一特征图，其中，若干特征图的图像尺寸不同；
将若干第一特征图输入融合单元，通过融合单元确定第二特征图；
将所述第二特征图输入所述初始预测单元，通过所述初始预测单元确定所述乳腺图像的初始预测概率图。
所述的乳腺结节的分割方法，其中，所述将若干第一特征图输入融合单元，通过融合单元确定第二特征图具体包括：
将若干第一特征图输入融合单元，通过融合单元将若干第一特征图拼接以得到第三特征图；
通过所述融合单元及所述第三特征图确定若干第四特征图，并将若干第四特征图拼接以得到第二特征图，其中，各第四特征图的感受野不同。
所述的乳腺结节的分割方法，其中，所述控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图具体包括：
获取所述初始预测概率图中的各像素点在各通道中的预测概率；
对于每个像素点，在所述像素点对应的所有预测概率中选取最大预测概率和次大预测概率，并基于所述最大预测概率和所述次大预测概率计算所述像素点的不确定度；
基于所述初始预测概率图中的各像素点的不确定度形成不确定图。
所述的乳腺结节的分割方法，其中，所述获取所述不确定图中的若干问题像素点具体为：
在不确定图中按照不确定度从大到小的顺序选取若干问题像素点。
所述的乳腺结节的分割方法，其中，在所述分割模型的训练过程中，所述获取所述不确定图中的若干问题像素点具体包括：
在所述不确定图中随机选取第一数量的第一像素点，并在所述第一数量的第一像素点中按照不确定度从大到小的顺序依次选取第二数量的第二像素点；
在所述不确定图中选取第三数量的第三像素点，并将选取的第二数量的第二像素点和第三数量的第三像素点作为所述不确定图中的若干问题像素点，其中，所述若干问题像素点的数量小于所述第一数量。
所述的乳腺结节的分割方法，其中，所述基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率具体包括：
在所述目标特征图中选取各问题像素点各自对应的细粒度特征点；
基于各问题像素点各自对应的细粒度特征点以及各问题像素点各自对应的初始预测概率，确定各问题像素点各自对应的修正特征点；
基于各问题像素点各自对应修正特征点，预测各问题像素点的候选预测概率。
本申请实施例第二方面提供了一种乳腺结节的分割装置，所述分割装置包括：
特征模块，用于基于确定所述乳腺图像的初始预测概率图；
边缘渲染模块，用于基于所述初始预测概率块确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的乳腺结节的分割方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的乳腺结节的分割方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种乳腺结节的分割方法及相关装置，所述方法包括将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图；将所述初始预测概率图输入所述边缘渲染模块，控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域。本申请通过获取初始预测概率图的不确定图，并基于不确定图选取到若干问题像素点，再对问题像素点进行重新预测，可以提高问题像素点的预测准确性，从而提高乳腺结节分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的乳腺结节的分割方法的流程图。
图2为本申请提供的乳腺结节的分割方法的原理流程图。
图3为本申请提供的乳腺结节的分割装置的结构原理图。
图4为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种乳腺结节的分割方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，乳腺癌的早期诊断是提高乳腺癌治愈率、降低乳腺癌死亡率的关键。在乳腺癌的临床检测中，超声成像以其实时性、无辐射和检查费用低等优点而被广泛应用，而且大量研究表明二维超声影像中肿瘤轮廓特征和纹理特征是帮助医师判断肿瘤的良恶性的重要指标。
目前瘤的良恶性普遍是由有经验的医生直接查看图像，根据内部回声、形状、边界等特征提取肿瘤区域的信息分析确定的。然而，医生手工对乳腺超声图像中的肿瘤区域进行边界的划定是一项十分耗时且高度重复的工作。此外，不同医生由于临床经验的不同，对于结节区域的判定容易出现观察者间的差异。因此，通过计算机辅助诊断来简化人力成本，降低误诊率是十分有必要的。其中，基于超声图像的乳腺病灶分割是乳腺癌的计算机辅助诊断、定量分析的常用基本预处理步骤，通过自动获取肿瘤的边界，辅助医生对肿瘤的大小进行自动测量，是确定肿瘤是良性还是恶性的关键。
目前针对乳腺超声图像的分割方法主要包括以下几类：(1)相对传统的机器学习方法，包括基于阈值的方法，基于轮廓的方法以及基于区域的方法等，这些方法只考虑了图像浅层的视觉信息，如亮度、边缘,纹理,轮廓等，当图像中结节区域边界不连续或不够清晰时，浅层的图像特征往往无法准确表示目标区域。(2)基于深度学习的方法，特别是卷积神经网络(CNNs)，使用卷积算子对输入图像进行高层语义信息的提取，通过进行像素点的类别预测实现分割任务。然而，由于在经典CNN网络中使用了重复的下采样操作，对于图像分割任务往往伴随着位置信息的损失，且很难获得足够大的输出分辨率，进而影响预测准确性。
为了解决上述问题，在本申请实施例中，将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图；将所述初始预测概率图输入所述边缘渲染模块，控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域。本申请通过获取初始预测概率图的不确定图，并基于不确定图选取到若干问题像素点，再对问题像素点进行重新预测，可以提高问题像素点的预测准确性，从而提高乳腺结节分割的准确性。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种乳腺结节的分割方法，所述方法应用分割模型，所述分割模型为经过训练的神经网络模型，所述分割模型用于对乳腺图像进行分割，以识别乳腺图像中的结节区域。其中，分割模型可以包括特征模块和边缘渲染模块，特征模块与边缘渲染模块相连接，特征模块的输入项为待分割的乳腺图像，特征模块的输出项包括初始预测概率图以及目标特征图；边缘渲染模块的输入项包括特征模块确定初始预测概率图以及目标特征图，边缘渲染模块的输出项包括目标区域。
本实施例提供了一种乳腺结节的分割方法，如图1和2所示，所述方法包括：
S10、将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图。
具体地，乳腺图像为乳腺超声图像，乳腺图像可以为与运行本实施例提供的乳腺结节的分割方法的电子设备相连接的通过超声设备采集得到，或者是，外部设备发送给运行本实施例提供的乳腺结节的分割方法的电子设备，或者是，通过网络获取得到等。当然，在实际应用中，超声设备也可以直接配置有本实施例提供的乳腺结节的分割方法，在获取到乳腺超声图像时，直接对乳腺超声图像进行分割得到结节掩膜图，并同步显示结节掩膜图与乳腺超声图像等。
特征模块用于为边缘渲染模块提供目标特征图以及初始预测概率图，也就是说，待分割的乳腺图像输入特征模块后，特征模块会基于乳腺图像确定目标特征图以及初始预测概率图，并将目标特征图以及初始预测概率图作为边缘渲染模块的输入项，使得边缘渲染模块对预测概率图中的部分像素点的预测概率进行修正，以提高乳腺图像的分割准确性。其中，特征模块可以包括深度卷积神经网络，在特征模块的训练过程中，特征模块的输入项可以为训练乳腺图像以及结节标注区域，特征模块对训练乳腺图像以及结节标注区域进行序列，以实现对未标注的乳腺图像进行特征提取以及确定初始预测概率图。
在本实施例的一个实现方式中，如图2所示，所述特征模块包括特征提取单元、融合单元以及初始预测单元，所述将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图具体包括：
将待分割的乳腺图像输入特征提取单元，通过所述特征提取单元确定所述乳腺图像的若干第一特征图以及目标特征图；
将若干第一特征图输入融合单元，通过融合单元确定第二特征图；
将所述第二特征图输入所述初始预测单元，通过所述初始预测单元确定所述乳腺图像的初始预测概率图。
具体地，目标特征图为特征提取单元获取若干第一特征图的过程中确定一特征图，目标特征图可以包括于若干第一特征图内，也可以不包括于若干第一特征图内。所述特征提取单元用于确定乳腺图像的若干第一特征图，若干第一特征图中的每个特征图的图像尺寸不同。可以理解的是，各特征图是通过特征提取单元的不同网络层输出得到，以使得各特征图的特征维度不同。例如，如图2所示，特征提取单元采用ResNet网络，若干第一特征图分别为ResNet网络的第一个7*7卷积块的特征，第一、二、四个堆积层的输出特征(即图2中的64维度、256维度、512维度、2048维度的特征)。
第二特征图为融合单元基于若干第一特征图确定的高阶特征信息，第二特征图融合了多层及多尺度特征，从而使得第二特征图携带有乳腺图像的多层次多尺度信息，进而可以提高初始预测概率图的准确性。在本实施例的一个实现方式中，所述将若干第一特征图输入融合单元，通过融合单元确定第二特征图具体包括：
将若干第一特征图输入融合单元，通过融合单元将若干第一特征图拼接以得到第三特征图；
通过所述融合单元及所述第三特征图确定若干第四特征图，并将若干第四特征图拼接以得到第二特征图，其中，各第四特征图的感受野不同。
具体地，由于若干第一特征图的图像尺寸不同，从而在将若干第一特征图进行拼接之前，需要对若干第一特征图的图像尺寸进行调整，以使得调整后的各第一特征图的图像尺寸相同，例如，将各第一特征图的图像尺寸均调整为预设图像尺寸，或者是，在各第一特征图中选取一个特征图作为目标特征图，将其他各特征图的图像尺寸均调整为目标特征图的图像尺寸，其中，目标特征图若干第一特征图中的任一特征图。此外，在将各第一特征图的图像尺寸调整至相同后，将各第一特征图按通道方向拼接以得到第三特征图。也就是说，第三特征图的通道数等于各第一特征图的通道数的和。
在获取到第三特征图后，对第三特征图进行卷积运以得到第五特征图，然后在对第五特征图进行若干不同运算以得到若干感受野不同的第四特征图。例如，分别使用1*1的普通卷积、孔洞率为12的3*3的带孔卷积、孔洞率为24的3*3的带孔卷积以及孔洞率为36的3*3的带孔卷积对第五特征图进行卷积操作，以得到4种不同感受野下的第四特征图。此外，在获取到若干第四特征图后，将若干第四特征图按照通道方式拼接，并对拼接得到的特征图进行卷积运算以得到第二特征图，其中，对拼接得到的特征图进行卷积运算时可以采用1*1的普通卷积。这样可以使得第二特征图可以获取更多对乳腺结节具有很高重要性的多层次多尺度信息，以使得可以提高初始预测单元确定所述乳腺图像的初始预测概率图的准确性。
所述初始预测单元用于基于第二特征图预测所述乳腺图像的初始预测概率图，其中，初始预测单元可以包括卷积层，将第二特征图输入卷积层，通过卷积层输出所述乳腺图像的初始预测概率图。在一个具体实现方式中，如图2所示，初始预测单元可以采用3*3的普通卷积。
S20、将所述初始预测概率图输入所述边缘渲染模块，控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点并基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域。
具体地，边缘渲染模块用于基于目标特征图以及初始预测概率图对初始预测概率图中的部分像素点的预测概率进行修正，并基于修正后的初始预测概率图确定所述乳腺图像对应的目标区域。所述不确定图用于反映所述初始预测概率图的可信程度，其中，不确定图的通道数为1，图像尺寸等于初始预测概率的图像尺寸，不确定图中的每个像素点的值用于反映初始预测概率图中与该像素点对应的像素点的可信程度。也就是说，不确定图反映初始预测概率图中的各像素点的可信程度。
在本实施例的一个实现方式中，所述控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图具体包括：
获取所述初始预测概率图中的各像素点在各通道中的预测概率；
对于每个像素点，在所述像素点对应的所有预测概率中选取最大预测概率和次大预测概率，并基于所述最大预测概率和所述次大预测概率计算所述像素点的不确定度；
基于所述初始预测概率图中的各像素点的不确定度形成不确定图。
具体地，初始预测概率图包括若干通道，特征模块配置有若干默认类别，若干通道与若干默认类别一一对应，每个通道用于反应乳腺图像中的像素点的预测类别为该通道对应的默认类别的预测概率。也就是说，对于一个像素点，像素点在各通道中的预测概率为像素点为各通道各自对应的默认类别的概率。其中，像素点在各通道中的预测概率均在0-1之间，并且像素点在各通道中的预测概率的和为1。由此，在获取到初始预测概率图之后，对于每个像素点，可以获取该像素点在各通道中的预测概率，以得到该像素点在各默认类别的预测概率。例如，特征模块配置的默认类别包括前景类别和背景类别，初始预测概率图的通道数为2，那么像素点A可以获取到预测概率a和预测概率b，预测概率a对应前景类别，预测概率b对应背景类别，预测概率a用于反应像素点A为前景的概率，预测概率b用于反应像素点A为背景的概率。
在获取到像素点的各预测概率之后，将各预测概率按照从大到小的顺序排列，得到预测概率序列，然后在预测概率序列中选取前两个预测概率以得到最大预测概率和次数预测概率。可以理解的是，最大预测概率为各预测概率中的最大值，次大预测概率为各预测概率中的第二大值。在获取到最大预测概率和次大预测概率之后，可以根据最大预测概率和次大预测概率计算不确定度，其中，不确定度可以等于最大预测概率与次大预测概率的差值与负一的乘积。也就是说，不确定度等于次大预测概率减去最大预测概率。本实施例通过采用最大预测概率与次大预测概率来计算不确定度，以使得不确定度可以表示像素点对应的预测类别的可信程度，其中，不确定度越高说明像素点对应的预测类别的可信程度越低，反之，不确定度越低说明像素点对应的预测类别的可信程度越高。当然，在实际应用中，还可以采用其他方式来计算不确定度，例如，采用最大预测概率与第三大预测概率，或者是，最大预测概率与最小预测概率，或者是，直接将像素点对应的预测类别的概率作为不确定等。本实施例提供的不确定的确定过程为一个典型实现方式，通过该实现方式可以更加准确的反应像素点对应的预测类别的可信程度。
在获取到各像素点各自对应的不确定度之后，各不确定度按照各自对应的像素点在初始预测概率图中的位置进行排布来形成不确定图，以使得不确定图中的每个像素点用于反应初始预测概率图中与该像素点相对应的像素点的可信程度，其中，不确定图的图像尺寸等于初始预测概率图的图像尺寸。
若干问题像素点在分割模型测试和使用过程的获取方法，与分割模型在训练过程的获取方法。测试和使用过程中，可以选取不确定度高的若干问题像素点。由此，所述获取所述不确定图中的若干问题像素点具体为：在不确定图中按照不确定度从大到小的顺序选取若干问题像素点。也就是说，在获取到初始预测概率图中的各像素点的不确定度后，可以将各像素点按照不确定度从高到低进行排序，然后从前向后依次选取问题像素点以得到若干问题像素点。
在所述分割模型的训练过程中，所述获取所述不确定图中的若干问题像素点具体包括：
在所述不确定图中随机选取第一数量的第一像素点，并在所述第一数量的第一像素点中按照不确定度从大到小的顺序依次选取第二数量的第二像素点；
在所述不确定图中选取第三数量的第三像素点，并将选取的第二数量的第二像素点和第三数量的第三像素点作为所述不确定图中的若干问题像素点。
具体地，第一数量大于或者等于待选取的若干问题像素点的第四数量，第二数量和第三数量的和等于待选取的若干问题像素点的第四数量，其中，第二数量小于第四数量，第三数量小于第四数量。此外，第一数量可以为大于或者等于第四数量的任意数量。在一个实现方式中，第一数量为第四数量的倍数，可以理解的是，第一数量等于K*第四数量N，其中，K为预设参倍数，K为正整数。
第一数量的第一像素点为在不确定图中随机选取得到的，第二数量的第二像素点是在第一数量的第一像素中选取的，也就是说，任一第二像素点均包含于第一数量的第一像素点内，而第一数量的第一像素点中存在不为第二像素点的像素点。在本实施例的中，第二数量的第二像素点是按照不确定度从大到小的顺序选取，该选取过程可以为将第一数量的像素点按照不确定从大到小的顺序排序以得到第一像素点序列，然后选取第一像素点序列中的前第二数量个第一像素点，并将选取到的第二数量的第一像素点作为第二数量的第二像素点。在获取到第二数量的第二像素点后，在不确定图中选取第三数量的第三像素点以得到若干问题像素点，其中，第三数量的第三像素点可以采用均匀采样的方式得到，并且第三数量的第三像素点中可以存在包含于第二数量的第二像素点的像素点。
举例说明：假设乳腺图像为256*256*3乳腺超声图像，乳腺图像通过特征模块后得到32*32*c的初始预测概率图，其中，c为特征模块配置的默认类别的数量(例如，若只考虑超声图像中结节与背景区域，c＝2，若将结节分类良恶性，则c＝3)，问题像素点的第四数量N＝256，倍数等K＝2，第二预设数量占第四数量的比例β＝0.75，那么在获取到32*32的不确定图后，在不确定图上随机选择2*256个第一像素点，然后在2*256个第一像素点中选出不确定度最高的0.75*256个第二像素点，接着再从整个不确定图上均匀采样0.25*256个第三像素，以得到最256个问题像素点。
此外，在训练过程中选取的问题像素点的数量与在测试和验证过程中选取的问题像素点的数量可以不同，训练过程中选取的问题像素点的数量可以大于测试和验证过程中选取的问题像素点的数量，使得训练过程可以快速学习到问题像素点的特征，从而提高模型训练速度，在测试和验证过程中可以减少问题像素点的数量可以减少边缘渲染模块的运算量。
在本实施例的一个实现方式中，所述基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率具体包括：
在所述目标特征图中选取各问题像素点各自对应的细粒度特征点；
基于各问题像素点各自对应的细粒度特征点以及各问题像素点各自对应的初始预测概率，确定各问题像素点各自对应的修正特征点；
基于各问题像素点各自对应修正特征点，预测各问题像素点的候选预测概率。
具体地，目标特征图为特征模块在获取初始预测概率图的过程中确定的一张特征图，该特征图可以为特征模块提取到的任一特征图，例如，特征图为融合模块融合若干第一特征图得到的第二特征图，或者是，若干第一特征图中的一张，或者是，若干第一特征图拼接得到的第三特征图等。在本实施例的一个实现方式，特征模块采用ResNet作为特征模块中的特征提取单元，目标特征模块为ResNet的第二个layer层提取得到的特征图，例如，目标特征图为图2中的512维度的特征图。本实施例通过选取第二个layer层输出的特征图作为目标特征图，使得目标特征图携带有高阶的全局语义信息，并且在实际的实验结果中也证明了选取第二个layer层输出的特征图更加适合已有的超声数据。当然，在针对不同数据，也可采用其他layer输出的特征图，或者是将两个以上的layer的特征图进行拼接与融合形成目标特征图等。
在获取到目标特征图后，在目标特征图中选取各问题像素点各自对应的细粒度特征点，其中，各问题像素点在初始预测概率图中的像素位置与其对应的细粒度特征点在目标特征图中的像素位置相同。也就是说，各问题像素点各自对应的细粒度特征点是基于像素位置选取得到。此外，在基于像素位置选取细粒度特征点之前，可以先将目标特征图的图像尺寸调整为预测概率图的图像尺寸，然后在选取各问题像素点各自对应的细粒度特征点。例如，目标特征图为图2中的512维度的特征图，那每个问题像素点均可以选取到一个1*1*512的细粒度特征点。
修正特征点为问题像素点与细粒度特征点联合得到，也就是说，在获取到各问题像素点各自对应的细粒度特征点后，将各问题像素点各自对应的初始预测概率与各问题像素点各自对应的细粒度特征点按照通道方向拼接以得到修改特征点，然后基于修改特征点预测问题像素点的预测概率，以得到各问题像素点的候选预测概率，其中，基于修改特征点预测问题像素点的预测概率可以通过轻量级的多层感知机来预测，例如，包括1*1的卷积和ReLu激活的轻量级的多层感知机等。
在本实施例的一个实现方式中，在基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域时，是采用各问题像素点的候选预测概率替换初始预测概率图中各问题像素点各自对应的初始预测概率图，以得到候选预测概率图，然后基于候选预测概率图确定乳腺图像对应的目标区域。此外，在训练阶段，由于梯度回传机制，仅在经过上述特征模块得到的初始预测概率图运行边缘渲染模块，这是由于网络训练过程中的梯度回传的机制，无法对预测结果进行多次放大后再采点，因此训练阶段在初始预测概率图上使用一次边缘渲染模块。在测试阶段，在获取到初始预测概率图后，在初始预测概率图上运行边缘渲染模块，同时在初始预测概率图的上采样过程中，对于每次上采样得到的上采用预测概率图均运行边缘渲染模块，这是由于不涉及梯度回传问题，因此可进行多次循环的放大和点类别的重新预测，可以进一步提高预测得到的目标区域的准确性。
举例说明：假设在测试阶段，乳腺图像的图像尺寸为256*256*3，问题像素点的数量N＝4096，初始预测概率图的图像尺寸为32*32，初始预测概率图经过3次2倍线性上采样到与乳腺图像的图像尺寸相同的预测概率图，那么在初始预测概率图上运行边缘渲染模块后，在每次上采样得到的上采样预测概率图上均运行缘渲染模块。其中，64*64的上采样预测概率图上所有像素点被选为问题像素点，128*128和256*256的上采样预测概率图上同样有4096个点像素点被选为问题像素点。
在本实施例的一个实现方式中，分割模型在训练过程中可以对训练样本集中的训练图像进行数据预处理，其中，数据预处理主要包括标准化、归一化、直方图均衡等等。例如，在对图像进行标准化的过程中，图像会减去均值，再除以标准差，从而让数据符合标准正态分布；在归一化的过程中，图像的所有像素会减去像素的最小值，再除以像素最大值减去像素最小值的差，最终图像的像素取值范围会从0～255变成0～1，像素0到1的取值范围更适合于后续神经网络的处理；而直方图均衡化的作用主要是增强图像的对比度，让图像更清晰等等。在一些情况下，数据之间的图像差异较大，分布不均衡，如果不对数据进行预处理的话，可能会对后续的训练产生一定的影响：如限制模型的精度、收敛速度以及泛化能力等。当然，在实际应用中还可以采用其他预处理方式，这里就不一一说明。
在本实施例的一个实现方式中，在获取到目标区域后，还可以进行后处理，使预测得到的目标区域更加接近临床实际。其中，后处理的方式可以包括对框架预测出来的结节区域进行空洞填充和去除非结节区域的小连通域等。当然，在实际应用中还可以采用其他后处理方式，这里就不一一说明。
综上所述，本实施例提供了一种乳腺结节的分割方法，所述方法包括将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图；将所述初始预测概率图输入所述边缘渲染模块，控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域。本申请通过获取初始预测概率图的不确定图，并基于不确定图选取到若干问题像素点，再对问题像素点进行重新预测，可以提高问题像素点的预测准确性，从而提高乳腺结节分割的准确性。
基于上述乳腺结节的分割方法，本实施例提供了一种乳腺结节的分割装置，如图3所示，所述分割装置包括：
特征模块100，用于基于确定所述乳腺图像的初始预测概率图；
边缘渲染模块200，用于基于所述初始预测概率块确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域。
基于上述乳腺结节的分割方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的乳腺结节的分割方法中的步骤。
基于上述乳腺结节的分割方法，本申请还提供了一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种乳腺结节的分割方法，其特征在于，所述方法应用分割模型，所述分割模型包括特征模块以及边缘渲染模块，所述的方法包括：
将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图；
将所述初始预测概率图以及所述目标特征图输入所述边缘渲染模块，控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域，其中，所述不确定图用于反映所述初始预测概率图的可信程度。
2.根据权利要求1所述的乳腺结节的分割方法，其特征在于，所述特征模块包括特征提取单元、融合单元以及初始预测单元；所述将待分割的乳腺图像输入所述特征模块，通过所述特征模块确定所述乳腺图像的初始预测概率图以及目标特征图具体包括：
将待分割的乳腺图像输入特征提取单元，通过所述特征提取单元确定所述乳腺图像的若干第一特征图，其中，若干特征图的图像尺寸不同；
将若干第一特征图输入融合单元，通过融合单元确定第二特征图；
将所述第二特征图输入所述初始预测单元，通过所述初始预测单元确定所述乳腺图像的初始预测概率图。
3.根据权利要求2所述的乳腺结节的分割方法，其特征在于，所述将若干第一特征图输入融合单元，通过融合单元确定第二特征图具体包括：
将若干第一特征图输入融合单元，通过融合单元将若干第一特征图拼接以得到第三特征图；
通过所述融合单元及所述第三特征图确定若干第四特征图，并将若干第四特征图拼接以得到第二特征图，其中，各第四特征图的感受野不同。
4.根据权利要求1所述的乳腺结节的分割方法，其特征在于，所述控制所述边缘渲染模块基于所述初始预测概率图确定所述乳腺图像对应的不确定图具体包括：
获取所述初始预测概率图中的各像素点在各通道中的预测概率；
对于每个像素点，在所述像素点对应的所有预测概率中选取最大预测概率和次大预测概率，并基于所述最大预测概率和所述次大预测概率计算所述像素点的不确定度；
基于所述初始预测概率图中的各像素点的不确定度形成不确定图。
5.根据权利要求1所述的乳腺结节的分割方法，其特征在于，所述获取所述不确定图中的若干问题像素点具体为：
在不确定图中按照不确定度从大到小的顺序选取若干问题像素点。
6.根据权利要求1所述的乳腺结节的分割方法，其特征在于，在所述分割模型的训练过程中，所述获取所述不确定图中的若干问题像素点具体包括：
在所述不确定图中随机选取第一数量的第一像素点，并在所述第一数量的第一像素点中按照不确定度从大到小的顺序依次选取第二数量的第二像素点；
在所述不确定图中选取第三数量的第三像素点，并将选取的第二数量的第二像素点和第三数量的第三像素点作为所述不确定图中的若干问题像素点，其中，所述若干问题像素点的数量小于所述第一数量。
7.根据权利要求1所述的乳腺结节的分割方法，其特征在于，所述基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率具体包括：
在所述目标特征图中选取各问题像素点各自对应的细粒度特征点；
基于各问题像素点各自对应的细粒度特征点以及各问题像素点各自对应的初始预测概率，确定各问题像素点各自对应的修正特征点；
基于各问题像素点各自对应修正特征点，预测各问题像素点的候选预测概率。
8.一种乳腺结节的分割装置，其特征在于，所述分割装置包括：
特征模块，用于基于确定所述乳腺图像的初始预测概率图；
边缘渲染模块，用于基于所述初始预测概率块确定所述乳腺图像对应的不确定图，获取所述不确定图中的若干问题像素点，基于初始预测概率图以及所述目标特征图预测各问题像素点的候选预测概率，以及基于各问题像素点的候选预测概率和所述初始预测概率图确定所述乳腺图像对应的目标区域。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的乳腺结节的分割方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的乳腺结节的分割方法中的步骤。
CN202111242687.6A 2021-10-25 2021-10-25 一种乳腺结节的分割方法及相关装置 Pending CN114004795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242687.6A CN114004795A (zh) 2021-10-25 2021-10-25 一种乳腺结节的分割方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242687.6A CN114004795A (zh) 2021-10-25 2021-10-25 一种乳腺结节的分割方法及相关装置

Publications (1)

Publication Number Publication Date
CN114004795A true CN114004795A (zh) 2022-02-01

Family

ID=79923903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242687.6A Pending CN114004795A (zh) 2021-10-25 2021-10-25 一种乳腺结节的分割方法及相关装置

Country Status (1)

Country Link
CN (1) CN114004795A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152504A (zh) * 2023-04-20 2023-05-23 杰创智能科技股份有限公司 图像分割方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152504A (zh) * 2023-04-20 2023-05-23 杰创智能科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN116152504B (zh) * 2023-04-20 2024-04-09 杰创智能科技股份有限公司 图像分割方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
Rawat et al. Deep learned tissue “fingerprints” classify breast cancers by ER/PR/Her2 status from H&E images
CN110050281B (zh) 学习图像中的对象的注释
US11232354B2 (en) Histopathological image analysis
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
Van Eycke et al. Segmentation of glandular epithelium in colorectal tumours to automatically compartmentalise IHC biomarker quantification: A deep learning approach
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
US20220058839A1 (en) Translation of images of stained biological material
US11645753B2 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
CN111448582A (zh) 用于单通道全细胞分割的系统和方法
US10861156B2 (en) Quality control for digital pathology slides
CN112585696A (zh) 用于自动肿瘤检测和分类的系统
Han et al. Histologic tissue components provide major cues for machine learning-based prostate cancer detection and grading on prostatectomy specimens
JP2023543044A (ja) 組織の画像を処理する方法および組織の画像を処理するためのシステム
CN114549462A (zh) 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
Hossain et al. Region of interest (ROI) selection using vision transformer for automatic analysis using whole slide images
CN114004795A (zh) 一种乳腺结节的分割方法及相关装置
CN112703531A (zh) 生成组织图像的注释数据
CN116868226A (zh) 图像中注释的感兴趣区域的检测
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
CN112330787A (zh) 图像标注方法、装置、存储介质和电子设备
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN115908363A (zh) 肿瘤细胞统计方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination