CN111161275B - 医学图像中目标对象的分割方法、装置和电子设备 - Google Patents

医学图像中目标对象的分割方法、装置和电子设备 Download PDF

Info

Publication number
CN111161275B
CN111161275B CN201811327177.7A CN201811327177A CN111161275B CN 111161275 B CN111161275 B CN 111161275B CN 201811327177 A CN201811327177 A CN 201811327177A CN 111161275 B CN111161275 B CN 111161275B
Authority
CN
China
Prior art keywords
target object
mask
neural network
segmentation
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811327177.7A
Other languages
English (en)
Other versions
CN111161275A (zh
Inventor
李悦翔
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811327177.7A priority Critical patent/CN111161275B/zh
Publication of CN111161275A publication Critical patent/CN111161275A/zh
Application granted granted Critical
Publication of CN111161275B publication Critical patent/CN111161275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

本申请实施例提供了一种医学图像中目标对象的分割方法、装置和电子设备。该方法包括：获取待分割的医学图像；根据掩码区域卷积神经网络模型，确定出待分割的医学图像中各目标对象的初步分割结果；基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行分割，得到各独立的目标对象；输出包含各独立的目标对象的图像。本申请实施例利用掩码区域卷积神经网络模型提升目标对象的初步分割精度，并利用掩码对初步分割结果进一步进行分割，可以消除目标对象重叠的影响，大大提升了目标对象的分割精度；节省了医学图像中候选区域之外的像素点的处理步骤，从而降低了计算量，整体上缩短了分割所需时间，提升了分割效率。

Description

医学图像中目标对象的分割方法、装置和电子设备
技术领域
本申请涉及图像处理技术领域，具体而言，本发明涉及一种医学图像中目标对象的分割方法、装置和电子设备。
背景技术
某些疾病的检查通常包括：对待检测人(例如病人或体检者)的组织器官进行活体采样获得组织样本；利用专业仪器对组织样本进行扫描得到医学图像，供医生观察判断。但是，一方面一般医学图像中包含的诸如组织细胞等目标对象的数量十分庞大，医生长时间逐一筛查目标对象将十分耗时耗力；另一方面，长时间的医学图像判读容易导致医生产生疲劳，很容易出现误检与漏检的现象。因此，相关技术人员开发了目标对象的分割方法。
现有技术存在一种基于实例分割(Instance Segmentation)的目标对象的分割方法，通过对医学图像进行像素级别的分类，将医学图像中的各目标对象(例如细胞核)分割出来。
然而，本申请的发明人发现，利用现有技术从医学图像中分割出的目标对象的精度较为低下，容易误导后续的观察和判断；而且，现有技术的分割过程速度较慢，耗时较长。
发明内容
本申请提供了一种医学图像中目标对象的分割方法、装置和电子设备，可以解决目标对象的分割精度较为低下或分割过程速度较慢的问题。所述技术方案如下：
第一方面，提供了一种医学图像中目标对象的分割方法，包括：
获取待分割的医学图像；
根据掩码区域卷积神经网络模型，确定出待分割的医学图像中各目标对象的初步分割结果；
基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行分割，得到各独立的目标对象；
输出包含各独立的目标对象的图像。
可选地，基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行分割，得到各独立的目标对象，包括：
根据前景中每个像素点的掩码，确定出前景中每个像素点的位置信息；前景包括初步分割结果中各目标对象；目标对象包括细胞、细胞核和病灶中的一种；
根据每个像素点的位置信息，确定每个像素点与最近的边缘之间的距离；边缘为目标对象的边缘；
根据各像素点与最近的边缘之间的距离，确定每个独立的目标对象的边缘界限。
可选地，根据各像素点与最近的边缘之间的距离，确定每个独立的目标对象的边缘界限，包括：
根据各像素点与最近的边缘之间的距离，构建距离图；距离图中以不同的颜色表征具有不同距离的像素点；
根据距离图，确定每个独立的目标对象的边缘界限。
可选地，确定每个独立目标对象的边缘界限之后，还包括：
根据每个独立的目标对象的边缘界限，对每个独立的目标对象进行膨胀操作，得到形态膨胀后的各独立的目标对象。
可选地，掩码区域卷积神经网络模型是的通过下述方法预先训练得到的：
从训练集中抽选出多个训练子集；
利用各训练子集分别对原始的掩码区域卷积神经网络模型进行初步训练，得到初步训练后的各掩码区域卷积神经网络模型；
利用各掩码区域卷积神经网络模型分别对验证集进行验证性的分割，得到各验证性的分割结果；验证集包括训练集中抽选剩余的样本医学图像；
确定出符合验证条件的初步训练后的掩码区域卷积神经网络模型，作为选定的掩码区域卷积神经网络模型；验证条件包括验证性的分割结果的准确率最高且训练子集中包含具有标志性信息的样本医学图像。
可选地，掩码区域卷积神经网络模型包括依次级联的第一卷积神经网络、关注区域对准层、分别连接于关注区域对准层之后的分类支路和分割支路、以及连接于第一卷积神经网络与关注区域对准层之间的候选区域网络；
以及，根据掩码区域卷积神经网络模型，确定出待分割的医学图像中各目标对象的初步分割结果，包括：
将医学图像输入掩码区域卷积神经网络模型，通过第一卷积神经网络得到第一特征图；
第一特征图通过候选区域网络得到候选区域；
第一特征图和候选区域一并通过关注区域对准层，得到携带候选区域的第二特征图；
第二特征图通过分类支路，得到回归后的候选区域和目标对象的分类标签；第二特征图通过分割支路，得到回归后的候选区域中每个像素点的掩码；
根据回归后的候选区域、分类标签和掩码，生成二值化的初步分割结果；掩码用于确定对应的像素点是否属于目标对象。
可选地，第一卷积神经网络中的卷积神经网络块包括深度残差网络块、分组卷积的残差网络结构块和视觉几何群块中的一种；
分割支路包括全卷积网络；全卷积网络包括多尺度特征网络。
可选地，输出包含各独立的目标对象的图像，包括：
利用同一种类中各视觉标识信息，表征各独立的目标对象；视觉标识信息的种类包括颜色和纹理中的一种；
生成分割后的图像并输出，使得终端设备接收到分割后的图像后进行显示；分割后的图像包括被表征为各视觉标识信息的各独立的目标对象。
第二方面，提供了一种医学图像中目标对象的分割装置，包括：
获取模块，用于获取待分割的医学图像；
初步分割模块，用于根据掩码区域卷积神经网络模型，确定出待分割的医学图像中各目标对象的初步分割结果；
精确分割模块，用于基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行分割，得到各独立的目标对象；
输出模块，用于输出包含各独立的目标对象的图像。
可选地，精确分割模块包括：
位置确定单元，用于根据前景中每个像素点的掩码，确定出前景中每个像素点的位置信息；初步分割结果中各目标对象；目标对象包括细胞、细胞核和病灶中的一种；
距离确定单元，用于根据每个像素点的位置信息，确定每个像素点与最近的边缘之间的距离；边缘为目标对象的边缘；
边界确定单元，用于根据各像素点与最近的边缘之间的距离，确定每个独立的目标对象的边缘界限。
可选地，边界确定单元具体用于根据各像素点与最近的边缘之间的距离，构建距离图；距离图中以不同的颜色表征具有不同距离的像素点；根据距离图，确定每个独立的目标对象的边缘界限。
可选地，精确分割模块还包括：
膨胀操作单元，用于根据每个独立的目标对象的边缘界限，对每个独立的目标对象进行膨胀操作，得到形态膨胀后的各独立的目标对象。
可选地，医学图像中目标对象的分割装置还包括：
网络训练模块，用于通过下述方法预先训练得到掩码区域卷积神经网络模型：从训练集中抽选出多个训练子集；利用各训练子集分别对原始的掩码区域卷积神经网络模型进行初步训练，得到初步训练后的各掩码区域卷积神经网络模型；利用各掩码区域卷积神经网络模型分别对验证集进行验证性的分割，得到各验证性的分割结果；验证集包括训练集中抽选剩余的样本医学图像；确定出符合验证条件的初步训练后的掩码区域卷积神经网络模型，作为选定的掩码区域卷积神经网络模型；验证条件包括验证性的分割结果的准确率最高且训练子集中包含具有标志性信息的样本医学图像。
可选地，初步分割模块具体地用于将医学图像输入掩码区域卷积神经网络模型，通过第一卷积神经网络得到第一特征图；第一特征图通过候选区域网络得到候选区域；第一特征图和候选区域一并通过关注区域对准层，得到携带候选区域的第二特征图；第二特征图通过分类支路，得到回归后的候选区域和目标对象的分类标签；第二特征图通过分割支路，得到回归后的候选区域中每个像素点的掩码；根据回归后的候选区域、分类标签和掩码，生成二值化的初步分割结果；掩码用于确定对应的像素点是否属于目标对象；掩码区域卷积神经网络模型包括依次级联的第一卷积神经网络、关注区域对准层、分别连接于关注区域对准层之后的分类支路和分割支路、以及连接于第一卷积神经网络与关注区域对准层之间的候选区域网络。
可选地，输出模块具体用于利用同一种类中各视觉标识信息，表征各独立的目标对象；视觉标识信息的种类包括颜色和纹理中的一种；生成分割后的图像并输出，使得终端设备接收到分割后的图像后进行显示；分割后的图像包括被表征为各视觉标识信息的各独立的目标对象。
第三方面，提供了一种电子设备，该电子设备包括：
处理器、存储器和总线；
总线，用于连接处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行上述第一方面提供的本申请实施例中任一项的医学图像中目标对象的分割方法。
第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述第一方面提供的本申请实施例中任一项的医学图像中目标对象的分割方法。
本申请实施例提供的技术方案带来的有益效果是：
本发明实施例中，掩码区域卷积神经网络模型对目标对象的分割精度较高，利用分割角度较高的Mask-RCNN模型，对待分割的医学图像中的各目标对象进行初步分割，可以提升初步分割结果的精度；而且，基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行进一步分割，可以消除目标对象重叠的影响，大大提升了目标对象的分割精度。此外，掩码区域卷积神经网络模型的初步分割过程中，是对待分割的医学图像中提取出的候选区域的像素点进行处理，节省了候选区域之外的像素点的处理步骤，从而降低了计算量，整体上缩短了分割所需时间，提升了分割效率，能够更快地输出包括各独立的目标对象的图像供用户检查，有利于提升用户体验。
可选地，本申请实施例提供的掩码区域卷积神经网络模型的训练方法，从多个初步训练得到的掩码区域卷积神经网络模型中，优选出对验证集的分割结果最为准确、且是由包含具有标志性信息的样本医学图像的子训练集初步训练出的掩码区域卷积神经网络模型，明显提升了选定的掩码区域卷积神经网络模型的分割精度等性能，使掩码区域卷积神经网络模型在较小的样本(数据)集(例如约15张样本医学图像)上也能得到较高的分割精度性能，从而能够提升基于该掩码区域卷积神经网络模型的分割结果的精度。
可选地，本申请实施例中电子设备根据掩码确定出前景中每个像素点的位置信息，前景包括初步分割结果中各目标对象，相当于确定出各目标对象中每个像素点的位置信息；根据这些位置信息，确定每个像素点与最近的属于目标对象的边缘之间的距离；根据这些距离确定每个独立的目标对象的边缘界限。从而在保证各目标对象边缘完整性的情况下，很好的消除了目标对象重叠的问题，达到分离重叠的目标对象(例如粘连细胞)的目的，大大提升了重叠的目标对象的分割精度，从而整体上提升了医学图像中目标对象的分割精度。
可选地，本申请实施例中电子设备确定每个独立目标对象的边缘界限之后，还根据每个独立的目标对象的边缘界限，对每个独立的目标对象进行膨胀操作，得到形态膨胀后的各独立的目标对象，从而减少目标对象的边缘界限的确定过程中的计算误差对分割结果产生的影响，有利于提升医学图像中目标对象的分割精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种医学图像中目标对象的分割系统的架构示意图；
图2为本申请实施例提供的一种医学图像中目标对象的分割方法的流程示意图；
图3为本申请实施例提供的一种医学图像的颜色归一化方法原理的示意图；
图4为本申请实施例提供的一种训练Mask-RCNN模型的具体方法的原理流程示意图；
图5为本申请实施例提供的另一种医学图像中目标对象的方法的流程示意图；
图6为本申请实施例提供的Mask-RCNN模型一种结构的示意图；
图7a、7b和7c分别为本申请实施例的ResNet块、ResNeXt块和VGG块的一个特例的示意图；
图8为本申请实施例提供的Mask-RCNN模型另一种结构的示意图；
图9为本申请实施例的待分割的脑部病理图像的一个特例的示意图；
图10为本申请实施例的待分割的脑部病理图像中重叠的脑部肿瘤细胞核的示意图；
图11为本申请实施例的基于Mask-RCNN模型对脑部病理图像进行初步分割的原理示意图；
图12a为本申请实施例脑部病理图像基于Mask-RCNN模型的初步分割结果的示意图；
图12b为本申请实施例初步分割结果的前景中每个像素点与最近边缘的距离图；
图12c为本申请实施例包含各独立的脑部肿瘤细胞核的图像；
图12d和图13都为本申请实施例各独立的脑部肿瘤细胞核经过膨胀操作后的脑部病理图像；
图14和15分别为本申请实施例提供的两种医学图像中目标对象的分割装置的结构示意图；
图16为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释：
Instance Segmentation:实例分割技术，是指将图片中的每个物体都单独分割出来并给出其类别信息。
CNN(Convolutional Neural Network，卷积神经网络):深度学习的基础网络框架，利用卷积和池化等操作提取图像特征，实现图像分类或分割等任务。
Mask-RCNN(Mask Region Convolutional Neural Network，掩码区域卷积神经网络):实例分割技术中使用的一种卷积神经网络框架，包括卷积层、池化层和全连接层。
LGG(Lower Grade Glioma，低级别脑部胶质瘤)，源自神经上皮的肿瘤统称为脑胶质瘤，根据世界卫生组织(WHO)制定的分级系统，将脑胶质瘤分为1级至4级，其中1级至2级脑胶质瘤被划分为低级别脑部胶质瘤，属于分化良好的胶质瘤。
Watershed:一种图像处理中使用的分割算法。通过拓扑学、形态学、浸水模拟和降水模拟等方式实现图像分割。
Bagging:一种机器学习中使用的模型集成训练算法。利用有放回的随机选择训练数据训练出多个深度学习模型，利用各深度学习模型进行预测并对预测结果进行集成。
本申请的发明人对现有技术进行研究之后发现，利用现有技术的目标对象的分割方法对医学图像进行像素级别的分类等处理，缺乏对目标对象的特征进行充分的提取和利用，而且现有技术对重叠的目标对象的识别率低下，导致重叠的目标对象的分割效果较差或无法分割，造成目标对象的分割精确较为低下。
目标对象包括细胞、细胞核和病灶中的一种。病灶指机体上发生病变的部分、或者机体中一个局限的、具有病原微生物的病变组织。例如，肺的某一部分被结核菌破坏，这部分就是肺结核病灶；例如，脑部肿瘤等，脑部肿瘤包括LGG。细胞核包括机体各器官或组织的细胞核。例如，脑肿瘤的细胞核，以及胃癌、直肠癌、乳腺癌等病灶处的细胞核。
本申请的发明人还发现，利用现有技术的目标对象的分割方法，需要对医学图像的每一个像素点进行遍历预测(包括分类)，预测每一个像素点是否属于目标对象。这大幅增加了计算量，增加了计算负担，整个分割方法需要耗费更多的时间，延长了用户等待时间。
本申请提供的医学图像中目标对象的分割方法、装置和电子设备，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种医学图像中目标对象的分割系统，如图1所示，该系统包括：终端设备和电子设备。
终端设备通过网络与电子设备电连接。本申请实施例中的网络可以包括互联网和移动通信网络中的至少一种；互联网可以包括局域网。
终端设备具有联网、输入输出和显示功能，例如终端设备可以是台式电脑、智能手机或平板电脑等设备。终端设备还可以具有采集医学图像的功能，例如CT(ComputedTomography，电子计算机断层扫描)仪或MRI(Magnetic Resonance Imaging，核磁共振成像)仪等。
终端设备可以通过局域网接入网络，也可以通过移动通信网络接入网络。
例如，终端设备可以通过WiFi(Wireless Fidelity，无线保真)局域网接入互联网。
再如，终端设备可以通过3G(3rd-Generation wireless telephonetechnology，第三代手机通信技术)、LTE(Long Term Evolution，长期演进)等移动通信网络接入互联网。
电子设备可以是单台服务器、服务器集群和分布式服务器中的至少一种。
电子设备可以以有线的方式接入网络。例如，电子设备通过光纤接入互联网的广域网或者主干网。
可选地，本申请实施例的医学图像中目标对象的分割系统中，终端设备可以是单个，终端设备用于将获取的医学图像向电子设备发送；电子设备用于实施本申请实施例后续提供的医学图像中目标对象(实例)的分割方法(具体方法在后续详解介绍，此处不赘述)，向该终端设备输出包含各独立的目标对象的图像；该终端设备显示该图像。
可选地，本申请实施例的医学图像中目标对象的分割系统中，终端设备可以是多个，与上述仅包含单个终端设备的分割系统的不同之处在于，电子设备可以根据实际情况，可以将包含各独立的目标对象的图像，向提供医学图像的终端设备输出(相当于返回)或向另一个终端设备输出。
基于同一发明构思，本申请实施例提供了一种医学图像中目标对象的分割方法，如图2所示，该方法包括：
S201：获取待分割的医学图像。
具体地，本申请实施例的电子设备获取待分割的医学图像。
S202：根据Mask-RCNN模型，确定出待分割的医学图像中各目标对象的初步分割结果。
具体地，本申请实施例的电子设备根据Mask-RCNN模型，确定出待分割的医学图像中各目标对象的初步分割结果。
可选地，目标对象包括细胞、细胞核和病灶中的一种。病灶指机体上发生病变的部分、或者机体中一个局限的、具有病原微生物的病变组织。例如，肺的某一部分被结核菌破坏，这部分就是肺结核病灶；例如，脑部肿瘤等，脑部肿瘤包括LGG。细胞核包括机体各器官或组织的细胞核。例如，脑肿瘤的细胞核，以及胃癌、直肠癌、乳腺癌等病灶处的细胞核。
S203：基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行分割，得到各独立的目标对象。
具体地，本申请实施例的电子设备基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行分割，得到各独立的目标对象。
S204：输出包含各独立的目标对象的图像。
具体地，本申请实施例的电子设备输出包含各独立的目标对象的图像。
本发明实施例中，Mask-RCNN模型对目标对象的分割精度较高，利用分割角度较高的Mask-RCNN模型，对待分割的医学图像中的各目标对象进行初步分割，可以提升初步分割结果的精度；而且，基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行进一步分割，可以消除目标对象重叠的影响，大大提升了目标对象的分割精度。此外，Mask-RCNN模型的初步分割过程中，是对待分割的医学图像中提取出的候选区域的像素点进行处理，节省了候选区域之外的像素点的处理步骤，从而降低了计算量，整体上缩短了分割所需时间，提升了分割效率，能够更快地输出包括各独立的目标对象的图像供用户检查，有利于提升用户体验。
下面介绍本申请另一个实施例，本申请实施例提供了医学图像中目标对象的分割方法另一种可能的实现方式。
可选地，本申请中的Mask-RCNN模型，是本发明实施例的电子设备在实施医学图像中目标对象的分割方法之前训练得到的。
电子设备在训练Mask-RCNN模型之前，获取该模型的训练集。例如，电子设备获取MICCAI(international conference on Medical ImageComputing&Computer AssistedIntervention，医学图像数字计算及计算机辅助诊断国际会议)CPM(ComputationalPrecision Medicine，数字化精确医疗)2018脑部胶质瘤细胞核分割数据集，作为本申请实施例的Mask-RCNN模型的训练(数据)集。
可选地，电子设备利用颜色均衡化技术对训练(数据)集中各样本医学图像的颜色进行归一化。颜色归一化的各样本医学图像有利于提升训练出的Mask-RCNN模型的精度，从而整体上提升利用本申请实施例对医学图像中目标对象进行分割的分割精度。
例如，如图3所示，图3中左侧上下两张为原始的样本医学图像，可见两者的颜色不同；电子设备首先将各原始的样本医学图像的颜色域进行分解，得到位于图3中间的两上两下共四张颜色域分解后的样本医学图像；接着再将各颜色域分解后的样本医学图像归一化到同一颜色域中，得到图3右侧的上下两张作为颜色归一化结果的颜色归一化后的样本医学图像。
可选地，颜色域归一化可以采用多种方式。例如，从原始的(或颜色域分解后的)样本医学图像中选取一张作为基准样本医学图像，确定出基准样本医学图像的颜色直方图作为基准颜色直方图，将其他样本医学图像的颜色直方图限定或移动到基准颜色直方图的范围内。
下面介绍本发明实施例的Mask-RCNN模型的训练方法。
本申请的发明人考虑到，训练集中的样本医学图像和分割出的目标对象较少，例如MICCAI CPM 2018脑部胶质瘤细胞核数据集中仅包含15张脑部胶质瘤与LGG细胞图片。由于训练集中部分样本医学图像可能具有标志性信息，本申请实施例中训练集与验证集的划分将对Mask-RCNN模型的性能产生直接影响。例如，电子设备可以借鉴Bagging算法进行模型训练。
因此，本申请实施例采用随机抽样的方式生成了多个训练子集和验证集对Mask-RCNN模型进行训练，训练Mask-RCNN模型的具体方法的原理流程示意图如图4所示。
首先，电子设备从训练集中抽选出多个训练子集。例如，图4中的随机采样指的是电子设备对训练集进行有放回的随机采样样本医学图像生成多个训练子集。
其次，电子设备利用各训练子集分别对原始的Mask-RCNN模型进行初步训练，得到初步训练后的各Mask-RCNN模型。例如，图4中的模型指初步训练后的各Mask-RCNN模型。可选地，电子设备采用基于Adam(Adaptive moment estimation，适应性矩估计)的梯度下降法，确定原始的Mask-RCNN模型中的卷积模板参数w和偏置参数b，在每次迭代过程中，计算基于训练子集中的样本医学图像预测结果与训练集中样本目标对象之间的误差，并将该误差向Mask-RCNN模型中的各隐层反向传播，计算上述误差反向传播至各隐层处的梯度，并根据梯度更新Mask-RCNN模型中各隐层的参数(包括卷积参数W和偏置参数b等)。
再次，电子设备利用各Mask-RCNN模型分别对验证集进行验证性的分割，得到各验证性的分割结果。验证集包括训练集中抽选剩余的样本医学图像，例如，训练集中未被抽选到的样本医学图像作为对应训练子集的验证集，或者在训练集中未被抽选到的样本医学图像基础上再加上至少一个训练子集中的至少一个样本医学图像。
然后，电子设备确定出符合验证条件的初步训练后的Mask-RCNN模型，作为选定的Mask-RCNN模型。验证条件包括验证性的分割结果的准确率最高且训练子集中包含具有标志性信息的样本医学图像。
本申请实施例提供的Mask-RCNN模型的训练方法，从多个初步训练得到的Mask-RCNN模型中，优选出对验证集的分割结果最为准确、且是由包含具有标志性信息的样本医学图像的子训练集初步训练出的Mask-RCNN模型，明显提升了选定的Mask-RCNN模型的分割精度等性能，使Mask-RCNN模型在较小的样本(数据)集(例如约15张样本医学图像)上也能得到较高的分割精度性能，从而能够提升基于该Mask-RCNN模型的分割结果的精度。
下面介绍基于Mask-RCNN模型，本申请实施例的另一种医学图像中目标对象的分割方法，该方法的流程示意图如图5所示，包括下述步骤：
S501：获取待分割的医学图像。
具体地，本申请实施例的电子获取待分割的医学图像。
S502：根据Mask-RCNN模型，确定出待分割的医学图像中各目标对象的初步分割结果。
首先介绍一下本申请实施例的Mask-RCNN模型的结构。
Mask-RCNN模型包括依次级联的第一卷积神经网络、RoIAlign(Region ofInterest Align，关注区域对准)层、分别连接于RoIAlign层之后的分类支路和分割支路、以及连接于第一卷积神经网络与关注区域对准层之间的RPN(Region Proposal Networks，候选区域网络)。分类支路为分类卷积神经网络支路的简称；分割支路为分割卷积神经网络支路的简称。可选地，分割支路包括FCN(Fully Convolutional Networks，全卷积网络)。
可选地，Mask-RCNN模型中还包括第二卷积神经网络；第二卷积神经网络级联于RoIAlign层之间，分类支路和分割支路分别连接于第二卷积神经网络之后。
例如，图6为本发明实施例的Mask-RCNN模型一种结构的示意图。第一卷积神经网络包括图6中级联的Conv1至Conv4_x，Conv1至Conv4_x分别为第一至第四子卷积神经网络；第二卷积神经网络包括图6中Conv5，即第五子卷积神经网络；分类支路包括图6中的FC(Fully Connectedlayers，全连接层)；分割支路包括图6中级联的Conv6至Conv7。Classification表示目标对象的分类标签，Box regression表示回归后的候选区域，Mask表示回归后的候选区域中像素点的掩码。
可选地，本发明实施例的Mask-RCNN模型中采用ResNet(deep Residual Network，深度残差网络)、ResNeXt(aggregated Residual transformations for deep neuralNetworks，分组卷积的残差网络结构)和VGG(Visual Geometry Group，视觉几何群)网络中的一种作为主体网络。ResNet可以包括ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152中的一种。
以主体网络ResNet-101为例，下表1中展示了ResNet-101的一个实例的结构。
表1
Figure BDA0001859039610000151
上述表1中Layer name表示子卷积神经网络的名称；Output size表示每个子卷积神经网络输出的特征图的尺寸(像素×像素)；block表示子卷积神经网络中包括的卷积神经网络块，例如，子卷积神经网络Conv4_x中包括23个卷积神经网络块，可以分别表示为Conv4_1至Conv4_23，x为正整数。
可选地，卷积神经网络块中包括至少一个卷积层，每个卷积层之后都连接有ReLU(Rectified Linear Unit，修正线性单元)层和BN(Batch Normalization，归一化)层。卷积神经网络块中还包括池化层。池化包括最大池化(max pool)、最小池化或平均值池化等。
下面介绍卷积层的参数。以7x7,64,stride 2的卷积层为例，该卷积层包括64个卷积核(又称通道数)，每个卷积核的大小为7x7，每个卷积核的感知野的扫描步长(简称步长)为2。可选地，本发明实施例的上述表1中Conv3_x和Conv4_x的第一个卷积层的步长都为2。
可选地，第一卷积神经网络中的子卷积神经网络包括子ResNet、子ResNeXt和子VGG网络中的一种。可选地，第一卷积神经网络中的卷积神经网络块包括ResNet块、ResNeXt块和VGG网络块中的一种。
例如，图7a、图7b和图7c分别示出了ResNet块、ResNeXt块和VGG块的一个特例。
可选地，本申请实施例的FCN包括FPN(Feature Pyramid Networks，特征金字塔网络或多尺度特征网络)。例如，图8为本发明实施例的Mask-RCNN模型另一种结构的示意图。FPN包括依次级联的4个卷积神经网络块Conv8和反卷积神经网络块。
本发明实施例中，电子设备根据Mask-RCNN模型，确定出待分割的医学图像中各目标对象的初步分割结果，包括：
电子设备将医学图像输入Mask-RCNN模型，通过第一卷积神经网络得到第一特征图；第一特征图通过RPN得到候选区域；第一特征图和候选区域一并通过RoIAlign层，得到携带候选区域的第二特征图；第二特征图通过分类支路，得到回归后的候选区域(Boxregression)和目标对象的分类标签(Classification)；第二特征图通过分割支路，得到回归后的候选区域中每个像素点的掩码(Mask)。
以及，电子设备根据回归后的候选区域、分类标签和掩码，生成二值化的初步分割结果。掩码用于确定对应的像素点是否属于目标对象。
例如，电子设备根据回归后的候选区域中候选对象的分类标签，确定出该候选对象是否分类为目标对象；根据回归后的候选区域中每个像素点的掩码，确定出回归后的候选区域属于目标对象的像素点，作为前景的像素点，确定出目标对象之外的像素点，作为背景的像素点；进而根据前景和背景的像素点构建二值化的特征图，作为二值化的初步分割结果。
S503：根据前景中每个像素点的掩码，确定出前景中每个像素点的位置信息；前景包括初步分割结果中各目标对象。
本申请的发明人注意到，原始输入的待分割的医学图像中存在重叠的目标对象，基于Mask-RCNN模型对待分割的医学图像中目标对象进行初步分割后，无法消除这种重叠现象，即初步分割结果中会出现两个以上目标对象重叠的现象。
因此，本申请实施例的电子设备对初步分割结果中的各目标对象(包括重叠的目标对象和未重叠的目标对象)进行后处理(即进一步分割)，以从重叠的目标对象中识别并分割出各独立的目标对象。例如，可以采用基于分水岭(watershed)的算法进行后处理。
本步骤中，电子设备根据前景中每个像素点的掩码，确定出前景中每个像素点的位置信息；前景包括初步分割结果中各目标对象。
可选地，电子设备将初步分割结果中各目标对象作为前景；根据前景中每个像素点的掩码，确定出前景中每个像素点的坐标。
S504：根据每个像素点的位置信息，确定每个像素点与最近的边缘之间的距离；边缘为目标对象的边缘。
具体地，本申请的电子设备根据每个像素点的位置信息，确定每个像素点与最近的边缘之间的距离；边缘为目标对象的边缘。
可选地，电子设备利用分水岭算法，根据二值化的初步分割结果的前景中每个像素点的坐标，计算前景中各像素点到达最近(目标对象的)边缘的距离。
S505：根据各像素点与最近的边缘之间的距离，确定每个独立的目标对象的边缘界限。
具体地，本申请的电子设备根据各像素点与最近的边缘之间的距离，确定每个独立的目标对象的边缘界限。本申请实施例，在保证各目标对象边缘完整性的情况下，很好的消除了目标对象重叠的问题，达到分离重叠的目标对象(例如粘连细胞)的目的，大大提升了重叠的目标对象的分割精度，从而整体上提升了医学图像中目标对象的分割精度。
可选地，本申请的电子设备根据各像素点与最近的边缘之间的距离，构建距离图；距离图中以不同的颜色表征具有不同距离的像素点。以及，电子设备根据该距离图，确定每个独立的目标对象的边缘界限。本申请实施例中，距离图实际上是建立了每个像素点与最近的(属于目标对象的)边缘之间的距离、与该像素点的位置信息(例如坐标)之间的关系，在每个像素点的坐标位置上图形化地标注出该像素点的上述距离值，根据包含每个像素点的距离和位置信息的距离图，可以更快速且更高精度地确定出每个独立的目标对象的边缘界限。
可选地，电子设备利用分水岭算法，根据得到的距离图，计算每个独立的目标对象的边缘界限。
可选地，确定每个独立目标对象的边缘界限之后，还包括：根据每个独立的目标对象的边缘界限，对每个独立的目标对象进行膨胀操作，得到形态膨胀后的各独立的目标对象，从而减少目标对象的边缘界限的确定过程中的计算误差对分割结果产生的影响，有利于提升医学图像中目标对象的分割精度。
S506：利用同一种类中各视觉标识信息，表征各独立的目标对象；视觉标识信息的种类包括颜色和纹理中的一种。
S507：生成分割后的图像并输出，使得终端设备接收到分割后的图像后进行显示；分割后的图像包括被表征为各视觉标识信息的各独立的目标对象。
下面介绍实施本申请实施例的一个实例。
终端设备采集到或接收到一张如图9所示的原始的待分割的脑部病理图像(属于医学图像)后，传输至电子设备。该脑部病理图像中包括重叠的脑部肿瘤细胞核(属于目标对象)；如图10所示，图10左侧为脑部病理图像，图10右上角为脑部病理图像中方框区域的局部放大图，局部放大图中存在重叠的脑部肿瘤细胞核A和B，注意图10中脑部肿瘤细胞核A与B之间的界线，实际上是不存在的，仅仅为了便于读者区分A与B而人为添加。
电子设备需要对该脑部病理图像中的脑部肿瘤细胞核进行分割。如图11所示，从左往右，电子设备将原始的待分割的脑部病理图像，输入到本申请的Mask-RCNN(由图11中的RolAlign、两个级联的conv、以及class和box来表示)中，通过本申请的Mask-RCNN的初步分割，得到回归后的候选区域、分类标签和掩码，进而生成如图12(a)所示的二值化的初步分割结果。
电子设备对二值化的初步分割结果进行后处理(即进一步的分割)。
具体地，电子设备利用分水岭算法，根据二值化的初步分割结果的前景中每个像素点的坐标，计算前景中各像素点到达最近(脑部肿瘤细胞核的)边缘的距离。电子设备根据各像素点与最近的边缘之间的距离，构建如图12b所示的距离图。距离图中以不同的颜色表征具有不同距离的像素点，例如，距离图中颜色偏黄限速点说明该像素点距离脑部肿瘤细胞核的边缘较远，反之距离脑部肿瘤细胞核的边缘较近的像素点偏蓝。
之后，电子设备利用分水岭算法，根据得到的距离图，计算每个独立的脑部肿瘤细胞核的边缘界限，从而达到分离粘连细胞的目的，得到如图12c所示的包含各独立的脑部肿瘤细胞核的图像。
在完成粘连细胞的分离后，电子设备对得到的实例细胞分割结果进行形态学的膨胀操作，得到最终细胞实例分割结果，采用不同的颜色代表最终细胞实例分割结果中不同的独立脑部肿瘤细胞核，生成如图12d或图13所示的分割后的脑部病理图像，容易看出图12d右上角的局部放大图中原本重叠的脑部肿瘤细胞核已经被分割成两个独立的脑部肿瘤细胞核，大大提升了脑部肿瘤细胞核等目标对象的分割精度。
电子设备将如图12d或图13所示的分割后的脑部病理图像，输出至终端设备进行显示，便于用户根据显示的分割后的脑部病理图像进行进一步的操作。
基于同一发明构思，本申请实施例提供了一种医学图像中目标对象的分割装置，如图14所示，该医学图像中目标对象的分割装置1400可以包括：获取模块1401、初步分割模块1402、精确分割模块1403和输出模块1404。
其中，获取模块1401用于获取待分割的医学图像。
初步分割模块1402用于根据掩码区域卷积神经网络模型，确定出待分割的医学图像中各目标对象的初步分割结果。
精确分割模块1403用于基于初步分割结果中的掩码，对初步分割结果中的各目标对象进行分割，得到各独立的目标对象。
输出模块1404用于输出包含各独立的目标对象的图像。
可选地，如图15所示，本申请实施例提供另一种医学图像中目标对象的分割装置1400，该分割装置1400除了包括获取模块1401、初步分割模块1402、精确分割模块1403和输出模块1404之外，该分割装置1400的精确分割模块1403还包括：位置确定单元14031、距离确定单元14032和边界确定单元14033。
位置确定单元14031用于根据前景中每个像素点的掩码，确定出前景中每个像素点的位置信息；初步分割结果中各目标对象；目标对象包括细胞、细胞核和病灶中的一种。
距离确定单元14032用于根据每个像素点的位置信息，确定每个像素点与最近的边缘之间的距离；边缘为目标对象的边缘。
边界确定单元14033用于根据各像素点与最近的边缘之间的距离，确定每个独立的目标对象的边缘界限。
可选地，如图15所示，本申请实施例另一种医学图像中目标对象的分割装置1400中的精确分割模块1403还包括：膨胀操作单元14034。
膨胀操作单元14034用于根据每个独立的目标对象的边缘界限，对每个独立的目标对象进行膨胀操作，得到形态膨胀后的各独立的目标对象。
可选地，如图15所示，本申请实施例的另一种医学图像中目标对象的分割装置1400，还包括：网络训练模块1405。
网络训练模块1405用于通过下述方法预先训练得到掩码区域卷积神经网络模型：从训练集中抽选出多个训练子集；利用各训练子集分别对原始的掩码区域卷积神经网络模型进行初步训练，得到初步训练后的各掩码区域卷积神经网络模型；利用各掩码区域卷积神经网络模型分别对验证集进行验证性的分割，得到各验证性的分割结果；验证集包括训练集中抽选剩余的样本医学图像；确定出符合验证条件的初步训练后的掩码区域卷积神经网络模型，作为选定的掩码区域卷积神经网络模型；验证条件包括验证性的分割结果的准确率最高且训练子集中包含具有标志性信息的样本医学图像。
可选地，输出模块1404具体用于利用同一种类中各视觉标识信息，表征各独立的目标对象；视觉标识信息的种类包括颜色和纹理中的一种；生成分割后的图像并输出，使得终端设备接收到分割后的图像后进行显示；分割后的图像包括被表征为各视觉标识信息的各独立的目标对象。
本实施例的医学图像中目标对象的分割装置1400可执行本申请上述各实施例中任一实施例或任一可选的实施方式的医学图像中目标对象的分割方法，其实现原理和所取得的有益技术效果与本申请的医学图像中目标对象的分割方法相类似，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种电子设备，如图16所示，图16所示的电子设备1600包括：处理器1601和存储器1603。其中，处理器1601和存储器1603相电连接，如通过总线1602相连。可选的，电子设备1600还包括网络模块1604。需要说明的是，实际应用中网络模块1604不限于一个，该电子设备1600的结构并不构成对本申请实施例的限定。
其中，处理器1601应用于本申请实施例中，用于实现图14或图15所示的医学图像中目标对象的分割装置中各模块的功能。
处理器1601可以是CPU(Central Processing Unit，中央处理器)，GPU(GraphicsProcessing Unit，图形处理器)，通用处理器，DSP(DigitalSignal Processor，数据信号处理器)，ASIC(Application Specific IntegratedCircuit，专用集成电路)，FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1601也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线1602可包括一通路，在上述组件之间传送信息。总线1602可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线1602可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1603可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器1603用于存储执行本申请方案的应用程序代码或操作指令，并由处理器1601来控制执行。处理器1601用于执行存储器1603中存储的应用程序代码或操作指令，以实现本申请上述各实施例中任一实施例或任一可选的实施方式的医学图像中目标对象的分割方法；或者，以实现图14或图15所示的医学图像中目标对象的分割装置的动作，其实现原理和所取得的有益技术效果与本申请的医学图像中目标对象的分割方法相类似，此处不再赘述。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本申请上述各实施例中任一实施例或任一可选的实施方式的医学图像中目标对象的分割方法。
本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例，其实现原理和所取得的有益技术效果与本申请的医学图像中目标对象的分割方法相类似，在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种医学图像中目标对象的分割方法，其特征在于，包括：
获取待分割的医学图像；
根据掩码区域卷积神经网络模型，确定出所述待分割的医学图像中各目标对象的初步分割结果；
基于所述初步分割结果中的掩码，对所述初步分割结果中的各所述目标对象进行分割，得到各独立的所述目标对象；
输出包含所述各独立的所述目标对象的图像；
所述基于所述初步分割结果中的掩码，对所述初步分割结果中的各所述目标对象进行分割，得到各独立的所述目标对象，包括：
根据前景中每个像素点的掩码，确定出所述前景中每个像素点的位置信息；所述前景包括所述初步分割结果中各所述目标对象；所述目标对象包括细胞、细胞核和病灶中的一种；
根据每个所述像素点的位置信息，确定每个所述像素点与最近的边缘之间的距离；所述边缘为所述目标对象的边缘；
根据各所述像素点与最近的边缘之间的距离，确定每个独立的所述目标对象的边缘界限；
所述根据各所述像素点与最近的边缘之间的距离，确定每个独立的所述目标对象的边缘界限，包括：
根据各所述像素点与最近的边缘之间的距离，构建距离图；所述距离图中以不同的颜色表征具有不同所述距离的像素点；
根据所述距离图，确定每个独立的所述目标对象的边缘界限；
所述确定每个独立所述目标对象的边缘界限之后，还包括：
根据每个独立的所述目标对象的边缘界限，对每个独立的所述目标对象进行膨胀操作，得到形态膨胀后的各独立的所述目标对象。
2.根据权利要求1所述的方法，其特征在于，所述掩码区域卷积神经网络模型是的通过下述方法预先训练得到的：
从训练集中抽选出多个训练子集；
利用各所述训练子集分别对原始的掩码区域卷积神经网络模型进行初步训练，得到初步训练后的各掩码区域卷积神经网络模型；
利用各掩码区域卷积神经网络模型分别对验证集进行验证性的分割，得到各验证性的分割结果；所述验证集包括所述训练集中抽选剩余的样本医学图像；
确定出符合验证条件的初步训练后的掩码区域卷积神经网络模型，作为选定的掩码区域卷积神经网络模型；所述验证条件包括所述验证性的分割结果的准确率最高且所述训练子集中包含具有标志性信息的样本医学图像。
3.根据权利要求1所述的方法，其特征在于，所述掩码区域卷积神经网络模型包括依次级联的第一卷积神经网络、关注区域对准层、分别连接于所述关注区域对准层之后的分类支路和分割支路、以及连接于所述第一卷积神经网络与所述关注区域对准层之间的候选区域网络；
以及，所述根据掩码区域卷积神经网络模型，确定出所述待分割的医学图像中各目标对象的初步分割结果，包括：
将所述医学图像输入所述掩码区域卷积神经网络模型，通过所述第一卷积神经网络得到第一特征图；
所述第一特征图通过候选区域网络得到候选区域；
所述第一特征图和所述候选区域一并通过所述关注区域对准层，得到携带所述候选区域的第二特征图；
所述第二特征图通过所述分类支路，得到回归后的所述候选区域和目标对象的分类标签；所述第二特征图通过所述分割支路，得到回归后的所述候选区域中每个像素点的掩码；
根据回归后的所述候选区域、所述分类标签和所述掩码，生成二值化的初步分割结果；所述掩码用于确定对应的像素点是否属于目标对象。
4.根据权利要求3所述的方法，其特征在于，所述第一卷积神经网络中的卷积神经网络块包括深度残差网络块、分组卷积的残差网络结构块和视觉几何群网络块中的一种；
所述分割支路包括全卷积网络；所述全卷积网络包括多尺度特征网络。
5.根据权利要求1所述的方法，其特征在于，所述输出包含各独立的所述目标对象的图像，包括：
利用同一种类中各视觉标识信息，表征各独立的所述目标对象；所述视觉标识信息的种类包括颜色和纹理中的一种；
生成分割后的图像并输出，使得终端设备接收到所述分割后的图像后进行显示；所述分割后的图像包括被表征为各视觉标识信息的各独立的所述目标对象。
6.一种医学图像中目标对象的分割装置，其特征在于，包括：
获取模块，用于获取待分割的医学图像；
初步分割模块，用于根据掩码区域卷积神经网络模型，确定出所述待分割的医学图像中各目标对象的初步分割结果；
精确分割模块，用于基于所述初步分割结果中的掩码，对所述初步分割结果中的各所述目标对象进行分割，得到各独立的所述目标对象；
输出模块，用于输出包含所述各独立的所述目标对象的图像；
所述精确分割模块包括：
位置确定单元，用于根据前景中每个像素点的掩码，确定出所述前景中每个像素点的位置信息；所述初步分割结果中各所述目标对象；所述目标对象包括细胞、细胞核和病灶中的一种；
距离确定单元，用于根据每个所述像素点的位置信息，确定每个所述像素点与最近的边缘之间的距离；所述边缘为目标对象的边缘；
边界确定单元，用于根据各所述像素点与最近的边缘之间的距离，确定每个独立的所述目标对象的边缘界限；
所述边界确定单元，具体用于：
根据各所述像素点与最近的边缘之间的距离，构建距离图；所述距离图中以不同的颜色表征具有不同所述距离的像素点；
根据所述距离图，确定每个独立的所述目标对象的边缘界限；
所述精确分割模块还包括：
膨胀操作单元，用于根据每个独立的所述目标对象的边缘界限，对每个独立的所述目标对象进行膨胀操作，得到形态膨胀后的各独立的所述目标对象。
7.根据权利要求6所述的分割装置，其特征在于，还包括：
网络训练模块，用于通过下述方法预先训练得到掩码区域卷积神经网络模型：从训练集中抽选出多个训练子集；利用各所述训练子集分别对原始的掩码区域卷积神经网络模型进行初步训练，得到初步训练后的各掩码区域卷积神经网络模型；利用各掩码区域卷积神经网络模型分别对验证集进行验证性的分割，得到各验证性的分割结果；所述验证集包括所述训练集中抽选剩余的样本医学图像；确定出符合验证条件的初步训练后的掩码区域卷积神经网络模型，作为选定的掩码区域卷积神经网络模型；所述验证条件包括所述验证性的分割结果的准确率最高且所述训练子集中包含具有标志性信息的样本医学图像。
8.根据权利要求6所述的分割装置，其特征在于，
所述输出模块具体用于利用同一种类中各视觉标识信息，表征各独立的所述目标对象；所述视觉标识信息的种类包括颜色和纹理中的一种；生成分割后的图像并输出，使得终端设备接收到所述分割后的图像后进行显示；所述分割后的图像包括被表征为各视觉标识信息的各独立的所述目标对象。
9.一种电子设备，其特征在于，其包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行上述权利要求1-5中任一项所述的医学图像中目标对象的分割方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一项所述的医学图像中目标对象的分割方法。
CN201811327177.7A 2018-11-08 2018-11-08 医学图像中目标对象的分割方法、装置和电子设备 Active CN111161275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811327177.7A CN111161275B (zh) 2018-11-08 2018-11-08 医学图像中目标对象的分割方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811327177.7A CN111161275B (zh) 2018-11-08 2018-11-08 医学图像中目标对象的分割方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111161275A CN111161275A (zh) 2020-05-15
CN111161275B true CN111161275B (zh) 2022-12-23

Family

ID=70555158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811327177.7A Active CN111161275B (zh) 2018-11-08 2018-11-08 医学图像中目标对象的分割方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111161275B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583283B (zh) * 2020-05-20 2023-06-20 抖音视界有限公司 图像分割方法、装置、电子设备及介质
CN113515981A (zh) 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质
CN111723723A (zh) * 2020-06-16 2020-09-29 东软睿驰汽车技术（沈阳）有限公司 一种图像检测方法及装置
CN111862014A (zh) * 2020-07-08 2020-10-30 深圳市第二人民医院(深圳市转化医学研究院) 一种基于左右侧脑室分割的alvi自动测量方法及装置
CN113473076B (zh) * 2020-07-21 2023-03-14 青岛海信电子产业控股股份有限公司 社区报警方法及服务器
CN112162324A (zh) * 2020-09-02 2021-01-01 海深智能科技(上海)有限公司 一种有效提高违禁品识别率的智能安检方法
CN112102929A (zh) * 2020-09-11 2020-12-18 沈阳东软智能医疗科技研究院有限公司 医学图像标注方法、装置、存储介质及电子设备
CN112637517B (zh) * 2020-11-16 2022-10-28 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN112365512B (zh) * 2020-11-18 2023-03-24 南开大学 训练图像分割模型的方法、图像分割的方法及其装置
CN112315451A (zh) * 2020-11-30 2021-02-05 沈阳航空航天大学 一种基于图像裁剪及卷积神经网络的脑组织分割方法
CN112598031A (zh) * 2020-12-08 2021-04-02 北京农业信息技术研究中心 一种蔬菜病害检测方法及系统
CN112802036A (zh) * 2021-03-16 2021-05-14 上海联影医疗科技股份有限公司 一种三维医学图像靶区分割的方法、系统和装置
CN113095338B (zh) * 2021-06-10 2021-11-09 季华实验室 工业品图像的自动标注方法、装置、电子设备和存储介质
CN113470051B (zh) * 2021-09-06 2022-02-08 阿里巴巴达摩院(杭州)科技有限公司 图像分割方法、计算机终端及存储介质
CN114332463A (zh) * 2021-12-31 2022-04-12 成都工业职业技术学院 一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质
CN114882301B (zh) * 2022-07-11 2022-09-13 四川大学 基于感兴趣区域的自监督学习医学图像识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230194A (zh) * 2017-06-28 2017-10-03 佛山科学技术学院 一种基于对象点集的平滑滤波方法
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT2779089T (pt) * 2010-07-30 2019-02-19 Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud Sistemas e métodos para segmentação e processamento de imagens de tecidos e extração de características dos mesmos para tratar, diagnosticar ou prever condições médicas
WO2017092615A1 (zh) * 2015-11-30 2017-06-08 上海联影医疗科技有限公司 一种计算机辅助诊断系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230194A (zh) * 2017-06-28 2017-10-03 佛山科学技术学院 一种基于对象点集的平滑滤波方法
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN108765371A (zh) * 2018-04-25 2018-11-06 浙江大学 一种病理切片中非常规细胞的分割方法
CN108389207A (zh) * 2018-04-28 2018-08-10 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
应用图像块和全卷积神经网络的肩关节MRI自动分割;刘云鹏 等;《中国图象图形学报》;20181031;第23卷(第10期);全文 *

Also Published As

Publication number Publication date
CN111161275A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
Wang et al. A noise-robust framework for automatic segmentation of COVID-19 pneumonia lesions from CT images
Cai et al. A review of the application of deep learning in medical image classification and segmentation
EP3553742B1 (en) Method and device for identifying pathological picture
Roth et al. A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
US20180165305A1 (en) Systems and methods for image search
CN111325739A (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
US11176412B2 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
Öztürk et al. Cell‐type based semantic segmentation of histopathological images using deep convolutional neural networks
CN111476290A (zh) 检测模型训练方法、淋巴结检测方法、装置、设备及介质
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
CN113538471B (zh) 斑块的分割方法、装置、计算机设备和存储介质
CN114782398A (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
Zhang et al. MPMR: multi-scale feature and probability map for melanoma recognition
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN113889238B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN113379691B (zh) 一种基于先验引导的乳腺病灶深度学习分割方法
US11830622B2 (en) Processing multimodal images of tissue for medical evaluation
CN113962958A (zh) 一种征象检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant