CN109598728B - 图像分割方法、装置、诊断系统及存储介质 - Google Patents

图像分割方法、装置、诊断系统及存储介质 Download PDF

Info

Publication number
CN109598728B
CN109598728B CN201811462063.3A CN201811462063A CN109598728B CN 109598728 B CN109598728 B CN 109598728B CN 201811462063 A CN201811462063 A CN 201811462063A CN 109598728 B CN109598728 B CN 109598728B
Authority
CN
China
Prior art keywords
image
network
segmentation
layer
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811462063.3A
Other languages
English (en)
Other versions
CN109598728A (zh
Inventor
胡一凡
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811462063.3A priority Critical patent/CN109598728B/zh
Publication of CN109598728A publication Critical patent/CN109598728A/zh
Priority to PCT/CN2019/121246 priority patent/WO2020108525A1/zh
Priority to EP19889004.8A priority patent/EP3828825A4/en
Application granted granted Critical
Publication of CN109598728B publication Critical patent/CN109598728B/zh
Priority to US17/204,894 priority patent/US11954863B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

本发明公开了一种图像分割方法、装置、诊断系统及存储介质，所述图像分割方法包括：获取肿瘤图像；对获取到的肿瘤图像进行肿瘤定位，得到用于指示所述肿瘤图像中全肿瘤区域位置的候选图像；将所述候选图像输入至基于机器学习模型构建的级联分割网络；以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像。采用本发明所提供的图像分割方法、装置、诊断系统及存储介质解决了现有技术中肿瘤图像分割效果不佳的问题。

Description

图像分割方法、装置、诊断系统及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像分割方法、装置、诊断系统及存储介质。
背景技术
胶质瘤是最常见的原发性恶性脑肿瘤，也称为脑部肿瘤，具有不同程度的侵袭性，往往划分为全肿瘤区域、肿瘤核心区域、增强肿瘤核心区域。
磁共振成像(Magnetic Resonance Imaging,MRI)是临床上最常用的脑部肿瘤检查与诊断手段，从多模态MRI扫描生成的图像中精确分割出脑部肿瘤所包含的各个区域，具有极高的医学价值。
目前，肿瘤图像分割主要基于深度学习，包括全卷积神经网络(FCNNS,Fullyconvolutional neural networks)方法和基于U-net的网络(U-net based network)方法。
然而，经发明人研究发现，全卷积神经网络方法所学习到的特征都是基于完整图像的局部，而对完整图像的特征学习能力较差，容易导致分割效果不好；而基于U-net的网络方法受限于完整图像的尺寸大小，难以设计较深层次的网络，同样存在分割效果不好的问题。
发明内容
为了解决相关技术中存在的肿瘤图像分割效果不佳的问题，本发明各实施例提供一种图像分割方法、装置、诊断系统及存储介质。
其中，本发明所采用的技术方案为：
根据本发明实施例的一方面，一种图像分割方法，包括：获取肿瘤图像；对获取到的肿瘤图像进行肿瘤定位，得到用于指示所述肿瘤图像中全肿瘤区域位置的候选图像；将所述候选图像输入至基于机器学习模型构建的级联分割网络；以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像。
根据本发明实施例的一方面，一种图像分割装置，包括：图像获取模块，用于获取肿瘤图像；图像粗分割模块，用于对获取到的肿瘤图像进行肿瘤定位，得到用于指示所述肿瘤图像中全肿瘤区域位置的候选图像；图像输入模块，用于将所述候选图像输入至基于机器学习模型构建的级联分割网络；图像细分割模块，用于以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像。
根据本发明实施例的一方面，一种诊断系统，所述诊断系统包括采集端、分割端和诊断端，其中，所述采集端，用于采集肿瘤图像，并发送至所述分割端；所述分割端，用于对所述分割端发送的肿瘤图像进行肿瘤定位，得到用于指示所述肿瘤图像中全肿瘤区域位置的候选图像，并将所述候选图像输入至基于机器学习模型构建的级联分割网络，以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像；所述诊断端，用于接收所述分割端发送的分割图像，并显示，以通过所述分割图像辅助诊断人员进行肿瘤诊断。
根据本发明实施例的一方面，一种计算机设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的图像分割方法。
根据本发明实施例的一方面，一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像分割方法。
在上述技术方案中，获取肿瘤图像，以对获取到的肿瘤图像进行肿瘤定位，得到用于指示所述肿瘤图像中全肿瘤区域位置的候选图像，并将所述候选图像输入至基于机器学习模型构建的级联分割网络，以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像，也就是说，针对脑部肿瘤所包含各个区域的不同特性，将肿瘤图像分割任务划分为多步进行，即先进行第一步全肿瘤区域的定位，再以定位得到的全肿瘤区域为起始，逐步分割至增强肿瘤核心区域，以此有效地解决了现有技术中存在的肿瘤图像分割效果不佳的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是本发明所涉及的全卷积神经网络的网络结构示意图。
图2是本发明所涉及的基于U-net的网络的网络结构示意图。
图3是本发明所涉及的实施环境的示意图。
图4是根据一示例性实施例示出的一种分割端的硬件结构框图。
图5是根据一示例性实施例示出的一种图像分割方法的流程图。
图6是图5对应实施例所涉及的级联分割网络中各级分割网络的分割结果的示意图。
图7为图5对应实施例所涉及的肿瘤图像、肿瘤定位过程、候选图像的示意图。
图8为图5对应实施例所涉及的级联分割网络的结构示意图。
图9是图5对应实施例中步骤330在一个实施例的流程图。
图10是图9对应实施例中步骤410在一个实施例的流程图。
图11是图10对应实施例所涉及的3D U-net网络的网络结构示意图。
图12是根据一示例性实施例示出的分割网络的网络结构示意图。
图13是图12对应实施例所涉及的稠密模块层的结构示意图。
图14是根据一示例性实施例示出的图像分割过程的流程图。
图15是根据一示例性实施例示出的另一种图像分割方法的流程图。
图16是一具体实施例中一种图像分割方法的实现示意图。
图17是图16对应具体实施例所涉及的图像分割方法的流程图。
图18是根据一示例性实施例示出的一种图像分割装置的框图。
图19是根据一示例性实施例示出的一种计算机设备的结构框图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如前所述，肿瘤图像分割主要基于深度学习，包括全卷积神经网络方法和基于U-net的网络方法。
其中，如图1所示，全卷积神经网络方法，使用两个并行的分支101、103对尺寸大小不同的图像1011、1031进行特征学习，较大尺寸的图像1011输入至分支101，通过分支101进行特征学习，得到与较小尺寸的图像1031尺寸相同的特征图1013，然后与较小尺寸的图像1031一起输入至分支103，继续进行后续的特征学习。
但是，该种方法实质是基于patch，也即是，图像1011、1031是从完整图像中分割出来的局部图像，为此，所学习到的特征都是基于patch层面的，而关于完整图像的特征，则需要根据不同patch进行对应特征的拼接，拼接过程中容易导致不同patch之间的边缘分割效果不好，进而影响肿瘤图像分割效果。
基于U-net的网络方法中，基于U-net的网络，顾名思义，其网络结构呈U型，如图2所示，实质是改进型的全卷积神经网络。该基于U-net的网络包括收缩路径105和扩张路径107，输入图像通过收缩路径105进行多次卷积缩小，得到多个特征图，再由扩张路径107进行多次反卷积扩大，在此过程中，还会与收缩路径105得到的多个特征图对应合并，如图2中1051-1054所示，以便于获取关于输入图像不同维度上的特征，进而改善分割效果。
然而，该种方法中，由于输入图像为完整图像，受限于完整图像的尺寸大小，无法设计较深层次的网络，如图2所示的5层，分割效果改善有限。此外，完整图像所包含的肿瘤区域可大可小，训练时，尤其是针对小肿瘤，训练样本存在愈发严重的不均衡，容易造成网络针对小肿瘤训练不充分，而导致小肿瘤在完整图像中的分割边界粗糙，难以实现小肿瘤的细粒度分割。
由上可知，肿瘤图像分割中仍存在分割效果不佳的缺陷。
为此，本发明特提出了一种图像分割方法，基于步进式的图像分割，能够有效地改善肿瘤图像分割中的分割效果，相应地，该种图像分割方法适用于肿瘤图像分割装置，该肿瘤图像分割装置部署于具备冯诺依曼体系结构的计算机设备中，例如，该计算机设备可以是个人计算机(PC)、服务器等。
图3为一种图像分割方法所涉及的实施环境的示意图。该实施环境包括诊断系统100，该诊断系统100包括采集端110、分割端130和诊断端150。
其中，采集端110是进行肿瘤图像采集的电子设备，例如，MRI设备、CT(ComputedTomography)设备等，在此并不进行限定。
分割端130则是为用户提供后台服务的电子设备，例如，个人计算机、服务器等，此后台服务包括图像分割服务。
当然，根据实际营运的需要，分割端130可以是一台服务器，也可以是由多台服务器构成的服务器集群，甚至是由多台服务器构成的云计算中心，以便于更好地面向海量用户提供后台服务，在此并未构成具体限定。
进一步地，分割端130部署了用于定位全肿瘤区域在肿瘤图像中位置的肿瘤定位网络131、以及基于机器学习模型构建的级联分割网络132，以此实现步进式图像分割。其中，级联分割网络132包括多级分割网络1321、1322、……、132X。
诊断端150是用于辅助诊断人员进行肿瘤诊断的电子设备，例如，配置有显示屏幕的个人计算机等。
分割端130分别与采集端110、诊断端150之间建立无线或者有线的网络连接，以通过网络连接实现诊断系统100之间的数据传输。例如，此数据传输包括肿瘤图像、分割图像等。
通过采集端110与分割端130的交互，采集端110将采集到的肿瘤图像发送至分割端130。
对于分割端130而言，将接收到采集端110发送的肿瘤图像111，并基于肿瘤定位网络131对该肿瘤图像111进行肿瘤定位，得到用于指示肿瘤图像111中全肿瘤区域位置的候选图像1311，进而输入至级联分割网络132。
以级联分割网络132中的第一级分割网络1321，对候选图像1311中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络132X进行关于增强肿瘤核心区域的图像分割，得到分割图像1321。
那么，对于诊断端150而言，便可在配置的显示屏幕上显示该分割图像1321，以此来辅助诊断人员进行肿瘤诊断。
图4是根据一示例性实施例示出的一种分割端的硬件结构框图。该种分割端适用于图3所示出实施环境的分割端130。
需要说明的是，该种分割端只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。该种分割端也不能解释为需要依赖于或者必须具有图4中示出的示例性的分割端200中的一个或者多个组件。
分割端200的硬件结构可因配置或者性能的不同而产生较大的差异，如图4所示，分割端200包括：电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。
具体地，电源210用于为分割端200上的各硬件设备提供工作电压。
接口230包括至少一有线或无线网络接口，用于与外部设备交互。例如，与图3所示出实施环境的采集端110交互，或者，与图3所示出实施环境的诊断端150交互。
当然，在其余本发明适配的示例中，接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，如图4所示，在此并非对此构成具体限定。
存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。
其中，操作系统251用于管理与控制分割端200上的各硬件设备以及应用程序253，以实现中央处理器270对存储器250中海量数据255的运算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。
应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图4中未示出)，每个模块都可以分别包含有对分割端200的一系列计算机可读指令。例如，肿瘤图像分割装置可视为部署于分割端200的应用程序253，以实现图像分割方法。
数据255可以是存储于磁盘中的照片、图片等，还可以是肿瘤图像、分割图像等，存储于存储器250中。
中央处理器270可以包括一个或多个以上的处理器，并设置为通过至少一通信总线与存储器250通信，以读取存储器250中存储的计算机可读指令，进而实现对存储器250中海量数据255的运算与处理。例如，通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成图像分割方法。
此外，通过硬件电路或者硬件电路结合软件也能同样实现本发明，因此，实现本发明并不限于任何特定硬件电路、软件以及两者的组合。
请参阅图5，在一示例性实施例中，一种图像分割方法适用于图3所示实施环境的分割端，该分割端的结构可以如图4所示。
该种图像分割方法可以由分割端执行，可以包括以下步骤：
步骤310，获取肿瘤图像。
其中，肿瘤图像，是采集端通过对人可能存在肿瘤的部位进行扫描生成的，以便于后续针对该肿瘤图像进行图像分割。例如，采集端可以是MRI设备、CT设备等等。
肿瘤图像，可以来源于采集端实时扫描的图像，还可以是分割端预先存储的采集端所发送的图像，例如，分割端为服务器，进而该服务器便可通过本地读取或者网络传输的方式获取。
换句话说，关于肿瘤图像的获取，既可以实时获取采集端扫描的图像，以便于实时地对该肿瘤图像进行图像分割，也可以获取一历史时间段内采集端扫描的图像，以便于分割端在处理任务较少的时候对肿瘤图像进行图像分割，或者，在操作人员的指示下对肿瘤图像进行图像分割，本实施例并未对此作出具体限定。
进一步地，对于分割端而言，在接收到采集端发送的肿瘤图像之后，可以对接收到的肿瘤图像进行去噪处理，以便于提高后续图像分割的精准度。
例如，对于脑部肿瘤而言，去噪处理可以包括将肿瘤图像中的头骨以及背景去除。
可选地，当采集端为MRI设备，分割端获取到的肿瘤图像包括但不限于FLAIR、T1、T1c、T2等四模态MRI图像中的一种或者多种。
步骤330，对获取到的肿瘤图像进行肿瘤定位，得到用于指示所述肿瘤图像中全肿瘤区域位置的候选图像。
针对脑部肿瘤而言，如前所述，具有不同程度的侵袭性，可划分为三个区域：全肿瘤区域、肿瘤核心区域和增强肿瘤核心区域。关于此三个区域，最重要的特性是区域之间具有真包含关系，如图6(a)至6(c)所示，即全肿瘤区域3011包含肿瘤核心区域3021，而肿瘤核心区域3021包含增强肿瘤核心区域3031。
为此，肿瘤定位，指的是定位出全肿瘤区域在肿瘤图像中粗略的位置，以根据定位到的位置将该全肿瘤区域收容于候选图像中。
具体地，候选图像通过指定区域对肿瘤图像中的全肿瘤区域进行收容。
其中，指定区域的形状可以是矩形、三角形、圆形等，在此并未加以限定。
在一实施例中，指定区域为矩形框，该矩形框的最大尺寸为分割坐标最大值再向外围扩充指定个数的像素点距离。其中，指定个数可以根据应用场景的实际需要灵活地调整，例如，在一应用场景中，指定个数为5个。
举例来说，如图7所示，305表示肿瘤图像，306表示肿瘤定位过程，307表示候选图像，该候选图像307中全肿瘤区域3071收容于指定区域3072中。该指定区域3072为矩形框。
也就是说，候选图像仅是肿瘤图像的其中一部分，该候选图像通过指定区域收容了全肿瘤区域，以此指示全肿瘤区域在肿瘤图像中的粗略位置，有利于后续基于该候选图形作更精细的图像分割。
进一步地，肿瘤定位可以通过图像分割实现，也即是，将肿瘤图像中的全肿瘤区域和非肿瘤区域分割，以使得指定区域可将分割得到的全肿瘤区域收容。
可选地，图像分割包括：普通分割、语义分割、实例分割等，其中，普通分割进一步包括：阈值分割、区域分割、边缘分割、直方图分割等，本实施例并未对此作出具体限定。
在一实施例中，图像分割可以通过机器学习模型实现，例如，机器学习模型可以是卷积神经网络模型、残差神经网络模型等。
步骤340，将所述候选图像输入至基于机器学习模型构建的级联分割网络。
步骤350，以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像。
级联分割网络，包括多级分割网络，是基于机器学习模型构建的，例如，机器学习模型可以是卷积神经网络模型、残差神经网络模型等。
在级联分割网络中的各级分割网络，基于第一级分割网络及其参数，对候选图像中的全肿瘤区域进行图像分割，并将分割结果输出至第二级分割网络。
基于第二级分割网络及其参数，对第一级分割网络输出的分割结果进行图像分割，并将分割结果输出至第三级分割网络，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，以最后一级分割网络的分割结果作为分割图像。
由此，即实现以候选图像中全肿瘤区域的位置边界为起始，向内逐步分割至增强肿瘤核心区域的步进式图像分割。
如前所述，对于脑部肿瘤而言，可划分为全肿瘤区域、肿瘤核心区域、增强肿瘤核心区域，为此，在一实施例中，级联分割网络包括三级分割网络。
如图8所示，级联分割网络400包括第一级分割网络401、第二级分割网络402和第三级分割网络403。
具体而言，通过所述第一级分割网络401进行所述候选图像的图像分割，得到第一级中间分割图像。
通过所述第二级分割网络402进行所述第一级中间分割图像405的图像分割，得到第二级中间分割图像。
通过所述第三级分割网络403进行所述第二级中间分割图像406的图像分割，得到所述分割图像。
其中，如图6(a)至6(c)所示，第一级中间分割图像301作为第一级分割网络401的分割结果，对图像所包含的全肿瘤区域3011进行了标记，如图6(a)所示。
第二级中间分割图像302作为第二级分割网络402的分割结果，对图像中的全肿瘤区域3011、肿瘤核心区域3021进行了不同标记，以此反映全肿瘤区域3011与肿瘤核心区域3021二者之间的真包含关系，如图6(b)所示。
分割图像303作为第三级分割网络403的分割结果，对图像所包含的全肿瘤区域3011、肿瘤核心区域3021、增强肿瘤核心区域3031进行了不同标记，如图6(c)所示。也即是，分割图像303反映了全肿瘤区域3011、肿瘤核心区域3021、增强肿瘤核心区域3031三者之间的真包含关系。
可选地，在步进式图像分割中，各级分割网络所使用的参数各不相同，以便于更好地适应于脑部肿瘤所包含不同区域之间的图像分割，进而有利于改善肿瘤图像的分割效果。
通过如上所述的过程，实现了基于机器学习的肿瘤图像分割，通过不同尺度的图像分割过程有效地改善了肿瘤图像的分割效果。
请参阅图9，在一示例性实施例中，步骤330可以包括以下步骤：
步骤410，基于3D U-Net网络，由获取到的肿瘤图像提取得到对应的特征图。
应当理解，采集端扫描生成的肿瘤图像往往是三维的图像，也即是，由很多个slice(切片)构成肿瘤图像，如果使用二维的机器学习模型去处理三维的肿瘤图像，不仅分割效果不好，而且分割效率较差，因为不得不将构成肿瘤图像的每一个slice依次输入至机器学习模型进行训练或者类别预测，过于繁琐。
为此，本实施例中，肿瘤定位是通过三维的机器学习模型实现的，即3D U-Net网络。
该3D U-Net网络，也称为基于U-Net的三维网络，可以理解，该3D U-Net网络是以基于U-Net的网络为原型构建的，其网络结构也呈U型。
具体地，所述3D U-Net网络包括编码器网络和解码器网络。
其中，编码器网络用于提取肿瘤图像的上下文特征，以通过上下文特征对肿瘤图像进行局部/全局的准确描述，以此捕捉肿瘤图像中的上下文信息(contextinformation)。解码器网络则用于提取肿瘤图像的定位特征，以通过定位特征对肿瘤图像中需要进行图像分割的区域进行精准地定位(localization)。
此外，在解码器网络中，还进行上下文特征与定位特征的特征融合，以获取关于肿瘤图像不同维度上的特征，使得图像分割的分割效果更好。
步骤430，对所述肿瘤图像对应特征图中的像素点进行类别预测，得到所述肿瘤图像对应特征图中像素点的类别。
本实施例中，类别预测，是基于3D U-Net网络设置的分类器实现的，即采用分类器计算肿瘤图像对应特征图中像素点属于不同类别的概率。
如前所述，肿瘤定位，实质是先将肿瘤图像中的肿瘤区域和非肿瘤区域分割，为此，类别包括全肿瘤区域类别和非肿瘤区域类别。
举例来说，对于肿瘤图像对应特征图中的某一个像素点而言，分别计算该像素点属于不同类别的概率，假设该像素点属于全肿瘤区域类别的概率为P1，该像素点属于非肿瘤区域类别的概率为P2，如果P1>P2，则表示该像素点属于全肿瘤区域类别，反之，如果P1<P2，则表示该像素点属于非肿瘤区域类别。
待完成肿瘤图像对应特征图中所有像素点的类别预测，即完成肿瘤图像中肿瘤区域和非肿瘤区域的分割，也即是，在肿瘤图像中定位出全肿瘤区域粗略的位置。
步骤450，根据所述特征图中属于全肿瘤区域类别的像素点，得到将所述全肿瘤区域收容于指定区域的所述候选图像。
在得到肿瘤图像对应特征图中所有像素点的类别之后，便可从中获取属于全肿瘤区域类别的像素点，以便于基于获取到的像素点构建指定区域。
换而言之，将属于全肿瘤区域类别的像素点包围在指定区域之内，即视为将全肿瘤区域收容在指定区域中，由此，便生成了收容全肿瘤区域于指定区域的候选图像，如图7中307所示。
可选地，考虑脑部肿瘤所具有的不同程度的侵袭性，在构建指定区域过程中，将以指定区域为中心，向外围扩充，使得候选图像的尺寸达到指定尺寸，以此充分保证肿瘤图像的分割效果。
该指定尺寸，可以根据应用场景的实际需要灵活地设置，本实施例并未对此加以限定。例如，在一应用场景中，指定尺寸为96×96×96。
在上述实施例的作用下，基于3D U-Net网络实现了肿瘤图像的粗分割，不仅从宏观角度出发定位全肿瘤区域在肿瘤图像中的粗略位置，避免损失图像分割的精准度，而且从肿瘤图像缩小至候选图像，有效地降低了图像的尺寸，既降低了背景的比重，有利于提高小肿瘤的分割粒度，而且有利于设计更深层次的网络，进而改善分割效果。
此外，通过肿瘤图像的粗分割，指定区域的大小可根随全肿瘤区域的大小动态变化，有利于在后续进行分割网络的模型训练时充分地保证正负样本的均衡性。
请参阅图10，在一示例性实施例中，步骤410可以包括以下步骤：
步骤411，采用所述编码器网络提取得到所述肿瘤图像的上下文特征。
如图11所示，3D U-Net网络500包括编码器网络501和解码器网络502。
按照由浅至深的顺序，所述编码器网络501包括若干下采样层5011-5015，所述解码器网络502包括若干上采样层5021-5025。
在编码器网络501与解码器网络502之间，按照由浅至深的顺序，建立了若干特征传播层5031-5034。
值得一提的是，3D U-Net网络500还包括分类层503，设置了分类器，用于计算肿瘤图像对应特征图中像素点属于不同类别的概率，以此实现对肿瘤图像对应特征图中像素点的类别预测。
那么，对于编码器网络501而言，便可通过若干下采样层5011-5015进行肿瘤图像的上下文特征的提取，并经由若干特征传播层5031-5034，将提取到的上下文特征传输至解码器网络502。
具体地，将肿瘤图像输入至编码器网络501中最浅一层下采样层5011，通过最浅一层下采样层5011对输入的肿瘤图像进行卷积处理，得到最浅一层下采样层5011对应的局部特征，并通过下采样处理后输入至次浅一层下采样层5012。
按照由浅至深的顺序，对编码器网络501中的下采样层5012、5013、5014进行遍历，获得遍历到下采样层5012、5013、5014对应的局部特征。
在编码器网络501与解码器网络502之间，分别通过若干特征传播层5031-5034进行上述局部特征的特征传播。
通过最深一层下采样层5015的卷积处理，得到最深一层下采样层5015对应的全局特征，并直接传输至解码器网络502中的最深一层上采样层5025。
在编码器网络501中，横向箭头表示卷积处理，向下箭头表示下采样处理。
应当说明的是，无论是局部特征，还是全局特征，均视为肿瘤图像的上下文特征，以此对肿瘤图像进行局部/全局的准确描述。
也就是说，随着编码器网络层次加深，对肿瘤图像的特征提取中，逐渐由局部描述抽象为全局描述，进而更加准确地描述肿瘤图像，从而有利于保证图像分割的精准度。
步骤413，在采用所述解码器网络提取关于所述全肿瘤区域的定位特征中，进行所述上下文特征与所述定位特征的融合，得到所述肿瘤图像对应的特征图。
对于解码器网络而言，不仅通过若干上采样进行肿瘤图像的定位特征的提取，而且还针对肿瘤图像进行上下文特征与定位特征的特征融合。
结合图11，对解码器网络的特征提取和特征融合过程加以说明。
具体地，在所述解码器网络502中，以所述编码器网络501中最深一层下采样层5015对应的上下文特征(全局特征)作为所述最深一层上采样层5025对应的定位特征。
对最深一层上采样层5025对应的定位特征进行上采样处理，得到待融合特征。
将所述待融合特征输入至次深一层上采样层5024，与次深一层下采样层5014对应的上下文特征(局部特征)进行融合，并通过反卷积处理，得到次深一层上采样层5024对应的定位特征。
按照由深至浅的顺序，对其余上采样层5023、5022、5021进行遍历，获得遍历到上采样层对应的定位特征。
待完成所述遍历，由最浅一层上采样层5021对应的定位特征得到所述肿瘤图像对应的特征图。
在解码器网络502中，横向箭头表示反卷积处理，向上箭头表示上采样处理。
通过上述过程，通过编码器网络和解码器网络的相互结合，不仅有效地降低了图像分割的计算量，有利于提升分割效率，而且充分地保障了图像分割的精准度。
应当理解，各级分割网络所进行的图像分割过程，原理是相同的，区别仅在于输入对象、输出对象的不同，以及所使用的参数也各不相同，为此，在对图像分割作进一步地详细说明之前，将针对基于各级分割网络进行的图像分割过程之间的差异进行如下定义说明，以便于后续更好地描述基于各级分割网络进行的图像分割过程中的共性。
其中，输入图像为所述候选图像、所述第一级中间分割图像、或者所述第二级中间分割图像。
输出图像为所述第一级中间分割图像、所述第二级中间分割图像、或者所述分割图像。
分割网络为所述级联分割网络中的各级分割网络。分割网络的参数为所述级联分割网络中各级分割网络的参数。
如图12所示，所述分割网络600包括下采样阶段610和上采样阶段630。
具体地，所述下采样阶段610包括依次连接的若干第一基础网络层611、612和若干第一稠密模块层613、614。
所述上采样阶段630包括依次连接的若干第三稠密模块层634、633和若干第二基础网络层632、631。所述上采样阶段630与所述下采样阶段610相互对称，包括：第一基础网络层611与第二基础网络层631相互对称，第一基础网络层612与第二基础网络层632相互对称，第一稠密模块613与第三稠密模块层633相互对称，第一稠密模块614与第三稠密模块层634相互对称。
其中，所述第一基础网络层611包括依次连接的第二稠密模块层6111和池化层6112。所述第一基础网络层612包括依次连接的第二稠密模块层6121和池化层6122。
所述第二基础网络层631包括依次连接的上采样层6311和第四稠密模块层6312。所述第二基础网络层632包括依次连接的上采样层6321和第四稠密模块层6322。
相应地，基于所述上采样阶段630与所述下采样阶段610相互对称，第二稠密模块层6111与第四稠密模块层6312相互对称，第二稠密模块层6121与第四稠密模块层6322相互对称。
进一步地，上述稠密模块层(Dense Block)均包括一个输入单元和至少一个稠密单元，每一个稠密单元进一步包括依次连接的卷积层、激活层和归一化层，避免使用单纯的卷积层或者残差卷积层，以此保证图像分割的精准度。
如图13所示，稠密模块层包括1个输入单元和4个稠密单元H1、H2、H3、H4。其中，每一个稠密单元又进一步包括卷积层Conv、激活层Relu和归一化层BN。
输入图像input对应的特征x0由输入单元输入，并同时输出至稠密单元H1、H2、H3、H4。
基于输入图像input对应的特征x0，在各稠密单元进行的卷积处理，也即是输入图像input的特征提取中，稠密单元H1输出的特征x1将同时输出至稠密单元H2、H3、H4，同理，稠密单元H2输出的特征x2将同时输出至稠密单元H3、H4，稠密单元H3输出的特征x3将输出至稠密单元H4。
换而言之，对于稠密单元H2而言，结合了输入图像input对应的特征x0、x1；对于稠密单元H3而言，结合了输入图像input对应的特征x0、x1、x2；对于稠密单元H4而言，结合了输入图像input对应的特征x0、x1、x2、x3。
通过如此设置，稠密模块层不仅能够重复利用浅层特征，例如，x0、x1等，充分保证了输入图像的完整性，而且深浅层特征的结合，例如，x0、x1、x2的结合，有利于降低图像分割的复杂度，进而有效地改善图像分割的分割效果。
更进一步地，上述第一稠密模块层、第三稠密模块层中的卷积层均包括若干三维卷积核(图12中未示出)。
上述第二稠密模块层、第四稠密模块层中的卷积层均包括若干切面卷积核(图12中未示出)和若干法向卷积核，如图12中6111a、6121a、6322a、6312a所示。换句话说，上述第二稠密模块层、第四稠密模块层中的卷积层是将若干三维卷积核(k×k×k)转化作若干切面卷积核(k×k×1)和若干法向卷积核(1×1×k)。
通过如此设置，使得基于2.5维的图像分割得以实现，不仅可以避免三维卷积核的高显存占用和计算复杂度，更重要的是，基于肿瘤图像的特殊性，即该肿瘤图像由很多个slice构成，会导致很多个slice合成三维图像的时候切面分辨率和法向分辨率差异较大，纯三维的图像分割误差较大，纯二维分割又直接忽略了图像局部/全局之间的关联，只有2.5维最适合进行肿瘤图像分割。
此外，如图12所示，通过第一稠密模块层、第三稠密模块层所具有的三维特性、与第二稠密模块层、第四稠密模块层所具有的2.5维特性之间的相互结合，不仅综合了前后二者各自的优势，而且在后者的基础上综合了输入图像各个维度的特征，保证了最大限度特征的收集和融合，进一步有效地改善图像分割的分割效果。
相应地，在一示例性实施例中，如图14所示，图像分割过程，即通过所述分割网络进行所述输入图像的图像分割，得到所述输出图像，可以包括以下步骤：
步骤510，在所述分割网络中的下采样阶段，由所述输入图像提取得到关键特征。
结合图12，对关键特征的提取过程加以说明。
具体地，将所述输入图像input输入至所述分割网络600中的下采样阶段610，通过若干第一基础网络层611、612进行卷积下采样处理，得到中间特征。
那么，在获得中间特征之后，便可通过若干第一稠密模块层613、614对所述中间特征进行卷积处理，得到所述关键特征。
其中，中间特征的获得过程进一步说明如下。
在所述分割网络600中的下采样阶段610，将所述输入图像input输入至第一个第一基础网络层611，通过该第一个第一基础网络层611中的第二稠密模块层6111对所述输入图像input进行卷积处理。
通过该第一个第一基础网络层611中的池化层6112对卷积输出的特征进行下采样处理，以输出至第二个第一基础网络层612。
按照特征传播顺序，对若干第一基础网络层中的其余第一基础网络层612进行遍历，待完成所述遍历，以第二个第一基础网络层612，也即是最后一个第一基础网络层612下采样处理后的特征作为所述中间特征。
步骤530，将所述关键特征输入至所述分割网络中的上采样阶段，进行多尺度特征融合，得到所述输入图像对应的特征图。
结合图12，对多尺度特征融合过程加以说明。
具体地，将所述关键特征输入至所述分割网络600中的上采样阶段630，通过若干第三稠密模块层634、633进行反卷积处理，得到第一尺度特征651，以输入前若干个第二基础网络层。
在前若干个第二基础网络层中，进行该前若干个第二基础网络层中的第四稠密模块层，与若干所述第一基础网络层中相互对称的第二稠密模块层之间的特征融合，所述前若干个第二基础网络层在所述上采样阶段630中连接于最后一个所述第三稠密模块层633与最后一个第二基础网络层631之间。
在最后一个第二基础网络层631中，通过该最后一个第二基础网络层631中的上采样层6311对前若干个第二基础网络层融合输出的特征进行上采样处理，得到第二尺度特征652。
获取若干所述第一基础网络层611、612中第二稠密模块层6111、6121卷积输出的特征，将获取到的特征作为第三尺度特征653。
通过该最后一个第二基础网络层631中的第四稠密模块层6312将所述第一尺度特征651、所述第二尺度特征652、所述第三尺度特征653融合，并进行反卷积处理，得到所述输入图像input对应的特征图output。
也就是说，输入图像input对应的特征图output，不仅基于1倍上采样的特征(第二尺度特征652)、2倍上采样的特征(第二稠密模块层6121卷积输出的特征653)、4倍上采样的特征(第一尺度特征651)，还基于无上采样倍数的特征(第二稠密模块层6111卷积输出的特征653)，从而实现了多尺度特征融合，使得各级分割网络的分割结果在局部和全局都能够达到最好的分割效果，有效地改善了分割效果。
其中，相互对称的第四稠密模块层与第二稠密模块层之间的特征融合过程进一步说明如下。
将所述第一尺度特征651输入第一个第二基础网络层632，通过该第一个第二基础网络层632中的上采样层6321，对输入的第一尺度特征651进行上采样处理。
基于该第一个第二基础网络层632中的第四稠密模块6322，获取若干第一基础网络层612中相互对称的第二稠密模块6121卷积输出的特征654，与上采样处理后的特征融合，得到合并特征。
通过该第一个第二基础网络层632中的第四稠密模块6322，对所述合并特征进行反卷积处理，以输出至第二个第二基础网络层631。
按照特征传播顺序，对前若干个第二基础网络层中的其余第二基础网络层进行遍历，待完成所述遍历，完成相互对称的第四稠密模块层与第二稠密模块层之间的特征融合。
需要说明的是，由于图12中仅包含两个第二基础网络层，因此，在上采样阶段630中，第二个第二基础网络层实质为最后一个第二基础网络层，故而，无需遍历前若干个第二基础网络层中的其余第二基础网络层，仅在第一个第二基础网络层632所进行的反卷积处理完毕之后，即完成相互对称的第四稠密模块层6322与第二稠密模块层6121之间的特征融合。
步骤550，对所述输入图像对应特征图中的像素点进行类别预测，得到所述输入图像对应特征图中像素点的类别。
本实施例中，类别预测，是基于分割网络中设置的分类器实现的，即采用分类器计算输入图像对应特征图中像素点属于不同类别的概率。
其中，类别可以是其余区域类别、全肿瘤区域类别、肿瘤核心区域类别、增强肿瘤核心区域类别。
应当说明的，各分割网络都是基于二分类构建的，即，第一级分割网络中，类别包括其余区域类别和全肿瘤区域类别。此时，其余区域也即是非肿瘤区域。
同理，第二级分割网络中，类别包括其余区域类别和肿瘤核心区域类别。此时，其余区域指的是非肿瘤区域、未包含肿瘤核心区域的全肿瘤区域。
第三级分割网络中，类别包括其余区域类别和增强肿瘤核心区域类别。此时，其余区域则是指非肿瘤区域、未包含增强肿瘤核心区域的全肿瘤区域。
以第二级分割网络进行其余区域和肿瘤核心区域的图像分割为例进行说明。
对于输入图像对应特征图中的某一个像素点而言，分别计算该像素点属于不同类别的概率，假设该像素点属于其余区域类别的概率为P1，该像素点属于其余区域类别的概率为P2，如果P1大，则表示该像素点属于其余区域类别，反之，如果P2大，则表示该像素点属于肿瘤核心区域类别。
步骤570，对所述输入图像对应特征图中指定类别的像素点进行标记，得到所述输出图像。
标记，是根据像素点所属类别进行的，可以通过颜色标记，还可以通过星号等符号标记，在此并未加以限定。
在一实施例中，不同类别的像素点通过不同颜色进行标记，如图6(c)所示。
值得一提的是，各级分割网络中，指定类别各不相同。例如，第一级分割网络中，指定类别为全肿瘤区域类别；第二级分割网络中，指定类别为肿瘤核心区域；第三级分割网络中，指定类别为增强肿瘤核心区域。
对于各级分割网络而言，待完成所有输入图像对应特征图中所有像素点的类别预测，即完成肿瘤图像中全肿瘤区域、肿瘤核心区域、增强性肿瘤区域的分割，也即是，在肿瘤图像中定位出全肿瘤区域、肿瘤核心区域、增强性肿瘤区域更为精细的位置。
请参阅图15，在一示例性实施例中，所述方法还包括：基于机器学习模型构建所述级联分割网络，所述机器学习模型为卷积神经网络模型。
所述基于机器学习模型构建所述级联分割网络，可以包括以下步骤：
步骤710，获取携带标签的训练样本。
其中，所述训练样本是通过不同种类标签对所述全肿瘤区域、所述肿瘤核心区域、所述增强肿瘤核心区域进行标注的肿瘤图像。
对于脑部肿瘤而言，标注，指的是仅在肿瘤图像中的全肿瘤区域、肿瘤核心区域、或者增强肿瘤核心区域添加非零标记，而将肿瘤图像中其余区域的像素点进行零标记。
例如，针对同一肿瘤图像，如果仅在该肿瘤图像中的全肿瘤区域添加非零标记，而将该肿瘤图像中其余区域的像素点进行零标记，即完成该肿瘤图像的标注，得到携带全肿瘤区域标签的训练样本。
如果仅在该肿瘤图像中的肿瘤核心区域添加非零标记，而将该肿瘤图像中其余区域的像素点进行零标记，即得到携带肿瘤核心区域标签的训练样本。
同理，如果仅在该肿瘤图像中的增强肿瘤核心区域添加非零标记，而将该肿瘤图像中其余区域的像素点进行零标记，即得到携带增强肿瘤核心区域标签的训练样本。
可选地，在进行标注之前，对肿瘤图像中的像素点进行归一化处理，以此提高图像分割的精准度。
步骤730，根据训练样本所携带标签的种类，建立多个训练样本集，每一个训练样本集对应一个种类。
应当理解，由于肿瘤没有固定的形状大小和方向性，模型训练将基于大量的训练样本，为此，本实施例中，对于每一个训练样本，将进行样本增广处理。
样本增广处理包括：翻转、旋转、放缩、对比度增强等。其中，翻转是指肿瘤图像前后翻转、左右翻转等；旋转是指肿瘤图像按照指定角度旋转；放缩是指对肿瘤图像进行放大处理，或者，对肿瘤图像进行缩小处理；对比度增强则是指改变肿瘤图像中像素点的对比度。
以放缩进行说明，放大处理意味着将96×96×96肿瘤图像插值为120×120×120尺寸的图像，再从120×120×120尺寸的图像中裁取中间图像至96×96×96；而缩小处理则意味着将120×120×120肿瘤图像的尺寸缩小至96×96×96。
以携带同一种类标签的训练样本建立对应的训练样本集，那么，多个种类标签的训练样本便可建立多个对应的训练样本集。例如，由携带全肿瘤区域标签的训练样本构建对应的训练样本集，在对卷积神经网络模型进行模型训练之后，将进行关于全肿瘤区域的图像分割。
通过如此设置，有效地扩大了训练样本的数量，有利于提高不同方向性、不同形状大小的肿瘤的训练价值，进而充分地保证图像分割的精准度。
步骤750，通过多个训练样本集分别对多个具有指定模型结构的卷积神经网络模型进行模型训练。
模型训练，实质上是通过训练样本集对具有指定模型结构的卷积神经网络模型的参数加以迭代优化，使得基于此参数构建的指定算法函数满足收敛条件。
本实施例中，指定模型结构即如图12所示。指定算法函数，包括但不限于：最大期望函数、损失函数等等。
举例来说，随机初始化卷积神经网络模型的参数，根据训练样本集中的当前一个训练样本，基于随机初始化的参数通过前向传播进行概率计算，通过计算的概率与正确标注之间的Dice距离构建损失函数，并进一步地计算该损失函数的损失值。
如果损失函数的损失值未达到最小，则通过反向传播更新卷积神经网络模型的参数，并根据训练样本集中的后一个训练样本，基于更新的参数进行概率计算，通过计算的概率与正确标注之间的Dice距离重新构建损失函数，并再次计算重新构建的损失函数的损失值。
如此迭代循环，直至所构建损失函数的损失值达到最小，即视为损失函数收敛，此时，卷积神经网络模型也收敛，并符合预设精度要求，则停止迭代。
否则，迭代更新卷积神经网络模型的参数，并根据训练样本集中的其余训练样本和更新的参数，计算由此构建的损失函数的损失值，直至损失函数收敛。
值得一提的是，如果在损失函数收敛之前，迭代次数已经达到迭代阈值，也将停止迭代，以此保证模型训练的效率。
当卷积神经网络模型收敛并符合预设精度要求时，表示卷积神经网络模型完成模型训练，由此便可进一步地构建级联分割网络。
步骤770，将完成模型训练的多个卷积神经网络模型级联，得到所述级联分割网络。
针对多个不同的训练样本集，便可得到完成模型训练的多个卷积神经网络模型。每一个完成模型训练的卷积神经网络模型对应一个训练样本集。例如，训练样本集中的训练样本是通过标签对所述全肿瘤区域进行标注的肿瘤图像，那么，由此完成模型训练的卷积神经网络模型则进行关于全肿瘤区域的图像分割。
以一个完成模型训练的卷积神经网络模型作为一级分割网络，将多级分割网络进行级联，便可构建得到级联分割网络。例如，回请参阅图8，级联分割网络400包括三级分割网络401、402、403。
通过上述过程，基于所构建级联分割网络中的各级分割网络，对于分隔端而言，便具有了对输入图像对应特征图进行像素点类别预测的能力。
那么，将输入图像输入至级联分割网络，便能够对输入图像对应特征图中的像素点进行类别预测，由此得到特征图中像素点的类别，进而实现输入图像的图像分割。
在一示例性实施例中，步骤350之后，如上所述的方法还可以包括以下步骤：
采用形态学算法对所述分割图像进行修正。
其中，形态学算法包括但不限于腐蚀、膨胀、填充空洞以及Dense CRF(条件随机场)等，本实施例并未对此作出具体限定。
由此，实现了分割图像的修正，使得分割图像中全肿瘤区域、肿瘤核心区域、增强肿瘤核心区域三者之间的分割边缘得以平滑，和/或，分割图像中的噪声得以消除，进一步有效地改善了图像分割的分割效果。
下面结合一具体实施例对一种图像分割方法加以描述。
在该具体实施例中，针对脑部肿瘤，分割端将肿瘤图像分割任务分为粗分割子任务和细分割子任务。其中，肿瘤图像为采集端通过MRI设备扫描生成的，实质为四模态MRI图像。
具体而言，结合图16至17所示，通过执行步骤801，分割端获取采集端扫描生成的肿瘤图像811。
如图16所示，粗分割子任务基于肿瘤图像811，通过3D U-net网络820进行肿瘤定位，得到全肿瘤区域包含于矩形框的候选图像812，由此，完成粗分割子任务，即执行步骤802：基于肿瘤图像811，进行全肿瘤区域的粗分割。
细分割子任务中，以候选图像812作为细分割子任务的基础，可以看出，候选图像812相较于肿瘤图像811，尺寸大大缩小。
将候选图像812输入至级联分割网络830中的第一级分割网络831，进行图像分割，得到标记了全肿瘤区域的第一级中间分割图像813。相较于候选图像812，该第一级中间分割图像813所包含的全肿瘤区域不再粗略地包含于矩形框中，而是进行了具体的标记，实现了肿瘤图像的第一次细分割，即执行步骤803：基于候选图像812，进行关于全肿瘤区域的图像分割。
将第一级中间分割图像813作为第二级分割网络832的输入，进行图像分割，得到第二级中间分割图像814，该第二级中间分割图像814反映了全肿瘤区域与肿瘤核心区域二者之间的真包含关系，实现了肿瘤图像的第二次细分割，即执行步骤804：基于第一级中间分割图像813，进行关于肿瘤核心区域的图像分割。
最后，以第二级中间分割图像814作为第三级分割网络833的输入，进行图像分割，得到分割图像815，该分割图像815反映了全肿瘤区域、肿瘤核心区域、增强肿瘤核心区域三者之间的真包含关系，实现了肿瘤图像的第三次细分割，即执行步骤805：基于第二级中间分割图像814，进行关于增强肿瘤核心区域的图像分割。
由此，针对脑部肿瘤所包含三个区域的不同特性，通过步进式图像分割，即基于不同输入图像所进行的关于不同区域的图像分割，完成了细分割子任务。
那么，对于诊断端而言，通过执行步骤806，便可接收到分割端所得到的分割图像815，使得医生及时了解脑部肿瘤中严重程度不同的三种区域，辅助医生更加快速准确进行肿瘤诊断，例如，分析病人的肿瘤的良恶性、恶性程度等等。
其中，3D U-net网络820的网络结构如图11所示，而对于级联分割网络830中的各级分割网络，其网络结构如图12所示。
在各级分割网络的上采样阶段、下采样阶段中，稠密模块层的结构如图13所示，且通过卷积层中三维卷积核与切面卷积核、法向卷积核的相互结合，实现特征提取和特征融合过程。
表1下采样阶段中三维卷积核、切面卷积核、法向卷积核的设置情况
以下采样阶段为例，如表1所示，[3×3×1conv]表示切面卷积核，[1×1×3conv]表示法向卷积核，[3×3×3conv]则表示三维卷积核。不同稠密模块层所设置的各类型卷积核的个数可以根据应用场景的实际需要灵活地调整，此处并非对此作出具体限定。例如，在本应用场景中，第一稠密模块层在下采样阶段中，分别设置了12个三维卷积核、3个三维卷积核。
另外，关于四模态MRI图像，实质是在各卷积层中配置了四个通道，以使该四模态MRI图像通过不同通道输入至级联分割网络中进行图像分割，进而充分地保证肿瘤图像的完整性，有利于提升分割效果。
通过上述过程，实现了端到端的自动图像分割，即只要输入病人所对应的不同模态MRI图像，便可得到三种严重程度不同的区域，不仅能够有效地辅助医生进一步地针对病人分析治疗方案，而且还能够为病人确定手术区域，从而更加精准地针对病灶进行处理。
下述为本发明装置实施例，可以用于执行本发明所涉及的图像分割方法。对于本发明装置实施例中未披露的细节，请参照本发明所涉及的图像分割方法的方法实施例。
请参阅图18，在一示例性实施例中，一种图像分割装置900包括但不限于：图像获取模块910、图像粗分割模块930、图像输入模块940和图像细分割模块950。
其中，图像获取模块910，用于获取肿瘤图像。
图像粗分割模块930，用于对获取到的肿瘤图像进行肿瘤定位，得到用于指示所述肿瘤图像中全肿瘤区域位置的候选图像。
图像输入模块940，用于将所述候选图像输入至基于机器学习模型构建的级联分割网络
图像细分割模块950，用于以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像。
需要说明的是，上述实施例所提供的图像分割装置在进行肿瘤图像分割处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即图像分割装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例所提供的图像分割装置与图像分割方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
请参阅图19，在一示例性实施例中，一种计算机设备1000，包括至少一处理器1001、至少一存储器1002、以及至少一通信总线1003。
其中，存储器1002上存储有计算机可读指令，处理器1001通过通信总线1003读取存储器1002中存储的计算机可读指令。
该计算机可读指令被处理器1001执行时实现上述各实施例中的图像分割方法。
在一示例性实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的图像分割方法。
上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (12)

1.一种图像分割方法，其特征在于，包括：
获取肿瘤图像；
采用3D U-Net网络的编码器网络提取得到所述肿瘤图像的上下文特征；
在所述3D U-Net网络的解码器网络中，对最深一层上采样层对应的定位特征进行上采样处理，得到待融合特征，所述最深一层上采样层对应的定位特征为所述编码器网络中最深一层下采样层对应的上下文特征,所述编码器网络包括若干下采样层，所述解码器网络包括若干上采样层，将所述待融合特征输入至次深一层上采样层，与次深一层下采样层对应的上下文特征进行合并，并通过反卷积处理，得到次深一层上采样层对应的定位特征，对其余上采样层按照由深至浅的顺序进行遍历，获得遍历到上采样层对应的定位特征，待完成所述遍历，由最浅一层上采样层对应的定位特征得到所述肿瘤图像对应的特征图；
对所述肿瘤图像对应特征图中的像素点进行类别预测，得到所述肿瘤图像对应特征图中像素点的类别，根据所述特征图中属于全肿瘤区域类别的像素点，得到将所述全肿瘤区域收容于指定区域的候选图像；
将所述候选图像输入至基于机器学习模型构建的级联分割网络；
以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像。
2.如权利要求1所述的方法，其特征在于，所述级联分割网络包括三级分割网络；
所述以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像，包括：
通过所述级联分割网络中的第一级分割网络进行所述候选图像的图像分割，得到标记了所述全肿瘤区域的第一级中间分割图像；
通过所述级联分割网络中的第二级分割网络进行所述第一级中间分割图像的图像分割，得到标记了所述全肿瘤区域包含所述肿瘤核心区域的第二级中间分割图像；
通过所述级联分割网络中的第三级分割网络进行所述第二级中间分割图像的图像分割，得到标记了所述全肿瘤区域、所述肿瘤核心区域、所述增强肿瘤核心区域三者之间真包含关系的所述分割图像。
3.如权利要求2所述的方法，其特征在于，输入图像为所述候选图像、所述第一级中间分割图像、或者所述第二级中间分割图像；
输出图像为所述第一级中间分割图像、所述第二级中间分割图像、或者所述分割图像；
分割网络为所述级联分割网络中的各级分割网络；
所述分割网络包括上采样阶段和下采样阶段；
通过所述分割网络进行所述输入图像的图像分割，得到所述输出图像，包括：
在所述分割网络中的下采样阶段，由所述输入图像提取得到关键特征；
将所述关键特征输入至所述分割网络中的上采样阶段，进行多尺度特征融合，得到所述输入图像对应的特征图；
对所述输入图像对应特征图中的像素点进行类别预测，得到所述输入图像对应特征图中像素点的类别；
对所述输入图像对应特征图中指定类别的像素点进行标记，得到所述输出图像。
4.如权利要求3所述的方法，其特征在于，所述下采样阶段包括依次连接的若干第一基础网络层和若干第一稠密模块层；
所述在所述分割网络中的下采样阶段，由所述输入图像提取得到关键特征，包括：
将所述输入图像输入至所述分割网络中的下采样阶段，通过若干第一基础网络层进行卷积下采样处理，得到中间特征；
通过若干第一稠密模块层对所述中间特征进行卷积处理，得到所述关键特征。
5.如权利要求4所述的方法，其特征在于，所述第一基础网络层包括依次连接的第二稠密模块层和池化层，所述第一稠密模块层与所述第二稠密模块层所使用的卷积层不同；
所述将所述输入图像输入至所述分割网络中的下采样阶段，通过若干第一基础网络层进行卷积下采样处理，得到中间特征，包括：
在所述分割网络中的下采样阶段，将所述输入图像输入至第一个第一基础网络层，通过该第一个第一基础网络层中的第二稠密模块层对所述输入图像进行卷积处理；
通过该第一个第一基础网络层中的池化层对卷积输出的特征进行下采样处理，以输出至第二个第一基础网络层；
按照特征传播顺序，对若干第一基础网络层中的其余第一基础网络层进行遍历，待完成所述遍历，以最后一个第一基础网络层下采样处理后的特征作为所述中间特征。
6.如权利要求5所述的方法，其特征在于，所述上采样阶段与所述下采样阶段相互对称，所述上采样阶段包括依次连接的若干第三稠密模块层和若干第二基础网络层，所述第二基础网络层包括依次连接的上采样层和第四稠密模块层，所述第三稠密模块层与所述第四稠密模块层所使用的卷积层不同；
所述将所述关键特征输入至所述分割网络中的上采样阶段，进行多尺度特征融合，得到所述输入图像对应的特征图，包括：
将所述关键特征输入至所述分割网络中的上采样阶段，通过若干第三稠密模块层进行反卷积处理，得到第一尺度特征，以输入前若干个第二基础网络层；
在前若干个第二基础网络层中，进行该前若干个第二基础网络层中的第四稠密模块层，与若干所述第一基础网络层中相互对称的第二稠密模块层之间的特征融合，所述前若干个第二基础网络层在所述上采样阶段中连接于最后一个所述第三稠密模块层与最后一个第二基础网络层之间；
在最后一个第二基础网络层中，通过该最后一个第二基础网络层中的上采样层对前若干个第二基础网络层融合输出的特征进行上采样处理，得到第二尺度特征；
获取若干所述第一基础网络层中第二稠密模块层卷积输出的特征，将获取到的特征作为第三尺度特征；
通过该最后一个第二基础网络层中的第四稠密模块层将所述第一尺度特征、所述第二尺度特征、所述第三尺度特征融合，并进行反卷积处理，得到所述输入图像对应的特征图。
7.如权利要求6所述的方法，其特征在于，基于所述第一尺度特征，在前若干个第二基础网络层中，进行该前若干个第二基础网络层中的第四稠密模块层，与若干所述第一基础网络层中相互对称的第二稠密模块层之间的特征融合，包括：
将所述第一尺度特征输入第一个第二基础网络层，通过该第一个第二基础网络层中的上采样层，对输入的第一尺度特征进行上采样处理；
基于该第一个第二基础网络层中的第四稠密模块，获取若干第一基础网络层中相互对称的第二稠密模块卷积输出的特征，与上采样处理后的特征合并，得到合并特征；
通过该第一个第二基础网络层中的第四稠密模块，对所述合并特征进行反卷积处理，以输出至第二个第二基础网络层；
按照特征传播顺序，对前若干个第二基础网络层中的其余第二基础网络层进行遍历，待完成所述遍历，完成相互对称的第四稠密模块层与第二稠密模块层之间的特征融合。
8.如权利要求6所述的方法，其特征在于，所述第一稠密模块层、第三稠密模块层中的卷积层均包括若干三维卷积核；
所述第二稠密模块层、第四稠密模块层中的卷积层均包括若干切面卷积核和若干法向卷积核。
9.如权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：基于机器学习模型构建所述级联分割网络，所述机器学习模型为卷积神经网络模型；
所述基于机器学习模型构建所述级联分割网络，包括：
获取携带标签的训练样本，所述训练样本是通过不同种类标签对所述全肿瘤区域、所述肿瘤核心区域、所述增强肿瘤核心区域进行标注的肿瘤图像；
根据训练样本所携带标签的种类，建立多个训练样本集，每一个训练样本集对应一个种类；
通过多个训练样本集分别对多个具有指定模型结构的卷积神经网络模型进行模型训练；
将完成模型训练的多个卷积神经网络模型级联，得到所述级联分割网络。
10.一种图像分割装置，其特征在于，包括：
图像获取模块，用于获取肿瘤图像；
图像粗分割模块，用于采用3D U-Net网络的编码器网络提取得到所述肿瘤图像的上下文特征，在所述3D U-Net网络的解码器网络中，对最深一层上采样层对应的定位特征进行上采样处理，得到待融合特征，所述最深一层上采样层对应的定位特征为所述编码器网络中最深一层下采样层对应的上下文特征,所述编码器网络包括若干下采样层，所述解码器网络包括若干上采样层，将所述待融合特征输入至次深一层上采样层，与次深一层下采样层对应的上下文特征进行合并，并通过反卷积处理，得到次深一层上采样层对应的定位特征，对其余上采样层按照由深至浅的顺序进行遍历，获得遍历到上采样层对应的定位特征，待完成所述遍历，由最浅一层上采样层对应的定位特征得到所述肿瘤图像对应的特征图，对所述肿瘤图像对应特征图中的像素点进行类别预测，得到所述肿瘤图像对应特征图中像素点的类别，根据所述特征图中属于全肿瘤区域类别的像素点，得到将所述全肿瘤区域收容于指定区域的候选图像；
图像输入模块，用于将所述候选图像输入至基于机器学习模型构建的级联分割网络；
图像细分割模块，用于以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像。
11.一种诊断系统，其特征在于，所述诊断系统包括采集端、分割端和诊断端，其中，
所述采集端，用于采集肿瘤图像，并发送至所述分割端；
所述分割端，用于采用3D U-Net网络的编码器网络提取得到所述肿瘤图像的上下文特征，在所述3D U-Net网络的解码器网络中，对最深一层上采样层对应的定位特征进行上采样处理，得到待融合特征，所述最深一层上采样层对应的定位特征为所述编码器网络中最深一层下采样层对应的上下文特征,所述编码器网络包括若干下采样层，所述解码器网络包括若干上采样层，将所述待融合特征输入至次深一层上采样层，与次深一层下采样层对应的上下文特征进行合并，并通过反卷积处理，得到次深一层上采样层对应的定位特征，对其余上采样层按照由深至浅的顺序进行遍历，获得遍历到上采样层对应的定位特征，待完成所述遍历，由最浅一层上采样层对应的定位特征得到所述肿瘤图像对应的特征图，对所述肿瘤图像对应特征图中的像素点进行类别预测，得到所述肿瘤图像对应特征图中像素点的类别，根据所述特征图中属于全肿瘤区域类别的像素点，得到将所述全肿瘤区域收容于指定区域的候选图像，并将所述候选图像输入至基于机器学习模型构建的级联分割网络，以所述级联分割网络中的第一级分割网络，对所述候选图像中的全肿瘤区域进行图像分割为起始，逐级步进至最后一级分割网络进行关于增强肿瘤核心区域的图像分割，得到分割图像；
所述诊断端，用于接收所述分割端发送的分割图像，并显示，以通过所述分割图像辅助诊断人员进行肿瘤诊断。
12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图像分割方法。
CN201811462063.3A 2018-11-30 2018-11-30 图像分割方法、装置、诊断系统及存储介质 Active CN109598728B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811462063.3A CN109598728B (zh) 2018-11-30 2018-11-30 图像分割方法、装置、诊断系统及存储介质
PCT/CN2019/121246 WO2020108525A1 (zh) 2018-11-30 2019-11-27 图像分割方法、装置、诊断系统、存储介质及计算机设备
EP19889004.8A EP3828825A4 (en) 2018-11-30 2019-11-27 IMAGE SEGMENTATION PROCESS AND APPARATUS, DIAGNOSIS SYSTEM, STORAGE MEDIA, AND COMPUTER DEVICE
US17/204,894 US11954863B2 (en) 2018-11-30 2021-03-17 Image segmentation method and apparatus, diagnosis system, storage medium, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811462063.3A CN109598728B (zh) 2018-11-30 2018-11-30 图像分割方法、装置、诊断系统及存储介质

Publications (2)

Publication Number Publication Date
CN109598728A CN109598728A (zh) 2019-04-09
CN109598728B true CN109598728B (zh) 2019-12-27

Family

ID=65959310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811462063.3A Active CN109598728B (zh) 2018-11-30 2018-11-30 图像分割方法、装置、诊断系统及存储介质

Country Status (4)

Country Link
US (1) US11954863B2 (zh)
EP (1) EP3828825A4 (zh)
CN (1) CN109598728B (zh)
WO (1) WO2020108525A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160346A (zh) * 2018-11-07 2020-05-15 电子科技大学 基于三维卷积的缺血性脑卒中分割系统
CN109598728B (zh) 2018-11-30 2019-12-27 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN110084297B (zh) * 2019-04-23 2023-09-15 东华大学 一种面向小样本的影像语义对齐系统
CN110097921B (zh) * 2019-05-30 2023-01-06 复旦大学 基于影像组学的胶质瘤内基因异质性可视化定量方法和系统
CN110211134B (zh) * 2019-05-30 2021-11-05 上海商汤智能科技有限公司 一种图像分割方法及装置、电子设备和存储介质
CN110211140B (zh) * 2019-06-14 2023-04-07 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
CN110232361B (zh) * 2019-06-18 2021-04-02 中国科学院合肥物质科学研究院 基于三维残差稠密网络的人体行为意图识别方法与系统
CN110276755B (zh) * 2019-06-25 2021-07-06 广东工业大学 一种肿瘤位置定位系统及相关装置
CN110363776B (zh) * 2019-06-28 2021-10-22 联想(北京)有限公司 图像处理方法及电子设备
CN110390680A (zh) * 2019-07-04 2019-10-29 上海联影智能医疗科技有限公司 图像分割方法、计算机设备和存储介质
CN110310280B (zh) * 2019-07-10 2021-05-11 广东工业大学 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN110349170B (zh) * 2019-07-13 2022-07-08 长春工业大学 一种全连接crf级联fcn和k均值脑肿瘤分割算法
CN110378976B (zh) * 2019-07-18 2020-11-13 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110415234A (zh) * 2019-07-29 2019-11-05 北京航空航天大学 基于多参数磁共振成像的脑部肿瘤分割方法
WO2021017006A1 (zh) * 2019-08-01 2021-02-04 京东方科技集团股份有限公司 图像处理方法及装置、神经网络及训练方法、存储介质
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110717913B (zh) * 2019-09-06 2022-04-22 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110874842B (zh) * 2019-10-10 2022-04-29 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN111028236A (zh) * 2019-11-18 2020-04-17 浙江工业大学 一种基于多尺度卷积U-Net的癌细胞图像分割方法
CN111047602A (zh) * 2019-11-26 2020-04-21 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN111047606B (zh) * 2019-12-05 2022-10-04 北京航空航天大学 一种基于级联思想的病理全切片图像分割算法
CN111145186B (zh) * 2019-12-17 2023-08-22 中国科学院深圳先进技术研究院 神经网络结构、图像分割方法、装置及存储介质
CN111192320B (zh) * 2019-12-30 2023-07-25 上海联影医疗科技股份有限公司 一种位置信息确定方法、装置、设备和存储介质
US11645505B2 (en) * 2020-01-17 2023-05-09 Servicenow Canada Inc. Method and system for generating a vector representation of an image
CN111275721B (zh) * 2020-02-14 2021-06-08 推想医疗科技股份有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111507215B (zh) * 2020-04-08 2022-01-28 常熟理工学院 基于时空卷积循环神经网络与空洞卷积的视频目标分割方法
CN111626298B (zh) * 2020-04-17 2023-08-18 中国科学院声学研究所 一种实时图像语义分割装置及分割方法
CN111696084A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 细胞图像分割方法、装置、电子设备及可读存储介质
CN111369576B (zh) * 2020-05-28 2020-09-18 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置及设备
CN111368849B (zh) * 2020-05-28 2020-08-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN111640100B (zh) * 2020-05-29 2023-12-12 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
CN112037171B (zh) * 2020-07-30 2023-08-15 西安电子科技大学 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN112085743A (zh) * 2020-09-04 2020-12-15 厦门大学 一种肾肿瘤的图像分割方法
CN112070752A (zh) * 2020-09-10 2020-12-11 杭州晟视科技有限公司 一种医学图像的心耳分割方法、装置及存储介质
CN112150470B (zh) * 2020-09-22 2023-10-03 平安科技（深圳）有限公司 图像分割方法、装置、介质及电子设备
CN111968137A (zh) * 2020-10-22 2020-11-20 平安科技（深圳）有限公司 头部ct图像分割方法、装置、电子设备及存储介质
CN112017189B (zh) * 2020-10-26 2021-02-02 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备和存储介质
CN112258526B (zh) * 2020-10-30 2023-06-27 南京信息工程大学 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN112396620A (zh) * 2020-11-17 2021-02-23 齐鲁工业大学 一种基于多阈值的图像语义分割方法及系统
KR20220080249A (ko) 2020-12-07 2022-06-14 삼성전자주식회사 영상 처리 방법 및 장치
CN112784897B (zh) 2021-01-20 2024-03-26 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN112767417B (zh) * 2021-01-20 2022-09-13 合肥工业大学 一种基于级联U-Net网络的多模态图像分割方法
KR102321427B1 (ko) * 2021-01-20 2021-11-04 메디컬아이피 주식회사 의료영상을 이용한 인체성분 분석 방법 및 그 장치
CN112785605B (zh) * 2021-01-26 2023-07-28 西安电子科技大学 基于语义迁移的多时相ct图像肝肿瘤分割方法
CN112862830B (zh) * 2021-01-28 2023-12-22 陕西师范大学 一种多模态图像分割方法、系统、终端及可读存储介质
CN112767407B (zh) * 2021-02-02 2023-07-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN113781449A (zh) * 2021-09-14 2021-12-10 上海布眼人工智能科技有限公司 一种基于多尺度特征融合的纺织品瑕疵分类方法
CN113569865B (zh) * 2021-09-27 2021-12-17 南京码极客科技有限公司 一种基于类别原型学习的单样本图像分割方法
CN113658180B (zh) * 2021-10-20 2022-03-04 北京矩视智能科技有限公司 一种基于空间上下文引导的表面缺陷区域分割方法和装置
CN114267443B (zh) * 2021-11-08 2022-10-04 东莞市人民医院 基于深度学习的胰腺肿瘤纤维化程度预测方法及相关装置
US11961618B2 (en) * 2021-11-17 2024-04-16 City University Of Hong Kong Task interaction network for prostate cancer diagnosis
CN114170244A (zh) * 2021-11-24 2022-03-11 北京航空航天大学 一种基于级联神经网络结构的脑胶质瘤分割方法
CN114092815B (zh) * 2021-11-29 2022-04-15 自然资源部国土卫星遥感应用中心 一种大范围光伏发电设施遥感智能提取方法
CN114445726B (zh) * 2021-12-13 2022-08-02 广东省国土资源测绘院 一种基于深度学习的样本库建立方法和装置
CN114241344B (zh) * 2021-12-20 2023-05-02 电子科技大学 一种基于深度学习的植物叶片病虫害严重程度评估方法
CN114299288A (zh) * 2021-12-23 2022-04-08 广州方硅信息技术有限公司 图像分割方法、装置、设备和存储介质
CN114496145B (zh) * 2022-01-27 2023-02-10 深圳市铱硙医疗科技有限公司 一种医疗图像档案管理方法与系统
CN114612479B (zh) * 2022-02-09 2023-03-24 苏州大学 基于全局与局部特征重建网络的医学图像分割方法和装置
CN115115577A (zh) * 2022-05-19 2022-09-27 北京深睿博联科技有限责任公司 一种基于混合感知的多阶段器官分割方法及装置
CN114648529B (zh) * 2022-05-19 2022-09-23 深圳市中科先见医疗科技有限公司 一种基于cnn网络的dpcr液滴荧光检测方法
CN116912502B (zh) * 2023-09-08 2024-01-16 南方医科大学珠江医院 全局视角辅助下图像关键解剖结构的分割方法及其设备
CN117455935B (zh) * 2023-12-22 2024-03-19 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123417A (zh) * 2014-07-22 2014-10-29 上海交通大学 一种基于聚类融合的图像分割的方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108564582A (zh) * 2018-04-23 2018-09-21 重庆大学 一种基于深度神经网络的mri脑肿瘤自动识别方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136516B2 (en) * 2002-01-25 2006-11-14 General Electric Company Method and system for segmenting magnetic resonance images
WO2006114003A1 (en) * 2005-04-27 2006-11-02 The Governors Of The University Of Alberta A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images
US20110286654A1 (en) * 2010-05-21 2011-11-24 Siemens Medical Solutions Usa, Inc. Segmentation of Biological Image Data
CN106709568B (zh) * 2016-12-16 2019-03-22 北京工业大学 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法
JP7293118B2 (ja) * 2017-02-22 2023-06-19 ザ ユナイテッド ステイツ オブ アメリカ， アズ リプレゼンテッド バイ ザ セクレタリー， デパートメント オブ ヘルス アンド ヒューマン サービシーズ インスタンス重み付けを伴うランダムフォレストを使用するマルチパラメトリックｍｒｉにおける前立腺がんの検出、およびホリスティックネスト型ネットワークを用いたディープラーニングによるｍｒ前立腺セグメント化
US11049243B2 (en) * 2017-04-19 2021-06-29 Siemens Healthcare Gmbh Target detection in latent space
CN108492297B (zh) * 2017-12-25 2021-11-19 重庆师范大学 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN108765422A (zh) 2018-06-13 2018-11-06 云南大学 一种视网膜图像血管自动分割方法
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN109598728B (zh) * 2018-11-30 2019-12-27 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123417A (zh) * 2014-07-22 2014-10-29 上海交通大学 一种基于聚类融合的图像分割的方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN108564582A (zh) * 2018-04-23 2018-09-21 重庆大学 一种基于深度神经网络的mri脑肿瘤自动识别方法

Also Published As

Publication number Publication date
WO2020108525A1 (zh) 2020-06-04
EP3828825A1 (en) 2021-06-02
CN109598728A (zh) 2019-04-09
US11954863B2 (en) 2024-04-09
EP3828825A4 (en) 2021-11-17
US20210241027A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
CN109598728B (zh) 图像分割方法、装置、诊断系统及存储介质
CN109741343B (zh) 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法
Candemir et al. Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration
US8213726B2 (en) Image labeling using multi-scale processing
JP2019531783A5 (zh)
CN108986115B (zh) 医学图像分割方法、装置及智能终端
US9042611B2 (en) Automated vascular region separation in medical imaging
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN104717925A (zh) 图像处理装置、方法及程序
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
EP4177828A1 (en) Method and system for domain knowledge augmented multi-head attention based robust universal lesion detection
WO2019037654A1 (zh) 3d图像检测方法、装置、电子设备及计算机可读介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
Banerjee et al. A semi-automated approach to improve the efficiency of medical imaging segmentation for haptic rendering
CN111028134A (zh) 图像处理方法、装置、系统及介质
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN111383207A (zh) 一种肌骨超声图像处理方法、系统、装置及可读存储介质
CN112200780B (zh) 骨组织定位方法、装置、计算机设备和存储介质
Wu et al. Semiautomatic segmentation of glioma on mobile devices
CN116805319A (zh) 提供训练机器学习分割算法的训练数据集的方法和系统
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN115760875A (zh) 一种基于自监督学习的全视野医学图片区域分割方法
CN115100050A (zh) Ct图像环状伪影的去除方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230712

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right