CN110363780A - 图像分割方法、装置、计算机可读存储介质和计算机设备 - Google Patents
图像分割方法、装置、计算机可读存储介质和计算机设备 Download PDFInfo
- Publication number
- CN110363780A CN110363780A CN201910666655.5A CN201910666655A CN110363780A CN 110363780 A CN110363780 A CN 110363780A CN 201910666655 A CN201910666655 A CN 201910666655A CN 110363780 A CN110363780 A CN 110363780A
- Authority
- CN
- China
- Prior art keywords
- sampling
- image
- pixel
- feature
- interaction feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像分割方法、装置、计算机可读存储介质和计算机设备,所述方法涉及图像分割技术,包括:对待分割图像对应的高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;对高像素下采样交互特征与低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;对高像素卷积交互特征和低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;根据高像素上采样交互特征和低像素上采样交互特征,从待分割图像中分割出目标对象。本申请提供的方案可以提升图像分割的精细度。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像分割方法、装置、计算机可读存储介质和计算机设备。
背景技术
图像分割(image segmentation)技术是计算机视觉领域重要的研究方向,是图像语义理解的重要一环。近些年来,随着深度学习技术的逐步深入,图像分割技术有了突飞猛进的发展,深度神经网络已经广泛应用于图像的分割任务中并取得了不俗的效果。
传统上会采用一些经典算法如FCN等进行分割,但使用FCN进行分割需要直接上采样较大倍数,这样上采样的结果比较模糊和平滑,对图像中的细节不敏感,分割结果的精细度较低。
发明内容
基于此,有必要针对现有技术中图像分割技术存在精细度较低的技术问题,提供一种图像分割方法、装置、计算机可读存储介质和计算机设备。
一种图像分割方法,包括:
获取待分割图像;
获取所述待分割图像对应的高像素图像特征和低像素图像特征;
对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述待分割图像中各像素属于目标对象的概率,根据所述概率从所述待分割图像中分割出目标对象。
一种医学图像的病灶分割方法,包括:
获取医学图像;
获取所述医学图像对应的高像素图像特征和低像素图像特征;
对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述医学图像中各像素属于病灶的概率,并通过所述图像分割模型的输出层,根据所述概率从所述医学图像中分割出病灶。
一种图像分割装置,所述装置包括:
待分割图像获取模块,用于获取待分割图像;
图像特征获取模块,用于获取所述待分割图像对应的高像素图像特征和低像素图像特征;
下采样交互模块,用于对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
卷积交互模块,用于对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
上采样交互模块,用于对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
目标对象分割模块,用于根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述待分割图像中各像素属于目标对象的概率,根据所述概率从所述待分割图像中分割出目标对象。
一种医学图像的病灶分割装置,所述装置包括:
医学图像获取模块,用于获取医学图像;
图像特征获取模块,用于获取所述医学图像对应的高像素图像特征和低像素图像特征;
下采样交互模块,用于对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
卷积交互模块,用于对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
上采样交互模块,用于对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
病灶分割模块,用于根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述医学图像中各像素属于病灶的概率,并通过所述图像分割模型的输出层,根据所述概率从所述医学图像中分割出病灶。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述图像分割方法或医学图像的病灶分割方法的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述图像分割方法或医学图像的病灶分割方法的步骤。
上述图像分割方法、装置、计算机可读存储介质和计算机设备,获取待分割图像后,获取待分割图像在两个尺度上的高像素图像特征和低像素图像特征,再基于这两个尺度的图像特征持续保持双尺度的信息交互,即在下采样交互处理过程中双尺度的图像特征同时进行下采样并进行交互,在卷积交互处理过程中双尺度的下采样交互特征同时进行卷积交互,在上采样交互处理过程中双尺度的卷积交互特征同时进行上采样并进行交互,进而根据得到的双尺度的上采样交互特征,共同确定待分割图像中各像素属于目标对象的概率,根据概率从待分割图像中分割出目标对象。在整个处理过程中,通过不断的信息交互,且仅保持双尺度特征的交互,使得交互提取的图像信息更加全面,能够显著提升分割的精细度;再者,由于每个信息交互是基于前次信息交互所得到的交互特征进行的,从而有效避免了下采样导致信息缺失所带来的误差,能够从图像中分割出更多的细节信息,进一步提升了图像分割的精细度。
附图说明
图1为一个实施例中图像分割方法的应用环境图;
图2为一个实施例中图像分割方法的流程示意图;
图3为一个实施例中分支网络的结构示意图;
图4为一个实施例中下采样交互网络的结构示意图;
图5为一个实施例中卷积交互网络的结构示意图;
图6为一个实施例中上采样交互网络的结构示意图;
图7为一个实施例中汇合网络的结构示意图;
图8为一个实施例中图像分割模型的网络架构图;
图9为一个具体的实施例中图像分割方法的流程示意图;
图10为一个实施例中医学图像的病灶分割方法的流程示意图;
图11为一个实施例中图像分割装置的结构框图;
图12为一个实施例中医学图像的病灶分割装置的结构框图;
图13为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例所提供的图像分割方法涉及计算机视觉中的图像分割技术。计算机视觉是一门研究如何使计算机设备“看”的科学,更进一步的说,就是指用计算机设备代替人眼对目标进行识别、跟踪和测量等,并进一步做图像处理,使计算机设备将图像处理处理成为更适合人眼观察或传送给仪器检测的图像。图像分割是图像识别和计算机视觉至关重要的预处理,具体通过如下实施例进行说明。
图1为一个实施例中图像分割方法的应用环境图。参照图1,该图像分割方法应用于图像分割系统。该图像分割系统包括终端110和服务器120。终端110 和服务器120通过网络连接。终端110可以获取待分割图像,并将待分割图像发送至服务器120,服务器120获取待分割图像后,获取待分割图像对应的高像素图像特征和低像素图像特征,再对高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征,对高像素下采样交互特征与低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征,对高像素卷积交互特征和低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征,继而根据高像素上采样交互特征和低像素上采样交互特征,确定待分割图像中各像素属于目标对象的概率,根据概率从待分割图像中分割出目标对象。
可以理解,在其他实施例中,终端110获取待识别图像后,也可以直接由终端110对待分图像进行处理,以从待分割图像中分割出目标对象。
终端110可以是台式终端或移动终端,移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理、穿戴式设备、医学影像设备等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,在一个实施例中,提供了一种图像分割方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2,该图像分割方法具体包括如下步骤:
S202,获取待分割图像。
其中,待分割图像是待进行图像分割的图像。图像分割是从包括目标对象的图像中分割出目标对象的过程,其实质是为图像中的每个像素分配一个标签的处理过程。待分割图像中所包括的目标对象可以是人物、动物或特定场景下的目标对象,等等。
具体地,服务器可以获取终端发送的图像,将该图像作为待分割图像。服务器也可以从本地获取图像,将该图像作为待分割图像。
在一个实施例中,待分割图像可以包括医学图像。医学图像也叫医学影像,是指为了医疗或医学研究,对生物体或生物体某部分,由医学仪器以非侵入方式取得的内部组织图像。具体地,医学图像可以包括对生物组织进行电子计算机断层扫描(ComputedTomography,CT)得到的CT图像、对生物组织进行磁共振成像(Magnetic ResonanceImaging)得到的MRI图像,还可以包括超声波图像、X光图像、心电图、脑电图或是光学摄影图像,等等。待分割图像为医学图像,则待分割图像所包括的目标对象可以是生物组织中的病灶,那么图像分割的过程就是从医学图像中分割出病灶区域。
在一个实施例中,待分割图像还可以是视频中的视频帧,比如可以是医学影像视频中的一帧。
S204,获取待分割图像对应的高像素图像特征和低像素图像特征。
其中,图像特征是能够差异化表示图像特点的特征,不同图像所对应的图像特征是不同的,图像特征是将图像的特点以空间向量或空间矩阵表示的形式。高像素图像特征、低像素图像特征均是对待处理图像中各像素进行不同的处理后得到的用于初步表示图像特点的空间矩阵,高像素图像特征与低像素图像特征分别从两个不同的尺度初步表达了待处理图像的图像信息,高像素图像特征是比低像素图像特征的尺度大的图像特征。经过处理后得到的特征尺度越大,特征的分辨率越高,高分辨率的特征具有更多的图像细节信息,尺度越小,特征的分辨率越低,低分辨率的特征具有更多的图像全局信息。这样后续基于高像素图像特征与低像素图像特征进一步处理,能够得到更为全面的图像信息。当以空间矩阵的形式表示图像特征时,图像特征的尺度可以理解为空间矩阵的大小。比如,高像素图像特征的尺度为M*N,低像素图像特征的尺度为M/2*N/2。
可以理解,“高像素”与“低像素”在尺度方面是一个相对的概念,高像素的分辨率比低像素的分辨率要高。在一个实施例中,低像素图像特征的尺度为高像素图像特征尺度的1/2,高像素图像特征的尺度与待处理图像的尺度相同。高像素图像特征与低像素图像特征在不同尺度上表达了待处理图像的图像信息。
在一个实施例中,服务器可以通过训练好的图像分割模型对待分割图像进行处理,以从待分割图像中分割出目标对象。因此,服务器可以通过图像分割模型对待分割图像进行处理,获得待分割图像对应的高像素图像特征和低像素图像特征。
在一个实施例中,图像分割模型可以是基于机器学习的神经网络模型。神经网络模型可以通过图像样本进行学习,从而具备特定的能力。在本实施例中,图像分割模型是预先训练好的具有图像分割能力的模型。神经网络模型可以采用卷积神经网络(convolutionneural network,CNN)实现。
在一个实施例中,服务器可基于初始模型参数构建初始模型,再通过已经标注了分割结果的图像样本,对初始模型进行训练,在满足训练停止条件时得到训练好的模型参数。在对待处理图像进行图像分割时,可以获取该模型参数,再将该模型参数导入初始模型,得到可对待处理图像进行图像分割处理的图像分割模型。在图像分割过程中,无需人工定义图像分割模型的输入特征,实现了端到端的处理过程。
可选地,可按照以下步骤获取用于训练初始模型的图像样本:
获取原始图像样本,将原始图像样本中属于目标对象的像素与不属于目标对象的像素分别标注,得到标注了分割结果的图像样本。比如可以将属于目标对象的像素的类别标记为0,将原始图像样本中不属于目标对象的像素的类别标记为1,或者也可以将属于目标对象的像素的类别标记为1,将原始图像样本中不属于目标对象的像素的类别标记为0。
为了提高训练得到的图像分割模型的准确性,需要提高图像样本的数量,可以对原始图像进行翻转处理、旋转处理、放大处理、缩小处理或对比度增强处理等数据增广操作后,得到新的图像样本,这些新的图像样本由于在方向性和尺度上具有一定的信息价值,根据这些样本训练得到的图像分割模型准确性更高。可选地,在训练图像分割模型的过程中,可采用梯度下降法更新模型参数。
在一个实施例中,用于对待分割图像进行图像分割处理的图像分割模型可通过以下步骤训练得到:
获取图像样本;将图像样本输入至初始模型中,经过初始模型的处理,得到图像样本中各像素属于目标对象的预测概率,根据预测概率确定属于目标对象的预测像素区域;根据图像样本的标注数据,确定图像样本中属于目标对象的真实像素区域;根据预测像素区域与真实像素区域的交集面积以及预测像素区域与真实像素区域的面积之和,构建损失函数;最小化损失函数得到误差梯度,根据误差梯度调整模型参数;根据调整后的模型参数以及图像样本集中的图像样本继续训练模型,直至训练完成时得到训练好的模型参数。
在一个实施例中,损失函数Loss可以通过以下公式表示:
Loss=1-2*(S1∩S2)/(S1+S2);
其中,S1表示预测像素区域的面积,S2表示真实像素区域的面积,S1∩S2 表示预测像素区域与真实像素区域的交集面积,S1+S2表示预测像素区域与真实像素区域的并集面积。在一个实施例中,像素区域的面积可以用像素区域所包括像素的数量表示。
在一个实施例中,图像分割模型包括输入层、分支网络、下采样交互网络、卷积交互网络、上采样交互网络、汇合网络和输出层,服务器可以将待处理图像输入至图像分割模型,通过图像分割模型的输入层和分支网络获得待处理图像对应的高像素图像特征和低像素图像特征。
在一个实施例中,获取待分割图像对应的高像素图像特征和低像素图像特征的步骤包括:通过输入层,获得待分割图像对应的原始图像特征;通过分支网络,对原始图像特征进行普通卷积变换,得到待分割图像对应的高像素图像特征;通过分支网络,对原始图像特征依次进行下采样处理和空洞卷积处理,得到待分割图像对应的低像素图像特征。
具体地,输入层与分支网络连接,输入层用于获取输入的待处理图像,通过输入层所包括的卷积核对待处理图像进行处理,得到待处理图像对应的原始图像特征,再通过分支网络对原始图像特征分别进行不同的处理后得到尺度不同的特征。这样,可以利用高像素图像特征所具备的待处理图像的小感受野信息与低像素图像特征所具备的待处理图像的大感受野信息进行信息交互,能够提升对待处理图像进行分割的精度。
可选地,输入层获取的待处理图像,是待处理图像分别在RGBA这四个色彩通道上的像素数据,输入层可包括一个卷积核,比如可以是3*3的卷积核,通过该卷积核对这四通道的像素数据进行处理,得到原始图像特征。原始图像特征与待处理图像的尺度一致。
可选地,分支网络包括双层,通过第一层的卷积核对原始图像特征进行普通卷积变换,得到待分割图像对应的高像素图像特征,高像素图像特征与原始图像特征的尺度一致,也就是与待处理图像的尺度一致;还通过第二层的下采样卷积核对原始图像特征依次进行下采样处理和空洞卷积处理,得到待分割图像对应的低像素图像特征,由于经过了下采样处理,低像素图像特征的尺度比原始图像特征的尺度小,特征通道数加倍。空洞卷积处理后能使任一特征点的感受野(Receptive Field)更大,得到的低像素图像特征就具备更大的感受野,从而能够表征待处理图像中更大感受野的信息。
如图3所示,为一个实施例中分支网络的结构示意图。参照图3,通过输入层的卷积核302获得待处理图像303的原始图像特征304,再通过分支网络306 上层的卷积核306a(包括两次卷积)对原始图像特征304进行普通卷积处理,得到高像素图像特征308,假设待处理图像的尺度为M*N,则高像素图像特征的尺度也为M*N,通过分支网络306的下层卷积核306b依次对原始图像特征304 进行下采样处理和空洞卷积处理,获得低像素图像特征310,尺度为M/2*N/2,且通道数加倍。
S206,对高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征。
其中,高像素下采样交互特征、低像素下采样交互特征均是对待处理图像对应的高像素图像特征和低像素图像特征进行下采样交互处理后得到的用于进一步表示图像中各像素的上下文信息的空间矩阵,高像素下采样交互特征与低像素下采样交互特征分别从两个不同的尺度表达了待处理图像中各像素的上下文信息。高像素下采样交互特征是比低像素下采样交互特征的尺度大的特征。高像素下采样交互特征与低像素下采样交互特征可以称之为对待处理图像进行编码后得到的特征。具体地,在通过分支网络得到待处理图像对应的高像素图像特征和低像素图像特征后,继续通过图像分割模型中的下采样交互网络分别基于高像素图像特征与低像素图像特征进行信息交互,以进一步提取待处理图像的特征。下采样交互网络用于对特征进行下采样处理后再进行信息交互,以获取待处理图像在不同尺度上的图像信息。在一个实施例中,低像素下采样交互特征的尺度为高像素下采样交互特征的尺度的1/2。
在一个实施例中,对高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征的步骤包括:通过下采样交互网络,对高像素图像特征进行下采样处理后与低像素图像特征融合,获得高像素下采样交互特征;通过下采样交互网络,分别对高像素图像特征、低像素图像特征进行下采样处理后融合,获得低像素下采样交互特征。
具体地,下采样交互网络包括双层,分别用于对分支网络获得的不同尺度的高像素图像特征、高像素图像特征进行处理后再融合,其中,第一层用于对高像素图像特征按照不同的尺度进行下采样处理,得到尺度依次为高像素图像特征的1/2、1/4的特征图,即为待处理图像尺度的1/2、1/4,且下采样后通道数加倍。第二层用于对低像素图像特征进行卷积操作和下采样处理,得到尺度与低像素图像特征相同以及尺度是低像素图像特征的1/2的特征图,即分别为待处理图像尺度的1/2、1/4。然后再将第一层与第二层获得的尺度相同的特征图融合,获得下采样交互特征,其中,较高尺度的两个特征图(即尺度为待处理图像的1/2的特征图)融合获得高像素下采样交互特征,相对而言较低尺度的两个特征图(即尺度为待处理图像的1/4的特征图)融合获得低像素下采样交互特征。融合处理过程,可以是将两个尺度相同的特征图,按照特征图的通道数进行级联操作。
可选地,为了能够增加后续处理过程中卷积核的感受野,可以在融合之后,进一步对融合后的特征图进行卷积操作,卷积操作后得到下采样交互特征。在一个实施例中,可对较高尺度的两个特征图融合得到的特征进一步进行普通卷积操作,获得高像素下采样交互特征。可对较低尺度的两个特征图融合得到的特征图进一步进行空洞卷积操作,获得低像素下采样交互特征,增大感受野。这样,融合后进一步卷积处理获得的高像素下采样交互特征与低像素下采样交互特征之间的感受野相差较大,高像素下采样交互特征能够更好地表达待处理图像的细节信息,低像素下采样交互特征能够更好地表达待处理图像的全局信息,从而可以更为全面地提取图像信息。在一个实施例中,图像分割模型可以包括至少两个下采样交互网络,以便于通过更深的神经网络得到分割能力更强的图像分割模型。
如图4所示,为一个实施例中下采样交互网络的结构示意图。参照图4,待处理图像的尺度为M*N,高像素图像特征的尺度为M*N,低像素图像特征的尺度为M/2*N/2,通过下采样交互网络中第一层分别对高像素图像特征402按照不同尺度的进行下采样处理,得到尺度分别为M/2*N/2的特征图和尺度为M/4*N/4 的特征图;通过下采样交互网络中第二层分别对低像素图像特征404进行卷积操作和下采样处理,得到尺度为M/2*N/2的特征图和尺度为M/4*N/4的特征图;然后将第一层、第二层获得的尺度为M/2*N/2特征图进行融合后得到406,再进行普通卷积处理,得到尺度为M/2*N/2的高像素下采样交互特征408,将第一层、第二层获得的尺度为M/4*N/4的特征图融合后得到410,再进行空洞卷积处理,得到尺度为M/4*N/4的低像素下采样交互特征412。
S208,对高像素下采样交互特征与低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征。
其中,高像素卷积交互特征、低像素卷积交互特征是对高像素下采样交互特征、低像素下采样交互特征进行卷积交互处理后得到的用于表示图像特点的空间矩阵,高像素卷积交互特征与低像素卷积交互特征分别从两个不同的尺度表达了待处理图像的深度图像信息。高像素卷积交互特征是比低像素卷积交互特征的尺度大的特征。具体地,在通过下采样交互网络得到待处理图像对应的高像素下采样交互特征和低像素下采样交互特征后,继续通过图像分割模型中的卷积交互网络分别基于高像素下采样交互特征与低像素下采样交互特征进行信息交互,以继续提取待处理图像的特征。卷积交互网络用于对图像特征进行卷积处理后在进行信息交互,以进一步获取待处理图像在不同尺度上的图像信息。在一个实施例中,低像素卷积交互特征的尺度是高像素卷积交互特征尺度的1/2。
在一个实施例中,对高像素下采样交互特征与低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征,包括:通过卷积交互网络,对低像素下采样交互特征进行上采样处理后与高像素下采样交互特征融合,再进行普通卷积处理,获得高像素卷积交互特征;通过卷积交互网络,对高像素下采样交互特征进行下采样处理后与低像素下采样交互特征融合,再进行空洞卷积处理,获得低像素卷积交互特征。
具体地,卷积交互网络包括双层,分别用于对下采样交互网络获得的不同尺度的高像素下采样交互特征、低像素下采样交互特征进行处理后融合,其中,第二层用于对低像素下采样交互特征进行上采样处理和空洞卷积处理,将上采样处理得到的特征与第一层对高像素下采样交互特征进行普通卷积处理的特征融合。第一层还用于对高像素下采样交互特征进行下采样处理,将下采样处理后的特征与第二层对低像素下采样交互特征进行空洞卷积处理的特征融合。
可选地,为了能够增加后续处理过程中网络中卷积核的感受野,可以在融合之后,进一步对融合后的特征图进行卷积操作,卷积操作后得到卷积交互特征。在一个实施例中,第二层用于对低像素下采样交互特征进行上采样处理和空洞卷积处理,将上采样处理得当的特征与第一层对高像素下采样交互特征进行普通卷积处理的特征融合,再进行普通卷积处理,获得高像素卷积交互特征。在另一个实施例中,第一层还用于对高像素下采样交互特征进行下采样处理,将下采样处理后的特征与第二层对低像素下采样交互特征进行空洞卷积处理的特征融合,再进行空洞卷积处理,获得低像素卷积交互特征,增大感受野。同样地,融合后进一步卷积处理获得的高像素卷积交互特征与低像素卷积交互特征之间的感受野相差较大,高像素卷积交互特征能够更好地表达待处理图像的细节信息,低像素卷积交互特征能够更好地表达待处理图像的全局信息,从而可以更为全面地提取图像信息。
如图5所示,为一个实施例中卷积交互网络的结构示意图。参照图5,待处理图像的尺度为M*N,高像素下采样交互特征的尺度为M/4*N/4,低像素下采样交互特征的尺度为M/8*N/8。通过卷积交互网络中第一层分别对高像素下采样交互特征502进行普通卷积处理和下采样处理,得到尺度为M/4*N/4的特征图和尺度为M/8*N/8的特征图,通过卷积交互网络中第二层分别对低像素下采样交互特征504进行空洞卷积处理和上采样处理,得到尺度分别为M/8*N/8的特征图和尺度为M/4*N/4的特征图,然后将第一层、第二层获得的尺度为M/4*N/4 的特征图进行融合后,得到特征图506,再进行普通卷积处理,得到尺度为 M/4*N/4的高像素卷积交互特508,将第一层、第二层获得的尺度为M/8*N/8特征图进行融合后得到特征图510,再进行空洞卷积处理,得到尺度为M/8*N/8的低像素卷积交互特征512。
S210,对高像素卷积交互特征和低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征。
其中,高像素上采样交互特征、低像素上采样交互特征均是对高像素卷积交互特征和低像素卷积交互特征继续上采样交互处理后得到的用于表示图像中各像素的分类倾向的空间矩阵,高像素上采样交互特征与低像素上采样交互特征分别从两个不同的尺度表达了待处理图像中各像素的分类倾向。高像素上采样交互特征是比低像素上采样交互特征的尺度大的特征。高像素上采样交互特征与低像素上采样交互特征可以称之为待处理图像对应的解码特征。具体地,在通过卷积交互网络得到待处理图像对应的高像素卷积交互特征和低像素卷积交互特征后,继续通过图像分割模型中的上采样交互网络基于高像素卷积交互特征与低像素卷积交互特征进行信息交互。上采样交互网络用于对特征继续上采样处理后再进行信息交互。在一个实施例中,低像素上采样交互特征的尺度是高像素上采样交互特征的尺度的1/2。
在一个实施例中,对高像素卷积交互特征和低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征,包括:通过上采样交互网络,对低像素卷积交互特征进行上采样处理后与高像素卷积交互特征融合,获得低像素上采样交互特征;通过上采样交互网络,分别对高像素卷积交互特征、低像素卷积交互特征进行上采样处理后融合,获得高像素上采样交互特征。
具体地,上采样交互网络包括双层,分别用于对通过卷积交互网络获取的不同尺度的高像素卷积交互特征、低像素卷积交互特征进行处理后再融合,其中第一层用于对低像素卷积交互特征按照不同的尺度进行上采样处理,得到尺度依次为低像素卷积交互特征的1/2、1/4的特征图,且上采样后通道数减半。第二层用于对高像素卷积交互特征进行卷积操作和上采样处理,得到尺度与高像素卷积交互特征相同以及尺度是高像素卷积交互特征的1/2的特征图;然后将第一层与第二层获得的尺度相同的特征图融合,获得上采样交互特征,其中,较高尺度的两个特征图融合得到高像素上采样交互特征,而相对而言较低尺度的两个特征图融合获得低像素上采样交互特征。融合处理过程,可以是将两个尺度相同的特征图,按照特征图的通道数进行级联操作。
可选地,可以在融合之后,进一步对融合后的特征图进行卷积操作,卷积操作之后得到上采样交互特征。在一个实施例中,可对较高尺度的两个特征图融合得到的特征进一步进行普通卷积操作,获得高像素上采样交互特征。可对较低尺度的两个特征图融合得到的特征进一步进行空洞卷积操作,获得低像素上采样交互特征,增大感受野。这样,融合后进一步卷积操作获得的高像素上采样交互特征与低像素上采样交互特征之间的感受野随着网络的深入进一步加大,从而可以更为全面地提取图像信息。在一个实施例中,图像分割模型可以包括至少两个上采样交互网络,以便于通过更深的神经网络得到分割能力更强的图像分割模型。
可选地,上采样交互网络还可以获取下采样交互网络输出的高像素下采样交互特征和低像素下采样交互特征,并通过上采样交互网络的第一层,将高像素下采样交互特征与较高尺度的两个特征图跳跃连接,得到高像素上采样交互特征;通过上采样交互网络的第二层,将低像素下采样交互特征与较低尺度的两个特征图跳跃连接,获得低像素下采样交互特征。相应地,可以在跳跃连接后得到的来自于三个方面的特征图进行卷积操作,以扩大感受野。
在本实施例中,下采样交互网络提取出来的下采样交互特征会在通过上采样交互网络与上采样得到的新的特征图进行跳跃连接,能够最大程度的保留前面下采样过程中的重要特征信息。
如图6所示,为一个实施例中上采样交互网络的结构示意图。参照图6,待处理图像的尺度为M*N,高像素卷积交互特征的尺度为M/4*N/4,低像素卷积交互特征的尺度为M/8*N/8。通过上采样交互网络中第一层分别对高像素卷积交互特征602进行普通卷积处理和上采样处理,得到尺度为M/4*N/4的特征图和尺度为M/2*N/2的特征图,通过上采样交互网络中第二层分别对低像素卷积交互特征604按照不同的尺度进行上采样处理,得到尺度分别为M/2*N/2特征图和尺度为M/4*N/4的特征图;然后将第一层、第二层获得的尺度为M/2*N/2的特征图融合后得到特征图606,再进行普通卷积处理,得到尺度为M/2*N/2的高像素上采样交互特征608,将第一层、第二层获得的尺度为M/4*N/4特征图融合后得到特征图610,再进行空洞卷积处理,得到尺度为M/4*N/4的低像素上采样交互特征612。
S212,根据高像素上采样交互特征和低像素上采样交互特征,确定待分割图像中各像素属于目标对象的概率,根据概率从待分割图像中分割出目标对象。
本申请所提供的图像分割模型是一个端到端的模型,输入数据为待处理图像,输出数据为分割图像,分割图像中与像素对应位置的元素值为0,则表示对应的像素属于目标对象区域,与像素对应位置的元素值为1,则表示对应的像素不属于目标对象区域。或者,反过来,分割图像中与像素对应位置的元素值为1,则表示对应的像素属于目标对象区域,与像素对应位置的元素值为0,则表示对应的像素不属于目标对象区域。
具体地,在通过上采样交互网络得到高像素上采样交互特征和低像素上采样交互特征后,继续通过图像分割模型中的汇合网络分别基于高像素上采样交互特征和低像素上采样交互特征进行融合,得到用于进行像素级别分类的预测特征,基于预测特征确定待处理图像中各像素属于目标对应的概率,然后根据预设阈值对概率二值化(0或1),以从待处理图像中分割出目标对象。概率能够反映出对应的像素属于目标对象的可能性大小。比如,若概率大于预设阈值,则确定该像素属于目标对象,若概率小于预设阈值,则确定该像素不属于目标对象或是属于待处理图像中的背景区域,预设阈值比如可以是0.5。图像分割模型中的汇合网络与分支网络对应,用于对图像特征进行融合后得到预测特征,汇合网络与图像分割模型的输出层连接,输出层对预测特征进行像素级别的分类,确定待处理图像中每个像素是否属于目标对象区域。
在一个实施例中,根据高像素上采样交互特征和低像素上采样交互特征,确定待分割图像中各像素属于目标对象的概率,包括:通过汇合网络,获取待分割图像对应的原始图像特征;通过汇合网络,对低像素上采样交互特征进行上采样处理后与高像素上采样交互特征融合,再跳跃连接原始图像特征,得到待分割图像对应的预测特征;通过输出层,根据预测特征输出待分割图像中各像素属于目标对象的概率。
具体地,汇合网络包括双层,首先汇合网络获取输入层得到的尺度为M*N 的原始图像特征,然后通过汇合网络的第一层对尺度为M*N的高像素上采样交互特征进行普通卷积处理得到尺度为M*N的特征图,通过汇合网络的第二层对尺度为M/2*N/2的低像素上采样交互特征进行上采样处理后得到尺度为M*N的特征图,将第一层、第二层获得的特征图融合后与尺度为M*N的原始图像特征跳跃连接,再进行普通卷积处理,得到待分割图像对应的尺度为M*N的预测特征。最后,通过图像分割模型的输出层根据预测特征对待分割图像中各像素属于目标对象的概率进行预测,输出概率图像,可以根据该概率图像从待处理图像中分割出目标对象。
如图7所示,为一个实施例中汇合网络的结构示意图,参照图7,通过汇合网络继续对高像素上采样交互特征702和低像素上采样交互特征704进行处理,通过上层的卷积核706对高像素上采样交互特征702进行普通卷积处理后与下层的卷积核708对低像素上采样交互特征704进行上采样处理得到的同尺度的特征融合,再通过卷积核710对融合后的特征进行卷积操作,得到待处理图像对应的预测特征712。
上述图像分割方法,获取待分割图像后,获取待分割图像在两个尺度上的高像素图像特征和低像素图像特征,再基于这两个尺度的图像特征持续保持双尺度的信息交互,即在下采样交互处理过程中双尺度的图像特征同时进行下采样并进行交互,在卷积交互处理过程中双尺度的下采样交互特征同时进行卷积交互,在上采样交互处理过程中双尺度的卷积交互特征同时进行上采样并进行交互,进而根据得到的双尺度的上采样交互特征,共同确定待分割图像中各像素属于目标对象的概率,根据概率从待分割图像中分割出目标对象。在整个处理过程中,通过不断的信息交互,且仅保持双尺度特征的交互,使得交互提取的图像信息更加全面,能够显著提升分割的精细度;再者,由于每个信息交互是基于前次信息交互所得到的交互特征进行的,从而有效避免了下采样导致信息缺失所带来的误差,能够从图像中分割出更多的细节信息,进一步提升了图像分割的精细度。
在本申请所提供的实施例中,分支网络、下采样交互网络、卷积交互网络和上采样交互网络均包括双层,相应的卷积操作也就包括双层,第一层中的卷积处理为普通卷积操作,第二层中的卷积处理为空洞卷积操作,空洞卷积可增大卷积核的感受野,每经过一次空洞卷积,再加上下采样交互网络中下采样处理的步长能使增大的感受野加倍,并且随着网络的深入,多次空洞卷积后第一层与第二层的感受野差异巨大,能够提取出待处理图像的全局信息。
参照图3,假设输入层的卷积核302的大小为3*3,则该卷积核的感受野为 3,得到的原始图像特征的感受野为3。分支网络306上层两次卷积的卷积核大小均为3*3,则第一个卷积核的感受野为5,第二个卷积核的感受野为7,使得得到的高像素图像特征308的感受野为7个像素,可以获取图像的局部信息。假设分支网络306下层中下采样处理的卷积核大小为2*2,步长为2,该卷积核的感受野为4,下层空洞卷积处理的卷积核大小为3*3,Dilation=1,则该卷积核的感受野为12,表示低像素图像特征310的感受野为12个像素,相对于上层而言,能够获取到更多的图像信息。其中,Dilation表示卷积核中各元素之间空格的数量,空格数为1,在则元素之间插入1个0。可见,经过上层的普通卷积与下层的空洞卷积,分支网络输出的高像素图像特征308与低像素图像特征310之间感受野差异就已经很大了,随着下采样次数的增加与网络的深入,这种感受野差异会越来越大,那么基于差异巨大的感受野所获得的特征进行交互后融合,能够得到更为全面的图像信息。
在一个实施例中,通过下采样交互网络,对高像素图像特征进行下采样处理后与低像素图像特征融合,获得高像素下采样交互特征的步骤具体包括:通过第一下采样交互网络,对高像素图像特征进行下采样处理后与低像素图像特征融合,再进行普通卷积处理,获得第一高像素下采样交互特征;通过第一下采样交互网络,分别对高像素图像特征、低像素图像特征进行下采样处理后融合,再进行空洞卷积处理,获得第一低像素下采样交互特征;通过第二下采样交互网络,对第一高像素下采样交互特征进行下采样处理后与第一低像素下采样交互特征融合,再进行普通卷积处理,获得高像素下采样交互特征。
本实施例中,图像分割模型包括两个下采样交互网络,分别为第一下采样交互网络和第二下采样交互网络,第一下采样交互网络与第二下采样交互网络连接,先通过第一下采样交互网络分别对高像素图像特征、低像素图像特征进行处理,再继续通过第二下采样交互网络进行处理,得到下采样交互特征。当然,图像分割模型还可以包括更多下采样交互网络,这样可以从待处理图像中提取出多种不同尺度的特征信息,在上采样之后能够得到更为准确的预测特征。
具体地,每个下采样交互网络均包括双层,首先通过第一下采样交互网络中第一层,对尺度为M*N的高像素图像特征进行不同尺度的下采样处理,得到尺度为M/2*N/2、M/4*N/4的特征图;通过第一下采样交互网络中第二层,对尺度为M/2*N/2的低像素图像特征进行卷积处理和下采样处理,得到尺度为 M/2*N/2、M/4*N/4的特征图;然后将第一层与第二层得到的尺度为M/2*N/2的特征图融合后进行普通卷积处理,得到第一交互网络输出的尺度为M/2*N/2的第一高像素下采样交互特征;将第一层与第二层得到的尺度为M/4*N/4的特征图融合后进行空洞卷积处理,得到第一交互网络输出的尺度为M/4*N/4的第一低像素下采样交互特征。
接着,继续通过第二下采样交互网络进行处理,第二下采样交互网络也包括双层,首先通过第二下采样交互网络中的第一层,对尺度为M/2*N/2的第一高像素下采样交互特征进行不同尺度的下采样处理,得到尺度为M/4*N/4、M/8*N/8的特征图;通过第二下采样交互网络中的第二层,对尺度为M/4*N/4的第一低像素下采样交互特征进行卷积处理和下采样处理,得到尺度为M/4*N/4、 M/8*N/8的特征图;然后将第一层与第二层得到的尺度为M/4*N/4的特征图融合后进行普通卷积处理,得到第二交互网络输出的尺度为M/4*N/4的高像素下采样交互特征。
在一个实施例中,通过下采样交互网络,分别对高像素图像特征、低像素图像特征进行下采样处理后融合,获得低像素下采样交互特征,包括:通过第二下采样交互网络,分别对第一高像素下采样交互特征、第一低像素下采样交互特征进行下采样处理后融合,再进行空洞卷积处理,获得低像素下采样交互特征。
接着上面的处理过程,将第二下采样交互网络的第一层与第二层得到的尺度为M/8*N/8的特征图融合后进行空洞卷积处理,得到第二交互网络输出的尺度为M/8*N/8的低像素下采样交互特征。
在上述实施例中,图像分割模型至少包括两个下采样交互网络,每个下采样交互网络都包括双层,可以通过双层之间不同尺度的图像信息进行交互,从待处理图像中获取更全面的图像信息。
在一个实施例中,上采样交互网络包括第一上采样交互网络和第二上采样交互网络;通过上采样交互网络,对低像素卷积交互特征进行上采样处理后与高像素卷积交互特征融合,获得低像素上采样交互特征,包括:通过第一上采样交互网络,获取第一下采样交互网络输出的第一高像素下采样交互特征和第一低像素下采样交互特征,通过第二上采样交互网络,获取高像素图像特征和低像素图像特征;通过第一上采样交互网络,对低像素卷积交互特征进行上采样处理后与高像素卷积交互特征融合,再跳跃连接与第一低像素下采样交互特征后进行空洞卷积处理,获得第一低像素上采样交互特征;通过第一上采样交互网络,分别对低像素卷积交互特征、高像素卷积交互特征进行上采样处理后融合,再跳跃连接第一高像素下采样交互特征后进行普通卷积处理,获得第一高像素上采样交互特征;通过第二上采样交互网络,对第一低像素上采样交互特征进行上采样处理后与第一高像素上采样交互特征融合,再跳跃连接低像素图像特征后进行空洞卷积处理,获得低像素上采样交互特征。
本实施例中,图像分割模型包括两个上采样交互网络,分别为第一上采样交互网络和第二上采样交互网络,第一上采样交互网络与第二上采样交互网络连接,先通过第一上采样交互网络分别对高像素卷积交互特征、低像素卷积交互特征进行处理,与第一下采样交互网络输出的第一高像素下采样交互特征跳跃连接后,再继续通过第二上采样交互网络进行处理,并与第一下采样交互网络输出的第一低像素下采样交互特征跳跃连接后,得到上采样交互特征。相应地,图像分割模型还可以包括更多与下采样交互网络对称的上采样交互网络。
具体地,每个上采样交互网络均包括双层,首先通过第一上采样交互网络获取前面第一下采样交互网络输出的尺度为M/2*N/2的第一高像素下采样交互特征和尺度为M/4*N/4的第一低像素下采样交互特征;然后通过第一上采样网络的第一层,对尺度为M/4*N/4的高像素卷积交互特征进行普通卷积处理和上采样处理,分别得到尺度为M/4*N/4、M/2*N/2的特征图;通过第一上采样交互网络的第二层,对尺度为M/8*N/8的低像素卷积交互特征按照不同的尺度进行上采样处理,分别得到尺度为M/4*N/4、M/2*N/2的特征图;再将第一层、第二层获得的尺度为M/4*N/4的特征图融合后与第一低像素下采样交互特征跳跃连接,再进行空洞卷积处理,获得尺度为M/4*N/4的第一低像素上采样交互特征;将第一层、第二层的尺度为M/2*N/2的特征图融合后与第一高像素下采样交互特征跳跃连接,再进行普通卷积处理,获得尺度为M/2*N/2的第一高像素上采样交互特征。
接着,继续通过第二上采样交互网络进行处理,第二上采样交互网络也包括双层。首先通过第二上采样交互网络获取前面分支网络输出的尺度为M*N的高像素图像特征和尺度为M/2*N/2的低像素图像特征;然后通过第二上采样交互网络的第一层,对尺度为M/2*N/2的第一高像素上采样交互特征进行普通卷积处理和上采样处理,分别得到尺度为M/2*N/2、M*N的特征图,通过第二上采样交互网络的第二层,对尺度为M/4*N/4的第一低像素上采样交互特征按照不同的尺度进行上采样处理的,分别得到尺度为M/2*N/2、M*N的特征图;然后将第一层、第二层获得的尺度为M/2*N/2的特征图融合后与尺度为M/2*N/2的低像素图像特征跳跃连接,再进行空洞卷积处理,获得尺度为M/2*N/2的低像素上采样交互特征。
在一个实施例中,通过上采样交互网络,分别对高像素卷积交互特征、低像素卷积交互特征进行上采样处理后融合,获得高像素上采样交互特征,包括:通过第二上采样交互网络,分别对第一高像素上采样交互特征、第一低像素上采样交互特征进行上采样处理后融合,再跳跃连接高像素图像特征后进行普通卷积处理,获得高像素上采样交互特征。
接着上面的处理过程,将第二上采样交互网络的第一层、第二层获得的尺度为M*N的特征图融合后与尺度为M*N的高像素图像特征跳跃连接,再进行普通卷积处理,获得尺度为M*N的高像素上采样交互特征。
在上述实施例中,图像分割模型至少包括两个上采样交互网络,每个上采样交互网络都包括双层,可以通过双层之间不同尺度的图像信息进行交互,从待处理图像中获取更全面的图像信息。
如图8所示,为一个实施例中图像分割模型的网络架构图,参照图8,基于待处理图像的图像分割过程对图像分割模型的网络架构进行说明。图8中,以待处理图像为一个采集的包括心脏的图片来示意,经过图像分割模型的处理,可以从该图像中分割出病灶区域。可以理解,待处理图像可以是其它图像。图像分割模型包括输入层、分支网络、第一下采样交互网络、第二下采样交互网络、卷积交互网络、第一上采样交互网络、第二上采样交互网络、汇合网络和输出层。
在获取到尺度为M*N的待处理图像801后,通过输入层中的卷积核802对待处理图像801进行卷积处理,得到原始图像特征803。
通过分支网络第一层的两个卷积核804a、804b分别对原始图像特征803进行普通卷积处理,得到尺度为M*N的高像素图像特征805a;通过分支网络中第二层的下采样卷积核804c对原始图像特征803进行下采样处理后,再通过卷积核804d进行空洞卷积处理,获得尺度为M/2*N/2的低像素图像特征805b。
通过第一下采样交互网络第一层中的下采样卷积核806a、806b分别对高像素图像特征805a按照不同的尺度进行下采样处理,得到尺度为M/2*N/2、M/4*N/4 的特征图,通过第一下采样交互网络第二层中的普通卷积核806c、下采样卷积核806d分别对低像素图像特征805b进行普通卷积处理和下采样处理,得到尺度为M/2*N/2、M/4*N/4的特征图,然后再将第一层、第二层获得的尺度为M/2*N/2 的特征图融合后再通过卷积核806e进行普通卷积处理,得到尺度为M/2*N/2的第一高像素下采样交互特征807a;将第一层、第二层获得的尺度为M/4*N/4的特征图融合后再通过卷积核806f进行空洞卷积处理,得到尺度为M/4*N/4的第一低像素下采样交互特征807b。
通过第二下采样交互网络第一层中的下采样卷积核808a、808b分别对第一高像素下采样交互特征807a按照不同的尺度进行下采样处理,得到尺度为 M/4*N/4、M/8*N/8的特征图,通过第二下采样交互网络第二层中的普通卷积核 808c、下采样卷积核808d分别对第一低像素下采样交互特征807b进行普通卷积处理和下采样处理,得到尺度为M/4*N/4、M/8*N/8的特征图,然后再将第一层、第二层获得的尺度为M/4*N/4的特征图融合后再通过卷积核808e进行普通卷积处理,得到尺度为M/4*N/4的高像素下采样交互特征809a;将第一层、第二层获得的尺度为M/8*N/8的特征图融合后再通过卷积核808f进行空洞卷积处理,获得尺度为M/8*N/8的低像素下采样交互特征809b。
通过卷积交互网络第一层中的普通卷积核810a、下采样卷积核810b分别对高像素下采样交互特征809a进行卷积处理和下采样处理,得到尺度为M/4*N/4、 M/8*N/8的特征图;通过卷积交互网络810第二层中的普通卷积核810c、上采样卷积核810d分别对低像素下采样交互特征809b进行卷积处理和上采样处理,得到尺度为M/8*N/8、M/4*N/4的特征图;将第一层、第二层获得的尺度为M/4*N/4 的特征图融合后再通过卷积核810e进行普通卷积处理,得到尺度为M/4*N/4的高像素卷积交互特征811a;将第一层、第二层获得的尺度为M/8*N/8的特征图融合后再通过卷积核810f进行空洞卷积处理,获得尺度为M/8*N/8的低像素卷积交互特征811b。
通过第一上采样交互网络第一层中的普通卷积核812a、上采样卷积核812b 分别对高像素卷积交互特征811a进行普通卷积处理和上采样处理,得到尺度为 M/4*N/4、M/2*N/2的特征图,通过第一上采样交互网络812第二层中的上采样卷积核812c、812d对低像素卷积交互特征811b按照不同的尺度进行上采样处理,得到尺度为M/4*N/4、M/2*N/2的特征图;将第一层、第二层获得的尺度为 M/2*N/2的特征图与第一下采样交互网络获得的第一高像素下采样交互特征 807a融合后再通过卷积核812e进行普通卷积处理,得到尺度为M/2*N/2的第一高像素上采样交互特征813a;将第一层、第二层获得的尺度为M/4*N/4的特征图与第一下采样交互网络获得的第一低像素下采样交互特征807b融合后再通过卷积核812f进行空洞卷积处理,得到尺度为M/4*N/4的第一低像素上采样交互特征813b。
通过第二上采样交互网络第一层中的普通卷积核814a、上采样卷积核814b 分别对第一高像素上采样交互特征813a进行普通卷积处理和上采样处理,尺度为M/2*N/2、M*N的特征图,通过第二上采样交互网络814第二层中的上采样卷积核814c、814d对第一低像素上采样交互特征813b按照不同的尺度进行上采样处理,得到尺度为M/2*N/2、M*N的特征图;将第一层、第二层获得的尺度为 M*N的特征图与分支网络获得的高像素图像特征805a融合后再通过卷积核814e 进行普通卷积处理,得到尺度为M*N的高像素上采样交互特征815a,将第一层、第二层获得的尺度为M/2*N/2的特征图与分支网络获得的低像素图像特征805b融合后再通过卷积核814f进行空洞卷积处理,得到尺度为M/2*N/2的低像素上采样交互特征815b。
通过汇合网络第一层的卷积核816a对高像素上采样交互特征815a进行卷积处理,通过第二层的上采样卷积核816b对低像素上采样交互特征815b进行上采样处理,将第一层、第二层处理后获得的尺度为M*N的特征图与输入层获得原始图像特征803融合后通过卷积核816c进行卷积处理,得到预测特征817,最后通过输出层的卷积核818根据预测特征817输出概率图820。
在一个实施例中,上述图像分割模型800中各网络的详细参数如下表所示。在下表中,Kernel表示卷积核的尺寸大小,MaxPooling表示下采样卷积核的尺寸大小,Stride表示卷积核在特征图上移动的步长,Padding表示对特征图的外围填充,这样每次对特征进行卷积操作后特征图的大小不会丢失。UpSampling _Scalefactor表示上采样的比例系数。channel_in表示处理之前的特征图的通道数,channel_out表示处理之后特征图的通道数。假设卷积操作之前的特征图的大小为M*N,则经过卷积操作后的特征图的尺寸大小为 (M+2×Padding-Kernel+1)*(N+2×Padding-Kernel+1)。
如图9所示,在一个具体的实施例中,图像分割方法包括以下步骤:
S902,获取待分割图像。
S904,将待分割图像输入至图像分割模型。
S906,通过图像分割模型的输入层,获得待分割图像对应的原始图像特征。
S908,通过图像分割模型的分支网络,对原始图像特征进行普通卷积变换,得到待分割图像对应的高像素图像特征;对原始图像特征依次进行下采样处理和空洞卷积处理,得到待分割图像对应的低像素图像特征。
S910,通过图像分割模型的第一下采样交互网络,对高像素图像特征进行下采样处理后与低像素图像特征融合,再进行普通卷积处理,获得第一高像素下采样交互特征;分别对高像素图像特征、低像素图像特征进行下采样处理后融合,再进行空洞卷积处理,获得第一低像素下采样交互特征。
S912,通过图像分割模型的第二下采样交互网络,对第一高像素下采样交互特征进行下采样处理后与第一低像素下采样交互特征融合,再进行普通卷积处理,获得高像素下采样交互特征;分别对第一高像素下采样交互特征、第一低像素下采样交互特征进行下采样处理后融合,再进行空洞卷积处理,获得低像素下采样交互特征。
S914,通过图像分割模型的卷积交互网络,对低像素下采样交互特征进行上采样处理后与高像素下采样交互特征融合,再进行普通卷积处理,获得高像素卷积交互特征;对高像素下采样交互特征进行下采样处理后与低像素下采样交互特征融合,再进行空洞卷积处理,获得低像素卷积交互特征。
S916,通过图像分割模型的第一上采样交互网络,对低像素卷积交互特征进行上采样处理后与高像素卷积交互特征融合,再跳跃连接与第一低像素下采样交互特征后进行空洞卷积处理,获得第一低像素上采样交互特征;分别对低像素卷积交互特征、高像素卷积交互特征进行上采样处理后融合,再跳跃连接第一高像素下采样交互特征后进行普通卷积处理,获得第一高像素上采样交互特征。
S918,通过图像分割模型的第二上采样交互网络,对第一低像素上采样交互特征进行上采样处理后与第一高像素上采样交互特征融合,再跳跃连接低像素图像特征后进行空洞卷积处理,获得低像素上采样交互特征;分别对第一高像素上采样交互特征、第一低像素上采样交互特征进行上采样处理后融合,再跳跃连接高像素图像特征后进行普通卷积处理,获得高像素上采样交互特征。
S920,通过图像分割模型的汇合网络,获取待分割图像对应的原始图像特征;对低像素上采样交互特征进行上采样处理后与高像素上采样交互特征融合,再跳跃连接原始图像特征,得到待分割图像对应的预测特征。
S922,通过图像分割模型的输出层,根据预测特征输出待分割图像中各像素属于目标对象的概率,根据概率从待分割图像中分割出目标对象。
图9为一个实施例中图像分割方法的流程示意图。应该理解的是,虽然图9 的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图9中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图10所示,在一个实施例中,提供了一种医学图像的病灶分割方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图10,该图像分割方法具体包括如下步骤:
S1002,获取医学图像。
其中,医学图像也叫医学影像,是指为了医疗或医学研究,对生物体或生物体某部分,由医学仪器以非侵入方式取得的内部组织图像。具体地,医学图像可以包括对生物组织进行电子计算机断层扫描(Computed Tomography,CT) 得到的CT图像、对生物组织进行磁共振成像(Magnetic Resonance Imaging) 得到的MRI图像,还可以包括超声波图像、X光图像、心电图、脑电图或是光学摄影图像,等等。医学图像中可包括病灶,通过本实施例所提供的医学图像的病灶分割方法,可以从医学图像中分割出病灶区域。
S1004,获取医学图像对应的高像素图像特征和低像素图像特征。
具体地,服务器可以通过训练好的图像分割模型对医学图像进行处理,以从医学图像中分割出病灶。在一个实施例中,图像分割模型包括输入层、分支网络、下采样交互网络、卷积交互网络、上采样交互网络、汇合网络和输出层,服务器可以将医学图像输入至图像分割模型,通过图像分割模型的输入层和分支网络获得待处理图像对应的高像素图像特征和低像素图像特征。
步骤S1004的具体实施例可以参考前文针对步骤S204所描述的实施例。
S1006,对高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征。
在通过分支网络得到医学图像对应的高像素图像特征和低像素图像特征后,继续通过图像分割模型中的下采样交互网络分别基于高像素图像特征与低像素图像特征进行信息交互,以进一步提取医学图像的特征。下采样交互网络用于对特征进行下采样处理后再进行信息交互,以获取待处理图像在不同尺度上的图像信息。
步骤S1006的具体实施例可以参考前文针对步骤S206所描述的实施例。
S1008,对高像素下采样交互特征与低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征。
具体地,在通过下采样交互网络得到医学图像对应的高像素下采样交互特征和低像素下采样交互特征后,继续通过图像分割模型中的卷积交互网络分别基于高像素下采样交互特征与低像素下采样交互特征进行信息交互,以继续提取医学图像的特征。卷积交互网络用于对图像特征进行卷积处理后在进行信息交互,以进一步获取医学图像在不同尺度上的图像信息。
步骤S1008的具体实施例可以参考前文针对步骤S208所描述的实施例。
S1010,对高像素卷积交互特征和低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征。
具体地,在通过卷积交互网络得到医学图像对应的高像素卷积交互特征和低像素卷积交互特征后,继续通过图像分割模型中的上采样交互网络基于高像素卷积交互特征与低像素卷积交互特征进行信息交互。上采样交互网络用于对特征继续上采样处理后再进行信息交互。
步骤S1010的具体实施例可以参考前文针对步骤S210所描述的实施例。
S1012,根据高像素上采样交互特征和低像素上采样交互特征,确定医学图像中各像素属于病灶的概率,并通过图像分割模型的输出层,根据概率从医学图像中分割出病灶。
具体地,在通过上采样交互网络得到高像素上采样交互特征和低像素上采样交互特征后,继续通过图像分割模型中的汇合网络分别基于高像素上采样交互特征和低像素上采样交互特征进行融合,得到用于进行像素级别分类的预测特征,基于预测特征确定医学图像中各像素属于目标对应的概率,然后根据预设阈值对概率二值化(0或1),以从医学图像中分割出病灶。
步骤S1012的具体实施例可以参考前文针对步骤S212所描述的实施例。
上述医学图像的病灶分割方法,获取医学图像后,获取医学图像在两个尺度上的高像素图像特征和低像素图像特征,再基于这两个尺度的图像特征持续保持双尺度的信息交互,即在下采样交互处理过程中双尺度的图像特征同时进行下采样并进行交互,在卷积交互处理过程中双尺度的下采样交互特征同时进行卷积交互,在上采样交互处理过程中双尺度的卷积交互特征同时进行上采样并进行交互,进而根据得到的双尺度的上采样交互特征,共同确定医学图像中各像素属于目标对象的概率,根据概率从医学图像中分割出病灶。在整个处理过程中,通过不断的信息交互,且仅保持双尺度特征的交互,使得交互提取的图像信息更加全面,能够显著提升分割的精细度;再者,由于每个信息交互是基于前次信息交互所得到的交互特征进行的,从而有效避免了下采样导致信息缺失所带来的误差,能够从医学图像中分割出更多的细节信息,进一步提升了图像分割的精细度。
在一个实施例中,如图11所示,提供了一种图像分割装置1100,该装置包括待分割图像获取模块1102、图像特征获取模块1104、下采样交互模块1106、卷积交互模块1108、上采样交互模块1110和目标对象分割模块1112,其中:
待分割图像获取模块1102,用于获取待分割图像;
图像特征获取模块1104,用于获取待分割图像对应的高像素图像特征和低像素图像特征;
下采样交互模块1106,用于对高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
卷积交互模块1108,用于对高像素下采样交互特征与低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
上采样交互模块1110,用于对高像素卷积交互特征和低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
目标对象分割模块1112,用于根据高像素上采样交互特征和低像素上采样交互特征,确定待分割图像中各像素属于目标对象的概率,根据概率从待分割图像中分割出目标对象。
在一个实施例中,图像分割装置1100通过图像分割模型实现,图像分割模型包括输入层、分支网络、下采样交互网络、卷积交互网络、上采样交互网络、汇合网络和输出层。
在一个实施例中,图像特征获取模块1104具体用于通过输入层,获得待分割图像对应的原始图像特征;通过分支网络,对原始图像特征进行普通卷积变换,得到待分割图像对应的高像素图像特征;通过分支网络,对原始图像特征依次进行下采样处理和空洞卷积处理,得到待分割图像对应的低像素图像特征。
在一个实施例中,下采样交互模块1106具体用于通过下采样交互网络,对高像素图像特征进行下采样处理后与低像素图像特征融合,获得高像素下采样交互特征;通过下采样交互网络,分别对高像素图像特征、低像素图像特征进行下采样处理后融合,获得低像素下采样交互特征。
在一个实施例中,下采样交互模块1106具体用于通过第一下采样交互网络,对高像素图像特征进行下采样处理后与低像素图像特征融合,再进行普通卷积处理,获得第一高像素下采样交互特征;通过第一下采样交互网络,分别对高像素图像特征、低像素图像特征进行下采样处理后融合,再进行空洞卷积处理,获得第一低像素下采样交互特征;通过第二下采样交互网络,对第一高像素下采样交互特征进行下采样处理后与第一低像素下采样交互特征融合,再进行普通卷积处理,获得高像素下采样交互特征。
在一个实施例中,下采样交互模块1106具体用于通过第二下采样交互网络,分别对第一高像素下采样交互特征、第一低像素下采样交互特征进行下采样处理后融合,再进行空洞卷积处理,获得低像素下采样交互特征。
在一个实施例中,卷积交互模块1108具体用于通过卷积交互网络,对低像素下采样交互特征进行上采样处理后与高像素下采样交互特征融合,再进行普通卷积处理,获得高像素卷积交互特征;通过卷积交互网络,对高像素下采样交互特征进行下采样处理后与低像素下采样交互特征融合,再进行空洞卷积处理,获得低像素卷积交互特征。
在一个实施例中,上采样交互模块1110具体用于通过上采样交互网络,对低像素卷积交互特征进行上采样处理后与高像素卷积交互特征融合,获得低像素上采样交互特征;通过上采样交互网络,分别对高像素卷积交互特征、低像素卷积交互特征进行上采样处理后融合,获得高像素上采样交互特征。
在一个实施例中,上采样交互模块1110具体用于通过第一上采样交互网络,获取第一下采样交互网络输出的第一高像素下采样交互特征和第一低像素下采样交互特征,通过第二上采样交互网络,获取高像素图像特征和低像素图像特征;通过第一上采样交互网络,对低像素卷积交互特征进行上采样处理后与高像素卷积交互特征融合,再跳跃连接与第一低像素下采样交互特征后进行空洞卷积处理,获得第一低像素上采样交互特征;通过第一上采样交互网络,分别对低像素卷积交互特征、高像素卷积交互特征进行上采样处理后融合,再跳跃连接第一高像素下采样交互特征后进行普通卷积处理,获得第一高像素上采样交互特征;通过第二上采样交互网络,对第一低像素上采样交互特征进行上采样处理后与第一高像素上采样交互特征融合,再跳跃连接低像素图像特征后进行空洞卷积处理,获得低像素上采样交互特征。
在一个实施例中,上采样交互模块1110具体用于通过第二上采样交互网络,分别对第一高像素上采样交互特征、第一低像素上采样交互特征进行上采样处理后融合,再跳跃连接高像素图像特征后进行普通卷积处理,获得高像素上采样交互特征。
在一个实施例中,目标对象分割模块1112具体用于通过汇合网络,获取待分割图像对应的原始图像特征;通过汇合网络,对低像素上采样交互特征进行上采样处理后与高像素上采样交互特征融合,再跳跃连接原始图像特征,得到待分割图像对应的预测特征;通过输出层,根据预测特征输出待分割图像中各像素属于目标对象的概率。
上述图像分割装置1100,获取待分割图像后,获取待分割图像在两个尺度上的高像素图像特征和低像素图像特征,再基于这两个尺度的图像特征持续保持双尺度的信息交互,即在下采样交互处理过程中双尺度的图像特征同时进行下采样并进行交互,在卷积交互处理过程中双尺度的下采样交互特征同时进行卷积交互,在上采样交互处理过程中双尺度的卷积交互特征同时进行上采样并进行交互,进而根据得到的双尺度的上采样交互特征,共同确定待分割图像中各像素属于目标对象的概率,根据概率从待分割图像中分割出目标对象。在整个处理过程中,通过不断的信息交互,且仅保持双尺度特征的交互,使得交互提取的图像信息更加全面,能够显著提升分割的精细度;再者,由于每个信息交互是基于前次信息交互所得到的交互特征进行的,从而有效避免了下采样导致信息缺失所带来的误差,能够从图像中分割出更多的细节信息,进一步提升了图像分割的精细度。
在一个实施例中,如图12所示,提供了一种医学图像的病灶分割装置1200,该装置包括医学图像获取模块1202、图像特征获取模块1204、下采样交互模块1206、卷积交互模块1208、上采样交互模块1210和病灶分割模块1212,其中:
医学图像获取模块1202,用于获取医学图像;
图像特征获取模块1204,用于获取医学图像对应的高像素图像特征和低像素图像特征;
下采样交互模块1206,用于对高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
卷积交互模块1208,用于对高像素下采样交互特征与低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
上采样交互模块1210,用于对高像素卷积交互特征和低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
病灶分割模块1212,用于根据高像素上采样交互特征和低像素上采样交互特征,确定医学图像中各像素属于病灶的概率,并通过图像分割模型的输出层,根据概率从医学图像中分割出病灶。
上述医学图像的病灶分割装置1200,获取医学图像后,获取医学图像在两个尺度上的高像素图像特征和低像素图像特征,再基于这两个尺度的图像特征持续保持双尺度的信息交互,即在下采样交互处理过程中双尺度的图像特征同时进行下采样并进行交互,在卷积交互处理过程中双尺度的下采样交互特征同时进行卷积交互,在上采样交互处理过程中双尺度的卷积交互特征同时进行上采样并进行交互,进而根据得到的双尺度的上采样交互特征,共同确定医学图像中各像素属于目标对象的概率,根据概率从医学图像中分割出病灶。在整个处理过程中,通过不断的信息交互,且仅保持双尺度特征的交互,使得交互提取的图像信息更加全面,能够显著提升分割的精细度;再者,由于每个信息交互是基于前次信息交互所得到的交互特征进行的,从而有效避免了下采样导致信息缺失所带来的误差,能够从医学图像中分割出更多的细节信息,进一步提升了图像分割的精细度。
图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图10所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像分割方法或医学图像的病灶分割方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行实现图像分割方法或医学图像的病灶分割方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像分割装置1100可以实现为一种计算机程序的形式,计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分割装置1100的各个程序模块,比如,图11所示的待分割图像获取模块1102、图像特征获取模块1104、下采样交互模块1106、卷积交互模块1108、上采样交互模块1110和目标对象分割模块1112。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像分割方法中的步骤。
例如,图13所示的计算机设备可以通过如图11所示的图像分割装置1100 中的待分割图像获取模块1102执行步骤S202。计算机设备可通过图像特征获取模块1104执行步骤S204。计算机设备可通过下采样交互模块1106执行步骤 S206。计算机设备可通过卷积交互模块1108执行步骤S208。计算机设备可通过上采样交互模块1110执行步骤S210。计算机设备可通过目标对象分割模块1112 执行步骤S212。
在一个实施例中,本申请提供的医学图像的病灶分割装置1200可以实现为一种计算机程序的形式,计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该医学图像的病灶分割装置1200的各个程序模块,比如,图12所示的医学图像获取模块1202、图像特征获取模块1204、下采样交互模块1206、卷积交互模块1208、上采样交互模块1210和病灶分割模块1212。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的医学图像的病灶分割方法中的步骤。
例如,图13所示的计算机设备可以通过如图11所示的医学图像的病灶分割装置1200中的医学图像获取模块1202执行步骤S1002。计算机设备可通过图像特征获取模块1204执行步骤S1004。计算机设备可通过下采样交互模块1206 执行步骤S1006。计算机设备可通过卷积交互模块1208执行步骤S1008。计算机设备可通过上采样交互模块1210执行步骤S1010。计算机设备可通过病灶分割模块1212执行步骤S1012。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像分割方法和\或医学图像的病灶分割方法的步骤。此处图像分割方法的步骤可以是上述各个实施例的图像分割方法中的步骤。此处医学图像的病灶分割方法的步骤可以是上述各个实施例的医学图像的病灶分割方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像分割方法和\或医学图像的病灶分割方法的步骤。此处图像分割方法的步骤可以是上述各个实施例的图像分割方法中的步骤。此处医学图像的病灶分割方法的步骤可以是上述各个实施例的医学图像的病灶分割方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM (DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种图像分割方法,包括:
获取待分割图像;
获取所述待分割图像对应的高像素图像特征和低像素图像特征;
对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述待分割图像中各像素属于目标对象的概率,根据所述概率从所述待分割图像中分割出目标对象。
2.根据权利要求1所述的方法,其特征在于,所述方法通过图像分割模型实现,所述图像分割模型包括输入层、分支网络、下采样交互网络、卷积交互网络、上采样交互网络、汇合网络和输出层;
通过所述输入层和所述分支网络实现所述获取所述待分割图像对应的高像素图像特征和低像素图像特征的步骤;
通过所述下采样交互网络实现所述对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征的步骤;
通过所述卷积交互网络实现所述对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征的步骤;
通过所述上采样交互网络实现所述对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征的步骤;
通过所述汇合网络和所述输出层实现所述根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述待分割图像中各像素属于目标对象的概率,根据所述概率从所述待分割图像中分割出目标对象的步骤。
3.根据权利要求2所述的方法,其特征在于,所述获取所述待分割图像对应的高像素图像特征和低像素图像特征,包括:
通过所述输入层,获得所述待分割图像对应的原始图像特征;
通过所述分支网络,对所述原始图像特征进行普通卷积变换,得到所述待分割图像对应的高像素图像特征;
通过所述分支网络,对所述原始图像特征依次进行下采样处理和空洞卷积处理,得到所述待分割图像对应的低像素图像特征。
4.根据权利要求2所述的方法,其特征在于,所述对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征,包括:
通过所述下采样交互网络,对所述高像素图像特征进行下采样处理后与所述低像素图像特征融合,获得高像素下采样交互特征;
通过所述下采样交互网络,分别对所述高像素图像特征、所述低像素图像特征进行下采样处理后融合,获得低像素下采样交互特征。
5.根据权利要求4所述的方法,其特征在于,所述通过所述下采样交互网络,对所述高像素图像特征进行下采样处理后与所述低像素图像特征融合,获得高像素下采样交互特征,包括:
通过第一下采样交互网络,对所述高像素图像特征进行下采样处理后与所述低像素图像特征融合,再进行普通卷积处理,获得第一高像素下采样交互特征;
通过所述第一下采样交互网络,分别对所述高像素图像特征、所述低像素图像特征进行下采样处理后融合,再进行空洞卷积处理,获得第一低像素下采样交互特征;
通过第二下采样交互网络,对所述第一高像素下采样交互特征进行下采样处理后与所述第一低像素下采样交互特征融合,再进行普通卷积处理,获得高像素下采样交互特征。
6.根据权利要求5所述的方法,其特征在于,所述通过所述下采样交互网络,分别对所述高像素图像特征、所述低像素图像特征进行下采样处理后融合,获得低像素下采样交互特征,包括:
通过所述第二下采样交互网络,分别对所述第一高像素下采样交互特征、所述第一低像素下采样交互特征进行下采样处理后融合,再进行空洞卷积处理,获得低像素下采样交互特征。
7.根据权利要求2所述的方法,其特征在于,所述对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征,包括:
通过所述卷积交互网络,对所述低像素下采样交互特征进行上采样处理后与所述高像素下采样交互特征融合,再进行普通卷积处理,获得高像素卷积交互特征;
通过所述卷积交互网络,对所述高像素下采样交互特征进行下采样处理后与所述低像素下采样交互特征融合,再进行空洞卷积处理,获得低像素卷积交互特征。
8.根据权利要求2所述的方法,其特征在于,所述对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征,包括:
通过所述上采样交互网络,对所述低像素卷积交互特征进行上采样处理后与所述高像素卷积交互特征融合,获得低像素上采样交互特征;
通过所述上采样交互网络,分别对所述高像素卷积交互特征、所述低像素卷积交互特征进行上采样处理后融合,获得高像素上采样交互特征。
9.根据权利要求8所述的方法,其特征在于,所述通过所述上采样交互网络,对所述低像素卷积交互特征进行上采样处理后与所述高像素卷积交互特征融合,获得低像素上采样交互特征,包括:
通过第一上采样交互网络,获取第一下采样交互网络输出的第一高像素下采样交互特征和第一低像素下采样交互特征,通过第二上采样交互网络,获取所述高像素图像特征和所述低像素图像特征;
通过所述第一上采样交互网络,对所述低像素卷积交互特征进行上采样处理后与所述高像素卷积交互特征融合,再跳跃连接与所述第一低像素下采样交互特征后进行空洞卷积处理,获得第一低像素上采样交互特征;
通过所述第一上采样交互网络,分别对所述低像素卷积交互特征、所述高像素卷积交互特征进行上采样处理后融合,再跳跃连接所述第一高像素下采样交互特征后进行普通卷积处理,获得第一高像素上采样交互特征;
通过所述第二上采样交互网络,对所述第一低像素上采样交互特征进行上采样处理后与所述第一高像素上采样交互特征融合,再跳跃连接所述低像素图像特征后进行空洞卷积处理,获得低像素上采样交互特征。
10.根据权利要求9所述的方法,其特征在于,所述通过所述上采样交互网络,分别对所述高像素卷积交互特征、所述低像素卷积交互特征进行上采样处理后融合,获得高像素上采样交互特征,包括:
通过所述第二上采样交互网络,分别对所述第一高像素上采样交互特征、所述第一低像素上采样交互特征进行上采样处理后融合,再跳跃连接所述高像素图像特征后进行普通卷积处理,获得高像素上采样交互特征。
11.根据权利要求2至10任一项所述的方法,其特征在于,所述根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述待分割图像中各像素属于目标对象的概率,包括:
通过所述汇合网络,获取所述待分割图像对应的原始图像特征;
通过所述汇合网络,对所述低像素上采样交互特征进行上采样处理后与所述高像素上采样交互特征融合,再跳跃连接所述原始图像特征,得到所述待分割图像对应的预测特征;
通过所述输出层,根据所述预测特征输出所述待分割图像中各像素属于目标对象的概率。
12.一种医学图像的病灶分割方法,包括:
获取医学图像;
获取所述医学图像对应的高像素图像特征和低像素图像特征;
对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述医学图像中各像素属于病灶的概率,并通过所述图像分割模型的输出层,根据所述概率从所述医学图像中分割出病灶。
13.一种图像分割装置,其特征在于,所述装置包括:
待分割图像获取模块,用于获取待分割图像;
图像特征获取模块,用于获取所述待分割图像对应的高像素图像特征和低像素图像特征;
下采样交互模块,用于对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
卷积交互模块,用于对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
上采样交互模块,用于对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
目标对象分割模块,用于根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述待分割图像中各像素属于目标对象的概率,根据所述概率从所述待分割图像中分割出目标对象。
14.一种医学图像的病灶分割装置,其特征在于,所述装置包括:
医学图像获取模块,用于获取医学图像;
图像特征获取模块,用于获取所述医学图像对应的高像素图像特征和低像素图像特征;
下采样交互模块,用于对所述高像素图像特征和低像素图像特征进行下采样交互处理后融合,获得高像素下采样交互特征和低像素下采样交互特征;
卷积交互模块,用于对所述高像素下采样交互特征与所述低像素下采样交互特征进行卷积交互处理后融合,获得高像素卷积交互特征和低像素卷积交互特征;
上采样交互模块,用于对所述高像素卷积交互特征和所述低像素卷积交互特征进行上采样交互处理后融合,获得高像素上采样交互特征和低像素上采样交互特征;
病灶分割模块,用于根据所述高像素上采样交互特征和所述低像素上采样交互特征,确定所述医学图像中各像素属于病灶的概率,并通过所述图像分割模型的输出层,根据所述概率从所述医学图像中分割出病灶。
15.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910666655.5A CN110363780A (zh) | 2019-07-23 | 2019-07-23 | 图像分割方法、装置、计算机可读存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910666655.5A CN110363780A (zh) | 2019-07-23 | 2019-07-23 | 图像分割方法、装置、计算机可读存储介质和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110363780A true CN110363780A (zh) | 2019-10-22 |
Family
ID=68219713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910666655.5A Pending CN110363780A (zh) | 2019-07-23 | 2019-07-23 | 图像分割方法、装置、计算机可读存储介质和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110363780A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991414A (zh) * | 2019-12-21 | 2020-04-10 | 武汉中海庭数据技术有限公司 | 一种交通要素高精度分割方法、电子设备及存储介质 |
CN111814898A (zh) * | 2020-07-20 | 2020-10-23 | 上海眼控科技股份有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
CN111899263A (zh) * | 2020-07-14 | 2020-11-06 | 深圳大学 | 图像分割方法、装置、计算机设备及存储介质 |
CN112150470A (zh) * | 2020-09-22 | 2020-12-29 | 平安科技(深圳)有限公司 | 图像分割方法、装置、介质及电子设备 |
CN112635060A (zh) * | 2020-12-29 | 2021-04-09 | 北京航空航天大学合肥创新研究院 | 一种生存力评估方法、装置、评估设备及存储介质 |
WO2021151272A1 (zh) * | 2020-05-20 | 2021-08-05 | 平安科技(深圳)有限公司 | 细胞图像分割方法、装置、电子设备及可读存储介质 |
WO2022174763A1 (zh) * | 2021-02-22 | 2022-08-25 | 北京金山云网络技术有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
-
2019
- 2019-07-23 CN CN201910666655.5A patent/CN110363780A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991414A (zh) * | 2019-12-21 | 2020-04-10 | 武汉中海庭数据技术有限公司 | 一种交通要素高精度分割方法、电子设备及存储介质 |
CN110991414B (zh) * | 2019-12-21 | 2023-04-25 | 武汉中海庭数据技术有限公司 | 一种交通要素高精度分割方法、电子设备及存储介质 |
WO2021151272A1 (zh) * | 2020-05-20 | 2021-08-05 | 平安科技(深圳)有限公司 | 细胞图像分割方法、装置、电子设备及可读存储介质 |
CN111899263A (zh) * | 2020-07-14 | 2020-11-06 | 深圳大学 | 图像分割方法、装置、计算机设备及存储介质 |
CN111899263B (zh) * | 2020-07-14 | 2023-10-17 | 深圳大学 | 图像分割方法、装置、计算机设备及存储介质 |
CN111814898A (zh) * | 2020-07-20 | 2020-10-23 | 上海眼控科技股份有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
CN112150470A (zh) * | 2020-09-22 | 2020-12-29 | 平安科技(深圳)有限公司 | 图像分割方法、装置、介质及电子设备 |
CN112150470B (zh) * | 2020-09-22 | 2023-10-03 | 平安科技(深圳)有限公司 | 图像分割方法、装置、介质及电子设备 |
CN112635060A (zh) * | 2020-12-29 | 2021-04-09 | 北京航空航天大学合肥创新研究院 | 一种生存力评估方法、装置、评估设备及存储介质 |
WO2022143811A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种生存力评估方法、装置、评估设备及存储介质 |
CN112635060B (zh) * | 2020-12-29 | 2023-11-14 | 北京航空航天大学合肥创新研究院 | 一种生存力评估方法、装置、评估设备及存储介质 |
WO2022174763A1 (zh) * | 2021-02-22 | 2022-08-25 | 北京金山云网络技术有限公司 | 一种图像处理方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363780A (zh) | 图像分割方法、装置、计算机可读存储介质和计算机设备 | |
WO2020215985A1 (zh) | 医学影像分割方法、装置、电子设备和存储介质 | |
CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
CN108665457A (zh) | 图像识别方法、装置、存储介质及计算机设备 | |
CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
CN109754361A (zh) | 3d各向异性的混合网络:将来自2d图像的卷积特征传递到3d各向异性体积 | |
Hughes et al. | Patterns of organelle ontogeny through a cell cycle revealed by whole-cell reconstructions using 3D electron microscopy | |
CN112308964B (zh) | 针对单侧颞骨的空间数据处理及定位方法、装置及设备 | |
CN112509119B (zh) | 针对颞骨的空间数据处理及定位方法、装置及电子设备 | |
Christensen et al. | Untwisting the Caenorhabditis elegans embryo | |
Fraser et al. | Mapping 3-D functional capillary geometry in rat skeletal muscle in vivo | |
CN110211165A (zh) | 一种基于异步深度强化学习的图像多模态配准方法 | |
CN111179269A (zh) | 一种基于多视图和3维卷积融合策略的pet图像分割方法 | |
Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
KR20220129405A (ko) | 전역 어텐션 기반 컨볼루션 네트워크를 이용한 이미지 분할 방법 및 장치 | |
Meijs et al. | Artery and vein segmentation of the cerebral vasculature in 4D CT using a 3D fully convolutional neural network | |
CN110533120B (zh) | 器官结节的图像分类方法、装置、终端及存储介质 | |
CN115760874A (zh) | 一种基于联合空间域的多尺度U-Net医学图像分割方法 | |
Yamazaki et al. | Invertible residual network with regularization for effective volumetric segmentation | |
Arega et al. | Leveraging uncertainty estimates to improve segmentation performance in cardiac MR | |
Latif et al. | Digital forensics use case for glaucoma detection using transfer learning based on deep convolutional neural networks | |
Haddad et al. | NMR imaging of the honeybee brain | |
CN110942465A (zh) | 一种基于ResUnet的3视图PET图像分割方法 | |
MacKay et al. | Automated 3D labelling of fibroblasts and endothelial cells in SEM-imaged placenta using deep learning | |
CN112489062B (zh) | 基于边界及邻域引导的医学图像分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |