CN111047602A - 图像分割方法、装置及终端设备 - Google Patents

图像分割方法、装置及终端设备 Download PDF

Info

Publication number
CN111047602A
CN111047602A CN201911172775.6A CN201911172775A CN111047602A CN 111047602 A CN111047602 A CN 111047602A CN 201911172775 A CN201911172775 A CN 201911172775A CN 111047602 A CN111047602 A CN 111047602A
Authority
CN
China
Prior art keywords
convolution
layer
layers
convolutional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911172775.6A
Other languages
English (en)
Inventor
司伟鑫
李才子
王琼
王平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911172775.6A priority Critical patent/CN111047602A/zh
Publication of CN111047602A publication Critical patent/CN111047602A/zh
Priority to PCT/CN2020/128846 priority patent/WO2021104058A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

本申请适用于图像处理技术领域，提供了图像分割方法、装置及终端设备，该图像分割方法包括：获取目标待分割图像；通过多层卷积层对目标待分割图像进行卷积处理；其中，多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收目标待分割图像，各个卷积层依次对目标待分割图像进行卷积下采样；多层卷积层的最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果；根据卷积处理结果进行图像分割。本申请相对于传统的神经网络能够大幅度降低参数里，从而减少计算量，提升神经网络的性能和效率。

Description

图像分割方法、装置及终端设备
技术领域
本申请属于图像处理技术领域，尤其涉及图像分割方法、装置及终端设备。
背景技术
关于神经网络系统在图像分割的研究已经取得了较多的研究成果，但是在多数情况下，人类能够轻易地在一系列的空间尺度上提取一幅图像的不同信息，从而得到包括小区域到大区域的图像细节和特征，而对于计算机设备来说则是一个比较有挑战性的任务。而且神经网络训练需要大量参数参与运算，过程繁琐，因此导致使用神经网络去做图像分割成本高，精度不佳。
发明内容
为克服相关技术中存在的至少一个问题，本申请实施例提供了图像分割方法、装置及终端设备。
本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了一种图像分割方法，包括：
获取目标待分割图像；
通过多层卷积层对所述目标待分割图像进行卷积处理；其中，所述多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收所述目标待分割图像，各个卷积层依次对所述目标待分割图像进行卷积下采样；所述多层卷积层的最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果；
根据所述卷积处理的输出结果进行图像分割。
在第一方面的一种可能的实现方式中，所述多层卷积层的各层卷积层构成多个依次连接的子树，每个子树包括至少两层卷积层，且每个子树的父节点为之前所有子树的聚合。
在第一方面的一种可能的实现方式中，每个子树中均包括一输出层卷积层，所述输出层卷积层与当前子树中的其他层卷积层和当前子树的父节点分别连接，且当前子树的父节点和当前子树中的其他层卷积层之间依次连接；其中，当前子树的父节点为上一子树的输出层卷积层。
在第一方面的一种可能的实现方式中，对于存在连接关系的两层卷积层之间，下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层连接。
在第一方面的一种可能的实现方式中，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层；
所述下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，为：
下一层卷积层的各个卷积层与上一层卷积层中的同一尺度的卷积层对应连接；其中，所述下一层卷积层与所述上一层卷积层为不相邻的两层卷积层。
在第一方面的一种可能的实现方式中，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层；
所述下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，为：
下一层卷积层的当前尺度的卷积层分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接；
其中，所述下一层卷积层与所述上一层卷积层为相邻的两层卷积层。
在第一方面的一种可能的实现方式中，通过最近邻插值法进行所述卷积上采样或所述卷积下采样。
第二方面，本申请实施例提供了一种图像分割装置，包括：
图像获取模块，用于获取目标待分割图像；
卷积处理模块，用于通过多层卷积层对所述目标待分割图像进行卷积处理；其中，所述多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收所述目标待分割图像，各个卷积层依次对所述目标待分割图像进行卷积下采样；所述多层卷积层的最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果；
分割模块，用于根据所述卷积处理结果进行图像分割。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的图像分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的图像分割方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的图像分割方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例，获取目标待分割图像，然后通过多层卷积层对目标待分割图像进行卷积处理，其中，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收目标待分割图像，各个卷积层依次对目标待分割图像进行卷积下采样；最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果，并根据卷积处理的输出结果进行图像分割，相对于传统的神经网络能够大幅度降低参数里，从而减少计算量，提升神经网络的性能和效率。
进一步地，多层卷积层的各层卷积层构成多个依次连接的子树，每个子树包括至少两层卷积层，且每个子树的父节点为之前所有子树的聚合，采用神经网络不同层卷积层提取的特征相互融合的方式，将特征金字塔视为一种整体的特征提取器，那么距离输入较近的特征金字塔可以称为浅层金字塔，反之可以称为深层金字塔，其中浅层金字塔在低级特征提取上较有优势，而深层金字塔中的特征更多的是语义级别的高级特征，将两者层级融合能够高效率实现深层和浅层的特征融合，从而能够有效利用不同层级的特征金字塔的信息，进而提高图像分割的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的图像分割方法的应用环境示意图；
图2是本申请一实施例提供的图像分割方法的流程示意图；
图3是本申请一实施例提供的神经网络的各卷积层之间的并行机制示的意图；
图4是本申请一实施例提供的多层卷积层的结构示意图；
图5是本申请一实施例提供的多层卷积层的结构示意图；
图6是本申请一实施例提供的多层卷积层的结构示意图；
图7是本申请一实施例提供的多层卷积层的中间层卷积层之间的连接示意图；
图8是本申请一实施例提供的图像分割装置的结构示意图；
图9是本申请一实施例提供的终端设备的结构示意图；
图10是本申请一实施例提供的图像分割方法所适用的计算机的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
提高神经网络的多尺度表达能力是提高心脏MRI图像多组织分割的重要途径。目前在计算机视觉领域，图像金字塔以多种形式和方法被广泛应用于计算机视觉任务中。虽然关于神经网络系统在图像分割的研究已经取得了较多的研究成果，但是在多数情况下，分割神经网络参数量过于庞大，既使卷积神经网络本身建立在参数共享的基础之上，复杂的网络结构设计也使得大量参数参与到了梯度优化的过程中来，如此产生了巨大的计算量。而且，尽管多尺度融合金字塔网络在心脏MRI图像分割的任务中表现出了较好的分割能力，但是输入层与输出层网络连接过长导致浅层金字塔与深层金字塔之间信息交互过少的问题，也就是说该网络的多尺度特征表示不充分。
基于上述问题，本申请实施例提供了图像分割方法、装置及终端设备，设计多层卷积层结构的神经网络，第一层卷积层中的各个卷积层依次对目标待分割图像进行卷积下采样，最后一层卷积层中的各个卷积层依次对接收到的特征信息进行卷积上采样，中间层卷积层相互连接，相对于传统的神经网络能够大幅度降低参数里，从而减少计算量，提升神经网络的性能和效率。
进一步地，多层卷积层的各层卷积层构成多个依次连接的子树，每个子树包括至少两层卷积层，且每个子树的父节点为之前所有子树的聚合，采用神经网络不同层卷积层提取的特征相互融合的方式，将特征金字塔视为一种整体的特征提取器，那么距离输入较近的特征金字塔可以称为浅层金字塔，反之可以称为深层金字塔，其中浅层金字塔在低级特征提取上较有优势，而深层金字塔中的特征更多的是语义级别的高级特征，将两者层级融合能够高效率实现深层和浅层的特征融合，从而能够有效利用不同层级的特征金字塔的信息，进而提高图像分割的精度。
具体地，可以获取目标待分割图像，然后通过多层卷积层对目标待分割图像进行卷积处理，其中，多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收目标待分割图像，各个卷积层依次对目标待分割图像进行卷积下采样；最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果，最后根据卷积处理的输出结果进行图像分割。
举例说明，本申请实施例可以应用到如图1所示的示例性场景中，在该场景中，磁共振扫描设备10对人体的某个部位进行扫描，得到该部位的扫描图像进行分割，例如可以为心脏图像，并将该扫描图像发送给图像分割设备20。图像分割设备20获取到该扫描图像后，将该扫描图像作为目标待分割图像，通过多层卷积层对所述目标待分割图像进行卷积处理得到卷积处理结果，再根据上述卷积处理结果进行图像分割。
需要说明的是，上述应用场景作为示例性说明吗，并不用于限定本申请实施例实施时的应用场景，事实上，本申请实施例也可以应用于其它应用场景中。比如，在另一些示例性应用场景中，也可以是由医务人员挑选目标待分割图像发送给图像分割设备等。
为了使本技术领域的人员更好地理解本发明方案，下面将结合图1，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2是本申请一实施例提供的图像分割方法的示意性流程图，参照图1，对该图像分割方法的详述如下：
在步骤101中，获取目标待分割图像。
其中，上述目标待分割图像可以为对人体某个部位进行磁共振成像MRI得到的图像，例如为对人体心脏的MRI图像。
可选的，在获取到目标待分割图像后，可以对该目标待分割图像进行预处理，再对预处理后的图像进行后续步骤的处理。示例性的，该目标待分割图像可以包含心脏、大小为m*n的图像，可以对该目标待分割图像进行识别提取出心脏部分的图像，得到128*128大小的图像，在进行后续步骤的处理。
在步骤102中，通过多层卷积层对所述目标待分割图像进行卷积处理。
其中，上述多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收上述目标待分割图像，各个卷积层依次对上述目标待分割图像进行卷积下采样；上述多层卷积层的最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果。
为便于理解上述图像分割方法，先介绍并行多尺度交叉融合金字塔。
传统的U-Net结构通过逐次地对输入图像进行卷积和池化来提取图像不同层级的特征，再通过连续地反卷积操作将深层具有强语义的特征图逐次恢复至原图像尺寸大小，在恢复尺寸的过程中，跨连接操作对于增强恢复路径上的卷积层的特征表达能力起到非常大的作用，使收缩路径上的具有良好轮廓特征的卷积层与扩展路径上的强语义卷积层相互融合，最终完成逐像素的分类识别。然而U-Net结构对于心脏MRI图像的分割还存在着不足之处。U-Net的跨连接机制只针对相同尺度的卷积层之间，这样的特征融合能力并不充分，在分割目标的基端和顶端，尤其是顶端部位，左右心室和心肌的目标通常都比较小，因此U-Net在这些位置的分割能力还存在着较明显的缺陷。另外，U-Net在高分辨率卷积层到低分辨率卷积层的过程中，特征图数目以2倍的比率增加，造成模型的参数量较大，给计算资源带来一定的负担。
为了避免U-Net的收缩与扩展的结构设计在多尺度信息融合方面的缺陷以及为了降低分割模型的参数量，进一步提高图像的多组织分割能力，例如心脏MRI图像的多组织分割能力，本申请实施例中提出了并行交叉尺度神经网络结构。
其中，并行交叉尺度神经网络结构的核心是每个尺度上的卷积层特征的相互融合，增强神经网络卷积层之间的多尺度信息交流。一个并行多尺度融合单元如公式(1)所示：
Figure BDA0002289174100000091
在一个并行多尺度融合单元内，假设输出卷积层为
Figure BDA0002289174100000092
表示第i+1层第n个卷积层，输入卷积层分别是
Figure BDA0002289174100000093
分别表示第i层的第n个卷积层和相邻的两个尺度的卷积层，ο表示拼接操作，函数F(.)代表一组操作，例如可以包括卷积、批归一化和激活。三个输入卷积层包含不同尺度的特征，大尺度的特征图会被下采样至输出卷积层
Figure BDA0002289174100000094
的维度，小尺度的特征图会被上采样至输出卷积层
Figure BDA0002289174100000095
的维度，两种采样后的卷积层再以通道为轴与和输出尺度相同的输入卷积层相拼接，接着对拼接后的卷积层进行3*3卷积、批归一化层和ReLU激活操作，上采样和下采样操作分别采用最近邻插值和最大池化，进行多尺度特征融合之后，输出卷积层相当于提取了不同尺度的特征信息。需要注意的是，当
Figure BDA0002289174100000096
没有较大尺度的相邻卷积层或者小尺度的相邻卷积层时，输入卷积层只有两个。
一个并行多尺度交叉金字塔单元中包含一个输入特征金字塔Pi和输出特征金字塔Pi+1，图3显示了Pi和Pi+1之间的连接关系，两个金字塔的每一个尺度上都存在一个并行交叉尺度融合单元，相当于对于输出金字塔而言，每一个尺度上的卷积层都有从输入金字塔的相应尺度卷积层及其所有相邻层那里接受信息的能力。
上述并行多尺度融合金字塔对于语义分割的优势包括三点：1)相对于传统的编码解码结构，并行交叉尺度融合金字塔能够极大增强浅层特征层到深层特征层的多尺度特征融合能力；2)持续应用特征金字塔能够指数级地增大神经网络的感受野，更有利于像素级的分类；3)同分辨率的卷积层能够直接进行交互，能够减小池化再上采样带来的信息损失。
本申请实施例中，通过进一步精简多尺度融合结构提出级联式并行多尺度融合金字塔网络(PCP-Net)。PCP-Net的结构如图4所示，为了简明地表示网络结构，图中省略了多个相同的并行多尺度连接金字塔。整体结构由若干个级联的特征金字塔构成，每一个金字塔内包含多个(例如5个)不同尺度的卷积层。对于左边第一个金字塔而言，5个不同尺度的卷积层是对输入图像进行依次卷积下采样得到；对于最后一层卷积层，由内部的5个不同尺度的卷积层从低分辨率向高分辨率采用上采样得到；中间的各个金字塔之间相互连接，例如可以采用并行多尺度融合规则。
一些实施例中，对于存在连接关系的两层卷积层之间，下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层连接。
参见图4，该多层卷积层可以包括m层卷积层，具体可以为第1层卷积层、第2层卷积层、……、第i-1层卷积层、第i层卷积层、第i+1层卷积层、……、第m-1层卷积层、第m层卷积层。
第1层卷积层的各个卷积层之间依此串接，最上面的卷积层接收目标待分割图像，各个卷积层依次对目标待分割图像进行卷积下采样；第m层卷积层之间依此串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过最上面的卷积层输出卷积处理结果。其中，可以通过最近邻插值法进行上述卷积上采样或上述卷积下采样。
本实施例中，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层。在一种可能的实现方式中，下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，可以为：下一层卷积层的当前尺度的卷积层分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接。
例如，参见图4，对于第i层卷积层中的尺度1对应的卷积层，可以与第i-1层卷积层中的尺度1对应的卷积层和尺度2对应的卷积层连接；对于第i层卷积层中的尺度2对应的卷积层，可以与第i-1层卷积层中的尺度1对应的卷积层、尺度2对应的卷积层和尺度3对应的卷积层连接；对于第i层卷积层中的尺度3对应的卷积层，可以与第i-1层卷积层中的尺度2对应的卷积层、尺度3对应的卷积层和尺度4对应的卷积层连接；对于第i层卷积层中的尺度4对应的卷积层，可以与第i-1层卷积层中的尺度3对应的卷积层、尺度4对应的卷积层和尺度5对应的卷积层连接；对于第i层卷积层中的尺度5对应的卷积层，可以与第i-1层卷积层中的尺度4对应的卷积层和尺度5对应的卷积层连接。
需要说明的是，图4中每一个卷积层后都施加批归一化层和ReLU激活层，在图中为了更简洁，批归一化层和ReLU激活层被隐含在卷积操作内。
图5和图6为本申请实施例提供的多层卷积层的结构示意图，参见图5和图6，在上述PCP-Net的基础上提出层级聚合并行多尺度融合金字塔网络(APCP-Net)。该多层卷积层的各层卷积层可以构成多个依次连接的子树，每个子树包括至少两层卷积层，且每个子树的父节点为之前所有子树的聚合。
示例性的，多层卷积层包括9层卷积层，分别为P1,P1,…,P9，其中P1、P2和P3构成一棵子树，P3聚合了P1、P2两个节点的特征；P3、P4、P5和P6构成一棵子树，P6聚合了P3、P4、P5的特征；P6、P7、P8和P9构成一棵子树，P9聚合了P6、P7、P8的特征。也就是说层级聚合是将各层卷积层逐级相融合，这样既可以达到浅层与深层特征更好的融合，又没有密集连接那样需要对卷积层有过多的拼接操作，使不同层级的特征融合更有效率。
示例性的，每个子树中均包括一输出层卷积层，该输出层卷积层与当前子树中的其他层卷积层和当前子树的父节点分别连接，且当前子树的父节点和当前子树中的其他层卷积层之间依次连接；其中，当前子树的父节点为上一子树的输出层卷积层。
例如，参见5和6，对于P1、P2和P3构成的子树，P3为该子树的输出层卷积层，第一个子树的父节点可以视为接收目标待分割图像Input的P1，P3分别与P1和P2连接，而且P1和P2连接；其中，P3与P1为不相邻的两层卷积层，两者之间的连接为跨层连接(如图6中的带箭头的细实线所示)。
对于P3、P4、P5和P6构成的子树，P6为该子树的输出层卷积层，P3为该子树的父节点，P6分别与P3、P4、P5连接，而且P3、P4、P5三者之间依次连接；其中，P6与P3为不相邻的两层卷积层，两者之间的连接为跨层连接(如图6中的带箭头的细实线所示)，P6和P4也为不相邻的两层卷积层，两者之间的连接为跨层连接(如图6中的带箭头的细实线所示)。
对于P6、P7、P8和P9构成的子树，P9为该子树的输出层卷积层，P6为该子树的父节点，P9分别与P6、P7、P8连接，而且P6、P7、P8三者之间依次连接；其中，P9与P6为不相邻的两层卷积层，两者之间的连接为跨层连接(如图6中的带箭头的细实线所示)，P9与P7为不相邻的两层卷积层，两者之间的连接为跨层连接(如图6中的带箭头的细实线所示)。
在一种可能的实现方式中，下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，可以为：下一层卷积层的各个卷积层与上一层卷积层中的同一尺度的卷积层对应连接；其中，上述下一层卷积层与上述上一层卷积层为不相邻的两层卷积层。
例如，第9层卷积层P9与第7层卷积层P7为不相邻的两层卷积层，但两层卷积层之间存在连接关系。此时，对于P9中的尺度1对应的卷积层
Figure BDA0002289174100000121
可以与P7中的尺度1对应的卷积层
Figure BDA0002289174100000122
连接；对于P9中的尺度2对应的卷积层
Figure BDA0002289174100000123
可以与P7中的尺度2对应的卷积层
Figure BDA0002289174100000124
连接；对于P9中的尺度3对应的卷积层
Figure BDA0002289174100000125
可以与P7中的尺度3对应的卷积层
Figure BDA0002289174100000126
连接；对于P9中的尺度4对应的卷积层
Figure BDA0002289174100000127
可以与P7中的尺度4对应的卷积层
Figure BDA0002289174100000128
连接；对于P9中的尺度5对应的卷积层
Figure BDA0002289174100000129
可以与P7中的尺度5对应的卷积层
Figure BDA00022891741000001210
连接。
需要说明的是，对于其他存在连接关系且为不相邻的两层卷积层，也可以参照上述对第9层卷积层P9与对于第7层卷积层P7之间各个卷积层的连接关系，不再赘述。
在另一种可能的实现方式中，所述下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，可以为：下一层卷积层的当前尺度的卷积层分别与上一层卷积层中的该当前尺度的卷积层和与该当前尺度相邻的尺度的卷积层均连接；其中，上述下一层卷积层与上述上一层卷积层为相邻的两层卷积层。
参见图7，第i层卷积层Pi与第i+1层卷积层Pi+1为相邻的两层卷积层，且两层卷积层之间存在连接关系，其中，1≤i≤m-1，m为多层卷积层中卷积层的层数。此时，对于Pi+1中的尺度1对应的卷积层
Figure BDA0002289174100000131
可以与Pi中的尺度1对应的卷积层
Figure BDA0002289174100000132
和尺度2对应的卷积层
Figure BDA00022891741000001318
连接；对于Pi+1中的尺度2对应的卷积层
Figure BDA0002289174100000133
可以与Pi中的尺度1对应的卷积层
Figure BDA0002289174100000134
尺度2对应的卷积层
Figure BDA0002289174100000135
和尺度3对应的卷积层
Figure BDA0002289174100000136
连接；对于Pi+1中的尺度3对应的卷积层
Figure BDA0002289174100000137
可以与Pi中的尺度2对应的卷积层
Figure BDA0002289174100000138
尺度3对应的卷积层
Figure BDA0002289174100000139
和尺度4对应的卷积层
Figure BDA00022891741000001310
连接；对于Pi+1中的尺度4对应的卷积层
Figure BDA00022891741000001311
可以与Pi中的尺度3对应的卷积层
Figure BDA00022891741000001312
尺度4对应的卷积层
Figure BDA00022891741000001313
和尺度5对应的卷积层
Figure BDA00022891741000001314
连接；对于Pi+1中的尺度5对应的卷积层
Figure BDA00022891741000001315
可以与Pi中的尺度4对应的卷积层
Figure BDA00022891741000001316
和尺度5对应的卷积层
Figure BDA00022891741000001317
连接。
需要说明的是，图5至图7中仅示出了卷积层，每一个卷积层后都施加批归一化层和ReLU激活层，为了更简洁，批归一化层和ReLU激活层被隐含在卷积操作内。
其中，跨层连接是为了将浅层轮廓信息进行前向传播，而不要求必须要进行多尺度融合，而且过多的多尺度融合也会带来参数量的大量增长，影响模型的精简程度。
当然在其他实施例中，跨层连接的两层卷积层之间也可以采用如第i层卷积层Pi与第i+1层卷积层Pi+1的各个卷积层之间的连接方式，本申请实施例对此不予限定。
在步骤103中，根据所述卷积处理结果进行图像分割。
其中，在通过上述多层卷积层对目标待分割图像进行卷积处理后，根据卷积处理结果进行图像分割，得到图像分割结果。
上述图像分割方法，获取目标待分割图像，然后通过多层卷积层对目标待分割图像进行卷积处理，其中，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收目标待分割图像，各个卷积层依次对目标待分割图像进行卷积下采样；最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果，并根据卷积处理的输出结果进行图像分割，相对于传统的神经网络能够大幅度降低参数里，从而减少计算量，提升神经网络的性能和效率。
进一步地，多层卷积层的各层卷积层构成多个依次连接的子树，每个子树包括至少两层卷积层，且每个子树的父节点为之前所有子树的聚合，采用神经网络不同层卷积层提取的特征相互融合的方式，将特征金字塔视为一种整体的特征提取器，那么距离输入较近的特征金字塔可以称为浅层金字塔，反之可以称为深层金字塔，其中浅层金字塔在低级特征提取上较有优势，而深层金字塔中的特征更多的是语义级别的高级特征，将两者层级融合能够高效率实现深层和浅层的特征融合，从而能够有效利用不同层级的特征金字塔的信息，进而提高图像分割的精度。
以下对上述图像分割方法中的PCP-Net结构和APCP-Net结构进行实验，验证两种结构的有效性。
其中，在验证数据集上的Dice相似性系数和Hausdorff距离，结果如表1所示。
表1 PCP-Net结构的实验结果
Figure BDA0002289174100000141
Figure BDA0002289174100000151
由实验结果可以看出，PCP-Net结构在左心室和心肌两个组织的分割结果上超过了基准模型，而右心室保持不变，可以看出PCP-Net网络对于左心室和心肌的分割精度有所提高，然而对右心室的结果并没有影响。实际上，右心室在舒张期与收缩期在组织器官内的形态差异过大，在某些切片上甚至没有目标，因此在特征下采样和持续卷积的过程中目标有可能会消失，因此在线性连接的多级金字塔网络中，对于右心室的分割依然存在缺陷。从模型的计算复杂度上来看，该模型0.278百万的参数量，相比基准模型降低了将近90％。从验证结果上可以确定，PCP-Net结构不但在分割精度上有所提高，而且在模型复杂度方面有大幅度地改善。
相对于传统的U-Net网络，PCP-Net网络结构具有以下优势：
1、不同的金字塔之间由高分辨率到低分辨率的卷积层都并行的相连，卷积层之间出输入和输出层的金字塔外没有相互交流，这样的设计对于图像特征的分层次提取起到了重要作用，每一种分辨率的卷积层都聚焦于提取当前级别的特征，这样既能有效地利用金字塔的分级特征提取的能力，又能尽可能的降低模型复杂度，要知道融合的特征图越多，对于参数量的增长贡献就越大；
2、采用多个特征金字塔并行相连，这样不但低分辨率的深层语义特征实现了高效地提取，而且由于从输入到输出之间保持了多次的高分辨率特征表示，这对于精细化分割目标的轮廓非常重要，尤其针对MRI图像低分辨率的特性，这样的设计更能使低级的轮廓特征得以保留和精细化；
3、由于U-Net网络是在特征图分辨率减半的同时将特征图数目加倍，这样势必带来较大的参数量增长，但对于MRI分割任务而言，由于分割的目标类别较少，图像内部的灰度值变化较为平缓，对于高级语义特征的表示并不需要提取过多的特征，反而对于组织间模糊的边缘特征而言，若要对边缘更好的描绘，需要更好的特征表示，因此在多级并行多尺度融合的神经网络结构中，取消了特征图数目对分辨率降低而加倍的设计，转而使用相同数目的特征图。
表2所示为APCP-Net结构在验证集上的实验结果，与PCP-Net相比，层级聚合机制各个组织在收缩期的Dice相似性系数的增长，说明层级聚合机制对于不同深度的特征融合有了显著的贡献，并且层次聚合机制的高效率，并没有带给APCP-Net大规模的参数增长，APCP-Net的参数量为0.317百万，接近于PCP-Net的参数量。
表2 APCP-Net结构的实验结果
Figure BDA0002289174100000161
层级融合的机制使得浅层的特征能够在特征融合的过程中持续的进行前向传播，尽管在第一个金字塔的下采样过程中和持续的融合过程中可能导致占图像比例较小的右心室有消失的情况，但是由于层级融合的机制，在浅层特征依然能够保持到深层特征中参与最后的预测，这也证明了浅层特征与深层特征融合的必要性，尤其对于图像中各类别像素分布不均时的小目标的分割中，作用更加突出。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图像分割方法，图8示出了本申请实施例提供的图像分割装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参见图8，本申请实施例中的图像分割装置可以包括图像转换模块201、卷积处理模块202和分割模块203。
其中，图像获取模块201，用于获取目标待分割图像；
卷积处理模块202，用于通过多层卷积层对所述目标待分割图像进行卷积处理；其中，所述多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收所述目标待分割图像，各个卷积层依次对所述目标待分割图像进行卷积下采样；所述多层卷积层的最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果；
分割模块203，用于根据所述卷积处理的输出结果进行图像分割。
可选的，所述多层卷积层的各层卷积层构成多个依次连接的子树，每个子树包括至少两层卷积层，且每个子树的父节点为之前所有子树的聚合。
可选的，每个子树中均包括一输出层卷积层，所述输出层卷积层与当前子树中的其他层卷积层和当前子树的父节点分别连接，且当前子树的父节点和当前子树中的其他层卷积层之间依次连接；其中，当前子树的父节点为上一子树的输出层卷积层。
可选的，对于存在连接关系的两层卷积层之间，下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层连接。
在一种可能的实现方式中，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层；
所述下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，为：
下一层卷积层的各个卷积层与上一层卷积层中的同一尺度的卷积层对应连接；其中，所述下一层卷积层与所述上一层卷积层为不相邻的两层卷积层。
在一种可能的实现方式中，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层；
所述下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，为：
下一层卷积层的当前尺度的卷积层分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接；
其中，所述下一层卷积层与所述上一层卷积层为相邻的两层卷积层。
示例性的，可以通过最近邻插值法进行所述卷积上采样或所述卷积下采样。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种终端设备，参见图9，该终端设备300可以包括：至少一个处理器310、存储器320以及存储在所述存储器320中并可在所述至少一个处理器310上运行的计算机程序，所述处理器310执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图2所示实施例中的步骤S101至步骤S103。或者，处理器310执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图8所示模块201至203的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备300中的执行过程。
本领域技术人员可以理解，图9仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器320可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器320用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的图像分割方法可以应用于计算机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
以所述终端设备为计算机为例。图10示出的是与本申请实施例提供的计算机的部分结构的框图。参考图10，计算机包括：通信电路410、存储器420、输入单元430、显示单元440、音频电路450、无线保真(wireless fidelity，WiFi)模块460、处理器470以及电源480等部件。本领域技术人员可以理解，图10中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图10对计算机的各个构成部件进行具体的介绍：
通信电路410可用于收发信息或通话过程中，信号的接收和发送，特别地，将图像采集设备发送的图像样本接收后，给处理器470处理；另外，将图像采集指令发送给图像采集设备。通常，通信电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，通信电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(GeneralPacket Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short MessagingService，SMS)等。
存储器420可用于存储软件程序以及模块，处理器470通过运行存储在存储器420的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元430可用于接收输入的数字或字符信息，以及产生与计算机的用户设置以及功能控制有关的键信号输入。具体地，输入单元430可包括触控面板431以及其他输入设备432。触控面板431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器470，并能接收处理器470发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431，输入单元430还可以包括其他输入设备432。具体地，其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元440可用于显示由用户输入的信息或提供给用户的信息以及计算机的各种菜单。显示单元440可包括显示面板441，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置显示面板441。进一步的，触控面板431可覆盖显示面板441，当触控面板431检测到在其上或附近的触摸操作后，传送给处理器470以确定触摸事件的类型，随后处理器470根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图10中，触控面板431与显示面板441是作为两个独立的部件来实现计算机的输入和输入功能，但是在某些实施例中，可以将触控面板431与显示面板441集成而实现计算机的输入和输出功能。
音频电路450可提供用户与计算机之间的音频接口。音频电路450可将接收到的音频数据转换后的电信号，传输到扬声器由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路450接收后转换为音频数据，再将音频数据输出处理器470处理后，经通信电路410以发送给比如另一计算机，或者将音频数据输出至存储器420以便进一步处理。
WiFi属于短距离无线传输技术，计算机通过WiFi模块460可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块460，但是可以理解的是，其并不属于计算机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器470是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器470可包括一个或多个处理单元；优选的，处理器470可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器470中。
计算机还包括给各个部件供电的电源480(比如电池)，优选的，电源480可以通过电源管理系统与处理器470逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述图像分割方法各个实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述图像分割方法各个实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像分割方法，其特征在于，包括：
获取目标待分割图像；
通过多层卷积层对所述目标待分割图像进行卷积处理；其中，所述多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收所述目标待分割图像，各个卷积层依次对所述目标待分割图像进行卷积下采样；所述多层卷积层的最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果；
根据所述卷积处理结果进行图像分割。
2.如权利要求1所述的图像分割方法，其特征在于，所述多层卷积层的各层卷积层构成多个依次连接的子树，每个子树包括至少两层卷积层，且每个子树的父节点为之前所有子树的聚合。
3.如权利要求2所述的图像分割方法，其特征在于，每个子树中均包括一输出层卷积层，所述输出层卷积层与当前子树中的其他层卷积层和当前子树的父节点分别连接，且当前子树的父节点和当前子树中的其他层卷积层之间依次连接；其中，当前子树的父节点为上一子树的输出层卷积层。
4.如权利要求2所述的图像分割方法，其特征在于，对于存在连接关系的两层卷积层之间，下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层连接。
5.如权利要求4所述的图像分割方法，其特征在于，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层；
所述下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，为：
下一层卷积层的各个卷积层与上一层卷积层中的同一尺度的卷积层对应连接；其中，所述下一层卷积层与所述上一层卷积层为不相邻的两层卷积层。
6.如权利要求4所述的图像分割方法，其特征在于，所述多层卷积层包括多个尺度的卷积层，每一尺度的卷积层包括多个卷积层；
所述下一层卷积层的各个卷积层分别与上一层卷积层中对应的卷积层对应连接，为：
下一层卷积层的当前尺度的卷积层分别与上一层卷积层中的所述当前尺度的卷积层和与所述当前尺度相邻的尺度的卷积层均连接；
其中，所述下一层卷积层与所述上一层卷积层为相邻的两层卷积层。
7.如权利要求1所述的图像分割方法，其特征在于，通过最近邻插值法进行所述卷积上采样或所述卷积下采样。
8.一种图像分割装置，其特征在于，包括：
图像获取模块，用于获取目标待分割图像；
卷积处理模块，用于通过多层卷积层对所述目标待分割图像进行卷积处理；其中，所述多层卷积层的各层卷积层相互连接，第一层卷积层中的各个卷积层之间依次串接，第一尺度的卷积层接收所述目标待分割图像，各个卷积层依次对所述目标待分割图像进行卷积下采样；所述多层卷积层的最后一层卷积层中的各个卷积层之间依次串接，各个卷积层依次对接收到的特征信息进行卷积上采样，并通过第一尺度的卷积层输出卷积处理结果；
分割模块，用于根据所述卷积处理的输出结果进行图像分割。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN201911172775.6A 2019-11-26 2019-11-26 图像分割方法、装置及终端设备 Withdrawn CN111047602A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911172775.6A CN111047602A (zh) 2019-11-26 2019-11-26 图像分割方法、装置及终端设备
PCT/CN2020/128846 WO2021104058A1 (zh) 2019-11-26 2020-11-13 图像分割方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911172775.6A CN111047602A (zh) 2019-11-26 2019-11-26 图像分割方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN111047602A true CN111047602A (zh) 2020-04-21

Family

ID=70233439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911172775.6A Withdrawn CN111047602A (zh) 2019-11-26 2019-11-26 图像分割方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN111047602A (zh)
WO (1) WO2021104058A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723841A (zh) * 2020-05-09 2020-09-29 北京捷通华声科技股份有限公司 文本检测方法、装置、电子设备及存储介质
WO2021104058A1 (zh) * 2019-11-26 2021-06-03 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN113012220A (zh) * 2021-02-02 2021-06-22 深圳市识农智能科技有限公司 一种果实计数方法、装置及电子设备
WO2022037490A1 (zh) * 2020-08-21 2022-02-24 北京灵汐科技有限公司 神经网络的运算方法、装置、计算机设备及存储介质
CN115223017A (zh) * 2022-05-31 2022-10-21 昆明理工大学 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法
CN117635942A (zh) * 2023-12-05 2024-03-01 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361524B (zh) * 2021-06-29 2024-05-03 北京百度网讯科技有限公司 图像处理方法及装置
CN116012688B (zh) * 2023-03-27 2023-06-09 成都神鸟数据咨询有限公司 一种用于城市管理评估系统的图像增强方法
CN116229336B (zh) * 2023-05-10 2023-08-18 江西云眼视界科技股份有限公司 视频移动目标识别方法、系统、存储介质及计算机
CN117292067B (zh) * 2023-11-24 2024-03-05 中影年年(北京)科技有限公司 基于扫描实物获得的虚拟3d模型方法及系统
CN117495884B (zh) * 2024-01-02 2024-03-22 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785336A (zh) * 2018-12-18 2019-05-21 深圳先进技术研究院 基于多路径卷积神经网络模型的图像分割方法及装置
CN109801293A (zh) * 2019-01-08 2019-05-24 平安科技（深圳）有限公司 遥感影像分割方法、装置及存储介质、服务器
CN110378913A (zh) * 2019-07-18 2019-10-25 深圳先进技术研究院 图像分割方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598728B (zh) * 2018-11-30 2019-12-27 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN109741331B (zh) * 2018-12-24 2021-10-26 北京航空航天大学 一种图像前景物体分割方法
CN110223304B (zh) * 2019-05-20 2023-01-24 山东大学 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN111047602A (zh) * 2019-11-26 2020-04-21 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785336A (zh) * 2018-12-18 2019-05-21 深圳先进技术研究院 基于多路径卷积神经网络模型的图像分割方法及装置
CN109801293A (zh) * 2019-01-08 2019-05-24 平安科技（深圳）有限公司 遥感影像分割方法、装置及存储介质、服务器
CN110378913A (zh) * 2019-07-18 2019-10-25 深圳先进技术研究院 图像分割方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CAIZI LI ET AL: ""APCP-NET: AGGREGATED PARALLEL CROSS-SCALE PYRAMID NETWORK FOR CMR SEGMENTATION"" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021104058A1 (zh) * 2019-11-26 2021-06-03 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN111723841A (zh) * 2020-05-09 2020-09-29 北京捷通华声科技股份有限公司 文本检测方法、装置、电子设备及存储介质
WO2022037490A1 (zh) * 2020-08-21 2022-02-24 北京灵汐科技有限公司 神经网络的运算方法、装置、计算机设备及存储介质
CN113012220A (zh) * 2021-02-02 2021-06-22 深圳市识农智能科技有限公司 一种果实计数方法、装置及电子设备
CN115223017A (zh) * 2022-05-31 2022-10-21 昆明理工大学 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法
CN115223017B (zh) * 2022-05-31 2023-12-19 昆明理工大学 一种基于深度可分离卷积的多尺度特征融合桥梁检测方法
CN117635942A (zh) * 2023-12-05 2024-03-01 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法
CN117635942B (zh) * 2023-12-05 2024-05-07 齐鲁工业大学(山东省科学院) 一种基于边缘特征增强的心脏mri图像分割方法

Also Published As

Publication number Publication date
WO2021104058A1 (zh) 2021-06-03

Similar Documents

Publication Publication Date Title
CN111047602A (zh) 图像分割方法、装置及终端设备
WO2021104060A1 (zh) 图像分割方法、装置及终端设备
WO2021036695A1 (zh) 一种待标注图像确定的方法、模型训练的方法及装置
CN110504029B (zh) 一种医学图像处理方法、医学图像识别方法及装置
TWI779238B (zh) 影像處理方法及裝置、電子設備和電腦可讀取的記錄媒體
CN112308200B (zh) 神经网络的搜索方法及装置
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN111028242A (zh) 一种肿瘤自动分割系统、方法及电子设备
CN110930443B (zh) 图像配准方法、装置及终端设备
WO2024041479A1 (zh) 一种数据处理方法及其装置
US20220253977A1 (en) Method and device of super-resolution reconstruction, computer device and storage medium
WO2023202285A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
US20230401756A1 (en) Data Encoding Method and Related Device
CN103164436B (zh) 一种图像搜索方法及装置
US11948088B2 (en) Method and apparatus for image recognition
WO2021204187A1 (zh) 一种版面分析方法及电子设备
WO2024051655A1 (zh) 全视野组织学图像的处理方法、装置、介质和电子设备
CN116485791B (zh) 基于吸收度的双视图乳腺肿瘤病变区自动检测方法及系统
CN116246110A (zh) 基于改进胶囊网络的图像分类方法
CN116704200A (zh) 图像特征提取、图像降噪方法及相关装置
CN111325709A (zh) 无线胶囊内窥镜图像检测系统及检测方法
Das et al. Extracting building footprints from high-resolution aerial imagery using refined cross AttentionNet
CN107247944B (zh) 基于深度学习的人脸检测速度优化方法及装置
CN115188000A (zh) 基于ocr的文本识别方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200421