CN110648331A - 用于医学图像分割的检测方法、医学图像分割方法及装置 - Google Patents

Abstract

一种用于医学图像分割的检测方法、医学图像分割方法及装置，其中检测方法包括：获取目标对象的医学图像以及与该医学图像相对应的特征图；利用卷积神经网络对该特征图进行处理，得到特征图的特征信息；根据获取的边界框生成一个与该特征图等尺寸大小的权重表；将该权重表与该特征图进行逐位相乘，得到优化特征图，该优化特征图用于在医学图像分割时检测获得目标对象的形成区域。由于根据获取的边界框来生成一个与特征图等尺寸大小的权重表，并以权重的形式相乘到该特征图中，从而使得得到的优化特征图中可以准确地产生目标对象的形成区域，利于提高小目标病灶的分割准确度。

Description

用于医学图像分割的检测方法、医学图像分割方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种用于医学图像分割的检测方法、医学图像分割方法及装置。

背景技术

人工智能深度学习技术因近几年的快速发展而越来越多地运用在各领域中，其中卷积神经网络(CNN)模型作为深度学习技术中最重要的方法之一，在分类、检测和分割等方面都已取得显著成就，在医学图像领域亦是如此。卷积神经网络模型往往由多层的神经元组成，从而具有很强的特征学习能力，学习得到的网络模型对原始数据具有很好的表征能力，从而通过大规模的训练数据可以提取出数据内在的丰富特征，有利于完成数据挖掘、检测、分割等任务。因此，基于卷积神经网络等相关技术，由大量数据通过训练学习图像特征以及经过检测、分割等模型，在常见的医学图像中分割一些小目标(如肾肿瘤、肺部肿瘤、肝肿瘤、胃肿瘤等病灶)成为了可能。

图像分割是图像处理和计算机视觉领域中的一个基本问题，特别是医学图像分割，近来已经成为医学图像领域最热门的研究方向之一，其对于临床诊断和治疗有重要的意义。在医学图像的目标分割应用方面，比较常用的卷积神经网络结构主要有U-Net、V-Net等，这些网络结构是因为具有编码阶段和解码阶段，在网络的形状上呈现U/V的形状而进行命名。在网络结构中，编码阶段和解码阶段都是全卷积结构，且没有全连接结构，它在分割较大的器官、组织等目标图像时，其准确率通常较高，因此获得了较为广泛地使用。

而在分割如肾肿瘤等小目标时，V-Net网络则显得力不从心，存在应用效果较差的问题。很多研究学者通过使用两步(two-stage)或者级联(cascaded frameworks)的方法，先进行检测处理，首先从目标图像中检测出包含目标的一小块区域(即感兴趣区域ROI)，再在该区域内利用V-Net等网络进行准确的像素级分割。但这种方法有些缺点：在训练阶段属于分步训练，构不成端到端(end-to-end)的结构；另外在分割步骤时，也丢弃了检测区域外面的信息，而这些信息在准确分割时往往发挥了不可忽略的作用。

以肾肿瘤为例，全球每年有超过40万例新发肾癌病症，严重地威胁着人类的健康，而手术切除是对其进行的较为常见的治疗方法，但是肾脏和肾肿瘤在形态上呈现出多样性，致使如何设计先进的手术计划以及确保手术后的结果，都往往与肾肿瘤的形态结构有关，所以在CT图像中准确地分割出肾肿瘤成为非常重要的一个需求，将为治疗医师提供有力的参考依据。

发明内容

本发明主要解决的技术问题是如何提高医学图像分割中针对小目标病灶的分割准确度。为解决上述技术问题，本申请提供一种用于医学图像分割的检测方法、医学图像分割方法及装置。

根据第一方面，一种实施例中提供一种用于医学图像分割的检测方法，包括：获取目标对象的医学图像以及与所述医学图像相对应的特征图，所述目标对象为组织器官上形成的病灶；利用卷积神经网络对所述特征图进行处理，得到所述特征图的特征信息，所述特征信息包括分割所述特征图形成的多个格子、每个所述格子内特征的类别概率以及利用每个所述格子预测得到的多个边界框和每个所述边界框内特征的置信度；根据所述特征信息从多个所述格子中获取最大的类别概率所对应的所述格子，以及从获取的所述格子预测得到的多个所述边界框中获取最大的置信度所对应的边界框；根据获取的所述边界框生成一个与所述特征图等尺寸大小的权重表，所述权重表中的权重值按照确定出的所述边界框在所述特征图中的相对位置而进行衰减分布；将所述权重表与所述特征图进行逐位相乘，得到优化特征图，所述优化特征图用于在所述医学图像分割时检测获得所述目标对象的形成区域。

所述利用卷积神经网络对所述特征图进行处理，得到所述特征图的特征信息，包括：将所述特征图输入至预设的YOLO网络，检测得到所述特征图的特征信息；所述YOLO网络包括多个卷积层和多个全连接层，其中，所述YOLO网络的每个卷积层用来提取所述特征图中的特征，所述YOLO网络的每个全连接层用来预测特征的图像位置和类别概率；所述YOLO网络的前端设有SPP网络，所述SPP网络用于对所述特征图的尺寸进行调整，以适应于所述全连接层的输入特性；所述特征信息由长度是S*S*(B*5+C)的特征向量构成，其中，所述参数S表示所述特征图在划分后形成的一行或一列格子的数目，所述参数B表示利用每个所述格子预测得到的边界框的数目，所述参数5表示每个所述边界框的特征维数且具有坐标x、坐标y、宽度w、高度h、置信度对应的五个维度，所述参数C表示每个所述格子内特征的类别的数目。

所述根据获取的所述边界框生成一个与所述特征图等尺寸大小的权重表，所述权重表中的权重值按照获取的所述边界框在所述特征图中的相对位置而进行衰减分布；其中所述权重表的生成过程包括：形成与所述特征图等尺寸大小的数值表，以在所述数值表内的各个数值位置上设置数值；按照获取的所述边界框确定该边界框在所述特征图中的相对位置，并在所述数值表内将与所述相对位置一致的数值位置上设置第一值，在所述特征表内将最外围的数值位置上设置第二值，按照所述第一值和所述第二值的线性衰减变化设置其它数值位置的数值，且满足第一值大于第二值。

根据第二方面，一种实施例中提供一种医学图像分割方法，包括：获取目标对象的医学图像，所述目标对象为组织器官上形成的病灶；将所述医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于所述目标对象的形成区域对所述医学图像进行分割；根据所述医学图像分割后的结果对所述目标对象进行识别；所述病灶识别模型包括多个卷积层依次串联组成的第一阶段处理单元和第二阶段处理单元；所述第二阶段处理单元中的首个卷积层与所述第一阶段处理单元中的末个卷积层连接，所述第二阶段处理单元中的各个卷积层与所述第一阶段处理单元中的各个卷积层之间形成一一对应关系，且所述第二阶段处理单元中的末个卷积层与所述第一阶段处理单元中的首个卷积层形成对应关系；所述第一阶段处理单元中的每个卷积层和所述第二阶段处理单元中对应的卷积层之间设有拼接通道，所述拼接通道用于将所述第一阶段处理单元中的每个卷积层输出的特征图拼接至所述第二阶段处理单元中对应的卷积层输出的特征图之中，且根据权利要求1-3中任一项所述的检测方法对部分或全部所述拼接通道上的特征图进行处理，以分别得到优化特征图。

所述将所述医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于所述目标对象的形成区域对所述医学图像进行分割，包括：将所述医学图像输入至所述病灶识别模型中的第一阶段处理单元，以使得所述第一阶段处理单元的各个卷积层分别输出一组特征图；所述第一阶段处理单元中的首个卷积层用于对输入的所述医学图像进行降采样处理且输出一组特征图，所述第一阶段处理单元中首个卷积层之外的每个卷积层用于对上一个卷积层输出的特征图进行降采样处理且输出一组特征图；将所述第一阶段处理单元中的末个卷积层输出的特征图输入至所述第二阶段处理单元，以使得所述第二阶段处理单元的各个卷积层分别输出一组特征图；并且，将所述第一阶段处理单元中的每个卷积层输出的特征图通过该卷积层的拼接通道与所述第二阶段处理单元中对应的卷积层输出的特征图进行拼接；选取所述第一阶段处理单元中首个卷积层和末个卷积层之外的各个卷积层，根据上述第一方面中所述的检测方法对选取的各个卷积层的拼接通道上的特征图分别进行处理，以分别得到优化特征图；将所述优化特征图与所述第二阶段处理单元中对应的卷积层输出的特征图进行拼接，将拼接后的特征图输入至该对应的卷积层的下一个卷积层，卷积处理后输出的特征图中生成有所述目标对象的形成区域。

在所述病灶识别模型中，所述第二阶段处理单元还包括另一个的卷积层，所述另一个的卷积层与所述第二阶段处理单元中的末个卷积层连接，用于对通过所述第二阶段处理单元中的末个卷积层的拼接通道进行拼接后的特征图进行卷积处理，得到优化医学图像；所述优化医学图像中形成有所述目标对象的形成区域，且所述优化医学图像与所述医学图像之间具有等同的尺寸大小。

所述病灶识别模型的建立过程为：根据历史的所述医学图像建立训练集，利用所述训练集对所述病灶识别模型进行训练，通过历史的所述优化医学图像的总损失函数对所述病灶识别模型进行参数估计；所述总损失函数的公式表示为

其中，下标i表示所述第一阶段处理单元中首个卷积层和末个卷积层之外的每个卷积层的序号，为loss_i表示序号为i的卷积层的拼接通道上产生的检测偏差，所述检测偏差由权利要求1-3中任一项所述的检测方法对拼接通道上的历史的特征图进行分割时而得到；loss(seg)为对历史的所述优化医学图像中的每个像素求交叉熵的权重和，且loss(seg)＝-∑(1-p)²*log(p)，其中p为历史的所述优化医学图像中的每个像素对应的值经过softmax函数后而得到的概率值。检测方法。

根据第三方面，一种实施例中提供一种用于医学图像的目标识别装置，包括：获取单元，用于获取目标对象的医学图像，所述目标对象为组织器官上形成的病灶；模型处理单元，用于将所述医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于所述目标对象的形成区域对所述医学图像进行分割；识别单元，用于根据所述医学图像分割后的结果对所述目标对象进行识别；

其中，所述病灶识别模型包括多个卷积层依次串联组成的第一阶段处理单元和第二阶段处理单元；所述第二阶段处理单元中的首个卷积层与所述第一阶段处理单元中的末个卷积层连接，所述第二阶段处理单元中的各个卷积层与所述第一阶段处理单元中的各个卷积层之间形成一一对应关系，且所述第二阶段处理单元中的末个卷积层与所述第一阶段处理单元中的首个卷积层形成对应关系；所述第一阶段处理单元中的每个卷积层和所述第二阶段处理单元中对应的卷积层之间设有拼接通道，所述拼接通道用于将所述第一阶段处理单元中的每个卷积层输出的特征图拼接至所述第二阶段处理单元中对应的卷积层输出的特征图之中，且根据上述第一方面中所述的检测方法对部分或全部所述拼接通道上的特征图进行处理，以分别得到优化特征图。

所述目标对象包括肾肿瘤、肺肿瘤、肝肿瘤和胃肿瘤中的一者或多者，所述医学图像包括CT图像、核磁共振图像、PET图像、DSA图像中的一者或多者。

根据第四方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述第一方面或第二方面中所述的方法。

本申请的有益效果是：

根据上述实施例的一种用于医学图像分割的检测方法、医学图像分割方法及装置，其中检测方法包括：获取目标对象的医学图像以及与该医学图像相对应的特征图，该目标对象为组织器官上形成的病灶；利用卷积神经网络对该特征图进行处理，得到特征图的特征信息，该特征信息包括划分特征图形成的多个格子、每个格子内特征的类别概率以及利用每个格子预测得到的多个边界框和每个边界框内特征的置信度；根据该特征信息从多个格子中获取最大的类别概率所对应的格子，以及从获取的格子预测得到的多个边界框中获取最大的置信度所对应的边界框；根据获取的边界框生成一个与该特征图等尺寸大小的权重表，该权重表中的权重值按照确定出的边界框在该特征图中的相对位置而进行衰减分布；将该权重表与该特征图进行逐位相乘，得到优化特征图，该优化特征图用于对在所述医学图像分割时检测获得所述目标对象的形成区域。第一方面，由于对医学图像相对应的特征图进行处理，从而利于方便地从特征图中检测到目标对象可能存在的图像位置，为小目标的病灶提供了一种有效的检测手段；第二方面，由于根据分割后获取的边界框来生成一个与特征图等尺寸大小的权重表，并以权重的形式相乘到该特征图中，从而使得得到的优化特征图中可以准确地产生目标对象的形成区域，即获得目标对象的大致位置范围，利于提高医学图像分割时对小目标病灶的分割准确度；第三方面，在本申请的医学图像分割方法中对一些特征图进行了卷积神经网络处理，那么将得到的优化特征图与其它的特征图进行拼接处理时，能够在病灶识别模型的特征图中突出目标对象的形成区域，且弱化周围区域，促使网络模型重点学习目标对象的特征，从而更准确地从医学图像中识别得到小目标的病灶，提高学习效率的同时也可保证更为准确的学习结果；第四方面，由于利用检测方法仅对病灶识别模型中中间部分卷积层的拼接通道上的特征图进行处理，既在网络学习中强化了目标对象的形成区域，也可避免首个卷积层因卷积网络数目较少而导致的提取信息不够丰富且不能有效检测目标对象位置的情形发生，还可避免末个卷积层因感知野过大和特征图较小而导致的提取信息的语义过于复杂且不能有效检测目标对象位置的情形发生；第五方面，在病灶识别模型的建立过程中，由于通过历史的优化医学图像的总损失函数对病灶识别模型进行参数估计，使得总损失函数中的交叉熵运算能够对难以分割的像素提供更高的函数值，加强对这些像素的重视力度，进一步地提高小目标病灶的分割准确度。

附图说明

图1为本申请中用于医学图像分割的检测方法的流程图；

图2为对特征图进行处理且得到特征信息的流程图；

图3为利用卷积神经网络对特征图进行处理过程的原理示意图；

图4为本申请中医学图像分割方法的流程图；

图5为利用病灶识别模型得到目标对象的形成区域的流程图；

图6为一种具体实施例中病灶识别模型的组成示意图；

图7为病灶识别模型的建立过程的流程图；

图8为本申请中医学图分割装置的结构示意图；

图9为利用现有技术获得的肾肿瘤CT图像；

图10为利用本申请中利用医学图像分割方法得到的肾肿瘤CT图像。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

实施例一、

请参考图1，本申请公开一种用于医学图像分割的检测方法，其包括步骤S110-S150，下面分别说明。

步骤S110，获取目标对象的医学图像以及与医学图像相对应的特征图，这里的目标对象为组织器官上形成的病灶。

在本实施例中，可以用常见的医疗影像设备来对患者的特定组织器官进行拍摄，从而来获得诸如CT图像、核磁共振图像、PET图像、DSA图像的医学图像，而目标对象可以是肾肿瘤、肺肿瘤、肝肿瘤、胃肿瘤等类型的病灶，此类病灶往往形成于患者的内部组织器官上，具有小目标(直径往往在毫米级)、低区分度的特征。

步骤S120，利用卷积神经网络对特征图进行处理，得到特征图的特征信息。这里的特征信息包括划分特征图形成的多个格子、每个格子内特征的类别概率以及利用每个格子预测得到的多个边界框和每个边界框内特征的置信度。

在一个具体实施例中，见图2，该步骤S120可以包括步骤S121-S122，分别说明如下。

步骤S121，将特征图输入至预设的YOLO网络，检测得到特征图的特征信息。这里的YOLO网络包括多个卷积层和多个全连接层，其中，YOLO网络的每个卷积层用来提取特征图中的特征，YOLO网络的每个全连接层用来预测特征的图像位置和类别概率。

为了满足YOLO网络中全连接层的性能要求，本具体实施例中还在YOLO网络的前端设有SPP网络，该SPP网络用于对特征图的尺寸进行调整，以适应于全连接层的输入特性。需要说明的是，在设计网络的时候，全连接层的输入维数必须提前固定，从全连接层往前推的话，就必须保持第一层卷积的输入尺寸是固定的，例如224*224(AlexNET)、32*32(LeNET)等。这也就要求我们在检测图片时，需要将图片经过crop(裁剪)、warp(拉伸)等操作把图片变换成固定尺寸，才能输入网络，这一过程在一定程度上会导致图片信息的丢失或者变形。对此SPP网络可以在最后一层卷积层后用空间金字塔池化层代替普通池化层，它克服了输入必须要求固定图像尺寸的限制，在不丧失有效信息的前提下可以对特征图的大小进行随意调整。由于SPP网络属于现有技术，所以这里不再对其进行详细说明。

在YOLO网络中，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征图的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。

步骤S122，根据YOLO网络的输出特性，特征图的特征信息是由长度是S*S*(B*5+C)的特征向量构成，其中，参数S表示特征图在划分后形成的一行或一列格子的数目，参数B表示利用每个格子预测得到的边界框的数目，参数5表示每个边界框的特征维数且具有坐标x、坐标y、宽度w、高度h、置信度对应的五个维度，参数C表示每个格子内特征的类别的数目。

在本具体实施例中，YOLO网络(You only look once)是基于深度学习的端到端的目标检测算法，其将目标区域预测和目标类别预测整合于单个神经网络模型中，实现在准确率较高的情况下实时快速目标检测与识别。YOLO网络的核心思想就是将整张图作为网络的输入，直接在输出层回归边界框(bounding box，也成为包围盒)的位置和边界框的类别。

在本具体实施例中，见图3中利用卷积神经网络对特征图进行处理过程的原理示意图，可以简要描述为：(1)将一副特征图输入至SPP网络，调整为固定的尺寸，然后输入至两个全连接层(FC)；(2)将尺寸调整后的特征图分成S×S个格子(即grid cell)，如果某个物体的特征(即object)的中心落在这个格子中，则这个网格就负责预测这个object(5×B+C)；(3)每个格子要预测B个边界框，以及预测C个类别的概率，每个边界框要预测坐标x、坐标y、宽度w、高度h和置信度confidence这共5个值；(4)那么，S×S个格子的输出维度为S×S×(5×B+C)。需要说明的是，这里的confidence代表了边界框含有object的置信度和边界框预测的准确度，常用公式表示为Pr(Object)∈{0,1}；C个类别中每个类别的概率表示为Pr(Class_i|Object),其中i＝1,2,…,C。

此外，YOLO网络使用均方和误差作为损失函数来优化模型参数，即全连接层输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方和误差，可以用公式表示为

其中，coordError、iouError和classError分别代表预测数据与标定数据之间的坐标误差、IOU误差和分类误差。

由于YOLO网络对图像进行检测处理以及得到输出向量、损失函数的过程属于现有技术，所以这里不再对YOLO网络进行详细说明。

步骤S130，根据特征信息从多个格子中获取最大的类别概率所对应的格子，以及从获取的格子预测得到的多个边界框中获取最大的置信度所对应的边界框。

步骤S140，根据获取的边界框生成一个与特征图等尺寸大小的权重表，权重表中的权重值按照确定出的边界框在特征图中的相对位置而进行衰减分布，例如采用双线性、三次样条、指数衰减等方式进行衰减分布。

在一个具体实施例中，权重表的生成过程可以包括：(1)形成与特征图等尺寸大小的数值表(如表格、矩阵、数组)，以在数值表内的各个数值位置上设置数值；(2)按照获取的边界框确定该边界框在特征图中的相对位置，并在数值表内将与相对位置一致的数值位置上设置第一值(如数值1)，在特征表内将最外围的数值位置上设置第二值(如数值0)，按照第一值和第二值的线性衰减变化设置其它数值位置的数值，且满足第一值大于第二值。例如，可以让数值表内的取值范围为0-1，获取的边界框所对应的数值位置的值为1，该边界框所对应的距离最远的数值位置为0，其余数值位置按照与边界处的距离进行线性变化，并由1至0逐渐衰减。

步骤S150，将权重表与特征图进行逐位相乘，得到优化特征图。这里的优化特征图用于在医学图像分割时检测获得目标对象的形成区域。

本领域的技术人员可以理解，在实施本实施例中公开的用于医学图像分割的检测方法时，可以带来一些有益的应用效果：(1)由于对医学图像相对应的特征图进行卷积神经网络处理，从而利于方便地从特征图中检测到目标对象可能存在的图像位置，为小目标的病灶提供了一种有效的检测手段；(2)由于根据划分后获取的边界框来生成一个与特征图等尺寸大小的权重表，并以权重的形式相乘到该特征图中，从而使得得到的优化特征图中可以准确地产生目标对象的形成区域，利于提高医学图像分割时对小目标病灶的分割准确度。

实施例二、

请参考图4，在实施例一中公开的用于医学图像分割的检测方法的基础上，还公开一种医学图像分割方法，该医学图像分割方法包括步骤S210-S230，下面分别说明。

步骤S210，获取目标对象的医学图像，该目标对象为组织器官上形成的病灶。

例如，可以用常见的医疗影像设备来对患者的特定组织器官进行拍摄，从而来获得诸如CT图像、核磁共振图像、PET图像、DSA图像的医学图像，而目标对象可以是肾肿瘤、肺肿瘤、肝肿瘤、胃肿瘤等类型的病灶，此类病灶往往形成于患者的内部组织器官上，具有小目标(直径往往在毫米级)、低区分度的特征。

步骤S220，将医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于所述目标对象的形成区域对所述医学图像进行分割。

在本实施例中，病灶识别模型包括多个卷积层依次串联组成的第一阶段处理单元和第二阶段处理单元。该第二阶段处理单元中的首个卷积层与第一阶段处理单元中的末个卷积层连接，该第二阶段处理单元中的各个卷积层与第一阶段处理单元中的各个卷积层之间形成一一对应关系，且第二阶段处理单元中的末个卷积层与第一阶段处理单元中的首个卷积层形成对应关系。此外，第一阶段处理单元中的每个卷积层和第二阶段处理单元中对应的卷积层之间设有拼接通道，拼接通道用于将第一阶段处理单元中的每个卷积层输出的特征图拼接至第二阶段处理单元中对应的卷积层输出的特征图之中，且根据上述实施例一中中公开的检测方法对部分或全部拼接通道上的特征图进行处理，以分别得到优化特征图。

需要说明的是，本实施例中涉及的“首个”指的是排列顺序上的第一个，“末个”是指排列顺序上的最后一个。

需要说明的是，图像分割的理论就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，它是由图像处理到图像分析的关键步骤。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程，图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。

在一个具体实施例中，见图5，该步骤S220可以包括步骤S221-S225，分别说明如下。

步骤S221，将医学图像输入至病灶识别模型中的第一阶段处理单元，以使得第一阶段处理单元的各个卷积层分别输出一组特征图(如32幅或64幅的特征图)。该第一阶段处理单元中的首个卷积层用于对输入的医学图像进行降采样处理且输出一组特征图，第一阶段处理单元中首个卷积层之外的每个卷积层用于对上一个卷积层输出的特征图进行降采样处理且输出一组特征图。

步骤S222，将第一阶段处理单元中的末个卷积层输出的特征图输入至第二阶段处理单元，以使得第二阶段处理单元的各个卷积层分别输出一组特征图；并且，将第一阶段处理单元中的每个卷积层输出的特征图通过该卷积层的拼接通道与第二阶段处理单元中对应的卷积层输出的特征图进行拼接。

步骤S223，选取第一阶段处理单元中首个卷积层和末个卷积层之外的各个卷积层，根据上述实施例一中的检测方法对选取的各个卷积层的拼接通道上的特征图分别进行处理，以分别得到优化特征图。这里是对拼接通道上的特征图进行了卷积神经网络的处理(如YOLO网络的处理思想)，如此容易在优化特征图中检测获得目标对象的形成区域，也就是获得小目标病灶的大致区域。

步骤S224，将优化特征图与第二阶段处理单元中对应的卷积层输出的特征图进行拼接。

步骤S225，将拼接后的特征图输入至该对应的卷积层的下一个卷积层，通过进行卷积处理后输出的特征图中生成有目标对象的形成区域。

在本实施例中，病灶识别模型具有多级降采样和多级升采样的卷积处理过程，通过这样的过程可以对医学图像进行细致分割，并能够集中于拼接后的特征图中目标对象的形成区域对医学图像进行小范围的精准分割，从而精确地寻找出目标对象在医学图像上的形成位置。

步骤S230，根据所述医学图像分割后的结果对所述目标对象进行识别。在依据目标对象的形成区域精确地寻找出目标对象在医学图像上的展示位置之后，可以对该展示位置进行标记，并且确定标记部分所对应的病灶就是利用病灶识别模型所针对的病灶，如此即可实现对目标对象的准确识别。例如，可以用数值1标记肾肿瘤的展示位置像素，用数值2标记肝肿瘤的展示位置像素，那么针对不同数值可以使用不同的颜色或线框进行展示，如此即可实现对不同病灶的区分和识别。

在本实施例中，可以通过统一数值、颜色加重、线框指示、坐标指示等方式对目标对象的形成区域进行标记。

在本实施例中，在该病灶识别模型中，第二阶段处理单元还包括另一个的卷积层，该另一个的卷积层与第二阶段处理单元中的末个卷积层连接，用于对通过第二阶段处理单元中的末个卷积层的拼接通道进行拼接后的特征图进行卷积处理，得到优化医学图像。该优化医学图像中形成有目标对象的形成区域，且优化医学图像与医学图像之间具有等同的尺寸大小。

本领域的技术人员可以理解，这里的病灶识别模型实际上相当于现有的V-NET网络模型，不同之处在于对现有的V-NET网络模型中的部分拼接通道上传输的特征图进行了特征图处理，用优化特征图来和其它的特征图进行拼接，而非直接使用拼接通道上传输的特征图和其它特征图进行拼接。由于优化特征图用于在医学图像分割时检测获得目标对象的形成区域，使得得到的优化特征图中可以准确地产生目标对象的形成区域，从而容易获得小目标病灶的大致位置。在优化特征图与其它特征图进行拼接，且进行升采样的卷积处理后，利于重点地对目标对象的形成区域进行精准分割，进一步地确定形成区域内目标对象的准确位置，从而在优化医学图像上对该准确位置进行展示。

在一个具体实施例中，本申请的病灶识别模型使用了V-NET网络的构架，具体可以参考图6。

在图6中，卷积层1、卷积层2、卷积层3、卷积层4相当于第一阶段处理单元(或者编码阶段、压缩阶段，分别实现降采样的功能)，卷积层1相当于第一阶段处理单元的首个卷积层，卷积层4相当于第一阶段处理单元的末个卷积层；卷积层5、卷积层6、卷积层7、卷积层8相当于第二阶段处理单元(或者解码阶段、解压缩阶段，分别实现升采样的功能)，卷积层5相当于第二阶段处理单元的首个卷积层，卷积层8相当于第二阶段处理单元的末个卷积层。其中，卷积层1与卷积层8具有对应关系，之间设有拼接通道1，那么卷积层1输出的特征图可以通过拼接通道1与卷积层6输出的特征图进行拼接；卷积层2与卷积层7具有对应关系，之间设有拼接通道2，那么卷积层2输出的特征图可以通过拼接通道2与卷积层7输出的特征图进行拼接；卷积层3与卷积层6具有对应关系，之间设有拼接通道3，那么卷积层3输出的特征图可以通过拼接通道3与卷积层6输出的特征图进行拼接；卷积层4与卷积层5具有对应关系，之间设有拼接通道4，那么卷积层4输出的特征图可以通过拼接通道1与卷积层5输出的特征图进行拼接。

在图6中，为了避免首个卷积层1因卷积网络数目较少而导致的提取信息不够丰富且不能有效检测目标对象位置的情形发生，同时避免末个卷积层4因感知野过大和特征图较小而导致的提取信息的语义过于复杂且不能有效检测目标对象位置的情形发生，仅仅在拼接通道2和拼接通道3上实施本申请实施例一中公开的检测方法。也就是说，将卷积层2输出的特征图进行处理，得到第一组的优化特征图，然后将该组优化特征图与卷积层7输出的特征图进行拼接，拼接后的特征图输入至卷积层8以进行卷积处理；将卷积层3输出的特征图进行处理，得到第二组的优化特征图，然后将该优化特征图与卷积层6输出的特征图进行拼接，拼接后的特征图输入至卷积层7以进行卷积处理。

在图6中，第二阶段处理单元还包括卷积层9，该卷积层与第二阶段处理单元中的末个卷积层8连接，用于对通过卷积层8的拼接通道1进行拼接后的特征图进行卷积处理，得到优化医学图像。该优化医学图像中形成有目标对象的形成区域，且优化医学图像与医学图像之间具有等同的尺寸大小。

本领域的技术人员可以理解，图6中公开的病灶识别模型具有V-NET网络模型的一些特性，即使用卷积操作来提取数据的特征，于此同时在每个卷积层内通过合适的步长来降低数据的分辨率。整个结构的左边的第一阶段处理单元是一个逐渐降采样的路径，而右边是一个逐渐升采样的路径，最终输出的大小是和图像原始尺寸一样大的。图6中左边的降采样路径被分为了多个卷积步骤，每个步骤都具有相同的分辨率，每个步骤都包含1-3个卷积核，并且，在每个步骤结束之后特征图的大小减半，因为图像分辨率降低和残差网络的形式，从而将特征图的通道数进行的翻倍。在整个左边的各个步骤中均使用PReLu非线性激活函数。可以理解，降采样过程有利于在接下来的网络层中减小输入信号的尺寸同时扩大特征的感受野范围，下一层感受到的特征数量是上一层的两倍。

同样，图6中右边的升采样路径也被分为多个卷积步骤，每个步骤具有相同的分辨率，每个步骤都包括1-3个卷积核，该升采样路径主要是提取特征和扩展低分辨率的空间支持以组合必要的信息，从而输出一个两通道的体数据分割。最后一个卷积层9使用的卷积核大小是1x1x1，输出的大小与原输入大小一致，两个特征图通过这个卷积层来利用softmax来生成前景和背景的分割概率图。在右边升采样路径中每个步骤的最后，通过一个解卷积操作来恢复输入数据的大小。于此同时，在降采样路径中每个步骤输出的特征图都会作为输入的一部分加入到右边升采样路径对应的步骤中，这样就能够保留一部分由于降采样而丢失的信息，从而提高最终边界分割的准确性，同时利于提高模型的收敛速度。

在本实施例中，请参考图7，所涉及的病灶识别模型的建立过程可以包括步骤S310-S320，下面分别说明。

步骤S310，根据历史的医学图像建立训练集，利用训练集对病灶识别模型进行训练。

步骤S320，通过历史的优化医学图像的总损失函数对病灶识别模型进行参数估计。这里的总损失函数的公式可以表示为

其中，下标i表示第一阶段处理单元中首个卷积层和末个卷积层之外的每个卷积层的序号，loss_i表示序号为i的卷积层的拼接通道上产生的检测偏差，该检测偏差由权利要求1-3中任一项的检测方法对拼接通道上的历史的特征图进行处理时而得到；loss(seg)为对历史的优化医学图像中的每个像素求交叉熵的权重和，且loss(seg)＝-∑(1-p)²*log(p)，其中p为历史的优化医学图像中的每个像素对应的值(即医学图像中每个像素经过病灶识别模型后的值)经过softmax函数后而得到的概率值。如果仅对图6中的卷积层2、卷积层3的拼接通道上历史的特征图进行卷积神经网络的处理(如YOLO网络的处理思想)，那么序号i可以取的值就是1、2，loss₁表示卷积层2的拼接通道上产生的检测偏差，loss₂表示卷积层3的拼接通道上产生的检测偏差。

在本实施例中，loss1、loss2均为均方和误差，用来优化模型参数，即网络输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方和误差。

为清楚地说明本实施例中所公开技术方案的应用效果，这里以肾肿瘤的CT图像为例进行效果说明。当使用标准的V-Net网络进行训练及识别时，最终得到的CT图像如图9所示，其中肾肿瘤区域往往为空，甚至检测不到，这是因为肾肿瘤目标太小，而无法精准分割所致。当使用本实施例所提供的病灶识别模型对肾肿瘤的CT图像进行训练及识别时，可以得到如图10所示的CT图像，可以清晰地分割出肾肿瘤的所在位置，能够帮助医务人员对患者的肿瘤情况进行进一步地分析，并且，图10中CT图像的分割结果与与金标准(熟练医务人员的人为标记)非常接近。

本领域的技术人员可以理解，在实施本实施例中公开的医学图像分割方法时，可以带来一些有益的应用效果：(1)在本申请的医学图像分割方法中对一些特征图进行了卷积神经网络的处理，那么将得到的优化特征图与其它的特征图进行拼接处理时，能够在病灶识别模型的特征图中突出目标对象的形成区域，且弱化周围区域，促使网络模型重点学习目标对象的特征，从而更准确地从医学图像中识别得到小目标的病灶，提高学习效率的同时也可保证更为准确的学习结果；(2)由于利用检测方法仅对病灶识别模型中中间部分卷积层的拼接通道上的特征图进行处理，既在网络学习中强化了目标对象的形成区域，也可避免首个卷积层因卷积网络数目较少而导致的提取信息不够丰富且不能有效检测目标对象位置的情形发生，还可避免末个卷积层因感知野过大和特征图较小而导致的提取信息的语义过于复杂且不能有效检测目标对象位置的情形发生；(3)在病灶识别模型的建立过程中，由于通过历史的优化医学图像的总损失函数对病灶识别模型进行参数估计，使得总损失函数中的交叉熵运算能够对难以分割的像素提供更高的函数值，加强对这些像素的重视力度，进一步地提高小目标病灶的分割准确度。

实施例三、

请参考图8，在实施例二中公开的用于医学图像的医学图像分割方法的基础上，本申请对应公开一种用于医学图像的目标识别装置4，其主要包括获取单元41、模型处理单元42、识别单元43，下面分别说明。

获取单元41用于获取目标对象的医学图像，目标对象为组织器官上形成的病灶。在本实施例中，可以用常见的医疗影像设备来对患者的特定组织器官进行拍摄，从而来获得诸如CT图像、核磁共振图像、PET图像、DSA图像的医学图像，而目标对象可以是肾肿瘤、肺肿瘤、肝肿瘤、胃肿瘤等类型的病灶，此类病灶往往形成于患者的内部组织器官上，具有小目标(直径往往在毫米级)、低区分度的特征。

模型处理单元42与获取单元41连接，用于将医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于目标对象的形成区域对医学图像进行分割。关于模型处理单元42的功能可以参考实施例二中的步骤S200，这里不再进行赘述。

识别单元43与模型处理单元42连接，用于根据医学图像分割后的结果对目标对象进行识别。

在本实施例中，模型处理单元42中的病灶识别模型包括多个卷积层依次串联组成的第一阶段处理单元和第二阶段处理单元。其中，第二阶段处理单元中的首个卷积层与第一阶段处理单元中的末个卷积层连接，第二阶段处理单元中的各个卷积层与第一阶段处理单元中的各个卷积层之间形成一一对应关系，且第二阶段处理单元中的末个卷积层与第一阶段处理单元中的首个卷积层形成对应关系。并且，第一阶段处理单元中的每个卷积层和第二阶段处理单元中对应的卷积层之间设有拼接通道，拼接通道用于将第一阶段处理单元中的每个卷积层输出的特征图拼接至第二阶段处理单元中对应的卷积层输出的特征图之中，且根据实施例一中的检测方法对部分或全部所述拼接通道上的特征图进行处理，以分别得到优化特征图。此外，在该病灶识别模型中，第二阶段处理单元还包括另一个的卷积层，该另一个的卷积层与第二阶段处理单元中的末个卷积层连接，用于对通过第二阶段处理单元中的末个卷积层的拼接通道进行拼接后的特征图进行卷积处理，得到优化医学图像。该优化医学图像中形成有目标对象的形成区域，且该优化医学图像与医学图像之间具有等同的尺寸大小。

在本实施例中，该目标识别装置4还可以包括与模型建立单元44，用于对模型处理单元42中的病灶识别模型进行参数估计。该模型建立单元44可以根据历史的医学图像建立训练集，利用训练集对病灶识别模型进行训练，并且通过历史的优化医学图像的总损失函数对病灶识别模型进行参数估计。该模型建立单元44的功能可以具体参考实施例二中的步骤S310-S320，这里不再进行赘述。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种用于医学图像分割的检测方法，其特征在于，包括：

获取目标对象的医学图像以及与所述医学图像相对应的特征图，所述目标对象为组织器官上形成的病灶；

利用卷积神经网络对所述特征图进行处理，得到所述特征图的特征信息，所述特征信息包括划分所述特征图形成的多个格子、每个所述格子内特征的类别概率以及利用每个所述格子预测得到的多个边界框和每个所述边界框内特征的置信度；

根据所述特征信息从多个所述格子中获取最大的类别概率所对应的所述格子，以及从获取的所述格子预测得到的多个所述边界框中获取最大的置信度所对应的边界框；

根据获取的所述边界框生成一个与所述特征图等尺寸大小的权重表，所述权重表中的权重值按照确定出的所述边界框在所述特征图中的相对位置而进行衰减分布；

将所述权重表与所述特征图进行逐位相乘，得到优化特征图，所述优化特征图用于在所述医学图像分割时检测获得所述目标对象的形成区域。

2.如权利要求1所述的检测方法，其特征在于，所述利用卷积神经网络对所述特征图进行处理，得到所述特征图的特征信息，包括：

将所述特征图输入至预设的YOLO网络，检测得到所述特征图的特征信息；所述YOLO网络包括多个卷积层和多个全连接层，其中，所述YOLO网络的每个卷积层用来提取所述特征图中的特征，所述YOLO网络的每个全连接层用来预测特征的图像位置和类别概率；

所述YOLO网络的前端设有SPP网络，所述SPP网络用于对所述特征图的尺寸进行调整，以适应于所述全连接层的输入特性；

所述特征信息由长度是S*S*(B*5+C)的特征向量构成，其中，所述参数S表示所述特征图在划分后形成的一行或一列格子的数目，所述参数B表示利用每个所述格子预测得到的边界框的数目，所述参数5表示每个所述边界框的特征维数且具有坐标x、坐标y、宽度w、高度h、置信度对应的五个维度，所述参数C表示每个所述格子内特征的类别的数目。

3.如权利要求2所述的检测方法，其特征在于，所述根据获取的所述边界框生成一个与所述特征图等尺寸大小的权重表，所述权重表中的权重值按照获取的所述边界框在所述特征图中的相对位置而进行线性衰减分布；其中所述权重表的生成过程包括：

形成与所述特征图等尺寸大小的数值表，以在所述数值表内的各个数值位置上设置数值；

按照获取的所述边界框确定该边界框在所述特征图中的相对位置，并在所述数值表内将与所述相对位置一致的数值位置上设置第一值，在所述特征表内将最外围的数值位置上设置第二值，按照所述第一值和所述第二值的衰减变化设置其它数值位置的数值，且满足第一值大于第二值。

4.一种医学图像分割方法，其特征在于，包括：

获取目标对象的医学图像，所述目标对象为组织器官上形成的病灶；

将所述医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于所述目标对象的形成区域对所述医学图像进行分割；

根据所述医学图像分割后的结果对所述目标对象进行识别；

所述病灶识别模型包括多个卷积层依次串联组成的第一阶段处理单元和第二阶段处理单元；所述第二阶段处理单元中的首个卷积层与所述第一阶段处理单元中的末个卷积层连接，所述第二阶段处理单元中的各个卷积层与所述第一阶段处理单元中的各个卷积层之间形成一一对应关系，且所述第二阶段处理单元中的末个卷积层与所述第一阶段处理单元中的首个卷积层形成对应关系；所述第一阶段处理单元中的每个卷积层和所述第二阶段处理单元中对应的卷积层之间设有拼接通道，所述拼接通道用于将所述第一阶段处理单元中的每个卷积层输出的特征图拼接至所述第二阶段处理单元中对应的卷积层输出的特征图之中，且根据权利要求1-3中任一项所述的检测方法对部分或全部所述拼接通道上的特征图进行处理，以分别得到优化特征图。

5.如权利要求4所述的医学图像分割方法，其特征在于，所述将所述医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于所述目标对象的形成区域对所述医学图像进行分割，包括：

将所述医学图像输入至所述病灶识别模型中的第一阶段处理单元，以使得所述第一阶段处理单元的各个卷积层分别输出一组特征图；所述第一阶段处理单元中的首个卷积层用于对输入的所述医学图像进行降采样处理且输出一组特征图，所述第一阶段处理单元中首个卷积层之外的每个卷积层用于对上一个卷积层输出的特征图进行降采样处理且输出一组特征图；

将所述第一阶段处理单元中的末个卷积层输出的特征图输入至所述第二阶段处理单元，以使得所述第二阶段处理单元的各个卷积层分别输出一组特征图；并且，将所述第一阶段处理单元中的每个卷积层输出的特征图通过该卷积层的拼接通道与所述第二阶段处理单元中对应的卷积层输出的特征图进行拼接；

选取所述第一阶段处理单元中首个卷积层和末个卷积层之外的各个卷积层，根据权利要求1-3中任一项所述的检测方法对选取的各个卷积层的拼接通道上的特征图分别进行处理，以分别得到优化特征图；

将所述优化特征图与所述第二阶段处理单元中对应的卷积层输出的特征图进行拼接，将拼接后的特征图输入至该对应的卷积层的下一个卷积层，卷积处理后输出的特征图中生成有所述目标对象的形成区域。

6.如权利要求5所述的医学图像分割方法，其特征在于，在所述病灶识别模型中，所述第二阶段处理单元还包括另一个的卷积层，所述另一个的卷积层与所述第二阶段处理单元中的末个卷积层连接，用于对通过所述第二阶段处理单元中的末个卷积层的拼接通道进行拼接后的特征图进行卷积处理，得到优化医学图像；所述优化医学图像中形成有所述目标对象的形成区域，且所述优化医学图像与所述医学图像之间具有等同的尺寸大小。

7.如权利要求6所述的医学图像分割方法，其特征在于，所述病灶识别模型的建立过程为：

根据历史的所述医学图像建立训练集，利用所述训练集对所述病灶识别模型进行训练，通过历史的所述优化医学图像的总损失函数对所述病灶识别模型进行参数估计；

所述总损失函数的公式表示为

其中，下标i表示所述第一阶段处理单元中首个卷积层和末个卷积层之外的每个卷积层的序号，为loss_i表示序号为i的卷积层的拼接通道上产生的检测偏差，所述检测偏差由权利要求1-3中任一项所述的检测方法对拼接通道上的历史的特征图进行处理时而得到；loss(seg)为对历史的所述优化医学图像中的每个像素求交叉熵的权重和，且loss(seg)＝-∑(1-p)²*log(p)，其中p为历史的所述优化医学图像中的每个像素对应的值经过softmax函数后而得到的概率值。

8.一种医学图像分割装置，其特征在于，包括：

获取单元，用于获取目标对象的医学图像，所述目标对象为组织器官上形成的病灶；

模型处理单元，用于将所述医学图像输入至预先建立的病灶识别模型，检测获得所述目标对象的形成区域且集中于所述目标对象的形成区域对所述医学图像进行分割；

识别单元，用于根据所述医学图像分割后的结果对所述目标对象进行识别；

其中，所述病灶识别模型包括多个卷积层依次串联组成的第一阶段处理单元和第二阶段处理单元；所述第二阶段处理单元中的首个卷积层与所述第一阶段处理单元中的末个卷积层连接，所述第二阶段处理单元中的各个卷积层与所述第一阶段处理单元中的各个卷积层之间形成一一对应关系，且所述第二阶段处理单元中的末个卷积层与所述第一阶段处理单元中的首个卷积层形成对应关系；所述第一阶段处理单元中的每个卷积层和所述第二阶段处理单元中对应的卷积层之间设有拼接通道，所述拼接通道用于将所述第一阶段处理单元中的每个卷积层输出的特征图拼接至所述第二阶段处理单元中对应的卷积层输出的特征图之中，且根据权利要求1-3中任一项所述的检测方法对部分或全部所述拼接通道上的特征图进行处理，以分别得到优化特征图。

9.如权利要求8所述的医学图像分割装置，其特征在于，所述目标对象包括肾肿瘤、肺肿瘤、肝肿瘤和胃肿瘤中的一者或多者，所述医学图像包括CT图像、核磁共振图像、PET图像、DSA图像中的一者或多者。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的方法。

Images