CN110110723B - 一种图像中目标区域自动提取的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图像中目标区域自动提取的方法及装置，方法包括：获取原始图像，根据第一预设标准提取原始图像中目标区域的第一对象和第二对象，得到训练集；根据训练集对原始图像进行训练，得到深度学习分割模型；根据第二预设标准提取训练集中的第一子对象和第二子对象，得到包含第一子对象和所述第二子对象的验证集；根据验证集对深度学习分割模型进行验证，若通过验证，则将第一子对象和第二子对象确定为原始图像的对象分割结果。通过第一预设标准进行粗提取，得到两个对象的训练集对原始图像进行训练，并通过第二预设标准对训练得到的深度学习分割模型进行验证，确定对象分割结果，大大提高了图像分割结果的正确率。

Description

一种图像中目标区域自动提取的方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及一种图像中目标区域自动提取的方法及装置。

背景技术

随着计算机技术和人工智能的发展，图像处理的应用越来越广泛。图像分割是图像处理和计算机视觉的一个关键问题，通常指按照一定的标准将图像划分成若干互不相交的区域，使同一区域内的图像灰度、彩色、纹理等特征表现出一致性或相似性，而在不同区域之间这些特征表现出明显的差异。图像分割体现了对图像内容的理解，但由于缺乏统一标准，图像中有意义的目标往往具有多层次(尺度)的特点。

现有的图像处理过程中，往往需要对图像中不同的对象进行识别和分割，但是对于结构较为相似的对象，在图像处理过程中的自动分割十分困难，现有技术中对于相似对象的图像分割结果的正确率较低。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种图像中目标区域自动提取的方法及装置。

第一方面，本发明实施例提出一种图像中目标区域自动提取的方法，包括：

获取原始图像，根据第一预设标准提取所述原始图像中目标区域的第一对象和第二对象，得到包含所述第一对象和所述第二对象的训练集；

根据所述训练集对所述原始图像进行训练，得到深度学习分割模型；

根据第二预设标准提取所述训练集中的第一子对象和第二子对象，得到包含所述第一子对象和所述第二子对象的验证集；

根据所述验证集对所述深度学习分割模型进行验证，若通过验证，则将所述第一子对象和所述第二子对象确定为所述原始图像的对象分割结果；

其中，所述第一子对象为所述第一对象的子对象，所述第二子对象为所述第二对象的子对象。

第二方面，本发明实施例还提出一种图像中目标区域自动提取的装置，包括：

图像提取模块，用于获取原始图像，根据第一预设标准提取所述原始图像中目标区域的第一对象和第二对象，得到包含所述第一对象和所述第二对象的训练集；

图像训练模块，用于根据所述训练集对所述原始图像进行训练，得到深度学习分割模型；

对象提取模块，用于根据第二预设标准提取所述训练集中的第一子对象和第二子对象，得到包含所述第一子对象和所述第二子对象的验证集；

模型验证模块，用于根据所述验证集对所述深度学习分割模型进行验证，若通过验证，则将所述第一子对象和所述第二子对象确定为所述原始图像的对象分割结果；

其中，所述第一子对象为所述第一对象的子对象，所述第二子对象为所述第二对象的子对象。

第三方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过第一预设标准进行粗提取，得到两个对象的训练集对原始图像进行训练，并通过第二预设标准对训练得到的深度学习分割模型进行验证，确定对象分割结果，大大提高了图像分割结果的正确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种图像中目标区域自动提取的方法的流程示意图；

图2为本发明另一实施例提供的一种图像中目标区域自动提取的方法的流程示意图；

图3为本发明一实施例提供的一种图像中目标区域自动提取的装置的结构示意图；

图4为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种图像中目标区域自动提取的方法的流程示意图，包括：

S101、获取原始图像，根据第一预设标准提取所述原始图像中目标区域的第一对象和第二对象，得到包含所述第一对象和所述第二对象的训练集。

其中，所述第一预设标准为基于最小路径的分割方法实现所述第一对象和所述第二对象的粗提取，得到预设数量的与第一目标对象和第二目标对象相似的结构。

所述目标区域为当前原始图像中需要进行对象自动提取的区域。

具体地，假设第一目标对象和第二目标对象为原始图像中需要进行分割的两个不同的对象，则所述第一对象和所述第二对象分别为进行粗提取后第一目标对象和第二目标对象对应的粗提取对象。

所述训练集为进行深度学习分割模型训练所用的进行粗提取后的图像集合。

S102、根据所述训练集对所述原始图像进行训练，得到深度学习分割模型。

S103、根据第二预设标准提取所述训练集中的第一子对象和第二子对象，得到包含所述第一子对象和所述第二子对象的验证集。

其中，所述第一子对象为所述第一对象的子对象，所述第二子对象为所述第二对象的子对象。

所述第二预设标准为对所述第一对象和所述第二对象进行手动标注和筛选后，得到所述第一子对象和所述第二子对象。

所述验证集为对深度学习分割模型进行验证所用的图像集合。

S104、根据所述验证集对所述深度学习分割模型进行验证，若通过验证，则将所述第一子对象和所述第二子对象确定为所述原始图像的对象分割结果。

本实施例通过第一预设标准进行粗提取，得到两个对象的训练集对原始图像进行训练，并通过第二预设标准对训练得到的深度学习分割模型进行验证，确定对象分割结果，大大提高了图像分割结果的正确率。

进一步地，在上述方法实施例的基础上，所述图像中目标区域自动提取的方法还包括：

S105、若未通过验证，则根据所述深度学习分割模型对所述训练集进行分割，得到分割结果，并将所述训练集和所述分割结果合并为更新后的训练集，重新对所述原始图像进行训练。

具体地，若验证集对所述深度学习分割模型进行验证后未通过验证，则说明当前的深度学习分割模型不符合要去，需要重新生成。因此需要根据所述深度学习分割模型对所述训练集进行分割，得到分割结果，并将所述训练集和所述分割结果合并为更新后的训练集，重新对所述原始图像进行训练，训练得到新的深度学习分割模型后，重新通过验证集对其进行验证，如此反复，直到深度学习分割模型通过验证集的验证才结束，以保证对象分割结果的正确率。

进一步地，在上述方法实施例的基础上，S102具体包括：

根据基于混合标注数据的半监督迭代训练策略和所述训练集对所述原始图像进行训练，得到深度学习分割模型。

其中，所述基于混合标注数据的半监督迭代训练策略为一种机器学习策略，用于进行模型训练。

通过基于混合标注数据的半监督迭代训练策略，能够快速准确地训练得到深度学习分割模型。

进一步地，在上述方法实施例的基础上，S102具体包括：

根据输入子块大于感受野子块的策略，从所述训练集中选取相同数量的对象样本和背景样本。

根据所述对象样本和所述背景样本对所述原始图像进行训练，得到图像分割结果。

采用全连接条件随机场(CRF，Conditional Random Fields)对所述图像分割结果进行后处理优化，得到深度学习分割模型。

对象分割处理方法可以应用在很多领域，例如对树木图像中叶子和树枝的分割，对街道图像中路人和建筑物的分割，等等。具体地，以手术导航系统为例，如图2所示，在一个手术导航系统中，通过对患者术前的核磁共振、CT等医学图像进行有效地分析是术中手术导航的重要保证，对每一个目标组织进行精确地分割是基本且重要的要求。为了提高手术导航引导系统在引导手术过程中的精确性和安全性，弥补一些颅底的小血管和神经无法在导航中显示的不足，本专利实现了对颅底小血管、神经的智能分割。在手术导航中，帮助医生在手术过程中更好的避开颅底的小血管和神经，从而提高手术的精确率和减少一些对人体不必要的创伤。

从CTA(冠状动脉CT血管造影)图像中精确提取出颅底血管能够为医生提供精确的血管结构信息。由于颅底血管结构复杂，在CTA图像中造影剂分布不均，存在大量噪声，并且与周围复杂组织相邻，导致颅底血管的手动和自动分割存在较大的挑战。同样地，在颅底神经分割中也存在这样的问题。所以，采用基于半监督迭代全卷积神经网络的方法实现颅底血管和神经的自动精确提取。

训练阶段的金标准分为两类：第一类是利用基于最小路径的分割方法实现血管和神经的粗提取，得到大量接近于金标准的血管、神经结构，用来在训练过程中作为训练的“粗金标准”；第二类是通过手动标注得到的少量金标准，作为训练过程中用来判断学习模型优劣的验证集。分别对应于上述实施例中的第一预设标准和第二预设标准。

具体来说，采用基于混合标注数据的半监督迭代训练策略，首先利用原始图像和粗提取的金标准

作为训练集，得到深度学习分割模型，然后通过包含少量金标准的验证集对学习得到的分割模型进行测试验证，判断训练迭代是否停止，停止则输出训练模型，否则用分割模型去分割训练集得到分割结果

由于分割模型对于管状结构具有较强的分割能力，能够分割得到“粗金标准”没有标注出来的血管和神经结构，这样合并

和

的结果作为下一次迭代训练的金标准

迭代训练直到满足停止条件。

采用基于多尺度的多通道卷积神经网络用于分割模型训练，输入样本由大小一致的多分辨率子块组成，原分辨率通道尺度较小，保留更加丰富的局部信息，而低分辨率通道具有更大的感受野，具有更加全局的信息，网络由并行的全卷积神经网络通道组成。为了解决样本不平衡的问题，采用输入子块大于感受野的子块的策略，从训练集中选取相同数量的血管样本和背景样本，由于本网络结构采用全卷积神经网络，可以输出大于感受野的稠密推断，获得逐像素的输出，同时可以避免全图像作为输入造成的内存负载问题。采用交叉熵作为第(i+1)次迭代时的损失函数：

其中，Φⁱ⁺¹是(i+1)次迭代时CNN的参数，

是(i+1)次迭代时的第j个子块和对应的标注，批尺寸为B，P为样本I^j的分割预测概率，后两项为正则化项，防止过拟合。

由于在迭代训练过程中金标准都是由上一次的金标准和分割结果的综合得到，该金标准仍会存在一些欠分割和过分割的区域，导致最终的分割结果仍然比较粗糙，所以本项目拟采用全连接CRF对分割结果进行后处理优化，CRF能够构建当前点和图像上所有点的上下文关系，对粗分割结果做进一步细分割，能量函数如下：

其中，

表示迭代训练最终模型的分割预测概率，

为平滑项，表示像素m和n二元势之和。w₁项用来平滑移除独立的小区域噪声，w₂项用来惩罚像素m和n之间的灰度相似性和距离。p_m,d和p_n,d表示特征空间坐标，I_m和I_n像素灰度，μ(l_m,l_n)表示单位阶跃函数。

本实施例提供的手术导航方法可以帮助医生在手术的过程中，扩大医生的视野，显示一些之前无法观察到的信息，最终达到缩短手术的整体时间，减少手术创伤和一些并发症的产生和有效帮助医生提高手术精度。其次，通过手术导航系统对手术过程进行分析，在后续的手术分析中，可以对手术过程进行再次的评估，结果会对后续手术产生积极影响。医生在进行颅底手术过程中，由于颅底内部的结构较为复杂，有许多微小且重要的组织遍布其中。血管和神经比较丰富，并且由于个体的差异，医生若只能通过经验来手术的话会增加手术的风险，若误伤到重要的组织还会造成严重的后果。通过手术导航的方式可以很大程度上避免一些这种意外的发生。

图3示出了本实施例提供的一种图像中目标区域自动提取的装置的结构示意图，所述装置包括：图像提取模块301、图像训练模块302、对象提取模块303和模型验证模块304，其中：

所述图像提取模块301用于获取原始图像，根据第一预设标准提取所述原始图像中目标区域的第一对象和第二对象，得到包含所述第一对象和所述第二对象的训练集；

所述图像训练模块302用于根据所述训练集对所述原始图像进行训练，得到深度学习分割模型；

所述对象提取模块303用于根据第二预设标准提取所述训练集中的第一子对象和第二子对象，得到包含所述第一子对象和所述第二子对象的验证集；

所述模型验证模块304用于根据所述验证集对所述深度学习分割模型进行验证，若通过验证，则将所述第一子对象和所述第二子对象确定为所述原始图像的对象分割结果；

其中，所述第一子对象为所述第一对象的子对象，所述第二子对象为所述第二对象的子对象。

具体地，所述图像提取模块301获取原始图像，根据第一预设标准提取所述原始图像中目标区域的第一对象和第二对象，得到包含所述第一对象和所述第二对象的训练集；所述图像训练模块302根据所述训练集对所述原始图像进行训练，得到深度学习分割模型；所述对象提取模块303根据第二预设标准提取所述训练集中的第一子对象和第二子对象，得到包含所述第一子对象和所述第二子对象的验证集；所述模型验证模块304根据所述验证集对所述深度学习分割模型进行验证，若通过验证，则将所述第一子对象和所述第二子对象确定为所述原始图像的对象分割结果。

本实施例通过第一预设标准进行粗提取，得到两个对象的训练集对原始图像进行训练，并通过第二预设标准对训练得到的深度学习分割模型进行验证，确定对象分割结果，大大提高了图像分割结果的正确率。

进一步地，在上述装置实施例的基础上，所述图像中目标区域自动提取的装置还包括：

训练集分割模块，用于若未通过验证，则根据所述深度学习分割模型对所述训练集进行分割，得到分割结果，并将所述训练集和所述分割结果合并为更新后的训练集，重新对所述原始图像进行训练。

进一步地，在上述装置实施例的基础上，所述图像训练模块302具体用于根据基于混合标注数据的半监督迭代训练策略和所述训练集对所述原始图像进行训练，得到深度学习分割模型。

进一步地，在上述装置实施例的基础上，所述第一预设标准为基于最小路径的分割方法实现所述第一对象和所述第二对象的粗提取，得到预设数量的与所述第一目标对象和所述第二目标对象相似的结构；

所述第二预设标准为对所述第一对象和所述第二对象进行手动标注和筛选后，得到所述第一子对象和所述第二子对象。

进一步地，在上述装置实施例的基础上，所述图像训练模块302具体用于：

根据输入子块大于感受野子块的策略，从所述训练集中选取相同数量的对象样本和背景样本；

根据所述对象样本和所述背景样本对所述原始图像进行训练，得到图像分割结果；

采用全连接条件随机场对所述图像分割结果进行后处理优化，得到深度学习分割模型。

本实施例所述的图像中目标区域自动提取的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图4，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；

其中，

所述处理器401和存储器402通过所述总线403完成相互间的通信；

所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像中目标区域自动提取的方法，其特征在于，包括：

获取原始图像，根据第一预设标准提取所述原始图像中目标区域的第一对象和第二对象，得到包含所述第一对象和所述第二对象的训练集，所述第一预设标准为基于最小路径的分割方法实现所述第一对象和所述第二对象的粗金标准；

根据所述训练集对所述原始图像进行训练，得到深度学习分割模型；

根据第二预设标准提取所述训练集中的第一子对象和第二子对象，得到包含所述第一子对象和所述第二子对象的验证集，所述第二预设标准为对所述第一对象和所述第二对象进行手动标注和筛选的少量金标准，所述第一子对象为所述第一对象的子对象，所述第二子对象为所述第二对象的子对象；

根据所述验证集对所述深度学习分割模型进行验证，所述验证是通过判断训练迭代是否满足交叉熵停止条件进行验证，迭代停止则表示验证通过，采用交叉熵作为第(i+1)次迭代时的损失函数：

其中，Φⁱ⁺¹是(i+1)次迭代时CNN的参数，

是(i+1)次迭代时的第j个子块和对应的标注，批尺寸为B，P为样本I^j的分割预测概率，后两项为正则化项；

若通过验证，则将所述第一子对象和所述第二子对象确定为所述原始图像的对象分割结果，并基于能量函数对分割结构进行后处理优化，所述能量函数为：

其中，

表示迭代训练最终模型的分割预测概率，

为平滑项，表示像素m和n二元势之和。

2.根据权利要求1所述的图像中目标区域自动提取的方法，其特征在于，所述图像中目标区域自动提取的方法还包括：

若未通过验证，则根据所述深度学习分割模型对所述训练集进行分割，得到分割结果，并将所述训练集和所述分割结果合并为更新后的训练集，重新对所述原始图像进行训练。

3.根据权利要求1所述的图像中目标区域自动提取的方法，其特征在于，所述根据所述训练集对所述原始图像进行训练，得到深度学习分割模型，具体包括：

根据基于混合标注数据的半监督迭代训练策略和所述训练集对所述原始图像进行训练，得到深度学习分割模型。

4.根据权利要求1所述的图像中目标区域自动提取的方法，其特征在于，所述第一预设标准为基于最小路径的分割方法实现所述第一对象和所述第二对象的粗提取，得到预设数量的与第一目标对象和第二目标对象相似的结构；

所述第二预设标准为对所述第一对象和所述第二对象进行手动标注和筛选后，得到所述第一子对象和所述第二子对象。

5.根据权利要求1所述的图像中目标区域自动提取的方法，其特征在于，所述根据所述训练集对所述原始图像进行训练，得到深度学习分割模型，具体包括：

根据输入子块大于感受野子块的策略，从所述训练集中选取相同数量的对象样本和背景样本；

根据所述对象样本和所述背景样本对所述原始图像进行训练，得到图像分割结果；

采用全连接条件随机场对所述图像分割结果进行后处理优化，得到深度学习分割模型。

6.一种图像中目标区域自动提取的装置，其特征在于，包括：

图像提取模块，用于获取原始图像，根据第一预设标准提取所述原始图像中目标区域的第一对象和第二对象，得到包含所述第一对象和所述第二对象的训练集，所述第一预设标准为基于最小路径的分割方法实现所述第一对象和所述第二对象的粗金标准；

图像训练模块，用于根据所述训练集对所述原始图像进行训练，得到深度学习分割模型；

对象提取模块，用于根据第二预设标准提取所述训练集中的第一子对象和第二子对象，得到包含所述第一子对象和所述第二子对象的验证集，所述第二预设标准为对所述第一对象和所述第二对象进行手动标注和筛选的少量金标准，所述第一子对象为所述第一对象的子对象，所述第二子对象为所述第二对象的子对象；

模型验证模块，用于根据所述验证集对所述深度学习分割模型进行验证，所述验证是通过判断训练迭代是否满足交叉熵停止条件进行验证，迭代停止则表示验证通过，采用交叉熵作为第(i+1)次迭代时的损失函数：

其中，Φⁱ⁺¹是(i+1)次迭代时CNN的参数，

是(i+1)次迭代时的第j个子块和对应的标注，批尺寸为B，P为样本I^j的分割预测概率，后两项为正则化项；

若通过验证，则将所述第一子对象和所述第二子对象确定为所述原始图像的对象分割结果，并基于能量函数对分割结构进行后处理优化，所述能量函数为：

其中，

表示迭代训练最终模型的分割预测概率，

为平滑项，表示像素m和n二元势之和。

7.根据权利要求6所述的图像中目标区域自动提取的装置，其特征在于，所述图像中目标区域自动提取的装置还包括：

训练集分割模块，用于若未通过验证，则根据所述深度学习分割模型对所述训练集进行分割，得到分割结果，并将所述训练集和所述分割结果合并为更新后的训练集，重新对所述原始图像进行训练。

8.根据权利要求6所述的图像中目标区域自动提取的装置，其特征在于，所述图像训练模块具体用于根据基于混合标注数据的半监督迭代训练策略和所述训练集对所述原始图像进行训练，得到深度学习分割模型。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一所述的图像中目标区域自动提取的方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一所述的图像中目标区域自动提取的方法。

Images