CN112258524A - 一种多分支图像分割方法、装置、介质及电子设备 - Google Patents

Abstract

本发明公开了一种多分支图像分割方法、分割装置、存储介质以及电子设备，通过对待分割图像进行下采样缩小图像尺寸并输入第一模型，得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后将待分割图像划分为多个区域图像，并将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合第一输出图像和第二输出图像以得到最终的分割结果，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果。

Description

一种多分支图像分割方法、装置、介质及电子设备

技术领域

本申请涉及图像处理领域，具体涉及一种多分支图像分割方法、分割装置、计算机可读存储介质以及电子设备。

背景技术

随着人工智能技术的不断发展，特别是在图像处理方面的技术，使得神经网络模型大量应用于以图像识别和分割为基层的领域，例如医学图像诊断、无人驾驶控制等。

然而，随着应用场景的不断复杂和准确度的需求，神经网络模型的复杂程度也日益增加，从而使得计算效率降低，这样就降低了神经网络模型的优越性。神经网络模型优化技术主要是寻求模型效果和效率之间的平衡，在保证模型效果(相对复杂的模型效果更佳)的同时，尽可能减少模型的计算量(提高计算效率)。目前，大多数研究方向都是对神经网络模型进行“瘦身”，即降低模型的复杂程度，这样显然是不利于模型的计算效果和准确度的。

发明内容

为了解决上述技术问题，本申请提出了一种多分支图像分割方法、分割装置、计算机可读存储介质以及电子设备，通过对待分割图像进行下采样缩小图像尺寸得到下采样图像，并将下采样图像输入第一模型，得到全局特征图像和第一输出图像，即利用第一模型得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后将待分割图像划分为多个区域图像，并将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合第一输出图像和第二输出图像以得到最终的分割结果，本申请应用于多分支图像的分割，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果；并且由于第一模型的输入为下采样的图像，第二模型的输入为带分割图像的一部分，因此，整个模型占用GPU显存较小，可以将整个过程放置在GPU上进行计算，运行速度大大提升。

根据本申请的一个方面，提供了一种多分支图像分割方法，包括：对待分割图像进行下采样操作，得到下采样图像；将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像；将所述待分割图像划分为多个区域图像；将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像；以及融合所述第一输出图像和所述第二输出图像，得到所述待分割图像的分割结果。

在一实施例中，所述将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像包括：将所述下采样图像输入第一模型，得到所述全局特征图像；以及对所述全局特征图像进行上采样操作，得到所述第一输出图像。

在一实施例中，所述全局特征图像包括所述待分割图像中每个像素点的类别概率，所述对所述全局特征图像进行上采样操作，得到所述第一输出图像包括：选取每个像素点的最大概率对应的类别作为该像素点的预测类别，得到所述全局特征图像的单类别预测图；以及对所述单类别预测图进行上采样操作，得到所述第一输出图像。

在一实施例中，所述将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像包括：将所述多个区域图像中的每个区域图像分别和所述全局特征图像输入所述第二模型，得到多个区域输出图像；以及将所述多个区域输出图像拼接，得到所述第二输出图像。

在一实施例中，所述将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像包括：选取所述多个区域图像中的至少一个区域图像和所述全局特征图像的对应区域图像输入所述第二模型，得到所述第二输出图像。

在一实施例中，所述融合所述第一输出图像和所述第二输出图像包括：将所述第一输出图像和所述第二输出图像对应像素点进行与操作。

在一实施例中，所述融合所述第一输出图像和所述第二输出图像，得到所述待分割图像的分割结果包括：将所述第二输出图像的分割边界作为所述分割结果的分割边界。

根据本申请的另一个方面，提供了一种多分支图像分割装置，包括：下采样模块，用于对待分割图像进行下采样操作，得到下采样图像；第一分割模块，用于将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像；分区模块，用于将所述待分割图像划分为多个区域图像；第二分割模块，用于将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像；以及融合模块，用于融合所述第一输出图像和所述第二输出图像，得到所述待分割图像的分割结果。

根据本申请的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的分割方法。

根据本申请的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的分割方法。

本申请提供的一种多分支图像分割方法、分割装置、计算机可读存储介质以及电子设备，通过对待分割图像进行下采样缩小图像尺寸得到下采样图像，并将下采样图像输入第一模型，得到全局特征图像和第一输出图像，即利用第一模型得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后将待分割图像划分为多个区域图像，并将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合第一输出图像和第二输出图像以得到最终的分割结果，本申请应用于多分支图像的分割，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果；并且由于第一模型的输入为下采样的图像，第二模型的输入为带分割图像的一部分，因此，整个模型占用GPU显存较小，可以将整个过程放置在GPU上进行计算，运行速度大大提升。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的一种多分支图像分割方法的流程示意图。

图2是本申请一示例性实施例提供的一种第一输出图像获取方法的流程示意图。

图3是本申请另一示例性实施例提供的一种第一输出图像获取方法的流程示意图。

图4是本申请一示例性实施例提供的一种多分支图像分割装置的结构示意图。

图5是本申请另一示例性实施例提供的一种多分支图像分割装置的结构示意图。

图6是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

深度学习(DL,Deep Learning)是机器学习(ML,Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标-人工智能(AI,ArtificialIntelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习提出了一种让计算机自动学习得到模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。

图像分割包括语义分割(semantic segmentation)和实例分割(instancesegmentation)，前者是对背景分离的拓展，要求分离开具有不同语义的图像部分，而后者是检测任务的拓展，要求描述出目标的轮廓(相比检测框更为精细)。分割是对图像的像素级别的描述，它赋予每个像素类别意义，适用于理解要求较高的场景，如无人驾驶中对道路和非道路的分割。

深度学习模型加速技术以“多快好省”为目标，试图从计算优化、系统优化以及硬件优化等多方面提升深度学习模型在训练和推理阶段的速度。其中，计算优化技术主要是寻求模型效果和效率之间的平衡，在保证模型效果的同时，尽可能减少模型的计算量，本发明对模型进行改进，是从计算优化对模型进行加速。目前业界主流的研究方向聚焦于复杂模型的“瘦身”方法，主要涉及以下几种技术方案：模型结构优化、模型剪枝、模型量化、知识蒸馏，其中，模型结构优化需要基于人工经验去设计一些具有相似功效的“轻型”计算组件来替换原模型中“重型”计算组件，比如CNN神经网络基于图像的局部感知原理设计滤波器计算组件来替代全连接神经网络，以局部计算和权值共享的方式实现了模型瘦身；模型剪枝，是由于深度学习模型的过度参数化，需要一些操作对模型进行瘦身，但是受底层底层计算平台限制较多，精度损失明显，适用于精度不敏感的模型推理应用场景；模型量化，通过减少表示每个权重参数所需的比特数来压缩原始网络，从而实现计算加速，如INT8量化，即将模型的权重参数从FP32转换为INT8，以及使用INT8进行推理。量化的加速主要得益于定点运算比浮点运算快，但从FP32量化为INT8会损失模型精度；模型蒸馏，本质上和迁移学习类似，只是它还多了一个模型压缩的目的，即通过模型蒸馏，将大模型压缩为小模型，使小模型可以跑得又快又好。所以，最基本的想法就是将大模型学习得到的知识作为先验，将先验知识传递到小规模的神经网络中，并在实际应用中部署小规模的神经网络，总的来说，模型蒸馏技术是通过用小模型替代大模型来实现推理阶段的加速，适用于推理阶段的加速。而在训练阶段，由于需要训练大模型，还需要付出额外的计算开销。

以上的模型压缩加速方法，没有具体针对多分支图像分割任务，在实践中，由于输入数据尺寸较大，模型较大，多分支输出类别较多等，都会限制模型最终的效果和性能。例如，通过下采样降低输入进网络的图像尺寸，可以减少GPU显存占用，但是模型输出结果需要上采样回原图尺寸，这样会产生输出结果边缘锯齿现象；按照图像切片的方式以原图分辨率进入网络，占用显存小，可以充分利用GPU资源，计算速度快，但是切片意味网络只能获取图像局部信息，最终效果不佳；多分支输出类别如果较多，直接在GPU上进行多类别输出，会导致显存占用过多，但是移到CPU上进行计算，会出现计算速度慢的问题。这些都是单一图像分割所遇到的问题，需要再速度和精度上进行取舍。

出于解决上述问题，本申请提供了一种多分支图像分割方法、分割装置、计算机可读存储介质以及电子设备，通过对待分割图像进行下采样缩小图像尺寸得到下采样图像，并将下采样图像输入第一模型，得到全局特征图像和第一输出图像，即利用第一模型得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后将待分割图像划分为多个区域图像，并将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合第一输出图像和第二输出图像以得到最终的分割结果，本申请应用于多分支图像的分割，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果；并且由于第一模型的输入为下采样的图像，第二模型的输入为带分割图像的一部分，因此，整个模型占用GPU显存较小，可以将整个过程放置在GPU上进行计算，运行速度大大提升。

示例性方法

图1是本申请一示例性实施例提供的一种多分支图像分割方法的流程示意图。如图1所示，该方法包括如下步骤：

步骤110：对待分割图像进行下采样操作，得到下采样图像。

随着摄像仪器的不断发展，获取到的待分割图像的分辨率越来越高，待分割图像的尺寸也是越来越大，对于神经网络模型而言，待分割图像的尺寸的增大会带来计算量的答复增加，从而占用较大显存和计算内存，导致计算效率降低，为了保证神经网络模型的计算效率，本申请实施例将待分割图像进行下采样操作，以得到待分割图像的下采样图像(即缩略图)，即将待分割图像的尺寸降低，但是并未改变待分割图像的全局位置等信息，因此，通过下采样操作，可以得到与待分割图像的感受野一样但尺寸较小的下采样图像，以降低后续神经网络模型的计算量。

步骤120：将下采样图像输入第一模型，得到全局特征图像和第一输出图像。

将得到的下采样图像输入第一模型，得到待分割图像的全局特征图像和第一输出图像，其中，第一模型可以是现有的图像分割的模型，在一实施例中，第一模型可以是深度学习神经网络模型，优选地，该神经网络模型可以是Unet神经网络模型。在一实施例中，第一模型的训练方式可以是：选取已经由专业医务人员分割并标注出对应分割区域的图像作为第一模型的训练样本来训练第一模型；并且第一模型在分割过程中得到的分割结果也可以由第三方检测机构进行验证和修改，并且可以将修改后的结果作为样本再次训练第一模型，从而进一步提高第一模型的分割精度。

由于下采样图像的全局位置信息与待分割图像的全局位置信息基本相同，因此，通过第一模型得到的全局特征图像较为准确，即全局特征图像中包含了待分割图像的全局位置信息等特征信息。第一输出图像是基于下采样图像得到的，而下采样图像的局部细节信息相对待分割图像而言较少，因此，第一输出图像的局部细节信息也较差，即第一输出图像的分辨率不高，为粗粒度的分割结果。

步骤130：将待分割图像划分为多个区域图像。

由于待分割图像的尺寸较大，即其中的像素点数量较多，为了提高计算效率，本申请实施例将待分割图像划分为多个区域图像，即将待分割图像分割为多个小块的区域图像，以得到像素点数量较少但分辨率(或尺寸)与待分割图像一致的区域图像，以供后续获取局部细节特征信息。

步骤140：将多个区域图像和全局特征图像输入第二模型，得到第二输出图像。

为了提高图像分割的精度，将区域图像和全局特征图像同时输入第二模型，以全局特征图像指导第二模型分割区域图像，即第二模型结合全局特征图像中的全局位置信息来分割分辨率与待分割图像一致的区域图像，从而可以得到分辨率较高的区域分割图像，然后综合多个区域分割图像，可以得到第二输出图像；其中，第二模型相对第一模型而言是一个小网络，即第二模型的参数少于第一模型的参数。在一实施例中，得到第二输出图像的具体方式可以是：将多个区域图像中的每个区域图像分别和全局特征图像输入第二模型，得到多个区域输出图像；并将多个区域输出图像拼接，得到第二输出图像。也就是说，分别将每个区域图像单独和全局特征图像对应的区域图像输入第二模型，由全局特征图像指导第二模型来分割该区域图像，以得到该区域图像的区域输出图像，在得到所有区域图像的区域输出图像后，将所有的区域输出图像拼接以得到第二输出图像，由于每个区域输出图像都是基于与待分割图像尺寸一致的区域图像得到，因此，区域输出图像包含了待分割图像中的局部细节特征信息，从而第二输出图像也包含了待分割图像中的局部细节特征信息。在一实施例中，相邻的区域图像存在重叠区域图像。通过设置重叠区域图像，可以为后续拼接提供一个拼接对齐的参考，并且由于区域图像在分割过程中可能会存在边缘不清楚的问题，利用重叠区域图像可以避免边缘不清楚而导致最终拼接的第二图像中存在不清楚部分。在另一实施例中，多个区域输出图像在拼接时，也可以以全局特征图像作为参考，即以全局特征图像中的全局位置信息来获取多个区域输出图像的位置，以完成多个区域输出图像的拼接。

在一实施例中，得到第二输出图像的具体方式还可以是：选取多个区域图像中的至少一个区域图像和全局特征图像的对应区域图像输入第二模型，得到第二输出图像。为了进一步提高计算效率，可以只选取多个区域图像中的一个或少数几个区域图像进行分割，其中该一个或少数几个区域图像可以是感兴趣区域图像，例如在进行肋骨分割时，只选取包含肋骨的一个或几个区域图像进行分割，从而可以降低计算量，同时避免其他区域图像的干扰。在一实施例中，至少一个区域图像的选取方式可以是：选取待分割图像中间预设尺寸的区域作为感兴趣区域，然后根据预设的区域图像尺寸将该感兴趣区域划分为至少一个区域图像。也就是说，先选取待分割图像中间位置的预设尺寸的区域作为要分割的感兴趣区域，然后确定该感兴趣区域是否大于预设的区域图像尺寸，若该感兴趣区域大于预设的区域图像尺寸，则按照预设的区域图像尺寸将该感兴趣区域划分为多个区域图像来分别分割。

步骤150：融合第一输出图像和第二输出图像，得到待分割图像的分割结果。

在分别得到粗粒度的第一输出图像和细粒度的第二输出图像后，可以将第一输出图像和第二输出图像进行融合，以得到待分割图像的分割结果。当然，应当理解，步骤150中的融合可以是将第一输出图像和第二输出图像进行组合得到一个分割结果，也可以分别输出第一输出图像和第二输出图像作为分割结果，以实现多分支的结果输出，例如在肋骨分割中，需要对全部骨头分割和肋骨编号分割(区分每根肋骨的类别)，第二模型的输出为细粒度的输出，其输出为简单任务的输出，输出为每个像素是否是骨头，1表示是骨头，0表示不是骨头；第一模型对应粗粒度输出，因为有图像全局信息，且一般模型比较复杂，参数较多，对应复杂任务的输出，可以有两个分支的输出，第一个分支输出为每个像素是哪种骨头(肋骨，肩胛骨，椎骨等)，但是不区分是不是骨头，第二个分支输出为每个像素是哪根肋骨(第一根，第二根等)但是不区分骨头类别。这里将第二模型的输出与第一模型的第一分支输出中对应的像素点进行与操作，即将第二模型的输出与第一模型的第一分支输出中对应的像素点的值(0或1)相乘，就可以得到骨头区域以及每个骨头对应的类别，将得到的肋骨区域乘以第一模型的第二分支输出就可以得到每根肋骨的区域。在一实施例中，第一输出图像可以是多个输出图像，例如上述实施例中的肋骨位置图像和肋骨编号图像等，通过对第一模型的输出分别进行一个或多个卷积操作，以得到对应的多个输出图像。

在一实施例中，融合第一输出图像和第二输出图像的具体方法可以是：将第一输出图像和第二输出图像进行加权平均。根据第一输出图像和第二输出图像的CT值，对第一输出图像和第二输出图像中对应位置的像素点的CT值进行加权平均，以得到融合后的分割结果。CT值是测定人体某一局部组织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfield unit，HU)，其中，空气的CT值为-1000，致密骨的CT值为+1000。实际上CT值是CT图像中各组织与X线衰减系数相当的对应值，CT值不是绝对不变的数值，它不仅与人体内在因素如呼吸、血流等有关，而且与X线管电压、CT装置、室内温度等外界因素有关。人体组织中除了骨骼以为，其他组织的CT值都在300以下且在-80以上，其中钙化点的CT值为80-300、脂肪的CT值为-20—-80。由于肋骨区域内基本为骨头，其CT值相对其他组织较高，因此可以设定CT值范围，选取CT值在该CT值范围内的连通区域作为肋骨区域图像。在进一步的实施例中，由于第一输出图像中包含了更多的全局位置信息，第二输出图像中包含了更多的局部细节信息，因此，可以设定在感兴趣区域(例如肋骨区域等)内第二输出图像的权重较大，而在非感兴趣区域内第一输出图像的权重较大，从而可以更加充分的利用第二输出图像的局部细节信息得到感兴趣区域的形状和轮廓，利用第一输出图像的全局位置信息得到感兴趣区域的位置信息，从而提高分割精度。

在另一实施例中，融合第一输出图像和第二输出图像的具体方法可以是：将第二输出图像的分割边界作为分割结果的分割边界。由于第二输出图像中包含了更多的局部细节信息，因此，得到的第二输出图像的边界较为光滑，将第二输出图像的分割边界(例如肋骨边界等)作为分割结果的分割边界，可以得到边界光滑的分割结果。

本申请提供的一种多分支图像分割方法，通过对待分割图像进行下采样缩小图像尺寸得到下采样图像，并将下采样图像输入第一模型，得到全局特征图像和第一输出图像，即利用第一模型得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后将待分割图像划分为多个区域图像，并将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合第一输出图像和第二输出图像以得到最终的分割结果，本申请应用于多分支图像的分割，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果。

图2是本申请一示例性实施例提供的一种第一输出图像获取方法的流程示意图。如图2所示，上述步骤120可以具体包括如下步骤：

步骤121：将下采样图像输入第一模型，得到全局特征图像。

下采样图像的全局位置信息与待分割图像的全局位置信息基本相同，因此，通过第一模型得到的全局特征图像包含了待分割图像的全局位置信息等特征信息和部分局部特征信息。

步骤122：对全局特征图像进行上采样操作，得到第一输出图像。

由于全局特征图像是基于上采样图像得到的，全局特征图像的分辨率小于原始的待分割图像的分辨率，为了得到与原始待分割图像的分辨率一致的输出图像，可以对全局特征图像进行上采样操作，以得到与原始待分割图像的分辨率一致的第一输出图像。一般分割模型是先做上采样操作，再进行每个类别预测，这样可以保证输出结果为细粒度输出，而本申请中的第一模型将两个操作反过来了，是为了降低第一模型运行过程中的显存占用，并且第一模型的输出只需要为粗粒度输出。其中，上采样操作可以是插值算法等。

图3是本申请另一示例性实施例提供的一种第一输出图像获取方法的流程示意图。其中，全局特征图像包括待分割图像中每个像素点的类别概率。如图3所示，上述步骤122可以包括：

步骤1221：选取每个像素点的最大概率对应的类别作为该像素点的预测类别，得到全局特征图像的单类别预测图。

图像分割实质上是对待分割图像中每个像素点的类别属性进行预测，即预测每个像素点是否为某一类别，而在实际操作中，为了提高分割精度，每个像素点的类别属性往往是多维度的，即一个多维向量。例如当输出结果为肋骨区域，那么每个像素点的类别属性则是[为肋骨区域的概率，为非肋骨区域的概率]，又例如，当输出结果为肋骨区域和肋骨编号两个分支输出时，那么每个像素点的类别属性则是[为第一根肋骨区域的概率，为第一根肋骨区域的概率，…，为非肋骨区域的概率]。因此，在得到全局特征图像时，该全局特征图像中的每个像素点也包含多个维度的概率，此时若直接对全局特征图像进行上采样，则需要对多个维度的概率分别进行上采样，这样的计算量显然是随着输出分支(或通道)的数量的增加而显著提高，因此，本申请实施例将每个像素点的最大概率对应的类别作为该像素点的预测类别，即将每个像素点的类别属性由多维向量改为单个数值(例如为肋骨区域是1，为非肋骨区域是0)，以得到全局特征图像的单类别预测图。

步骤1222：对单类别预测图进行上采样操作，得到第一输出图像。

对单类别预测图进行上采样操作，即可省去多维度的计算，这样就可以大幅降低全局特征图像在上采样时的计算量。虽然只对单类别预测图进行上采样操作会忽略部分局部细节信息，但是，在结合整体位置信息可以粗略获取待分割图像的粗粒度分割结果。

示例性装置

图4是本申请一示例性实施例提供的一种多分支图像分割装置的结构示意图。如图4所示，该分割装置40包括如下模块：下采样模块41，用于对待分割图像进行下采样操作，得到下采样图像；第一分割模块42，用于将下采样图像输入第一模型，得到全局特征图像和第一输出图像；分区模块43，用于将待分割图像划分为多个区域图像；第二分割模块44，用于将多个区域图像和全局特征图像输入第二模型，得到第二输出图像；以及融合模块45，用于融合第一输出图像和第二输出图像，得到待分割图像的分割结果。

本申请提供的一种多分支图像分割装置，通过下采样模块41对待分割图像进行下采样缩小图像尺寸得到下采样图像，并第一分割模块42将下采样图像输入第一模型，得到全局特征图像和第一输出图像，即利用第一模型得到待分割图像的全局特征图像和粗粒度的第一输出图像，然后分区模块43将待分割图像划分为多个区域图像，并第二分割模块44将多个区域图像和全局特征图像输入第二模型，由第二模型结合全局特征和区域图像进行细粒度的分割，得到第二输出图像，最后融合模块45融合第一输出图像和第二输出图像以得到最终的分割结果，本申请应用于多分支图像的分割，利用第一模型得到粗粒度的分割结果、第二模型得到细粒度的分割结果，可以满足不同分支需求，并且，结合粗粒度分割结果的全局特征和细粒度分割结果的局部特征，可以获取更加准确的分割结果；并且由于第一模型的输入为下采样的图像，第二模型的输入为带分割图像的一部分，因此，整个模型占用GPU显存较小，可以将整个过程放置在GPU上进行计算，运行速度大大提升。

在一实施例中，第二分割模块44可以进一步配置为：将多个区域图像中的每个区域图像分别和全局特征图像的对应区域图像输入第二模型，得到多个区域输出图像；并将多个区域输出图像拼接，得到第二输出图像。在一实施例中，第二分割模块44可以进一步配置为：相邻的区域图像存在重叠区域图像。在另一实施例中，第二分割模块44可以进一步配置为：多个区域输出图像在拼接时，也可以以全局特征图像作为参考。

在一实施例中，第二分割模块44可以进一步配置为：选取多个区域图像中的至少一个区域图像和全局特征图像的对应区域图像输入第二模型，得到第二输出图像。在一实施例中，第二分割模块44可以进一步配置为：选取待分割图像中间预设尺寸的区域作为感兴趣区域，然后根据预设的区域图像尺寸将该感兴趣区域划分为至少一个区域图像。

在一实施例中，融合模块45可以进一步配置为：将第一输出图像和第二输出图像对应像素点进行与操作。

在另一实施例中，融合模块45可以进一步配置为：将第二输出图像的分割边界作为分割结果的分割边界。

图5是本申请另一示例性实施例提供的一种多分支图像分割装置的结构示意图。第一分割模块42可以进一步包括：全局特征获取单元421，用于将下采样图像输入第一模型，得到全局特征图像；第一输出获取单元422，用于对全局特征图像进行上采样操作，得到第一输出图像。

在一实施例中，如图5所示，第一输出获取单元422可以进一步包括：单类别获取子单元4221，用于选取每个像素点的最大概率对应的类别作为该像素点的预测类别，得到全局特征图像的单类别预测图；上采样子单元4222，用于对单类别预测图进行上采样操作，得到第一输出图像。

示例性电子设备

下面，参考图6来描述根据本申请实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图6图示了根据本申请实施例的电子设备的框图。

如图6所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的分割方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备或第二设备时，该输入装置13可以是摄像头，用于捕捉图像的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的分割方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的分割方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种多分支图像分割方法，其特征在于，包括：

对待分割图像进行下采样操作，得到下采样图像；

将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像；

将所述待分割图像划分为多个区域图像；

将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像；以及

融合所述第一输出图像和所述第二输出图像，得到所述待分割图像的分割结果。

2.根据权利要求1所述的分割方法，其特征在于，所述将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像包括：

将所述下采样图像输入第一模型，得到所述全局特征图像；以及

对所述全局特征图像进行上采样操作，得到所述第一输出图像。

3.根据权利要求2所述的分割方法，其特征在于，所述全局特征图像包括所述待分割图像中每个像素点的类别概率，所述对所述全局特征图像进行上采样操作，得到所述第一输出图像包括：

选取每个像素点的最大概率对应的类别作为该像素点的预测类别，得到所述全局特征图像的单类别预测图；以及

对所述单类别预测图进行上采样操作，得到所述第一输出图像。

4.根据权利要求1所述的分割方法，其特征在于，所述将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像包括：

将所述多个区域图像中的每个区域图像分别和所述全局特征图像输入所述第二模型，得到多个区域输出图像；以及

将所述多个区域输出图像拼接，得到所述第二输出图像。

5.根据权利要求1所述的分割方法，其特征在于，所述将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像包括：

选取所述多个区域图像中的至少一个区域图像和所述全局特征图像的对应区域图像输入所述第二模型，得到所述第二输出图像。

6.根据权利要求1所述的分割方法，其特征在于，所述融合所述第一输出图像和所述第二输出图像包括：

将所述第一输出图像和所述第二输出图像对应像素点进行与操作。

7.根据权利要求1所述的分割方法，其特征在于，所述融合所述第一输出图像和所述第二输出图像，得到所述待分割图像的分割结果包括：

将所述第二输出图像的分割边界作为所述分割结果的分割边界。

8.一种多分支图像分割装置，其特征在于，包括：

下采样模块，用于对待分割图像进行下采样操作，得到下采样图像；

第一分割模块，用于将所述下采样图像输入第一模型，得到全局特征图像和第一输出图像；

分区模块，用于将所述待分割图像划分为多个区域图像；

第二分割模块，用于将所述多个区域图像和所述全局特征图像输入第二模型，得到第二输出图像；以及

融合模块，用于融合所述第一输出图像和所述第二输出图像，得到所述待分割图像的分割结果。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的分割方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-7任一所述的分割方法。

Images