CN115661449B - 图像分割与图像分割模型的训练方法、装置 - Google Patents

Abstract

本公开提供一种图像分割与图像分割模型的训练方法，涉及计算机视觉、深度学习、云服务等人工智能技术领域。图像分割方法包括：得到待处理图像的初始特征图像；通过重新分配各个特征窗口包含的特征向量的方式，对初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像；对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像；根据与不同层级对应的分割图像，得到待处理图像的分割结果。图像分割模型的训练方法包括：获取训练集；构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型；使用多张样本图像与多张样本图像的分割标注结果训练神经网络模型，得到图像分割模型。

Description

图像分割与图像分割模型的训练方法、装置

技术领域

本公开涉及计算机技术领域，具体涉及计算机视觉、深度学习、云服务等人工智能技术领域。提供了一种图像分割与图像分割模型的训练方法、装置、系统、电子设备与可读存储介质。

背景技术

语义分割是计算机视觉技术中非常重要的一个领域，在短视频、自动驾驶、遥感、医疗影像等领域都有广泛的应用。

发明内容

根据本公开的第一方面，提供了一种图像分割方法，包括：获取待处理图像，得到所述待处理图像的初始特征图像；通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像；对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像；根据与不同层级对应的分割图像，得到所述待处理图像的分割结果。

根据本公开的第二方面，提供了一种图像分割模型的训练方法，包括：获取训练集，所述训练集中包含多张样本图像与所述多张样本图像的分割标注结果；构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型，所述第一采样层用于得到所述样本图像的初始特征图像，所述第二下采样层包含至少一个下采样模块，所述至少一个下采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像，所述上采样层用于对所述第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像，所述输出层用于根据所述上采样层输出的与不同层级对应的分割图像，得到所述样本图像的分割预测结果；使用所述多张样本图像与所述多张样本图像的分割标注结果训练所述神经网络模型，得到所述图像分割模型。

根据本公开的第三方面，提供了一种图像分割装置，包括：处理单元，用于获取待处理图像，得到所述待处理图像的初始特征图像；下采样单元，用于通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像；上采样单元，用于对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像；分割单元，用于根据与不同层级对应的分割图像，得到所述待处理图像的分割结果。

根据本公开的第四方面，提供了一种图像分割模型的训练装置，包括：获取单元，用于获取训练集，所述训练集中包含多张样本图像与所述多张样本图像的分割标注结果；构建单元，用于构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型，所述第一采样层用于得到所述样本图像的初始特征图像，所述第二下采样层包含至少一个下采样模块，所述至少一个下采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像，所述上采样层用于对所述第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像，所述输出层用于根据所述上采样层输出的与不同层级对应的分割图像，得到所述样本图像的分割预测结果；训练单元，用于使用所述多张样本图像与所述多张样本图像的分割标注结果训练所述神经网络模型，得到所述图像分割模型。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

由以上技术方案可以看出，本公开通过重新分配各个特征窗口包含的特征向量的方式进行逐层级下采样，使得下采样过程中能够建立待处理图像中距离较远的两个图像块(不同的图像块对应于不同的特征向量)之间的联系，从而提升了所得到的与不同层级对应的特征图像的准确性，进而提升了图像的分割准确性，且能够降低图像分割的复杂度，提升了图像分割的效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是根据本公开第五实施例的示意图；

图6是根据本公开第六实施例的示意图；

图7是根据本公开第七实施例的示意图；

图8是用来实现本公开实施例的图像分割或者图像分割模型的训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。

图1是根据本公开第一实施例的示意图。如图1所示，本实施例的图像分割方法，具体包括如下步骤：

S101、获取待处理图像，得到所述待处理图像的初始特征图像；

S102、通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像；

S103、对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像；

S104、根据与不同层级对应的分割图像，得到所述待处理图像的分割结果。

本实施例的图像分割方法，在得到待处理图像的初始特征图像之后，首先通过重新分配各个特征窗口包含的特征向量的方式，对初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像，然后再对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像，最后根据与不同层级对应的分割图像，得到待处理图像的分割结果，由于本实施例通过重新分配各个特征窗口包含的特征向量的方式进行逐层级下采样，因此下采样过程中能够建立待处理图像中距离较远的两个图像块(不同的图像块对应于不同的特征向量)之间的联系，从而提升了所得到的与不同层级对应的特征图像的准确性，进而提升了图像的分割准确性，且能够降低图像分割的复杂度，提升了图像分割的效率。

本实施例在执行S101获取待处理图像时，可以将输入端输入的图像作为待处理图像，也可以将输入端通过网络选择的图像作为待处理图像。

本实施例在执行S101获取待处理图像之后，对所获取的待处理图像进行特征提取，以得到待处理图像的初始特征图像。

本实施例在执行S101得到待处理图像的初始特征图像时，首先对待处理图像进行卷积运算，得到待处理图像的卷积结果(例如将待处理图像输入卷积层，获取卷积层的输出结果作为卷积结果)，然后对卷积结果进行下采样，得到初始特征图像。

本实施例执行S101得到的初始特征图像，包含多个不重叠的特征窗口，不同的特征窗口内具有相同数量的特征向量；其中，不同的特征向量对应于待处理图像中不同的图像块(patch)，且每个特征向量对应的图像块具有相同大小。

举例来说，若初始特征图像的大小9×9，若特征窗口的大小为3×3，本实施例执行S102得到的初始特征图像包含81个特征向量，根据位置的不同，81个特征向量被分配到9个的特征窗口中。

本实施例在执行S101时，可以使用线性插值、下池化等现有技术进行下采样，本实施例对下采样的具体方式不进行限定。

可以理解的是，本实施例在执行S101得到待处理图像的初始特征图像时，可以将待处理图像输入预先训练得到的图像分割模型，获取图像分割模型中第一下采样层的输出结果，作为初始特征图像。

本实施例在执行S101得到初始特征图像之后，执行S102通过重新分配各个特征窗口包含的特征向量的方式，对初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像。

本实施例对初始特征图像进行多层级的下采样，得到与不同层级对应的特征图像；其中，越高层级的特征图像的分辨率越低，具备更多的语义信息，越低层级的特征图像的分辨率越高，具备更多的空间信息。

本实施例在执行S102通过重新分配各个特征窗口包含的特征向量的方式，对初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像时，可以采用的可选实现方式为：针对任意层级下采样，确定与当前层级对应的目标特征图像；重新分配目标特征图像中各个特征窗口包含的特征向量，得到重建特征图像；根据重建特征图像，得到待采样特征图像；对待采样特征图像进行下采样，得到与当前层级对应的特征图像。

其中，本实施例在执行S102重新分配目标特征图像中各个特征窗口包含的特征向量，得到重建特征图像时，可以采用的可选实现方式为：将目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像。

举例来说，本实施例在执行S102时，可以将不同特征窗口内位于左上角处的特征向量重新分配到特征窗口1、将位于右上角处的特征向量分配到特征窗口2等等，从而完成特征向量的重新分配，得到重建特征图像。

也就是说，本实施例通过将特征图像中位于不同特征窗口内相同位置处的特征向量重新分配到同一个特征窗口，实现了在下采样过程中建立待处理图像中某个图像块与其距离较远的图像块之间的联系的目的，使得根据重建特征图像得到的待采样特征图像中的特征向量学习到了更为丰富的信息，从而提升了所得到的与当前层级对应的特征图像的准确性。

若当前层级下采样为第一层下采样，本实施例执行S102确定的目标特征图像为初始特征图像；若当前层级下采样不为第一层下采样，本实施例执行S102确定的目标特征图像为与前一层级对应的特征图像。

本实施例在执行S102确定与当前层级对应的目标特征图像之后，还可以包含以下内容：针对目标特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果；本实施例可以使用自注意力机制(self attention)进行特征窗口内特征向量之间的注意力计算。

也就是说，本实施例在根据目标特征图像得到重建特征图像之前，还可以针对目标特征图像中的每个特征窗口，进行特征向量之间的注意力计算，从而实现同一个特征窗口内不同特征向量之间进行相互学习的目的，提升所得到的重建特征图像中特征向量的准确性。

本实施例在执行S102根据重建特征图像，得到待采样特征图像时，可以采用的可选实现方式为：在确定当前特征向量的重新分配次数未达到第一预设次数的情况下，根据重建特征图像，得到候选采样特征图像；将候选采样特征图像作为目标特征图像之后，转至执行重新分配目标特征图像中各个特征窗口包含的特征向量，得到重建特征图像的步骤；以此循环进行，直至确定当前特征向量的重新分配次数达到第一预设次数之后，执行根据重建特征图像，得到待采样特征图像的步骤。

其中，本实施例在执行S102根据重建特征图像，得到候选采样特征图像时，可以采用的可选实现方式为：针对重建特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到候选采样特征图像。

本实施例在执行S102根据重建特征图像，得到待采样特征图像时，可以采用的可选实现方式为：针对重建特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样特征图像。

也就是说，本实施例通过对重建特征图像中的特征向量进行注意力计算的方式得到待采样特征图像，由于重建特征图像中各个特征窗口内包含的是重新分配之后的特征向量，因此能够实现某一个特征向量与距离其较远的特征向量之间建立联系的目的，从而提升待采样特征图像中各特征向量的准确性。

本实施例在执行S102根据特征向量的注意力计算结果，得到待采样特征图像时，可以首先使用特征向量的注意力计算结果对特征窗口内的特征向量进行更新，然后将特征向量所处的位置还原为初始位置，从而得到待采样特征图像。

本实施例在执行S102根据特征向量的注意力计算结果，得到待采样特征图像时，还可以将重建特征图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样特征图像。

本实施例通过深度可分离卷积得到待采样特征图像，能够增强局部信息的学习，进一步提升所得到的待采样特征图像中特征向量的准确性。

本实施例在执行S102时，还可以将初始特征图像输入预先训练得到的图像分割模型，获取图像分割模型中第二下采样层包含的多个下采样模块的输出结果，作为与不同层级对应的特征图像。

本实施例在执行S102得到与不同层级对应的特征图像之后，执行S103对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像。

本实施例对与最高层级对应的特征图像进行多层级的上采样，得到与不同层级对应的分割图像；其中，越高层级的分割图像的分辨率越高，与最高层级对应的分割图像的分辨率与待处理图像的分辨率相同。

本实施例在执行S103时，可以使用双线性插值、转置卷积、上池化等现有技术进行上采样，本实施例对上采样的具体方式不进行限定。

本实施例在执行S103时，还可以将与最高层级对应的特征图像输入预先训练得到的图像分割模型，获取图像分割模型中上采样层的多个输出结果，作为与不同层级对应的分割图像。

本实施例在执行S103得到与不同层级对应的分割图像之后，执行S104根据与不同层级对应的分割图像，得到待处理图像的分割结果。

本实施例在执行S104根据与不同层级对应的分割图像，得到待处理图像的分割结果时，可以采用的可选实现方式为：将与不同层级对应的分割图像的分辨率，转换为待处理图像的分辨率；根据分辨率转换之后的多张分割图像，得到待处理图像的分割结果。

也就是说，本实施例通过与不同层级对应的分割图像得到最终的分割结果，能够结合与不同层级对应的分割图像中包含的更为丰富的信息，从而提升所得到的分割结果的准确性。

其中，本实施例在执行S104根据分辨率转换之后的多张分割图像，得到待处理图像的分割结果时，可以采用双线性插值的方式对多张分割图像进行处理，将处理结果作为待处理图像的分割结果。

另外，本实施例在执行S104时，还可以直接将与最高层级对应的分割图像，作为待处理图像的分割结果。

图2是根据本公开第二实施例的示意图。如图2所示，本实施例在执行S103“对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像”时，可以包含如下步骤：

S201、通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像。

也就是说，本实施例通过重新分配各个特征窗口包含的特征向量的方式进行逐层级上采样，能够在上采样过程中，建立待图像中任意两个图像块(不同的图像块对应于不同的特征向量)之间的联系，从而提升了所得到的与不同层级对应的分割图像的准确性。

本实施例在执行S201通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像为：针对任意层级上采样，确定与当前层级对应的目标分割图像；重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像；根据重建分割图像，得到待采样分割图像；对待采样分割图像进行上采样，得到与当前层级对应的分割图像。

其中，本实施例在执行S201重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像时，可以采用的可选实现方式为：将目标分割图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建分割图像。

也就是说，本实施例通过将目标分割图像中位于不同特征窗口内相同位置处的特征向量重新分配到同一个特征窗口，实现了在上采样过程中建立待分割图像中某个图像块与其距离较远的图像块之间的联系的目的，使得根据重建分割图像得到的待采样分割图像中的特征向量学习到了更为丰富的信息，从而提升了所得到的与当前层级对应的分割图像的准确性。

本实施例在执行S201针对任意层级上采样，确定与当前层级对应的目标分割图像时，可以采用的可选实现方式为：针对任意层级上采样，确定与当前层级对应的待处理分割图像；获取与待处理分割图像具有相同分辨率的特征图像，作为待融合特征图像；将待处理分割图像与待融合特征图像进行融合，将融合结果作为目标分割图像。

也就是说，本实施例通过获取与待处理分割图像具有相同分辨率的特征图像得到目标分割图像，使得该目标分割图像能够融合特征图像中包含的语义信息与空间信息，从而提升了所得到的与当前层级对应的分割图像的准确性。

若当前层级上采样为第一层上采样，本实施例执行S201确定的待处理分割图像为与最高层级对应的特征图像；若当前层级上采样不为第一层上采样，本实施例执行S201确定的待处理分割图像为与前一层级对应的分割图像。

本实施例在执行S201确定与当前层级对应的目标分割图像之后，还可以包含以下内容：针对目标分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果；本实施例可以使用自注意力机制(self attention)进行两两特征向量之间的注意力计算。

也就是说，本实施例在根据目标分割图像得到重建分割图像之前，还可以针对目标分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算，从而实现同一个特征窗口内不同特征向量之间相互学习的目的，提升所得到的重建分割图像中特征向量的准确性。

本实施例在执行S201根据重建分割图像，得到待采样分割图像时，可以采用的可选实现方式为：在确定当前特征向量的重新分配次数未达到第二预设次数的情况下，根据重建分割图像，得到候选采样分割图像；将候选分割特征图像作为目标分割图像之后，转至执行重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像的步骤；以此循环进行，直至确定当前特征向量的重新分配次数达到第二预设次数之后，执行根据重建分割图像，得到待采样分割图像的步骤。

其中，本实施例在执行S201根据重建分割图像，得到候选采样分割图像时，可以采用的可选实现方式为：针对重建分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到候选采样分割图像。

本实施例在执行S201根据重建分割图像，得到待采样分割图像时，可以采用的可选实现方式为：针对重建分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样分割图像。

也就是说，本实施例通过对重建分割图像中的特征向量进行注意力计算的方式得到待采样分割图像，由于重建分割图像中不同特征窗口内包含的是重新分配的特征向量，因此能够实现某一个特征向量与其距离较远的特征向量之间建立联系的目的，从而提升待采样分割图像中各特征向量的准确性。

本实施例在执行S201根据特征向量的注意力计算结果，得到待采样分割图像时，可以在使用特征向量的注意力计算结果更新重建分割图像中的特征向量，将特征向量所处的位置还原为初始位置之后，得到待采样分割图像。

本实施例在执行S201根据特征向量的注意力计算结果，得到待采样分割图像时，还可以将重建分割图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样分割图像。

本实施例通过深度可分离卷积得到待采样分割图像，能够增强局部信息的学习，进一步提升所得到的待采样分割图像中特征向量的准确性。

图3是根据本公开第三实施例的示意图。图3中示出了本实施例进行图像分割的流程图：在根据待处理图像(分辨率为H×W)得到初始特征图像之后，对初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像，本实施例中的下采样层级为3级；在完成下采样之后，对与最高层级对应的特征图像进行逐层级上采样，且会通过跳跃连接的方式，结合相同分辨率的特征图像完成每层级的上采样，本实施例中的上采样层级为4级；最后根据与不同层级对应的分割图像，得到待处理图像的分割结果。

图4是根据本公开第四实施例的示意图。如图4所示，本实施例的图像分割模型的训练方法，具体包含以下步骤：

S401、获取训练集，所述训练集中包含多张样本图像与所述多张样本图像的分割标注结果；

S402、构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型，所述第一采样层用于得到所述样本图像的初始特征图像，所述第二下采样层包含至少一个下采样模块，所述至少一个下采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像，所述上采样层用于对所述第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像，所述输出层用于根据所述上采样层输出的与不同层级对应的分割图像，得到所述样本图像的分割预测结果；

S403、使用所述多张样本图像与所述多张样本图像的分割标注结果训练所述神经网络模型，得到所述图像分割模型。

本实施例的图像分割模型的训练方法，所构建的神经网络模型中包含第二下采样层用于通过重新分配各个特征窗口包含的特征向量的方式进行逐层级下采样，使得神经网络模型在进行下采样时能够建立样本图像中距离较远的两个图像块(不同的图像块对应于不同的特征向量)之间的联系，从而提升所得到的特征图像的准确性，增强图像分割模型的分割效果。

本实施例执行S401获取的训练集中包含的多张样本图像，可以与现实生活中的多个应用场景相对应，例如城市交通中的车辆分割、安防业务中的人脸分割、疾病检测中的器官分割等。

本实施例在执行S401获取包含多张样本图像及其对应的目标分割结果之后，执行S402构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型。

本实施例执行S402构建的神经网络模型中，第一下采样层用于得到所输入的样本图像的初始特征图像；其中，所得到的初始特征图像中，包含多个不重叠的特征窗口，每个特征窗口内具有相同数量的特征向量。

本实施例执行S402构建的神经网络模型中，第一下采样层在得到样本图像的初始特征图像时，可以采用的可选实现方式为：对样本图像进行卷积运算，得到样本图像的卷积结果；对卷积结果进行下采样，得到初始特征图像。

本实施例执行S402构建的神经网络模型中，第二下采样层由至少一个下采样模块组成，每个下采样模块用于进行当前层级下采样，即根据初始特征图像或者与前一层级对应的特征图像，输出与当前层级对应的特征图像。

本实施例执行S402构建的神经网络模型中，第二下采样层包含至少一个下采样模块在通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像时，可以采用的可选实现方式为：重新分配目标特征图像(初始特征图像或者与前一层级对应的特征图像)中各个特征窗口包含的特征向量，得到重建特征图像；根据重建特征图像，得到待采样特征图像；对待采样特征图像进行下采样，得到与当前层级对应的特征图像。

本实施例执行S402构建的神经网络模型中，第二下采样层包含的至少一个下采样模块在得到重建特征图像之前，还可以包含以下内容：针对初始特征图像或者与前一层级对应的特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果。

本实施例执行S402构建的神经网络模型中，第二下采样层包含的至少一个下采样模块在根据重建特征图像，得到待采样特征图像时，可以采用的可选实现方式为：针对重建特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样特征图像。

本实施例执行S402构建的神经网络模型中，第二下采样层包含的至少一个下采样模块在根据特征向量的注意力计算结果，得到待采样特征图像时，可以将重建特征图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样特征图像。

本实施例执行S402构建的神经网络模型中，每个下采样模块包含至少一个跳板块，每个跳板块可以包括依次连接的第一自注意力(self attention)层、第一归一化(norm)层、第一多层感知机(MLP)、第二归一化层、窗口重组(window regroup)层、第二自注意力层、第三归一化层、第二多层感知机、第四归一化层与深度可分离卷积层。

在本实施例中，针对每个下采样模块来说，除了最后一个跳板块通过上述方式，根据重建特征图像得到待采样特征图像之外，其他的跳板块均是通过上述方式，根据重建特征图像得到候选采样特征图像。

也就是说，本实施例构建的神经网络模型中的每个下采样模块可以通过堆叠多个跳板块的方式，对所输入的特征图像进行多次特征向量的重组，从而进一步确保某一个特征向量能够与距离其较远的特征向量建立联系，从而提升所得到的待采样特征图像中各特征向量的准确性。

本实施例执行S402构建的神经网络模型中，上采样层用于对第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像。

本实施例执行S402构建的神经网络模型中，上采样层还可以包含至少一个上采样模块，每个上采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像或者与前一层级对应的分割图像进行上采样，得到与不同层级对应的分割图像。

本实施例执行S402构建的神经网络模型中，上采样层包含的至少一个上采样模块，在通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像或者与前一层级对应的分割图像进行上采样，得到与不同层级对应的分割图像时，可以采用的可选实现方式为：根据与最高层级对应的特征图像或者与前一层级对应的分割图像，得到目标分割图像；重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像；根据重建分割图像，得到待采样分割图像；对待采样分割图像进行上采样，得到与当前层级对应的分割图像。

本实施例执行S402构建的神经网络模型中，上采样层包含的至少一个上采样模块，在根据与最高层级对应的特征图像或者与前一层级对应的分割图像，得到目标分割图像时，可以采用的可选实现方式为：确定与当前层级对应的待处理分割图像，与第一层级上采样对应的待处理分割图像为与最高层级对应的特征图像，与非第一层级上采样对应的待处理分割图像为与前一层级对应的分割图像；获取与待处理分割图像具有相同分辨率的特征图像，作为待融合特征图像；将待处理分割图像与待融合特征图像进行融合，将融合结果作为目标分割图像。

也就是说，本实施例中的上采样模块通过获取与待处理分割图像具有相同分辨率的特征图像得到目标分割图像，使得该目标分割图像能够融合特征图像中包含的语义信息与空间信息，从而提升了所得到的与当前层级对应的分割图像的准确性。

本实施例执行S402构建的神经网络模型中，上采样层包含的至少一个上采样模块在得到目标分割图像之后，还可以包含以下内容：针对目标分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果。

本实施例执行S402构建的神经网络模型中，上采样层包含的至少一个上采样模块在根据重建分割图像，得到待采样分割图像时，可以采用的可选实现方式为：针对重建分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样分割图像。

本实施例执行S402构建的神经网络模型中，上采样层包含的至少一个上采样模块在根据特征向量的注意力计算结果，得到待采样分割图像时，可以将重建分割图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样分割图像。

本实施例执行S402构建的神经网络模型中，每个上采样模块包含至少一个跳板块，每个跳板块可以包括依次连接的第一自注意力(self attention)层、第一归一化(norm)层、第一多层感知机(MLP)、第二归一化层、窗口重组(window regroup)层、第二自注意力层、第三归一化层、第二多层感知机、第四归一化层与深度可分离卷积层。

在本实施例中，针对每个上采样模块来说，除了最后一个跳板块通过上述方式，根据重建分割图像得到待采样分割图像之外，其他的跳板块均是通过上述方式，根据重建分割图像得到候选采样分割图像。

也就是说，本实施例构建的神经网络模型中的每个上采样模块，通过堆叠多个跳板块的方式，对所输入的分割图像进行多次特征向量的重组，从而进一步确保某一个特征向量能够与距离其较远的特征向量建立联系，从而提升所得到的待采样分割图像中各特征向量的准确性。

本实施例执行S402构建的神经网络模型中，输出层用于根据上采样层输出的与不同层级对应的分割图像，得到样本图像的分割预测结果。

本实施例执行S402构建的神经网络模型中，输出层在根据上采样层输出的与不同层级对应的分割图像，得到样本图像的分割预测结果时，可以采用以下方式：将与不同层级对应的分割图像的分辨率，转换为待处理图像的分辨率；根据分辨率转换之后的多张分割图像，得到待处理图像的分割结果，输出层可以采用双线性插值的方式对多张分割图像进行处理，从而得到待处理图像的分割结果。

也就是说，本实施例构建的神经网络模型中的输出层，通过与不同层级对应的分割图像得到最终的分割结果，能够结合与不同层级对应的分割图像中包含的更为丰富的信息，从而提升所得到的分割结果的准确性。

本实施例在执行S402构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型之后，执行S403使用多张样本图像与多张样本图像的目标分割结果训练神经网络模型，得到图像分割模型。

本实施例在执行S403使用多张样本图像与多张样本图像的目标分割结果训练神经网络模型，得到图像分割模型时，可以采用的可选实现方式为：将多张样本图像分别输入神经网络模型，获取神经网络模型针对每张样本图像输出的分割预测结果；根据多张样本图像的分割标注结果与分割预测结果计算损失函数值；根据计算得到的损失函数值对神经网络模型的参数进行调整，直至损失函数值收敛，得到图像分割模型。

图5是根据本公开第五实施例的示意图。图5中示出了本实施例的跳板块的结构图，该跳板块用于进行特征向量的重组与注意力计算；该跳板块包括依次连接的第一自注意力层、第一归一化层、第一多层感知机、第二归一化层、窗口重组层、第二自注意力层、第三归一化层、第二多层感知机、第四归一化层与深度可分离卷积层；若当前跳板块不是下采样模块或者上采样模块中的最后一个跳板块，则当前跳板块输出的是候选采样特征图像或者候选采样分割图像，若当前跳板块是下采样模块或者上采样模块中的最后一个跳板块，则当前跳板块输出的是待采样特征图像或者待采样分割图像；每个跳板模块中的窗口重组层用于将位于不同特征窗口内相同位置处的特征向量，重新分配到一个新的特征窗口，例如图5中示出的将特征窗口1中的特征向量A与特征窗口2中的特征向量D重新分配到一个特征窗口。

图6是根据本公开第六实施例的示意图。如图6所示，本实施例的图像分割装置600，包括：

处理单元601、用于获取待处理图像，得到所述待处理图像的初始特征图像；

下采样单元602、用于通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像；

上采样单元603、用于对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像；

分割单元604、用于根据与不同层级对应的分割图像，得到所述待处理图像的分割结果。

处理单元601获取待处理图像时，可以将输入端输入的图像作为待处理图像，也可以将输入端通过网络选择的图像作为待处理图像。

处理单元601在获取待处理图像之后，对所获取的待处理图像进行特征提取，以得到待处理图像的初始特征图像。

处理单元601在得到待处理图像的初始特征图像时，首先对待处理图像进行卷积运算，得到待处理图像的卷积结果，然后对卷积结果进行下采样，得到初始特征图像。

处理单元601得到的初始特征图像，包含多个不重叠的特征窗口，不同的特征窗口内具有相同数量的特征向量；其中，不同的特征向量对应于待处理图像中不同的图像块(patch)，且每个特征向量对应的图像块具有相同大小。

处理单元601可以使用线性插值、下池化等现有技术进行下采样，本实施例对下采样的具体方式不进行限定。

可以理解的是，处理单元601在得到待处理图像的初始特征图像时，可以将待处理图像输入预先训练得到的图像分割模型，获取图像分割模型中第一下采样层的输出结果，作为初始特征图像。

本实施例在由处理单元601得到初始特征图像之后，由下采样单元602通过重新分配各个特征窗口包含的特征向量的方式，对初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像。

下采样单元602在通过重新分配各个特征窗口包含的特征向量的方式，对初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像时，可以采用的可选实现方式为：针对任意层级下采样，确定与当前层级对应的目标特征图像；重新分配目标特征图像中各个特征窗口包含的特征向量，得到重建特征图像；根据重建特征图像，得到待采样特征图像；对待采样特征图像进行下采样，得到与当前层级对应的特征图像。

其中，下采样单元602在重新分配目标特征图像中各个特征窗口包含的特征向量，得到重建特征图像时，可以采用的可选实现方式为：将目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像。

也就是说，下采样单元602通过将特征图像中位于不同特征窗口内相同位置处的特征向量重新分配到同一个特征窗口，实现了在下采样过程中建立待处理图像中某个图像块与其距离较远的图像块之间的联系的目的，使得根据重建特征图像得到的待采样特征图像中的特征向量学习到了更为丰富的信息，从而提升了所得到的与当前层级对应的特征图像的准确性。

若当前层级下采样为第一层下采样，下采样单元602确定的目标特征图像为初始特征图像；若当前层级下采样不为第一层下采样，下采样单元602确定的目标特征图像为与前一层级对应的特征图像。

下采样单元602在确定与当前层级对应的目标特征图像之后，还可以包含以下内容：针对目标特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果。

也就是说，下采样单元602在根据目标特征图像得到重建特征图像之前，还可以针对目标特征图像中的每个特征窗口，进行特征向量之间的注意力计算，从而实现同一个特征窗口内不同特征向量之间进行相互学习的目的，提升所得到的重建特征图像中特征向量的准确性。

下采样单元602在根据重建特征图像，得到待采样特征图像时，可以采用的可选实现方式为：在确定当前特征向量的重新分配次数未达到第一预设次数的情况下，根据重建特征图像，得到候选采样特征图像；将候选采样特征图像作为目标特征图像之后，转至执行重新分配目标特征图像中各个特征窗口包含的特征向量，得到重建特征图像的步骤；以此循环进行，直至确定当前特征向量的重新分配次数达到第一预设次数之后，执行根据重建特征图像，得到待采样特征图像的步骤。

其中，下采样单元602在根据重建特征图像，得到候选采样特征图像时，可以采用的可选实现方式为：针对重建特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到候选采样特征图像。

下采样单元602在根据重建特征图像，得到待采样特征图像时，可以采用的可选实现方式为：针对重建特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样特征图像。

也就是说，下采样单元602通过对重建特征图像中的特征向量进行注意力计算的方式得到待采样特征图像，由于重建特征图像中各个特征窗口内包含的是重新分配之后的特征向量，因此能够实现某一个特征向量与距离其较远的特征向量之间建立联系的目的，从而提升待采样特征图像中各特征向量的准确性。

下采样单元602在根据特征向量的注意力计算结果，得到待采样特征图像时，可以首先使用特征向量的注意力计算结果对特征窗口内的特征向量进行更新，然后将特征向量所处的位置还原为初始位置，从而得到待采样特征图像。

下采样单元602在根据特征向量的注意力计算结果，得到待采样特征图像时，还可以将重建特征图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样特征图像。

下采样单元602通过深度可分离卷积得到待采样特征图像，能够增强局部信息的学习，进一步提升所得到的待采样特征图像中特征向量的准确性。

下采样单元602还可以将初始特征图像输入预先训练得到的图像分割模型，获取图像分割模型中第二下采样层包含的多个下采样模块的输出结果，作为与不同层级对应的特征图像。

本实施例在由下采样单元602得到与不同层级对应的特征图像之后，由上采样单元603对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像。

上采样单元603可以使用双线性插值、转置卷积、上池化等现有技术进行上采样，本实施例对上采样的具体方式不进行限定。

上采样单元603还可以将与最高层级对应的特征图像输入预先训练得到的图像分割模型，获取图像分割模型中上采样层的多个输出结果，作为与不同层级对应的分割图像。

上采样单元603在对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像时，可以采用的可选实现方式为：通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像。

也就是说，上采样单元603通过重新分配各个特征窗口包含的特征向量的方式进行逐层级上采样，能够在上采样过程中，建立待图像中任意两个图像块(不同的图像块对应于不同的特征向量)之间的联系，从而提升了所得到的与不同层级对应的分割图像的准确性。

上采样单元603在通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像为：针对任意层级上采样，确定与当前层级对应的目标分割图像；重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像；根据重建分割图像，得到待采样分割图像；对待采样分割图像进行上采样，得到与当前层级对应的分割图像。

其中，上采样单元603在重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像时，可以采用的可选实现方式为：将目标分割图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建分割图像。

也就是说，上采样单元603通过将目标分割图像中位于不同特征窗口内相同位置处的特征向量重新分配到同一个特征窗口，实现了在上采样过程中建立待分割图像中某个图像块与其距离较远的图像块之间的联系的目的，使得根据重建分割图像得到的待采样分割图像中的特征向量学习到了更为丰富的信息，从而提升了所得到的与当前层级对应的分割图像的准确性。

上采样单元603在针对任意层级上采样，确定与当前层级对应的目标分割图像时，可以采用的可选实现方式为：针对任意层级上采样，确定与当前层级对应的待处理分割图像；获取与待处理分割图像具有相同分辨率的特征图像，作为待融合特征图像；将待处理分割图像与待融合特征图像进行融合，将融合结果作为目标分割图像。

也就是说，上采样单元603通过获取与待处理分割图像具有相同分辨率的特征图像得到目标分割图像，使得该目标分割图像能够融合特征图像中包含的语义信息与空间信息，从而提升了所得到的与当前层级对应的分割图像的准确性。

若当前层级上采样为第一层上采样，上采样单元603确定的待处理分割图像为与最高层级对应的特征图像；若当前层级上采样不为第一层上采样，上采样单元603确定的待处理分割图像为与前一层级对应的分割图像。

上采样单元603在确定与当前层级对应的目标分割图像之后，还可以包含以下内容：针对目标分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果。

也就是说，上采样单元603在根据目标分割图像得到重建分割图像之前，还可以针对目标分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算，从而实现同一个特征窗口内不同特征向量之间相互学习的目的，提升所得到的重建分割图像中特征向量的准确性。

上采样单元603在根据重建分割图像，得到待采样分割图像时，可以采用的可选实现方式为：在确定当前特征向量的重新分配次数未达到第二预设次数的情况下，根据重建分割图像，得到候选采样分割图像；将候选分割特征图像作为目标分割图像之后，转至执行重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像的步骤；以此循环进行，直至确定当前特征向量的重新分配次数达到第二预设次数之后，执行根据重建分割图像，得到待采样分割图像的步骤。

其中，上采样单元603在根据重建分割图像，得到候选采样分割图像时，可以采用的可选实现方式为：针对重建分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到候选采样分割图像。

上采样单元603在根据重建分割图像，得到待采样分割图像时，可以采用的可选实现方式为：针对重建分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样分割图像。

也就是说，上采样单元603通过对重建分割图像中的特征向量进行注意力计算的方式得到待采样分割图像，由于重建分割图像中不同特征窗口内包含的是重新分配的特征向量，因此能够实现某一个特征向量与其距离较远的特征向量之间建立联系的目的，从而提升待采样分割图像中各特征向量的准确性。

上采样单元603在根据特征向量的注意力计算结果，得到待采样分割图像时，可以在使用特征向量的注意力计算结果更新重建分割图像中的特征向量，将特征向量所处的位置还原为初始位置之后，得到待采样分割图像。

上采样单元603在根据特征向量的注意力计算结果，得到待采样分割图像时，还可以将重建分割图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样分割图像。

上采样单元603通过深度可分离卷积得到待采样分割图像，能够增强局部信息的学习，进一步提升所得到的待采样分割图像中特征向量的准确性。

本实施例在由上采样单元603得到与不同层级对应的分割图像之后，由分割单元604根据与不同层级对应的分割图像，得到待处理图像的分割结果。

分割单元604在根据与不同层级对应的分割图像，得到待处理图像的分割结果时，可以采用的可选实现方式为：将与不同层级对应的分割图像的分辨率，转换为待处理图像的分辨率；根据分辨率转换之后的多张分割图像，得到待处理图像的分割结果。

也就是说，分割单元604通过与不同层级对应的分割图像得到最终的分割结果，能够结合与不同层级对应的分割图像中包含的更为丰富的信息，从而提升所得到的分割结果的准确性。

其中，分割单元604在根据分辨率转换之后的多张分割图像，得到待处理图像的分割结果时，可以采用双线性插值的方式对多张分割图像进行处理，将处理结果作为待处理图像的分割结果。

另外，分割单元604还可以直接将与最高层级对应的分割图像，作为待处理图像的分割结果。

图7是根据本公开第七实施例的示意图。如图7所示，本实施例的图像分割模型的训练装置700，包含：

获取单元701、用于获取训练集，所述训练集中包含多张样本图像与所述多张样本图像的分割标注结果；

构建单元702、用于构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型，所述第一采样层用于得到所述样本图像的初始特征图像，所述第二下采样层包含至少一个下采样模块，所述至少一个下采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像，所述上采样层用于对所述第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像，所述输出层用于根据所述上采样层输出的与不同层级对应的分割图像，得到所述样本图像的分割预测结果；

训练单元703、使用所述多张样本图像与所述多张样本图像的分割标注结果训练所述神经网络模型，得到所述图像分割模型。

获取单元701获取的训练集中包含的多张样本图像，可以与现实生活中的多个应用场景相对应，例如城市交通中的车辆分割、安防业务中的人脸分割、疾病检测中的器官分割等。

本实施例在由获取单元701获取包含多张样本图像及其对应的目标分割结果之后，由构建单元702构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型。

构建单元702构建的神经网络模型中，第一下采样层用于得到所输入的样本图像的初始特征图像；其中，所得到的初始特征图像中，包含多个不重叠的特征窗口，每个特征窗口内具有相同数量的特征向量。

构建单元702构建的神经网络模型中，第一下采样层在得到样本图像的初始特征图像时，可以采用的可选实现方式为：对样本图像进行卷积运算，得到样本图像的卷积结果；对卷积结果进行下采样，得到初始特征图像。

构建单元702构建的神经网络模型中，第二下采样层由至少一个下采样模块组成，每个下采样模块用于进行当前层级下采样，即根据初始特征图像或者与前一层级对应的特征图像，输出与当前层级对应的特征图像。

构建单元702构建的神经网络模型中，第二下采样层包含至少一个下采样模块在通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像时，可以采用的可选实现方式为：重新分配目标特征图像(初始特征图像或者与前一层级对应的特征图像)中各个特征窗口包含的特征向量，得到重建特征图像；根据重建特征图像，得到待采样特征图像；对待采样特征图像进行下采样，得到与当前层级对应的特征图像。

构建单元702构建的神经网络模型中，第二下采样层包含的至少一个下采样模块在得到重建特征图像之前，还可以包含以下内容：针对初始特征图像或者与前一层级对应的特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果。

构建单元702构建的神经网络模型中，第二下采样层包含的至少一个下采样模块在根据重建特征图像，得到待采样特征图像时，可以采用的可选实现方式为：针对重建特征图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样特征图像。

构建单元702构建的神经网络模型中，第二下采样层包含的至少一个下采样模块在根据特征向量的注意力计算结果，得到待采样特征图像时，可以将重建特征图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样特征图像。

构建单元702构建的神经网络模型中，每个下采样模块包含至少一个跳板块，每个跳板块可以包括依次连接的第一自注意力(self attention)层、第一归一化(norm)层、第一多层感知机(MLP)、第二归一化层、窗口重组(window regroup)层、第二自注意力层、第三归一化层、第二多层感知机、第四归一化层与深度可分离卷积层。

在本实施例中，针对每个下采样模块来说，除了最后一个跳板块通过上述方式，根据重建特征图像得到待采样特征图像之外，其他的跳板块均是通过上述方式，根据重建特征图像得到候选采样特征图像。

也就是说，构建单元702构建的神经网络模型中的每个下采样模块可以通过堆叠多个跳板块的方式，对所输入的特征图像进行多次特征向量的重组，从而进一步确保某一个特征向量能够与距离其较远的特征向量建立联系，从而提升所得到的待采样特征图像中各特征向量的准确性。

构建单元702构建的神经网络模型中，上采样层用于对第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像。

构建单元702构建的神经网络模型中，上采样层还可以包含至少一个上采样模块，每个上采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像或者与前一层级对应的分割图像进行上采样，得到与不同层级对应的分割图像。

构建单元702构建的神经网络模型中，上采样层包含的至少一个上采样模块，在通过重新分配各个特征窗口包含的特征向量的方式，对与最高层级对应的特征图像或者与前一层级对应的分割图像进行上采样，得到与不同层级对应的分割图像时，可以采用的可选实现方式为：根据与最高层级对应的特征图像或者与前一层级对应的分割图像，得到目标分割图像；重新分配目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像；根据重建分割图像，得到待采样分割图像；对待采样分割图像进行上采样，得到与当前层级对应的分割图像。

构建单元702构建的神经网络模型中，上采样层包含的至少一个上采样模块，在根据与最高层级对应的特征图像或者与前一层级对应的分割图像，得到目标分割图像时，可以采用的可选实现方式为：确定与当前层级对应的待处理分割图像，与第一层级上采样对应的待处理分割图像为与最高层级对应的特征图像，与非第一层级上采样对应的待处理分割图像为与前一层级对应的分割图像；获取与待处理分割图像具有相同分辨率的特征图像，作为待融合特征图像；将待处理分割图像与待融合特征图像进行融合，将融合结果作为目标分割图像。

也就是说，本实施例中的上采样模块通过获取与待处理分割图像具有相同分辨率的特征图像得到目标分割图像，使得该目标分割图像能够融合特征图像中包含的语义信息与空间信息，从而提升了所得到的与当前层级对应的分割图像的准确性。

构建单元702构建的神经网络模型中，上采样层包含的至少一个上采样模块在得到目标分割图像之后，还可以包含以下内容：针对目标分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；将每个特征窗口内的特征向量更新为特征向量的注意力计算结果。

构建单元702构建的神经网络模型中，上采样层包含的至少一个上采样模块在根据重建分割图像，得到待采样分割图像时，可以采用的可选实现方式为：针对重建分割图像中的每个特征窗口，进行特征窗口内特征向量之间的注意力计算；根据特征向量的注意力计算结果，得到待采样分割图像。

构建单元702构建的神经网络模型中，上采样层包含的至少一个上采样模块在根据特征向量的注意力计算结果，得到待采样分割图像时，可以将重建分割图像的注意力计算结果进行深度可分离卷积运算，根据运算结果得到待采样分割图像。

构建单元702构建的神经网络模型中，每个上采样模块包含至少一个跳板块，每个跳板块可以包括依次连接的第一自注意力(self attention)层、第一归一化(norm)层、第一多层感知机(MLP)、第二归一化层、窗口重组(window regroup)层、第二自注意力层、第三归一化层、第二多层感知机、第四归一化层与深度可分离卷积层。

在本实施例中，针对每个上采样模块来说，除了最后一个跳板块通过上述方式，根据重建分割图像得到待采样分割图像之外，其他的跳板块均是通过上述方式，根据重建分割图像得到候选采样分割图像。

也就是说，本实施例构建的神经网络模型中的每个上采样模块，通过堆叠多个跳板块的方式，对所输入的分割图像进行多次特征向量的重组，从而进一步确保某一个特征向量能够与距离其较远的特征向量建立联系，从而提升所得到的待采样分割图像中各特征向量的准确性。

构建单元702构建的神经网络模型中，输出层用于根据上采样层输出的与不同层级对应的分割图像，得到样本图像的分割预测结果。

构建单元702构建的神经网络模型中，输出层在根据上采样层输出的与不同层级对应的分割图像，得到样本图像的分割预测结果时，可以采用以下方式：将与不同层级对应的分割图像的分辨率，转换为待处理图像的分辨率；根据分辨率转换之后的多张分割图像，得到待处理图像的分割结果，输出层可以采用双线性插值的方式对多张分割图像进行处理，从而得到待处理图像的分割结果。

也就是说，构建单元702构建的神经网络模型中的输出层，通过与不同层级对应的分割图像得到最终的分割结果，能够结合与不同层级对应的分割图像中包含的更为丰富的信息，从而提升所得到的分割结果的准确性。

本实施例在由构建单元702构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型之后，由训练单元703使用多张样本图像与多张样本图像的目标分割结果训练神经网络模型，得到图像分割模型。

训练单元703在使用多张样本图像与多张样本图像的目标分割结果训练神经网络模型，得到图像分割模型时，可以采用的可选实现方式为：将多张样本图像分别输入神经网络模型，获取神经网络模型针对每张样本图像输出的分割预测结果；根据多张样本图像的分割标注结果与分割预测结果计算损失函数值；根据计算得到的损失函数值对神经网络模型的参数进行调整，直至损失函数值收敛，得到图像分割模型。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图8所示，是根据本公开实施例的图像分割或者图像分割的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的展示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如图像分割或者图像分割的训练方法。例如，在一些实施例中，图像分割或者图像分割的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。

在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的图像分割或者图像分割的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分割或者图像分割的训练方法。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程图像分割或者图像分割的训练装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户展示信息的展示装置(例如，CRT(阴极射线管)或者LCD(液晶展示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种图像分割方法，包括：

获取待处理图像，得到所述待处理图像的初始特征图像；

通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像；

对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像；

根据与不同层级对应的分割图像，得到所述待处理图像的分割结果；

其中，所述通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像包括：

针对任意层级下采样，确定与当前层级对应的目标特征图像；

将所述目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像；

根据所述重建特征图像，得到待采样特征图像；

对所述待采样特征图像进行下采样，得到与当前层级对应的特征图像。

2.根据权利要求1所述的方法，其中，所述根据所述重建特征图像，得到待采样特征图像包括：

在确定当前特征向量的重新分配次数未达到第一预设次数的情况下，根据所述重建特征图像，得到候选采样特征图像；

将所述候选采样特征图像作为目标特征图像之后，转至执行所述将所述目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像的步骤；

以此循环进行，直至确定当前特征向量的重新分配次数达到第一预设次数之后，执行所述根据重建特征图像，得到待采样特征图像的步骤。

3.根据权利要求1所述的方法，其中，所述对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像包括：

通过重新分配各个特征窗口包含的特征向量的方式，对所述与最高层级对应的特征图像进行逐层级上采样，得到所述与不同层级对应的分割图像。

4.根据权利要求3所述的方法，其中，所述通过重新分配各个特征窗口包含的特征向量的方式，对所述与最高层级对应的特征图像进行逐层级上采样，得到所述与不同层级对应的分割图像包括：

针对任意层级上采样，确定与当前层级对应的目标分割图像；

重新分配所述目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像；

根据所述重建分割图像，得到待采样分割图像；

对所述待采样分割图像进行上采样，得到与当前层级对应的分割图像。

5.根据权利要求4所述的方法，其中，所述重新分配所述目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像包括：

将所述目标分割图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到所述重建分割图像。

6.根据权利要求4-5中任一项所述的方法，其中，所述针对任意层级上采样，确定与当前层级对应的目标分割图像包括：

针对任意层级上采样，确定与当前层级对应的待处理分割图像；

获取与所述待处理分割图像具有相同分辨率的特征图像，作为待融合特征图像；

将所述待处理分割图像与所述待融合特征图像进行融合，将融合结果作为所述目标分割图像。

7.根据权利要求4所述的方法，其中，所述根据所述重建分割图像，得到待采样分割图像包括：

在确定当前特征向量的重新分配次数未达到第二预设次数的情况下，根据所述重建分割图像，得到候选采样分割图像；

将所述候选采样分割图像作为目标分割图像之后，转至执行所述重新分配所述目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像的步骤；

以此循环进行，直至确定当前特征向量的重新分配次数达到第二预设

次数之后，执行所述根据重建分割图像，得到待采样分割图像的步骤。

8.根据权利要求1所述的方法，其中，所述根据与不同层级对应的分割图像，得到所述待处理图像的分割结果包括：

将所述与不同层级对应的分割图像的分辨率，转换为所述待处理图像的分辨率；

根据分辨率转换之后的多张分割图像，得到所述待处理图像的分割结果。

9.根据权利要求1所述的方法，其中，所述得到所述待处理图像的初始特征图像包括：

将所述待处理图像输入图像分割模型；

获取所述图像分割模型中第一下采样层的输出结果，作为所述初始特征图像。

10.根据权利要求9所述的方法，其中，所述通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像包括：

将所述初始特征图像输入所述图像分割模型；

获取所述图像分割模型中第二下采样层包含的多个下采样模块的输出结果，作为所述与不同层级对应的特征图像。

11.根据权利要求9所述的方法，其中，所述对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像包括：

将所述与最高层级对应的特征图像输入所述图像分割模型；

获取所述图像分割模型中上采样层的多个输出结果，作为所述与不同层级对应的分割图像。

12.一种图像分割模型的训练方法，包括：

获取训练集，所述训练集中包含多张样本图像与所述多张样本图像的分割标注结果；

构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型，所述第一下采样层用于得到所述样本图像的初始特征图像，所述第二下采样层包含至少一个下采样模块，所述至少一个下采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像，所述上采样层用于对所述第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像，所述输出层用于根据所述上采样层输出的与不同层级对应的分割图像，得到所述样本图像的分割预测结果；

使用所述多张样本图像与所述多张样本图像的分割标注结果训练所述神经网络模型，得到所述图像分割模型；

其中，所述至少一个下采样模块通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像包括：

将所述目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像；

根据所述重建特征图像，得到待采样特征图像；

对所述待采样特征图像进行下采样，得到所述与当前层级对应的特征图像。

13.根据权利要求12所述的方法，其中，所述上采样层对所述第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像包括：

所述上采样层包含至少一个上采样模块，所述至少一个上采样模块通过重新分配各个特征窗口包含的特征向量的方式，对目标分割图像进行上采样，得到与当前层级对应的分割图像包括：

根据所述与最高层级对应的特征图像或者与前一层级对应的分割图像，得到所述目标分割图像；

重新分配所述目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像；

根据所述重建分割图像，得到待采样分割图像；

对所述待采样分割图像进行上采样，得到所述与当前层级对应的分割图像。

14.根据权利要求13所述的方法，其中，所述根据所述与最高层级对应的特征图像或者与前一层级对应的分割图像，得到所述目标分割图像包括：

确定与当前层级对应的待处理分割图像；

获取与所述待处理分割图像具有相同分辨率的特征图像，作为待融合特征图像；

将所述待处理分割图像与所述待融合特征图像进行融合，将融合结果作为所述目标分割图像。

15.一种图像分割装置，包括：

处理单元，用于获取待处理图像，得到所述待处理图像的初始特征图像；

下采样单元，用于通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像；

上采样单元，用于对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像；

分割单元，用于根据与不同层级对应的分割图像，得到所述待处理图像的分割结果；

其中，所述下采样单元在通过重新分配各个特征窗口包含的特征向量的方式，对所述初始特征图像进行逐层级下采样，得到与不同层级对应的特征图像时，具体执行：

针对任意层级下采样，确定与当前层级对应的目标特征图像；

将所述目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像；

根据所述重建特征图像，得到待采样特征图像；

对所述待采样特征图像进行下采样，得到与当前层级对应的特征图像。

16.根据权利要求15所述的装置，其中，所述下采样单元在根据所述重建特征图像，得到待采样特征图像时，具体执行：

在确定当前特征向量的重新分配次数未达到第一预设次数的情况下，根据所述重建特征图像，得到候选采样特征图像；

将所述候选采样特征图像作为目标特征图像之后，转至执行所述将所述目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像的步骤；

以此循环进行，直至确定当前特征向量的重新分配次数达到第一预设次数之后，执行所述根据重建特征图像，得到待采样特征图像的步骤。

17.根据权利要求15所述的装置，其中，所述上采样单元在对与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像时，具体执行：

通过重新分配各个特征窗口包含的特征向量的方式，对所述与最高层级对应的特征图像进行逐层级上采样，得到所述与不同层级对应的分割图像。

18.根据权利要求17所述的装置，其中，所述上采样单元在通过重新分配各个特征窗口包含的特征向量的方式，对所述与最高层级对应的特征图像进行逐层级上采样，得到所述与不同层级对应的分割图像时，具体执行：

针对任意层级上采样，确定与当前层级对应的目标分割图像；

重新分配所述目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像；

根据所述重建分割图像，得到待采样分割图像；

对所述待采样分割图像进行上采样，得到与当前层级对应的分割图像。

19.根据权利要求18所述的装置，其中，所述上采样单元在重新分配所述目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像时，具体执行：

将所述目标分割图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到所述重建分割图像。

20.根据权利要求18-19中任一项所述的装置，其中，所述上采样单元在针对任意层级上采样，确定与当前层级对应的目标分割图像时，具体执行：

针对任意层级上采样，确定与当前层级对应的待处理分割图像；

获取与所述待处理分割图像具有相同分辨率的特征图像，作为待融合特征图像；

将所述待处理分割图像与所述待融合特征图像进行融合，将融合结果作为所述目标分割图像。

21.根据权利要求18所述的装置，其中，所述上采样单元在根据所述重建分割图像，得到待采样分割图像时，具体执行：

在确定当前特征向量的重新分配次数未达到第二预设次数的情况下，根据所述重建分割图像，得到候选采样分割图像；

将所述候选采样分割图像作为目标分割图像之后，转至执行所述重新分配所述目标分割图像中各个特征窗口包含的特征向量，得到重建分割图像的步骤；

以此循环进行，直至确定当前特征向量的重新分配次数达到第二预设

次数之后，执行所述根据重建分割图像，得到待采样分割图像的步骤。

22.根据权利要求15所述的装置，其中，所述分割单元在根据与不同层级对应的分割图像，得到所述待处理图像的分割结果时，具体执行：

将所述与不同层级对应的分割图像的分辨率，转换为所述待处理图像的分辨率；

根据分辨率转换之后的多张分割图像，得到所述待处理图像的分割结果。

23.一种图像分割模型的训练装置，包括：

获取单元，用于获取训练集，所述训练集中包含多张样本图像与所述多张样本图像的分割标注结果；

构建单元，用于构建包含第一下采样层、第二下采样层、上采样层与输出层的神经网络模型，所述第一下采样层用于得到所述样本图像的初始特征图像，所述第二下采样层包含至少一个下采样模块，所述至少一个下采样模块用于通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像，所述上采样层用于对所述第二下采样层输出的与最高层级对应的特征图像进行逐层级上采样，得到与不同层级对应的分割图像，所述输出层用于根据所述上采样层输出的与不同层级对应的分割图像，得到所述样本图像的分割预测结果；

训练单元，用于使用所述多张样本图像与所述多张样本图像的分割标注结果训练所述神经网络模型，得到所述图像分割模型；

其中，所述构建单元构建的所述神经网络模型中的所述至少一个下采样模块在通过重新分配各个特征窗口包含的特征向量的方式，对目标特征图像进行下采样，得到与当前层级对应的特征图像时，具体执行：

将所述目标特征图像中位于不同特征窗口内相同位置处的特征向量，重新分配到同一个特征窗口，得到重建特征图像；

根据所述重建特征图像，得到待采样特征图像；

对所述待采样特征图像进行下采样，得到所述与当前层级对应的特征图像。

24.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。

25.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-14中任一项所述的方法。