CN115511909A - 一种图像分割方法及装置 - Google Patents

Abstract

本申请公开一种图像分割方法及装置，对分割图按照无损方式下采样，得到具有P通道的第一子图；对坐标图按照无损方式下采样，得到具有Q通道的第二子图；坐标图与分割图具有相同的分辨率，坐标图用于指示分割图中每个像素点的位置信息；对第一子图和第二子图进行第一卷积操作，得到具有K通道的第三子图；K小于P与Q的和；通过图像分割网络，确定第三子图对应的具有K通道的第一子掩膜图；对第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图；L大于K；将第二子掩膜图按照无损方式拼接为掩膜图；掩膜图与分割图具有相同的分辨率；通过掩膜图对分割图进行图像分割。该方式可实现在低设备性能的条件下精准地对超高清图像进行分割。

Description

一种图像分割方法及装置

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种图像分割方法及装置。

背景技术

在图像处理技术领域，能够对图像中的前景和背景进行精准分割，这在一些场景下显得非常有必要。比如，高清视频通话场景下，实现人像与背景的分割，并对分割出来的人像或者背景进行模糊替换，则可以有效保护用户隐私。

其中，目前在对超高清图像(4K)进行分割时，可通过将待分割的超高清图像直接输入深度神经网络中进行图像分割。该方式中由于超高清图像的分辨率很大，为3840*2160，如此大的图像数据在输入到深度神经网络时不仅需要极大的图像处理能力，还需要极大的图像存储能力，这对显卡的要求非常高。

针对该问题，可通过池化操作实现对待分割的超高清图像的大幅度下采样，如基于池化的下采样操作包括平均池化和最大池化，通过保留邻域内的平均值或者最大值，而将其他值删除，以此达到提取特征和减少计算量的目的。然而该方式不可避免地丢失了超高清图像的细节信息，导致最终的图像分割结果不够精细化，例如前景和背景各自的边缘并不够平滑。

综上，目前亟需一种对显卡要求并非很高、且能够对超高清图像进行精准分割的图像分割方法。

发明内容

本申请提供一种图像分割方法及装置，用于在低设备性能的条件下、精准地对超高清图像进行分割。

第一方面，本申请实施例提供一种图像分割方法，该方法包括：对分割图按照无损方式进行下采样，得到具有P通道的第一子图；对坐标图按照所述无损方式进行下采样，得到具有Q通道的第二子图；所述坐标图与所述分割图具有相同的分辨率，所述坐标图用于指示所述分割图中每个像素点的位置信息；对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图；K小于P与Q的和；通过图像分割网络，确定所述第三子图对应的具有K通道的第一子掩膜图；对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图；L大于K；将所述第二子掩膜图按照所述无损方式拼接为掩膜图；所述掩膜图与所述分割图具有相同的分辨率；通过所述掩膜图对所述分割图进行图像分割。

基于该方案，针对于分割图，通过构建与之对应的坐标图，并分别对两者进行无损下采样，且针对于无损下采样后的结果——具有P通道的第一子图和具有Q通道的第二子图，可进行第一卷积操作，该操作对分割图上的每个像素点与该像素点的位置信息进行了融合，从而在图像分割的过程中，不会丢失分割图的任何细节信息，保证了图像在分割时前景和背景边缘的平滑性；此外，相比于直接将分割图输入图像分割网络，本申请的经过第一卷积操作得到的具有K通道的第三子图占用到的图像分割网络的数据处理资源将是相对少量的，如此的话，本申请的图像分割网络对设备性能的要求并不会很高，也即本申请可支持在一种显卡性能不是很高的设备上实现对图像的分割。通过该方式，可以实现在低设备性能的条件下、精准地对超高清图像进行分割。

在一种可能实现的方法中，所述对分割图按照无损方式进行下采样，得到具有P通道的第一子图，包括：根据预设采样步长，确定所述分割图中的各采样邻域；所述各采样邻域中具有P个不同位置的像素点；对所述各采样邻域中处于相同位置的像素点进行抽取，将抽取的像素点按预设的组合顺序组成具有P通道的第一子图。

基于该方案，在对分割图进行分割的过程中，为了提升前景和背景的边缘的平滑性，可以通过无损方式来对分割图进行下采样，也即需要无一遗漏地对分割图中的每一个像素点进行采样。为此，可根据预设的采样步长，确定分割图中存在的各个采样邻域，其中每一个采样邻域中包括有P个不同位置的像素点；然后对各个采样邻域中的处于相同位置的像素点进行抽取，针对任一组的相同位置的各像素点，可按照预设的组合顺序对各像素点进行排列，从而关于每一组的相同位置的各像素点，排列后的结果可称为1个通道；然而，由于每一个采样邻域中包括有P个不同位置的像素点，则对分割图各采样邻域中处于相同位置的像素点进行抽取并按预设的组合顺序进行排列后的结果，可称为具有P通道的第一子图。

在一种可能实现的方法中，所述将所述第二子掩膜图按照所述无损方式拼接为掩膜图，包括：针对所述第二子掩膜图中的任一通道，将所述通道对应的子掩膜图中的各像素点的像素值抽取至所述分割图中对应的各采样邻域中，从而得到所述掩膜图。

基于该方案，对图像进行前景和背景的分割时，可以依据掩模图而进行，其中，掩模图的分辨率需与分割图的分辨率保持一致。为此，针对于第二子掩模图中的任一通道，可将该通道对应的子掩模图中的各像素点的像素值抽取到分割图中对应的各采样邻域中，从而就可以得到用于分割分割图的掩模图。该种得到用于分割分割图的掩模图的过程，可以理解为是对分割图进行无损下采样的过程的一个逆过程，该方式基于对分割图的采样方式是无损的，也即采样过程中遍及到了分割图中的任一个像素点，因此在根据该种方式得到的掩模图对分割图进行前景和背景进行分割时，所得到的前景和背景的边缘的平滑度将极大提升。

在一种可能实现的方法中，所述第一卷积操作中具有K个1*1*(P+Q)的第一卷积核；所述对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图，包括：针对任一第一卷积核，通过所述第一卷积核对所述第一子图和所述第二子图进行卷积操作，得到单通道的第三子图。

基于该方案，针对通过无损方式对分割图以及坐标图分别进行下采样而得到的具有P通道的第一子图和Q通道的第二子图，可将二者沿通道方向进行拼接，从而针对于在对分割图进行无损下采样时所缺失的每个像素点的位置信息，可以通过对与分割图具有相同分辨率的坐标图进行无损下采样而进行弥补，其主要是通过将无损下采样后的第一子图和第二子图沿通道方向进行拼接而进行弥补。由于拼接产生的特征图的通道数很大，这对于使用图像分割网络来对拼接产生的特征图做进一步的特征提取并不友好，需要耗费大量的数据处理能力和数据存储能力。为此，可以先对第一子图和第二子图沿通道方向拼接产生的特征图在通道数上进行缩减，比如缩减为K通道，而后可以将所产生的通道数较少的特征图，如具有K通道的第三子图，输入到图像分割网络中，由图像分割网络对其做进一步的特征提取操作。其中，在对第一子图和第二子图沿通道方向拼接产生的特征图执行通道缩减的操作时，可以使用K个1*1*(P+Q)的第一卷积核，具体的，针对第一子图和第二子图沿通道方向拼接产生的特征图，使用K个1*1*(P+Q)的第一卷积核当中的任意一个1*1*(P+Q)的第一卷积核，都可以生成一个单通道的第三子图，由于有K个1*1*(P+Q)的第一卷积核，从而最终可以产生具有K通道的第三子图。

在一种可能实现的方法中，所述第二卷积操作中具有L个1*1*K的第二卷积核；所述对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图，包括：针对任一第二卷积核，通过所述第二卷积核对所述第一子掩膜图进行卷积操作，得到单通道的第二子掩膜图。

基于该方案，在使用无损方式对分割图进行下采样时，可以得到P通道的第一子图，其中在分割图为灰度图时，第一子图中包括P张低分辨率的图像，在分割图为RGB彩图时，第一子图中包括P/3张低分辨率的图像。由于在使用掩模图对分割图进行分割时，掩模图的得到需要基于与对分割图无损下采样后产生的低分辨率的图像相同数目的子掩模图，然而进入到图像分割网络中的第三子图具有的通道数目可能并不会与低分辨率的图像的数目相同，因此，在生成掩模图之前，还需要对图像分割网络产生的结果——具有K通道的第一子掩模图进行通道的恢复，使通道恢复到低分辨率的图像的数目。其中，在对具有K通道的第一子掩模图执行通道恢复的操作时，可以使用L个1*1*K的第二卷积核，具体的，针对具有K通道的第一子掩模图，使用L个1*1*K的第一卷积核当中的任意一个1*1*K的第二卷积核，都可以生成一个单通道的第二子掩模图，由于有L个1*1*K的第二卷积核，从而最终可以产生具有L通道的第二子掩模图。例如，在分割图为灰度图时，L＝P，在分割图为RGB彩图时，L＝P/3。

在一种可能实现的方法中，所述第一卷积操作、所述第二卷积操作和所述图像分割网络是通过统一的损失函数训练得到的。

基于该方案，由于对分割图进行前景和背景的分割，涉及到了第一卷积操作、第二卷积操作和图像分割网络，本申请中通过一个统一的损失函数，就可以实现对第一卷积操作、第二卷积操作和图像分割网络的同时训练，提升了图像分割的效率。

在一种可能实现的方法中，所述损失函数对应的公式为：

其中，L_T表示总损失，L_f表示所述掩模图的损失，L_i表示第i通道下的第二子掩膜图的损失，P表示所述第二子掩膜图的通道数，λ表示预设系数。

基于该方案，由于用于训练第一卷积操作、第二卷积操作和图像分割网络的损失函数在确定的过程中，同时兼顾了掩模图的损失和第二子掩模图的损失，从而使得所确定出来的损失函数可更全面地表征出图像分割过程中的实际分割结果与真实分割结果之间的差异，根据该差异可以更好地对第一卷积操作、第二卷积操作和图像分割网络进行训练，如此的话，将可以实现更好的图像分割效果。

第二方面，本申请实施例提供一种图像分割装置，该装置包括：无损下采样单元，用于对分割图按照无损方式进行下采样，得到具有P通道的第一子图；所述无损下采样单元，还用于对坐标图按照所述无损方式进行下采样，得到具有Q通道的第二子图；所述坐标图与所述分割图具有相同的分辨率，所述坐标图用于指示所述分割图中每个像素点的位置信息；卷积操作单元，用于对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图；K小于P与Q的和；第一子掩模图确定单元，用于通过图像分割网络，确定所述第三子图对应的具有K通道的第一子掩膜图；所述卷积操作单元，还用于对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图；L大于K；掩模图生成单元，用于将所述第二子掩膜图按照所述无损方式拼接为掩膜图；所述掩膜图与所述分割图具有相同的分辨率；图像分割单元，用于通过所述掩膜图对所述分割图进行图像分割。

基于该方案，针对于分割图，通过构建与之对应的坐标图，并分别对两者进行无损下采样，且针对于无损下采样后的结果——具有P通道的第一子图和具有Q通道的第二子图，可进行第一卷积操作，该操作对分割图上的每个像素点与该像素点的位置信息进行了融合，从而在图像分割的过程中，不会丢失分割图的任何细节信息，保证了图像在分割时前景和背景边缘的平滑性；此外，相比于直接将分割图输入图像分割网络，本申请的经过第一卷积操作得到的具有K通道的第三子图占用到的图像分割网络的数据处理资源将是相对少量的，如此的话，本申请的图像分割网络对设备性能的要求并不会很高，也即本申请可支持在一种显卡性能不是很高的设备上实现对图像的分割。通过该方式，可以实现在低设备性能的条件下、精准地对超高清图像进行分割。

在一种可能实现的方法中，所述无损下采样单元，具体用于：根据预设采样步长，确定所述分割图中的各采样邻域；所述各采样邻域中具有P个不同位置的像素点；对所述各采样邻域中处于相同位置的像素点进行抽取，将抽取的像素点按预设的组合顺序组成具有P通道的第一子图。

基于该方案，在对分割图进行分割的过程中，为了提升前景和背景的边缘的平滑性，可以通过无损方式来对分割图进行下采样，也即需要无一遗漏地对分割图中的每一个像素点进行采样。为此，可根据预设的采样步长，确定分割图中存在的各个采样邻域，其中每一个采样邻域中包括有P个不同位置的像素点；然后对各个采样邻域中的处于相同位置的像素点进行抽取，针对任一组的相同位置的各像素点，可按照预设的组合顺序对各像素点进行排列，从而关于每一组的相同位置的各像素点，排列后的结果可称为1个通道；然而，由于每一个采样邻域中包括有P个不同位置的像素点，则对分割图各采样邻域中处于相同位置的像素点进行抽取并按预设的组合顺序进行排列后的结果，可称为具有P通道的第一子图。

在一种可能实现的方法中，所述掩模图生成单元，具体用于：针对所述第二子掩膜图中的任一通道，将所述通道对应的子掩膜图中的各像素点的像素值抽取至所述分割图中对应的各采样邻域中，从而得到所述掩膜图。

基于该方案，对图像进行前景和背景的分割时，可以依据掩模图而进行，其中，掩模图的分辨率需与分割图的分辨率保持一致。为此，针对于第二子掩模图中的任一通道，可将该通道对应的子掩模图中的各像素点的像素值抽取到分割图中对应的各采样邻域中，从而就可以得到用于分割分割图的掩模图。该种得到用于分割分割图的掩模图的过程，可以理解为是对分割图进行无损下采样的过程的一个逆过程，该方式基于对分割图的采样方式是无损的，也即采样过程中遍及到了分割图中的任一个像素点，因此在根据该种方式得到的掩模图对分割图进行前景和背景进行分割时，所得到的前景和背景的边缘的平滑度将极大提升。

在一种可能实现的方法中，所述第一卷积操作中具有K个1*1*(P+Q)的第一卷积核；所述卷积操作单元，具体用于：针对任一第一卷积核，通过所述第一卷积核对所述第一子图和所述第二子图进行卷积操作，得到单通道的第三子图。

基于该方案，针对通过无损方式对分割图以及坐标图分别进行下采样而得到的具有P通道的第一子图和Q通道的第二子图，可将二者沿通道方向进行拼接，从而针对于在对分割图进行无损下采样时所缺失的每个像素点的位置信息，可以通过对与分割图具有相同分辨率的坐标图进行无损下采样而进行弥补，其主要是通过将无损下采样后的第一子图和第二子图沿通道方向进行拼接而进行弥补。由于拼接产生的特征图的通道数很大，这对于使用图像分割网络来对拼接产生的特征图做进一步的特征提取并不友好，需要耗费大量的数据处理能力和数据存储能力。为此，可以先对第一子图和第二子图沿通道方向拼接产生的特征图在通道数上进行缩减，比如缩减为K通道，而后可以将所产生的通道数较少的特征图，如具有K通道的第三子图，输入到图像分割网络中，由图像分割网络对其做进一步的特征提取操作。其中，在对第一子图和第二子图沿通道方向拼接产生的特征图执行通道缩减的操作时，可以使用K个1*1*(P+Q)的第一卷积核，具体的，针对第一子图和第二子图沿通道方向拼接产生的特征图，使用K个1*1*(P+Q)的第一卷积核当中的任意一个1*1*(P+Q)的第一卷积核，都可以生成一个单通道的第三子图，由于有K个1*1*(P+Q)的第一卷积核，从而最终可以产生具有K通道的第三子图。

在一种可能实现的方法中，所述第二卷积操作中具有L个1*1*K的第二卷积核；所述卷积操作单元，具体用于：针对任一第二卷积核，通过所述第二卷积核对所述第一子掩膜图进行卷积操作，得到单通道的第二子掩膜图。

基于该方案，在使用无损方式对分割图进行下采样时，可以得到P通道的第一子图，其中在分割图为灰度图时，第一子图中包括P张低分辨率的图像，在分割图为RGB彩图时，第一子图中包括P/3张低分辨率的图像。由于在使用掩模图对分割图进行分割时，掩模图的得到需要基于与对分割图无损下采样后产生的低分辨率的图像相同数目的子掩模图，然而进入到图像分割网络中的第三子图具有的通道数目可能并不会与低分辨率的图像的数目相同，因此，在生成掩模图之前，还需要对图像分割网络产生的结果——具有K通道的第一子掩模图进行通道的恢复，使通道恢复到低分辨率的图像的数目。其中，在对具有K通道的第一子掩模图执行通道恢复的操作时，可以使用L个1*1*K的第二卷积核，具体的，针对具有K通道的第一子掩模图，使用L个1*1*K的第一卷积核当中的任意一个1*1*K的第二卷积核，都可以生成一个单通道的第二子掩模图，由于有L个1*1*K的第二卷积核，从而最终可以产生具有L通道的第二子掩模图。例如，在分割图为灰度图时，L＝P，在分割图为RGB彩图时，L＝P/3。

在一种可能实现的方法中，所述第一卷积操作、所述第二卷积操作和所述图像分割网络是通过统一的损失函数训练得到的。

基于该方案，由于对分割图进行前景和背景的分割，涉及到了第一卷积操作、第二卷积操作和图像分割网络，本申请中通过一个统一的损失函数，就可以实现对第一卷积操作、第二卷积操作和图像分割网络的同时训练，提升了图像分割的效率。

在一种可能实现的方法中，所述损失函数对应的公式为：

其中，L_T表示总损失，L_f表示所述掩模图的损失，L_i表示第i通道下的第二子掩膜图的损失，P表示所述第二子掩膜图的通道数，λ表示预设系数。

基于该方案，由于用于训练第一卷积操作、第二卷积操作和图像分割网络的损失函数在确定的过程中，同时兼顾了掩模图的损失和第二子掩模图的损失，从而使得所确定出来的损失函数可更全面地表征出图像分割过程中的实际分割结果与真实分割结果之间的差异，根据该差异可以更好地对第一卷积操作、第二卷积操作和图像分割网络进行训练，如此的话，将可以实现更好的图像分割效果。

第三方面，本申请实施例提供了一种计算设备，包括：

存储器，用于存储计算机程序；

处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行如第一方面所述的方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像分割方法；

图2为本申请实施例提供的一种对4*4的灰度图像进行无损下采样的示意图；

图3为本申请实施例提供的一种掩模图生成的示意图；

图4为本申请实施例提供的一种图像分割装置。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

目前，对超高清图像中的前景和背景进行精确分割，对于一些场景下的隐私保护具有非常重要的意义。

然而，如果直接采用深度神经网络对超高清图像进行图像分割，将对设备的显卡要求非常高；如果在使用深度神经网络对超高清图像进行分割之前，通过池化操作实现对待分割的超高清图像的大幅度下采样，以此达到减少计算量的目的，但该种图像分割方法容易丢失待分割图像的细节信息，导致最终的图像分割结果不够精细化，也即经图像分割产生的前景和背景的边缘并不够平滑。

针对上述技术问题，本申请实施例提供一种图像分割方法，如图1所示，该方法包括以下步骤：

步骤101，对分割图按照无损方式进行下采样，得到具有P通道的第一子图。

在本步骤中，分割图为需要被执行前景和背景分割的图像，其类型可以为单通道的灰度图，也可以为多通道的彩色图，如为红、绿、蓝三通道的RGB图像，本申请不对分割图的类型进行限定。此外，本申请也不对分割图的尺寸进行限定，分割图可以为各种分辨率的图像。比如本申请中将以对4K的RGB图像进行分割为例进行说明。

在本步骤的一个实施中，所述对分割图按照无损方式进行下采样，得到具有P通道的第一子图，包括：根据预设采样步长，确定所述分割图中的各采样邻域；所述各采样邻域中具有P个不同位置的像素点；对所述各采样邻域中处于相同位置的像素点进行抽取，将抽取的像素点按预设的组合顺序组成具有P通道的第一子图。

例如，设针对一张4K的RGB图像，其分辨率为3840*2160，按照无损方式进行下采样。

在介绍按照无损方式对4K的RGB图像进行下采样之前，先简单介绍一下无损方式的下采样。其中，无损方式的下采样在实施时的关键之处在于：以一个邻域为单位，按照预设的平移方式，对分割图进行遍历；从而针对在分割图上遍历出的每一个邻域，可取每一个邻域内相同位置的像素点，并组合成一张新的图像。设对4K的RGB图像按照无损方式进行下采样时所使用的邻域具有N个像素点，则下采样后的结果即为可以形成N张新的图像，并可将该N张新的图像沿通道方向进行拼接，形成一个图像组。其中，该邻域的边长等于采样步长，该采样步长可由本领域技术人员根据实际的操作需求进行设置。

关于无损方式的下采样的实现过程，已经通过上一自然段进行解释。作为一个形象化的例子，下面可以通过对一张4*4的灰度图像进行无损下采样，来进一步地对无损方式的下采样作出说明。

说明的是，举例过程中，之所以并不是直接以对一张4K的RGB图像进行无损下采样，而是先对一张4*4的灰度图像进行无损下采样，主要原因在于4K的RGB图像的分辨率很大，为3840*2160，显然这不利于本申请对无损方式的下采样的实施过程作出清楚的解释说明。因此，本申请先以对一张4*4的灰度图像进行无损下采样，来阐述无损方式的下采样的实施过程，从而为4K的RGB图像实施无损下采样提供参考依据。

如图2所示，为本申请实施例提供的一种对4*4的灰度图像进行无损下采样的示意图。针对图2(a)所示的4*4的灰度图像，可令采样步长为2，也即表示每2个像素点采样一次，则邻域大小为2*2。在根据该邻域对4*4的灰度图像进行无损下采样时，该邻域将可以分别匹配到位于4*4的灰度图像的左上角的2*2区域、右上角的2*2区域、左下角的2*2区域和右下角的2*2区域。

其中，可对这4个区域中具有相同位置的像素点进行提取，从而形成4张新的图像。例如，这4个区域中具有相同位置的像素点包括：4个标识为“1”的像素点，4个标识为“2”的像素点，4个标识为“3”的像素点和4个标识为“4”的像素点。则：

针对4个标识为“1”的像素点，它们可以重新组合为一张新的图像；

针对4个标识为“2”的像素点，它们可以重新组合为一张新的图像；

针对4个标识为“3”的像素点，它们可以重新组合为一张新的图像；

针对4个标识为“4”的像素点，它们可以重新组合为一张新的图像。

因此，最终可以得到4张下采样后的低分辨率的图像，其中每一张低分辨率的图像的分辨率为2*2；通过将这4张低分辨率的图像在通道方向上拼接起来，则可以得到一个无损的下采样图像组，该无损的下采样图像组如图2(b)所示。由于4张下采样后的低分辨率的图像也是灰度图像，灰度图像为单通道，因此，图2(b)所示的无损的下采样图像组的通道数为4，通道数4对应于邻域的大小4(2*2＝4)。

鉴于上述已经详尽地描述了对4*4的灰度图像按照无损方式进行下采样的过程，则可以根据同样的下采样方式对4K(3840*2160)的RGB图像进行下采样。说明的是，由于该4K的RGB图像具有红、绿、蓝三个通道，则本申请将可以在任一个颜色通道下，对该4K的RGB图像进行无损下采样。例如，下述以在颜色通道为红色时，对该4K的RGB图像按照无损方式进行下采样为例进行说明：

在颜色通道为红色时，设对该4K的RGB图像进行无损下采样时的采样步长为16，则邻域大小为16*16；在根据该邻域对该4K的RGB图像进行无损下采样时，该邻域将可以匹配到位于该RGB图像上的共32400(3840/16＝240，2160/16＝135，240*135＝32400)个区域。在对这32400个区域中具有相同位置的像素点进行提取后，可以形成256张新的图像，其中每一张新的图像的分辨率为240*135；通过将这256张新的图像在通道方向上拼接起来，则可以得到一个无损的下采样图像组。由于所得到的由256张新的图像组成的这个无损的下采样图像组是基于红色这一单一颜色通道的，因此该图像组的通道数为256，通道数256对应于邻域大小256(16*16＝256)。

同理，针对该4K的RGB图像，在颜色通道为绿色时，采样步长为16，邻域为16*16时，同样可以得到由256张新的图像组成的一个无损的下采样图像组，该图像组的通道数也为256，通道数256对应于邻域大小256(16*16＝256)。

同理，针对该4K的RGB图像，在颜色通道为蓝色时，采样步长为16，邻域为16*16时，同样可以得到由256张新的图像组成一个无损的下采样的图像组，该图像组的通道数也为256，通道数256对应于邻域大小256(16*16＝256)。

上面讨论了对4K的RGB图像分别在红、绿、蓝三个单一通道下进行无损下采样的情形，接着可将该4K的RGB图像在颜色通道为红色、绿色、蓝色时的各256张新的图像组成的图像组进行合并，可以得到一组新的、三通道的由256张低分辨率的图像组合而成的一个图像组，该图像组的通道数为768(256*3＝768)，该通道数为768的图像组即为第一子图。

步骤102，对坐标图按照所述无损方式进行下采样，得到具有Q通道的第二子图。

在本步骤中，坐标图是与步骤101中的分割图具有相同分辨率的两通道矩阵，其第一个通道是对应该RGB图像上每个像素点的横坐标表示，第二个通道是对应该RGB图像上每个像素点的纵坐标表示，也即坐标图可用于指示分割图中每个像素点的位置信息。

例如，基于前述例子中的分割图为4K的RGB图像，则本步骤中以对4K的坐标矩阵、使用无损方式进行下采样为例，说明如何得到第二子图。

其中，对4K的坐标矩阵进行无损下采样时的采样步长也将为16，邻域为16*16；针对该4K的坐标矩阵的第一个通道进行无损下采样后的结果为：形成256个新的坐标矩阵，每一个新的坐标矩阵的分辨率为240*135；通过将这256个新的坐标矩阵在通道方向上拼接起来，则可以得到一个无损的下采样坐标矩阵组，该无损的下采样坐标矩阵组的通道数为256。

同理，根据同样的采样步长16对该4K的坐标矩阵的第二个通道进行无损下采样后的结果为：形成256个新的坐标矩阵，每一个新的坐标矩阵的分辨率为240*135；通过将这256个新的坐标矩阵在通道方向上拼接起来，则可以得到一个无损的下采样坐标矩阵组，该无损的下采样坐标矩阵组的通道数为256。

将该4K的坐标矩阵在第一通道和第二通道下的各256个新的坐标矩阵形成的坐标矩阵组进行合并时，可以得到一组新的、两通道的由256个新的坐标矩阵形成的坐标矩阵组，该坐标矩阵组的通道数为512(256*2＝512)，该通道数为512的坐标矩阵组即为第二子图。

步骤103，对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图；K小于P与Q的和。

在前述对4K的RGB图像进行分割的例子中，得到的第一子图具有768通道，得到的第二子图具有512通道。为了克服RGB图像在无损下采样过程中存在的各像素点位置信息缺失的问题，因此在将无损下采样产生的第一子图输入到图像分割网络之前，还需要将包含了位置信息的第二子图融合到第一子图中，产生一个新的特征图。其中，通过将第一子图和第二子图沿通道方向进行拼接，可产生一个通道数为1280(768+512＝1280)的特征图。该特征图整体上可以说明对RGB图像进行分割时是可以达到真正无损的目的的，可使得分割产生的前景与背景各自的边缘的平滑度得以极大提升。

在本步骤的一个实施中，所述第一卷积操作中具有K个1*1*(P+Q)的第一卷积核；所述对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图，包括：针对任一第一卷积核，通过所述第一卷积核对所述第一子图和所述第二子图进行卷积操作，得到单通道的第三子图。

例如，针对将具有768通道的第一子图和具有512通道的第二子图沿通道方向拼接而产生的一个具有1280通道的特征图，如果直接该特征图输入到图像分割网络中，则由于该特征图的通道数很大，为1280，这对图像分割网络的处理能力要求极高，极大地影响到图像分割的效率。

为了解决上述技术问题，本申请中提出在将经通道拼接所产生的具有1280通道的特征图输入到图像分割网络之前，可通过对该特征图进行卷积操作，实现在进一步提取特征的同时减少特征图的通道数的效果。比如，可以令即将输入到图像分割网络中的特征图的通道数为32，则可以对经通道拼接所产生的具有1280通道的特征图使用32个1*1*1280的卷积核，来进行卷积操作。其中，针对这32个1*1*1280的卷积核中的任一个1*1*1280的卷积核，都将对经通道拼接所产生的具有1280通道的特征图进行一次卷积操作，从而可得到单通道的第三子图；由于有32个卷积核，则经过本次的卷积操作将可以产生具有32通道的第三子图。

说明的是，本申请中可令即将输入到图像分割网络中的特征图的通道数为32，还可以令通道数为其他别的数字，如64等。具体需要将即将输入到的图像分割网络中的特征图的通道数控制为多少，这将由本领域技术人员根据实际的操作需求进行设置，本申请不做限定。

步骤104，通过图像分割网络，确定所述第三子图对应的具有K通道的第一子掩膜图。

经过步骤103的第一卷积操作，可以得到具有K通道的第三子图，由于实现了对特征图的通道数目的缩减，则本步骤中可以将具有K通道的第三子图输入到图像分割网络中，由图像分割网络对其进行图像分割处理，从而得到具有K通道的第一子掩模图。

步骤105，对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图；L大于K。

在本步骤的一个实施中，所述第二卷积操作中具有L个1*1*K的第二卷积核；所述对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图，包括：针对任一第二卷积核，通过所述第二卷积核对所述第一子掩膜图进行卷积操作，得到单通道的第二子掩膜图。

针对前述例子，在使用无损方式对4K的RGB图像进行下采样时，得到了由256张低分辨率的图像组成的一个无损的下采样图像组，因此在使用掩模图对该4K的RGB图像进行分割时，则需要用到256个掩模。由于一个掩模对应于一个通道，显然第一子掩模图的通道数32并不满足掩模图所要求的256个掩模对应的256个通道。

为了解决上述技术问题，本申请提出在生成掩模图之前，可通过对具有32通道的第一子掩模图进行卷积操作，实现对特征图通道数目的恢复。在本申请的例子中，由于需要用到256个掩模，则可令L＝256，也即表示可以对具有32通道的第一子掩模图使用256个1*1*32的卷积核，来进行卷积操作。其中，针对这256个1*1*32的卷积核中的任一个1*1*32的卷积核，都将对具有32通道的第一子掩模图进行一次卷积操作，从而可得到单通道第二子掩模图；由于有256个卷积核，则经过本次的卷积操作将可以产生具有256通道的第二子掩模图。

步骤106，将所述第二子掩膜图按照所述无损方式拼接为掩膜图；所述掩膜图与所述分割图具有相同的分辨率。

在本步骤的一个实施中，所述将所述第二子掩膜图按照所述无损方式拼接为掩膜图，包括：针对所述第二子掩膜图中的任一通道，将所述通道对应的子掩膜图中的各像素点的像素值抽取至所述分割图中对应的各采样邻域中，从而得到所述掩膜图。

以前述例子中对4*4的灰度图像进行无损下采样，需要对其进行掩模图的生成为例进行说明。如图3所示，为本申请实施例提供的一种掩模图生成的示意图，表示的是从4通道的2*2子掩模图生成单通道的4*4掩模图的过程，黑色代表背景，白色代表前景，数字标识掩模图生成前后像素点的对应位置。首先将每个2*2掩模左上角的像素点按照顺序生成4*4中左上角的2*2邻域。然后依次生成其余三个邻域，即可得到单通道的4*4掩模图。该生成掩模图的过程相当于对分割图使用无损方式下采样的逆过程。

针对前述的对4K的RGB图像进行分割的例子，由于图像分辨率太大，这里不再使用示意图表示从256通道的240*135子掩模图生成单通道的3840*2160掩模图的过程。

步骤107，通过所述掩膜图对所述分割图进行图像分割。

在本步骤中，根据步骤106中产生的掩模图，则可以实现对分割图进行前景和背景的分割。

基于该方案，针对于分割图，通过构建与之对应的坐标图，并分别对两者进行无损下采样，且针对于无损下采样后的结果——具有P通道的第一子图和具有Q通道的第二子图，可进行第一卷积操作，该操作对分割图上的每个像素点与该像素点的位置信息进行了融合，从而在图像分割的过程中，不会丢失分割图的任何细节信息，保证了图像在分割时前景和背景边缘的平滑性；此外，相比于直接将分割图输入图像分割网络，本申请的经过第一卷积操作得到的具有K通道的第三子图占用到的图像分割网络的数据处理资源将是相对少量的，如此的话，本申请的图像分割网络对设备性能的要求并不会很高，也即本申请可支持在一种显卡性能不是很高的设备上实现对图像的分割。通过该方式，可以实现在低设备性能的条件下、精准地对超高清图像进行分割。

由于本申请中在对分割图进行分割时，涉及到第一卷积操作、第二卷积操作以及对图像分割网络的使用，这三者均可以通过同一个损失函数训练得到。

在本申请的某些实施中，所述损失函数对应的公式为：

其中，L_T表示总损失，L_f表示所述掩模图的损失，L_i表示第i通道下的第二子掩膜图的损失，P表示所述第二子掩膜图的通道数，如在本申请实施例中P＝256，λ表示预设系数，用于平衡网络学习的重点。L_f和L_i可以使用传统的分割损失函数来计算，如交叉熵损失、Dice损失等。

在本申请的某些实施中，所述损失函数对应的公式为：

L_T＝L_f

其中，L_T表示总损失，L_f表示所述掩模图的损失，L_f可以使用传统的分割损失函数来计算，如交叉熵损失、Dice损失等。

基于同样的构思，本申请实施例还提供一种图像分割装置，如图4所示，该装置包括：

无损下采样单元401，用于对分割图按照无损方式进行下采样，得到具有P通道的第一子图；

无损下采样单元401，还用于对坐标图按照所述无损方式进行下采样，得到具有Q通道的第二子图；所述坐标图与所述分割图具有相同的分辨率，所述坐标图用于指示所述分割图中每个像素点的位置信息；

卷积操作单元402，用于对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图；K小于P与Q的和；

第一子掩模图确定单元403，用于通过图像分割网络，确定所述第三子图对应的具有K通道的第一子掩膜图；

卷积操作单元402，还用于对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图；L大于K；

掩模图生成单元404，用于将所述第二子掩膜图按照所述无损方式拼接为掩膜图；所述掩膜图与所述分割图具有相同的分辨率；

图像分割单元405，用于通过所述掩膜图对所述分割图进行图像分割。

进一步的，对于该装置，无损下采样单元401，具体用于：根据预设采样步长，确定所述分割图中的各采样邻域；所述各采样邻域中具有P个不同位置的像素点；对所述各采样邻域中处于相同位置的像素点进行抽取，将抽取的像素点按预设的组合顺序组成具有P通道的第一子图。

进一步的，对于该装置，掩模图生成单元404，具体用于：针对所述第二子掩膜图中的任一通道，将所述通道对应的子掩膜图中的各像素点的像素值抽取至所述分割图中对应的各采样邻域中，从而得到所述掩膜图。

进一步的，对于该装置，所述第一卷积操作中具有K个1*1*(P+Q)的第一卷积核；卷积操作单元402，具体用于：针对任一第一卷积核，通过所述第一卷积核对所述第一子图和所述第二子图进行卷积操作，得到单通道的第三子图。

进一步的，对于该装置，所述第二卷积操作中具有L个1*1*K的第二卷积核；卷积操作单元402，具体用于：针对任一第二卷积核，通过所述第二卷积核对所述第一子掩膜图进行卷积操作，得到单通道的第二子掩膜图。

进一步的，对于该装置，所述第一卷积操作、所述第二卷积操作和所述图像分割网络是通过统一的损失函数训练得到的。

进一步的，对于该装置，所述损失函数对应的公式为：

其中，L_T表示总损失，L_f表示所述掩模图的损失，L_i表示第i通道下的第二子掩膜图的损失，P表示所述第二子掩膜图的通道数，λ表示预设系数。

本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器，可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储图像分割方法的程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行图像分割方法。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行图像分割方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像分割方法，其特征在于，包括：

对分割图按照无损方式进行下采样，得到具有P通道的第一子图；

对坐标图按照所述无损方式进行下采样，得到具有Q通道的第二子图；所述坐标图与所述分割图具有相同的分辨率，所述坐标图用于指示所述分割图中每个像素点的位置信息；

对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图；K小于P与Q的和；

通过图像分割网络，确定所述第三子图对应的具有K通道的第一子掩膜图；

对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图；L大于K；

将所述第二子掩膜图按照所述无损方式拼接为掩膜图；所述掩膜图与所述分割图具有相同的分辨率；

通过所述掩膜图对所述分割图进行图像分割。

2.如权利要求1所述的方法，其特征在于，

所述对分割图按照无损方式进行下采样，得到具有P通道的第一子图，包括：

根据预设采样步长，确定所述分割图中的各采样邻域；所述各采样邻域中具有P个不同位置的像素点；

对所述各采样邻域中处于相同位置的像素点进行抽取，将抽取的像素点按预设的组合顺序组成具有P通道的第一子图。

3.如权利要求2所述的方法，其特征在于，

所述将所述第二子掩膜图按照所述无损方式拼接为掩膜图，包括：

针对所述第二子掩膜图中的任一通道，将所述通道对应的子掩膜图中的各像素点的像素值抽取至所述分割图中对应的各采样邻域中，从而得到所述掩膜图。

4.如权利要求1所述的方法，其特征在于，所述第一卷积操作中具有K个1*1*(P+Q)的第一卷积核；

所述对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图，包括：

针对任一第一卷积核，通过所述第一卷积核对所述第一子图和所述第二子图进行卷积操作，得到单通道的第三子图。

5.如权利要求1所述的方法，其特征在于，所述第二卷积操作中具有L个1*1*K的第二卷积核；

所述对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图，包括：

针对任一第二卷积核，通过所述第二卷积核对所述第一子掩膜图进行卷积操作，得到单通道的第二子掩膜图。

6.如权利要求1-5任一项所述的方法，其特征在于，所述第一卷积操作、所述第二卷积操作和所述图像分割网络是通过统一的损失函数训练得到的。

7.如权利要求6所述的方法，其特征在于，所述损失函数对应的公式为：

其中，L_T表示总损失，L_f表示所述掩模图的损失，L_i表示第i通道下的第二子掩膜图的损失，P表示所述第二子掩膜图的通道数，λ表示预设系数。

8.一种图像分割装置，其特征在于，包括：

无损下采样单元，用于对分割图按照无损方式进行下采样，得到具有P通道的第一子图；

所述无损下采样单元，还用于对坐标图按照所述无损方式进行下采样，得到具有Q通道的第二子图；所述坐标图与所述分割图具有相同的分辨率，所述坐标图用于指示所述分割图中每个像素点的位置信息；

卷积操作单元，用于对所述第一子图和所述第二子图进行第一卷积操作，得到具有K通道的第三子图；K小于P与Q的和；

第一子掩模图确定单元，用于通过图像分割网络，确定所述第三子图对应的具有K通道的第一子掩膜图；

所述卷积操作单元，还用于对所述第一子掩膜图进行第二卷积操作，得到具有L通道的第二子掩膜图；L大于K；

掩模图生成单元，用于将所述第二子掩膜图按照所述无损方式拼接为掩膜图；所述掩膜图与所述分割图具有相同的分辨率；

图像分割单元，用于通过所述掩膜图对所述分割图进行图像分割。

9.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任一项所述的方法。

Images