CN114078139A - 基于人像分割模型生成结果的图像后处理方法 - Google Patents

Abstract

本发明公开了基于人像分割模型生成结果的图像后处理方法，将原始图片压缩后输入人像分割模型，根据人像分割模型生成结果将图片划分为背景区、待确定区和前景区；对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区；将图片放大至与原始图片大小匹配，再进行二值化与滤波，得到处理后的图片数据。本发明采用图像后处理技术，解决小模型处理结果精度不佳及放大存在锯齿感的问题，使得硬件性能不够强的设备通过小模型加模型后处理得到的结果达到与硬件性能较强的设备运行的较复杂的模型得到的结果在表现上相仿的程度，降低人像抠图对硬件的要求。

Description

基于人像分割模型生成结果的图像后处理方法

技术领域

本发明涉及图像处理技术领域，具体的说，是一种基于人像分割模型生成结果的图像后处理方法。

背景技术

抠图是指准确提取静止图片或者视频图片序列中的前景目标，它是许多图像编辑中的关键技术之一。抠图问题也可以被定义为每一个图片像素估计alpha值(前背景色比例)的任务。在该任务中，输入为原图像，输出将是每个像素点的alpha值。目前抠图问题往往通过深度学习模型直接得到结果即每一个图片像素的alpha值，模型复杂度决定着抠图结果的好坏，通常较好的抠图结果往往需要较复杂的模型。然而要达到实时抠图的话，模型越复杂对设备的计算能力要求就越高，往往在有限的计算能力的情况下无法部署足够复杂的模型。而如果部署较为简单的模型，虽能满足实时处理的需求，得到的人像抠图结果只能得到一个准确度较低，且输出放大后会有锯齿感的模型。还有，深度学习模型对输入数据与输出数据的大小有要求，如果输入输出数据的太大，那么模型运行时间会变长，而如果输入输出数据的大小，虽然模型运行时间会缩短，但是匹配到原图像之后会存在锯齿感，影响精度。

发明内容

本发明的目的在于提供一种基于人像分割模型生成结果的图像后处理方法，用于解决现有技术中深度学习模型处理人像抠图问题存在处理时间与模型精度的矛盾的问题，以及解决现有技术中输入输出数据大小影响模型运行时间或者导致精度降低的问题。

本发明通过下述技术方案解决上述问题：

一种基于人像分割模型生成结果的图像后处理方法，包括：

步骤S100、将原始图片压缩后输入人像分割模型，根据人像分割模型生成结果将图片划分为背景区、待确定区和前景区；

步骤S200、对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区；

步骤S300、将图片放大至与原始图片大小匹配，再进行二值化与滤波，得到处理后的图片数据。

对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区的方法为：遍历待确定区的每个点，执行以下步骤：

步骤S210、以选中的点I(x,y)为原点，生成检测框，检测框的左下角坐标(x-5,y-5)与右上角(x+5,y+5)；

步骤S220、统计检测框内所有点的r，g，b的平均值得到r测，g测，b测；

步骤S230、以点I(x,y)做十字线，找到十字线与确定区域最近的两个交点，确定区域为前景区和背景区，判断这两个交点：

若这两个交点均在前景区，则点I(x,y)在前景区，结束；

若这两个交点均在背景区，则点I(x,y)在背景区，结束；

若一个交点在前景区即前景交点，一个交点在背景区即背景交点，则分别以前景交点、背景交点为原点，生成与步骤S210中同样大小的两个检测框，分别计算两个检测框内所有点的r，g，b的平均值，得到r前，g前，b前和r背，g背，b背；比较[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]与[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]小于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在前景区，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]大于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在背景区；根据[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]、[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]的计算结果对点I(x,y)在人像分割模型的生成结果进行加权，结束。

出于准确性的考量，我们用结合颜色梯度分析结果对模型生成结果进行加权，既对颜色梯度分析结果中得到为背景结果的在模型生成结果中进行减小操作使其趋近0，而对颜色梯度分析结果中得到为前景结果的在模型生成结果中进行加大操作使其趋近1。这一步的操作有助于结果更趋向0与1，从而减小二分划后的误差。

所述步骤S300具体包括：

将人像分割模型的生成结果更新为(255-255*生成结果)，得到alpha的值，采用插值方法INTER_CUBIC将图片放大至与原始图片大小匹配，再进行二值化和高频滤波，得到图片压缩前的图片数据。

如果需要放大操作，则需要把放大操作放在二值化操作之前。原因是如果二值化后再放大会损失更多的边缘细节，会导致结果锯齿感非常明显。而关于放大操作是因为，为了保证模型速度，模型的输入输出的大小通常都会进行压缩，需要对生成结果进行放大从而匹配原始图片。二值化操作则可根据情况，在0～1之间任取一值α，而α越趋近于1，前景缺少的可能性会增大，但背景混入前景的可能性减小，α越趋近于0，前景缺少的可能性会减小，但背景混入前景的可能性增大。因此α的取值需根据模型及场景进行调整，才可找到最合适的值。二值化后，再将生成结果转换为(255-255*生成结果)，得到的结果即为该像素对应的透明度alpha。

最后将上一步的透明度进行高频滤波，因此边缘锯齿说到底也就是一个高频信号，对高频信号进行滤波即可减少锯齿感的影响。滤波器的大小可以根据时间要求，图片大小以及效果进行自主调节。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明采用图像后处理技术，解决小模型处理结果精度不佳及放大存在锯齿感的问题，使得在硬件性能不够强的设备通过小模型以及模型后处理得到的结果，与在硬件性能较强的设备运行的较复杂的模型得到的结果效果相同或接近，降低人像抠图对硬件的要求。

(2)本发明保留了小模型的速度优势，同时运用了相关的图像后处理技术使其精度得到进一步提升，以及放大后消除了抠图锯齿感的影响。

(3)本发明采用传统图像处理方法来取代增加深度学习模型复杂度的情况，和现有技术相比，可以在低性能机器上对低精度结果进行处理，使其放大后锯齿感减少以及精度提升。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例：

结合附图1所示，一种基于人像分割模型生成结果的图像后处理方法，包括步骤：

首先确认单帧图像为1280*720*3的图片，由于人像分割模型输入输出分别为224*224*3与224*224*1。因此，需要对原始图片进行压缩至224*224*3，再对224*224*3进行三分图划分即将224*224*3输入人像分割模型，生成结果为224*224*1的像素数组，数值范围为0～1，在三分图中对应的224*224*1中进行颜色梯度分析，再将颜色分析加权的结果放大到1280*720，接着二值化，最后高频滤波得到匹配1280*720*3的结果图。

在三分图划分中为减少时间消耗，可将0.5及以下均设为背景，0.5～0.7设的待确定区，0.7及以上设为前景。操作方法为遍历224*224的结果(即数组中224*224个0～1的结果)，对每个结果进行判断，将0.7及以上改为1，0.5及以下改为0，其余保持不变。

在颜色梯度分析中，遍历处理过的224*224的结果，若为0(为背景区)或1(为前景区)则跳过，若其他情况则说明此点为待确定区，即待测点。

一，以该待测点(x,y)为圆点，生成左下角坐标(x-5,y-5)与右上角(x+5,y+5)的检测框；

二，统计该检测框内所有点的r,g,b的平均值得到r测，g测，b测；

三，以该待测点做一个十字线(本实施例采用的是横平竖直的十字线)，找到十字线与确定区域(确定的前景或确定的背景)最近的两个交点。若这两个点均为确定的前景，则该点为前景。若这两个点均为确定的背景，则该点为背景。若一个交点为前景点，一个交点为背景点，则进行下一步；

四，分别对该前景交点和背景交点为中心生成与步骤一里等大的检测框，接着如步骤二一样分别计算两个框内的r,g,b的平均值，得到r前，g前，b前和r背，g背，b背；

五，比较[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]与[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]。如果前者小则该点为前景，如果后者小，则该点为背景；

根据[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]、[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]的计算结果对点I(x,y)在人像分割模型的生成结果进行加权，使待测点的模型生成结果与颜色分析结果一致。

六，接着将该结果进行255-255*结果的操作，得到alpha的值(即将归一化结果转换为alpha的值)，再放大到1280*720，放大用到的插值方法为INTER_CUBIC。再进行二值化，最后进行高频滤波，选择7*7的低通滤波器，即可得到数组中1280*720个像素值。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (3)

1.一种基于人像分割模型生成结果的图像后处理方法，其特征在于，包括：

步骤S100、将原始图片压缩后输入人像分割模型，根据人像分割模型生成结果将图片划分为背景区、待确定区和前景区；

步骤S200、对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区；

步骤S300、将图片放大至与原始图片大小匹配，再进行二值化与滤波，得到处理后的图片数据。

2.根据权利要求1所述的基于人像分割模型生成结果的图像后处理方法，其特征在于，对待确定区采用颜色梯度分析，确定待确定区每一个像素属于前景区还是背景区的方法为：遍历待确定区的每个点，执行以下步骤：

步骤S210、以选中的点I(x,y)为原点，生成检测框，检测框的左下角坐标(x-5,y-5)与右上角(x+5,y+5)；

步骤S220、统计检测框内所有点的r，g，b的平均值得到r测，g测，b测；

步骤S230、以点I(x,y)做十字线，找到十字线与确定区域最近的两个交点，确定区域为前景区和背景区，判断这两个交点：

若这两个交点均在前景区，则点I(x,y)在前景区，结束；

若这两个交点均在背景区，则点I(x,y)在背景区，结束；

若一个交点在前景区即前景交点，一个交点在背景区即背景交点，则分别以前景交点、背景交点为原点，生成与步骤S210中同样大小的两个检测框，分别计算两个检测框内所有点的r，g，b的平均值，得到r前，g前，b前和r背，g背，b背；比较[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]与[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]小于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在前景区，若[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]大于[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]，则点I(x,y)在背景区；根据[(r前-r测)^2+(g前-g测)^2+(b前-b测)^2]、[(r背-r测)^2+(g背-g测)^2+(b背-b测)^2]的计算结果对点I(x,y)在人像分割模型的生成结果进行加权，结束。

3.根据权利要求2所述的基于人像分割模型生成结果的图像后处理方法，其特征在于，所述步骤S300具体包括：

将人像分割模型的生成结果更新为(255-255*生成结果)，得到alpha的值，采用插值方法INTER_CUBIC将图片放大至与原始图片大小匹配，再进行二值化和高频滤波，得到图片压缩前的图片数据。

Images