CN108389208A - 一种基于语义分割的图像智能适配显示方法 - Google Patents

Abstract

本发明属于数字图像处理技术领域，具体为一种基于语义分割的图像智能适配显示方法。图像智能适配显示技术用于保护图像中的重要物体，使得图像放大或缩小时重要物体的尺寸变化尽量小。本发明依次包括以下步骤：使用线裁剪对图像进行分组；根据图像的能量图为每个分组分配比例因子；结合语义分割，重新分配比例因子，使得属于同一物体的像素比例因子接近，减少扭曲；根据比例因子进行像素融合。实验结果表明，放大或缩小图像时，本发明能够使得重要物体尺寸变化小，同时减少重要物体以及背景的畸变。

Description

一种基于语义分割的图像智能适配显示方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种适配显示方法，更具体的说，涉及一种基于语义分割的图像智能适配显示方法。

背景技术

近年来，随着数字媒体与计算机的不断地发展，各种智能设备涌入人们的生活。图像作为一种包含丰富信息的常见交流媒介，需要适应不同分辨率、宽高比的屏幕。而传统的图像处理方法，比如均匀缩放、剪切将会引起图像失真或者丢失重要的信息。当图像在不同分辨率、宽高比的屏幕出现时，图像智能适配显示方法(Image Retargeting)可以调整图像，使得图像的显著区域发生较少的失真，在提升用户视觉体验方面发挥着越来越重要的作用。

适配显示方法主要可以分为两类：像素删除的方法(离散的方法)和像素融合的方法(连续的方法)；线裁剪(Seam Carving)^[1]是一种经典的像素删除的方法，它的主要思想是每次从一行或者一列中最多移除一个像素，减少图像失真，但是当图像缩小或放大比例很大时，图像会出现明显的失真，非常不自然。相比之下，像素融合的方法获得的图像更加自然、平滑。像素融合方法把原始图像中每个像素当成单位长度，融合时，使用比例因子为每个像素设定新的长度，通过线性加权的方式将各个像素融合成新的单位长度的像素。基于像素线搜索和像素融合的适配显示方法^[2]使用显著性检测结果^[3]作为能量图。用线裁剪的方法搜索像素线，按照搜索结果，将图片分为若干组，根据每组的能量，按比例为各组分配比例因子并矫正不合理的比例因子，最后使用像素融合达到了很好的适配显示效果。文献[2]使用能量图计算比例因子后，同一个组的像素有统一的比例因子，但是并不能保证经过重要物体的每个组的比例因子都相同，仍然会有一定的扭曲。如果能修正比例因子，使得同一物体比例因子接近，则可以减少扭曲。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于语义分割的图像智能适配显示方法，它主要针对图片中重要物体的保护，使图片大小发生变化时，重要物体尺寸不发生太大变化，其借助语义分割的结果，给重要物体和背景分别重新分配比例因子，达到减少扭曲的目的。

本发明提供的基于语义分割的图像智能适配显示方法，具体步骤如下：

(1)借助线裁剪将图像分成若干组

计算图像的梯度，在图像中找到一条穿过整幅图像且梯度总和最小的像素线，从图像中裁剪掉该像素线，将每次裁剪掉的像素线分为一组。具体的线裁剪方法参考文献[1]。根据缩放因子，重复上述过程，直到满足缩放因子的要求；剩余的像素按每行或每列分为一组。当图像水平方向适配显示时，一组像素的数量等于图像中一列像素的数量，线裁剪过程结束后，将剩余的像素每列分为一组；当图像竖直方向适配显示时，一组像素的数量等于图像中一行像素的数量，线裁剪过程结束后，将剩余的像素每行分为一组。

(2)计算能量图，分配比例因子

给定大小为H×W的图像，能量图由显著性检测结果和语义分割结果加权获得，能量图的计算公式如下：

E(x,y)＝αSD(x,y)+(1-α)SC(x,y) (1)

其中，1≤x≤H，1≤y≤W，0≤α≤1，0≤SD(x,y)≤1，0≤SC(x,y)≤1，0≤E(x,y)≤1，SD(x,y)表示图像中第x行y列像素的显著性检测结果，越大说明该像素对人的视觉影响越大；SC(x,y)表示第x行y列像素的得分，由语义分割的得分图处理获得，越大说明该像素不是背景的可能性越大；α用于平衡SD(x,y)和SC(x,y)对能量图E(x,y)的贡献，一般宜取值为0.6—0.9，实施例中α取值为0.8；能量图中的值越大，说明对应像素越重要。显著性检测结果由Itti等人的方法获得，具体参考文献[3]，语义分割结果由Lin等人的方法获得，具体参考文献[4]。

根据缩放因子和能量图E(x,y)，使用Yan等人^[2]的方法为每组像素分配比例因子。计算每组像素能量的平均值，对于能量较高的组，分配较大的比例因子。比例因子S(x,y)表示第x行y列像素在像素融合中的贡献度；若比例因子大于1(减小宽度时)或小于1(增大宽度时)，还需要矫正。

(3)重新分配比例因子

不失一般性，以水平方向的适配显示为例，重新分配图像中物体的比例因子：

计算各组所包含的第l类像素的个数其中表示第k组包含的第l类像素的个数；根据第l类的阈值T^l，给的组重新分配比例因子：

其中，当1[·]的方括号中内容为真时，它的值为1，否则为0；CO(i,j)表示第j组第i个像素所在的列；用同样的方法处理图像中的其他物体的类，直至图像中所有的物体的类处理完成。若图像中包含同一类多个物体且物体间不相邻，可以选择把不相邻的同一类的多个物体当成多个类处理，防止一个物体的比例因子被均衡到另一个物体。

阈值T^l的计算方法为：

将降序排列为阈值T^l为：

其中，参数γ为调控参数，通常设置为0.1—0.4，实施例中γ设置为0.2。

对于垂直方向的适配显示，重新分配图像中物体的比例因子的方法与上述一样。

这样设置第l类的阈值T^l的原因是：如果直接重新分配包含第l类物体像素的所有组的比例因子，有些组包含的目标物体的像素非常少且比例因子较低，当它们和包含目标物体像素非常多、比例因子较大的组一起重新分配时，会导致目标物体的比例因子接近背景的比例因子，起不到保护目标物体的作用；如果将阈值T^l设置成固定的值，图片中目标物体大小和形状不定，当阈值设置太大，会导致较小的物体无法重新分配比例因子；当阈值设置太小，会导致较大的物体比例因子接近背景，而按照本发明的方法将阈值设成自适应的方式，可以较有效地避免上述情况。

重新分配图像中背景的比例因子：

计算各组包含的背景像素的个数其中表示第k组包含的背景像素的个数；将降序排列为σ是{1,…,W}→{1,…,W}的双射函数，使得设置阈值β∈[0,1]，重新分配比例因子：

一般地，阈值β为阈值，一般可取0.3-0.5；实施例中取值为0.4。

背景像素作为一种特别的类，在图像中占有很大的比例。如果重新分配所有背景像素所在组的比例因子，可能会导致整个图像比例因子相同，相当于普通的图像缩小或放大操作，无法起到保护重要物体的作用；如果使用物体比例因子的重新分配方法，一般情况下，因此很难起到自适应调整阈值的作用。而在本发明中，重新分配背景的比例因子时，组数被限制在合适的范围内，只有当额外的组全部由背景像素构成时，组数才可以超出限定范围。实验结果表明，这样可以防止分配背景的比例因子时，过度影响物体的比例因子，同时可以使背景和物体的衔接部分更加自然。

(4)像素融合

获得重新分配的比例因子后，通过像素融合的方式获得目标图像的适配显示；以水平方向适配显示为例，假设原始图像中每个像素宽度为1；比例因子为每个像素设定新的宽度，通过线性加权的方式将各个像素融合成新的宽度为1的像素，最终构成特定大小的图像。对于垂直方向适配显示，作类似处理。

本发明步骤(2)中，第x行y列像素的得分SC(x,y)计算方式如下：

语义分割将图像中的像素分为L类，获得图像中每个像素的分类C∈R^H×W和得分图SM∈R^H×W×L，其中背景是一个特殊的类，C∈{0,1,2,…,L-1}，SM∈{0,1,…,255}；计算SC(x,y)：

其中，第0类表示背景；

本发明的有益效果在于：不仅考虑了放大或缩小图像时保护重要物体，还考虑了物体整体尺寸变化不大时，物体内部各区域相对比例接近原图，减少扭曲的发生。本发明使用图像语义分割技术提供的语义信息，在能量图计算的比例因子基础上，重新分配各类物体的比例因子，使得同一类物体比例因子接近，最后用像素融合的方式，使得目标图像平滑自然。

附图说明

图1为本发明的流程图。

图2为使用本发明将图片水平方向缩小为原来的50％后智能适配显示的结果。

具体实施方式

对于一张待缩放的图片，从水平方向上将其缩小为原来的50％，按图1所示方法进行适配显示。具体步骤为：

(1)计算图像的梯度，用线裁剪的方法，找到一条梯度总和最小的像素线，该像素线被分为一组。上述过程迭代0.5W次，得到0.5W组。剩余像素组成的图像大小为H×0.5W，每列分为一组。至此，整张图像被分为W组，每组像素数为H；

(2)计算能量图，能量图由语义分割结果和显著性检测结果线性加权获得，将参数α设置为0.8。使用文献[2]的方法计算各个像素的比例因子。同一组像素的比例因子相同；

(3)根据语义分割结果，先为背景像素重新分配比例因子，然后依次为每一类物体重新分配比例因子，分配的顺序影响不大；参数β设为0.4，γ设为0.2；

(4)根据像素融合方法，使用重新分配的比例因子融合像素，生成新的图像；

图2为本发明的实例，其中图2(a)为原图，图2(b)为适配显示结果，图2(c)为均匀缩放结果；可以看出，本发明的方法在水平方向缩放50％时，可以保持人的尺寸较大，同时背景未发生明显丢失和扭曲。

参考文献

[1]S.Avidan and A.Shamir,“Seam carving for content-aware imageresizing”,ACM Trans.Graph.(TOG),vol.26,no.3,pp.10,2007.

[2]B.Yan,K.Li,X.Yang and T.Hu,“Seam Searching based Pixel Fusion forImage Retargeting”,IEEE Transactions on Circuits and Systems for VideoTechnology,vol.25,no.1,pp.15-23,Jan.2015.

[3]L.Itti,C.Koch,and E.Niebur,“A model of saliency-based visualattention for rapid scene analysis,”IEEE Transactions on Pattern Analysis andMachine Intelligence,vol.20,no.11,pp.1254–1259,Nov.1998.

[4]G.Lin,A.Milan,C.Shen,and I.Reid,“RefineNet:Multi-Path RefinementNetworks for High-Resolution Semantic Segmentation”,IEEE Conference onComputer Vision and Pattern Recognition,July 2017.。

Claims (5)

1.一种基于语义分割的图像智能适配显示方法，其特征在于，具体步骤如下：

(1)借助线裁剪将图像分成若干组

计算图像的梯度，在图像中找到一条穿过整幅图像且梯度总和最小的像素线，从图像中裁剪掉该像素线，将每次裁剪掉的像素线分为一组；根据缩放因子，重复上述过程，直到满足缩放因子的要求；剩余的像素按每行或每列分为一组：当图像水平方向适配显示时，一组像素的数量等于图像中一列像素的数量，线裁剪过程结束后，将剩余的像素每列分为一组；当图像竖直方向适配显示时，一组像素的数量等于图像中一行像素的数量，线裁剪过程结束后，将剩余的像素每行分为一组；

(2)计算能量图，分配比例因子

给定大小为H×W的图像，能量图由显著性检测结果和语义分割结果加权获得，能量图的计算公式如下：

E(x,y)＝αSD(x,y)+(1-α)SC(x,y) (1)

其中，1≤x≤H，1≤y≤W，0≤α≤1，0≤SD(x,y)≤1，0≤SC(x,y)≤1，0≤E(x,y)≤1，SD(x,y)表示图像中第x行y列像素的显著性检测结果，越大说明该像素对人的视觉影响越大；SC(x,y)表示第x行y列像素的得分，由语义分割的得分图处理获得，越大说明该像素不是背景的可能性越大；α用于平衡SD(x,y)和SC(x,y)对能量图E(x,y)的贡献；能量图中的值越大，说明对应像素越重要；

根据缩放因子和能量图E(x,y)，为每组像素分配比例因子：计算每组像素能量的平均值，对于能量较高的组，分配较大的比例因子；比例因子S(x,y)表示第x行y列像素在像素融合中的贡献度；

(3)重新分配比例因子

对于水平方向的适配显示，重新分配图像中物体的比例因子：

计算各组所包含的第l类像素的个数其中表示第k组包含的第l类像素的个数；根据第l类的阈值T^l，给的组重新分配比例因子：

其中，当1[·]的方括号中内容为真时，它的值为1，否则为0；CO(i,j)表示第j组第i个像素所在的列；用同样的方法处理图像中的其他物体的类，直至图像中所有的物体的类处理完成；若图像中包含同一类多个物体且物体间不相邻，选择把不相邻的同一类的多个物体当成多个类处理，防止一个物体的比例因子被均衡到另一个物体；

重新分配图像中背景的比例因子：

计算各组包含的背景像素的个数其中表示第k组包含的背景像素的个数；将降序排列为σ是{1,…,W}→{1,,W}的双射函数，使得设置阈值β∈[0,1]，重新分配比例因子：

(4)像素融合

获得重新分配的比例因子后，通过像素融合的方式获得目标图像的适配显示；对于水平方向适配显示，假设原始图像中每个像素宽度为1；比例因子为每个像素设定新的宽度，通过线性加权的方式将各个像素融合成新的宽度为1的像素，最终构成特定大小的图像；对于垂直方向适配显示，作类似处理。

2.根据权利要求1所述的基于语义分割的图像智能适配显示方法，其特征在于，步骤(2)中，第x行y列像素的得分SC(x,y)计算方式如下：

语义分割将图像中的像素分为L类，获得图像中每个像素的分类C∈R^H×W和得分图SM∈R^H×W×L，其中背景是一个特殊的类，C∈{0,1,2,…,L-1}，SM∈{0,1,…,255}；计算SC(x,y)：

其中，第0类表示背景。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中，参数取值为0.6—0.9。

4.根据权利要求1所述的方法，其特征在于，步骤(3)中，阈值T^l的计算方法为：

将降序排列为阈值T^l为：

其中，参数γ设置为0.1—0.4。

5.根据权利要求1所述的方法，其特征在于，步骤(3)中，阈值β设置为0.3-0.5。