CN103136723A - 一种图像锯齿消除方法及系统 - Google Patents

Abstract

本发明公开了一种图像锯齿消除方法，包括以下步骤：首先确定图像中需要消除锯齿的边界，并对所述边界进行拟合；然后根据所述边界路径两侧设定范围内像素点与其最近边界之间的关系及图像拆解得到的图像透明度修补所述边界路径两侧的像素点；最后计算所述边界路径上像素点的融合度，根据所述融合度对所述边界路径上的像素点进行融合。本发明还公开了一种图像锯齿消除系统。本发明所述方法及系统，通过较少的交互方式即实现了图像的锯齿消除，经过验证表明，其处理的效果并不比纯手工消锯齿的方式差，极大地提高了消除图像锯齿的效率。

Description

一种图像锯齿消除方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种图像锯齿消除方法及系统。

背景技术

在图像处理领域中，由于种种原因可能导致一幅图像的边界处过度生硬，从而造成锯齿现象。传统的图像锯齿消除方法需要经过大量的交互操作来实现，很显然这种方法在需要批量处理图像边界锯齿时需要消耗大量的人力成本和时间成本，这是无法接受的。其他现有的消锯齿技术主要是针对特定类型图像或者特定的应用领域而设计的，不具有通用性。例如，“二维图形反锯齿方法和装置”(专利号200810224353)主要是解决印刷文件中的锯齿现象；“图像缩放器中抗边缘锯齿噪声的方法”(专利号200610086176)主要针对的是图像缩放后产生的锯齿。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种效率高的图像锯齿消除方法及系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种图像锯齿消除方法，包括以下步骤：

确定图像中需要消除锯齿的边界，并对所述边界进行拟合；

根据所述边界路径两侧设定范围内像素点与其最近边界之间的关系及图像拆解得到的图像透明度修补所述边界路径两侧的像素点；

计算所述边界路径上像素点的融合度，根据所述融合度对所述边界路径上的像素点进行融合。

如上所述的图像锯齿消除方法，优选的，所述确定图像中需要消除锯齿边界的方法如下：

通过选区方式选择需要消锯齿的边界，或者采用画刷涂抹需要消除锯齿的边界区域，或者同时应用选区和画刷的方式选择需要消除锯齿的边界。

如上所述的图像锯齿消除方法，优选的，所述对边界进行拟合的方法采用贝塞尔曲线拟合法或者B样条拟合法。

如上所述的图像锯齿消除方法，优选的，所述修补边界路径两侧的像素点包括以下步骤：

依据边界路径计算设定范围内的边界距离关系图，所述距离关系图包含设定范围内像素点到最近边界的距离，同时还包括与最近边界的位置关系；

根据边界路径对图像进行拆解，计算图像的透明度α；

依据所述边界距离关系图和图像的透明度α，从边界距离绝对值等于设定的最大修补距离的像素点开始修补，一直迭代修补到边界距离绝对值最小的像素点，直到修补完成。

如上所述的图像锯齿消除方法，优选的，所述图像的透明度α根据如下公式计算：

C＝αF+(1-α)B

其中，C表示图像，F表示图像的前景区域，B表示图像的背景区域。

如上所述的图像锯齿消除方法，优选的，所述修补一个像素点p的过程包括以下步骤：

在像素点p的3×3邻域内找到位于边界一侧、边界距离大于或等于该像素点p的边界距离的修补参考点，计算每个修补参考点的权值w及所有修补参考点的权值和SigW；

如果SigW≥阈值wThre1，则采用如下公式计算像素点p的临时灰度值：

$\mathrm{gTemp}=\frac{\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{w}_i\×g_i}{\mathrm{SigW}}$

其中，g表示修补参考点的灰度值；

如果SigW＜阈值wThre1，则依次扩大像素点p的邻域范围到4×4、5×5、…、n×n，其中n≤阈值nThre1，迭代直到SigW不小于阈值wThre1，采用如下公式计算像素点p的临时灰度值：

$\mathrm{gTemp}=\frac{\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}{w}_i\×g_i}{\mathrm{SigW}}$

如果在迭代过程中，SigW＜阈值wThre1且n＞阈值nThre1，则像素点p的临时灰度值等于该像素点的原灰度值；

根据像素点p的透明度α计算其权值wα，则最终像素点p的新灰度值采用如下公式计算：

gNew＝wα×g+(1-wα)×gTemp。

如上所述的图像锯齿消除方法，优选的，当像素点p为前景像素点时，前景修补参考点权值w等于修补参考点到像素点p欧式距离的高斯函数值乘以(1-α)的高斯函数值；当像素点p为背景像素点时，背景修补参考点权值w等于修补参考点到像素点p欧式距离的高斯函数值乘以α的高斯函数值。

如上所述的图像锯齿消除方法，优选的，当像素点p为前景像素点时，wα为(1-α)的高斯函数值；当像素点p为背景像素点时，wα为α的高斯函数值。

如上所述的图像锯齿消除方法，优选的，所述融合边界路径上一个像素点q的过程如下：

计算像素点q的融合度，所述融合度是指边界线和像素点的四条边所围成的区域面积；

在像素点q的3×3的邻域内分别找到前景点和背景点，计算所述前景点和背景点相对于像素点q的欧几里德距离的前景权值wF和背景权值wB及相应的前景权值和SigWF和背景权值和SigWB；

如果SigWF≥wThre2且SigWB≥wThre2，采用如下公式计算出邻域内前景像素点灰度值和SigGF和背景像素点的灰度值和SigGB：

$\mathrm{SigGF}=\underset{i=1}{\overset{9}{\mathrm{\Σ}}}w{F}_i\×g_i,$ $\mathrm{SigGB}=\underset{i=1}{\overset{9}{\mathrm{\Σ}}}w{B}_i\×g_i;$

否则扩大邻域范围到4×4、5×5、…、n×n，其中n≤阈值nThre2，迭代直到SigWF和SigWB不小于阈值wThre2，采用如下公式计算出邻域内前景像素点灰度值和SigGF和背景像素点的灰度值和SigGB：

$\mathrm{SigGF}=\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}w{F}_i\×g_i,$ $\mathrm{SigGB}=\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}w{B}_i\×g_i;$

其中，g表示前景或背景像素点的灰度值；

再采用如下公式计算像素点q的新灰度值：

$\mathrm{gNew}=m\×\frac{\mathrm{SigGF}}{\mathrm{SigWF}}+(1-m)\×\frac{\mathrm{SigGB}}{\mathrm{SigWB}}$

其中m为像素点q的融合度；

如果在迭代过程中，(SigWF＜wThre2或SigWB＜wThre2)且n＞阈值nThre2，则像素点q的灰度值等于该像素点的原始灰度值。

如上所述的图像锯齿消除方法，优选的，所述wF为前景像素点相对于像素点q的欧几里德距离的高斯函数值；所述wB为背景像素点相对于像素点q的欧几里德距离的高斯函数值。

一种图像锯齿消除系统，包括用于确定图像中需要消除锯齿的边界，并对所述边界进行拟合的边界确定装置；

用于根据边界路径两侧设定范围内像素点与其最近边界之间的关系及图像拆解得到的图像透明度修补所述边界路径两侧像素点的修补装置；

用于计算所述边界路径上像素点的融合度，根据所述融合度对所述边界路径上的像素点进行融合的融合装置。

本发明所述方法及系统，通过较少的交互(选区和/或涂抹)方式即实现了图像的锯齿消除，经实验表明，其处理的效果并不比纯手工消锯齿的方式差，极大地提高了图像锯齿消除的效率，而且具有很好的通用性。

附图说明

图1是具体实施方式中图像锯齿消除系统的结构框图；

图2是具体实施方式中图像锯齿消除方法的流程图；

图3是具体实施方式中修补边界路径两侧像素点的方法流程图；

图4是具体实施方式中边界距离关系图的示意图；

图5是具体实施方式中图像边界两侧像素点局部区域放大示意图；

图6是具体实施方式中边界线与像素点四边相交模式示意图；

图7是具体实施方式中图像边界上像素点局部区域放大示意图。

具体实施方式

本发明的核心思想是：首先通过交互手段先找到图像中含有锯齿的边界，接着对边界进行拟合，然后对拟合后边界路径两侧的像素点做修补运算来修补其灰度值，最后根据边界路径计算路径上各像素点(过度像素点)的融合度来融合路径上各像素点的灰度值，从而达到最终的消除锯齿的目的，并且保证过度像素点的宽度为一个像素点宽度。下面结合附图对本发明的具体实施方式进行详细说明。

如图1所示，本实施方式中图像锯齿消除系统包括边界确定装置11、修补装置12和融合装置13。

边界确定装置11用于确定图像中需要消除锯齿的边界，并对所述边界进行拟合。修补装置12用于根据边界路径两侧设定范围内像素点与其最近边界之间的关系及图像拆解得到的图像透明度修补所述边界路径两侧的像素点。融合装置13用于计算边界路径上像素点的融合度，并根据融合度对边界路径上的像素点进行融合。

如图2所示，采用图1所示系统消除图像锯齿的方法包括以下步骤：

(1)边界确定装置11确定图像中需要消除锯齿的边界，并对所述边界进行拟合。

可以通过选区方式选择需要消除锯齿的边界，或者采用画刷涂抹需要消除锯齿的边界区域，或者同时应用选区和画刷的方式选择需要消除锯齿的边界，再对该边界进行拟合得到拟合后的边界。选区方式是指用选区选择需要消除锯齿的边界。涂抹方式是指用涂抹工具对要消除锯齿的边界部分进行涂抹。对边界进行拟合的方法可以采用现有技术中的贝塞尔曲线拟合法，也可以采用B样条拟合法或者其他拟合方法。

(2)修补装置12根据边界路径两侧设定范围内像素点与其最近边界之间的关系及图像拆解得到的图像透明度修补所述边界路径两侧的像素点。如图3所示，包括以下步骤：

①依据边界路径计算设定范围内的边界距离关系图。所述设定范围可根据具体的应用环境确定。

边界距离关系是指边界两侧设定宽度范围内的每一个像素点到与该像素点距离最近的边界之间的距离和方向。边界的方向是由边界的起点指向终点。可以根据边界的方向判别像素点在边界的左侧还是右侧，可以设置像素点在边界的左侧为负，右侧为正。

如图4所示，每一个方格表示一个像素点，红色和蓝色线条表示边界，边界方向由下至上，方格中的数字表示像素点到与该像素点距离最近的边界的距离。像素点在边界的左侧方向为负，右侧方向为正。

距离关系图的具体生成过程可参见申请号为“201010606990.5”、名称为“一种基于边界的陷印方法及系统”的中国专利申请文件。

②根据边界路径对图像进行拆解，计算图像的透明度α。

原始图像可以看作由背景区域和线条区域按照某种透明度叠加生成，可以通过图像拆解(matting)的方法检测线条区域(可参考文献Gastal & Oliveira，2010；Price，Morse，& Cohen，2010)。具体地，假设图像C由前景区域F和背景区域B按照透明度α叠加生成，图像拆解问题是从合成图像C复原前景区域F、背景区域B和透明度α的过程。拆解依据如下公式：C＝αF+(1-α)B。根据该公式可以计算得到透明度α值。

③依据所述边界距离关系图和图像的透明度α，从边界距离绝对值等于设定的最大修补距离的像素点开始修补，一直迭代修补到边界距离绝对值最小的像素点，直到修补完成。

将边界距离大于0的像素点视为前景像素点，小于0的像素点视为背景像素点。前背像素点和背景像素点只是对于边界两侧象素点的一个划分，而边界距离值为正表示前景像素点，为负表示背景像素点也只是一个设定，同样可以进行相反设定。这里以一个前景像素点的修补为例来说明修补方法。

如图5所示，每个方格代表一个像素点，白色方格表示前景像素点，灰色方格表示边界，阴影方格表示背景像素点，红点p表示待修补的前景像素点，蓝点和黑点分别表示红点p的3×3邻域内的前景像素点和背景像素点。

在像素点p的3×3邻域内找到位于边界一侧且边界距离大于或等于该像素点p边界距离的修补参考点(蓝点)，计算每个修补参考点的权值w及所有修补参考点的权值和SigW。修补参考点的权值w由修补参考点的透明度α值和其到待修补点的欧几里德距离共同决定。当像素点p为前景像素点时，前景修补参考点权值w等于修补参考点到像素点p欧式距离的高斯函数值乘以(1-α)的高斯函数值。当像素点p为背景像素点时，背景修补参考点权值w等于修补参考点到像素点p欧式距离的高斯函数值乘以α的高斯函数值。采用如下公式计算修补参考点的权值和：

在图5所示示例中，实际上只有5个像素点。

如果SigW≥阈值wThre1(阈值wThre1为经验值，可根据具体应用环境确定)，则采用如下公式计算像素点p的临时灰度值：

$\mathrm{gTemp}=\frac{\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{w}_i\×g_i}{\mathrm{SigW}}.$

其中，g表示修补参考点的灰度值。

如果SigW＜阈值wThre1，则依次扩大像素点p的邻域范围到4×4、5×5、…、n×n，其中n≤阈值nThre1(阈值nThre1为经验值，可根据具体应用环境确定)，这样依次迭代下去直到SigW≥阈值wThre1。采用如下公式计算像素点p的临时灰度值：

$\mathrm{gTemp}=\frac{\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}{w}_i\×g_i}{\mathrm{SigW}}.$

在迭代过程中，如果SigW＜阈值wThre1但n超过阈值nThre1，则像素点p的临时灰度值等于该像素点的原始灰度值。

根据像素点p的透明度α计算其权值wα。像素点p为前景点时，wα为(1-α)的高斯函数值；像素点p为背景点时，wα为α的高斯函数值。最终像素点p的新灰度值采用如下公式计算：

gNew＝wα×g+(1-wα)×gTemp。

按照这种方法对边界路径两边的像素迭代修补直到把所有需要修补的像素修补完毕即可。

前景像素点和背景像素点的修补是独立的，前景像素点从边界距离数值最大的像素点修补到边界距离数值最小的像素点；背景像素点是从边界距离数值最小的像素点(负数)修补到边界距离数值最大的像素点(负数)，背景像素点的修补与前景像素点的修补类似。

(3)融合装置13计算边界路径上像素点的融合度，并根据融合度对所述边界路径上的像素点进行融合。

计算边界路径上各像素点的融合度：所述融合度是指边界线和像素点的四条边所围成的区域面积。如图6所示，本实施方式一共考录了6种边界线和像素点四边相交的模式，一共200多种可能性。

边界线和像素点四条边的相交模式：a)模式1，像素点被一条边界线相交于两点；b)模式2，像素点被一条带端点的边界线相交于两点；c)模式3，模式1+模式1；d)模式4，模式1+模式2；e)模式5，模式2+模式1；f)模式6，模式2+模式2。

红线和蓝线表示边界线，正方形区域表示像素点，红点表示红色边界线与像素边的交点，蓝点表示蓝色边界线与像素边的交点，黑点表示边界线在像素点内的端点。根据边界路径两侧的前背景关系计算出图6中的阴影部分的面积或阴影部分之外的面积即计算出了边界像素点的融合度m。如果像素点面积为1，m应是边界与前景区域外围形成的面积。当一条边界线在像素点内有多个连续端点时，可以合并成一个端点来简化计算。

如图7所示，每个方格代表一个像素点，白色方格表示前景像素点，灰色方格表示边界，带阴影方格表示背景像素点，红点q表示待修补的边界像素点，蓝点和黑点分别表示3×3邻域内的前景像素点和背景像素点。

如图7所示，以一个边界像素点q(红点)为例，在像素点q的3×3的邻域内分别找到前景像素点和背景像素点，计算所述前景像素点和背景像素点相对于像素点q的欧几里德距离的前景权值wF和背景权值wB。wF为前景像素点相对于像素点q的欧几里德距离的高斯函数值；wB为背景像素点相对于像素点q的欧几里德距离的高斯函数值。并采用如下公式计算前景权值和SigWF和背景权值和SigWB：

(实际上只有3个像素点)，

(实际上只有3个像素点)。

如果SigWF≥阈值wThre2且SigWB≥阈值wThre2(阈值wThre2为经验值，可根据具体应用环境确定)，采用如下公式计算出邻域内前景像素点的灰度值和SigGF和背景像素点的灰度值和SigGB：

$\mathrm{SigGF}=\underset{i=1}{\overset{9}{\mathrm{\Σ}}}w{F}_i\×g_i,$ $\mathrm{SigGB}=\underset{i=1}{\overset{9}{\mathrm{\Σ}}}w{B}_i\×g_i.$

其中，g表示前景或背景像素点的灰度值。

否则扩大邻域范围到4×4、5×5、…、n×n，其中n≤阈值nThre2(阈值nThre2为经验值，可根据具体应用环境确定)，依次迭代下去直到SigWF和SigWB不小于阈值wThre2，采用如下公式计算出邻域内前景像素点灰度值和SigGF和背景像素点的灰度值和SigGB：

$\mathrm{SigGF}=\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}w{F}_i\×g_i,$ $\mathrm{SigGB}=\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}w{B}_i\×g_i;$

再采用如下公式计算像素点q的新灰度值：

$\mathrm{gNew}=m\×\frac{\mathrm{SigGF}}{\mathrm{SigWF}}+(1-m)\×\frac{\mathrm{SigGB}}{\mathrm{SigWB}}$

其中m为像素点q的融合度；

如果在迭代过程中，(SigWF＜wThre2或SigWB＜wThre2)且n＞阈值nThre2，则像素点q的灰度值等于该像素点的原灰度值。

按照上述方法对边界路径上的每一个像素点进行融合，直到融合完所有边界路径上的像素点。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种图像锯齿消除方法，其特征在于，包括以下步骤：

确定图像中需要消除锯齿的边界，并对所述边界进行拟合；

根据所述边界路径两侧设定范围内像素点与其最近边界之间的关系及图像拆解得到的图像透明度修补所述边界路径两侧的像素点；

计算所述边界路径上像素点的融合度，根据所述融合度对所述边界路径上的像素点进行融合。

2.如权利要求1所述的图像锯齿消除方法，其特征在于，所述确定图像中需要消除锯齿边界的方法如下：

通过选区方式选择需要消锯齿的边界，或者采用画刷涂抹需要消除锯齿的边界区域，或者同时应用选区和画刷的方式选择需要消除锯齿的边界。

3.如权利要求1所述的图像锯齿消除方法，其特征在于：所述对边界进行拟合的方法采用贝塞尔曲线拟合法或者B样条拟合法。

4.如权利要求1所述的图像锯齿消除方法，其特征在于，所述修补边界路径两侧的像素点包括以下步骤：

依据边界路径计算设定范围内的边界距离关系图，所述距离关系图包含设定范围内像素点到最近边界的距离，同时还包括与最近边界的位置关系；

根据边界路径对图像进行拆解，计算图像的透明度α；

依据所述边界距离关系图和图像的透明度α，从边界距离绝对值等于设定的最大修补距离的像素点开始修补，一直迭代修补到边界距离绝对值最小的像素点，直到修补完成。

5.如权利要求4所述的图像锯齿消除方法，其特征在于，所述图像的透明度α根据如下公式计算：

C＝αF+(1-α)B

其中，C表示图像，F表示图像的前景区域，B表示图像的背景区域。

6.如权利要求4所述的图像锯齿消除方法，其特征在于，所述修补一个像素点p的过程包括以下步骤：

在像素点p的3×3邻域内找到位于边界一侧、边界距离大于或等于该像素点p的边界距离的修补参考点，计算每个修补参考点的权值w及所有修补参考点的权值和SigW；

如果SigW≥阈值wThre1，则采用如下公式计算像素点p的临时灰度值：

$\mathrm{gTemp}=\frac{\underset{i=1}{\overset{9}{\mathrm{\Σ}}}{w}_i\×g_i}{\mathrm{SigW}}$

其中，g表示修补参考点的灰度值；

如果SigW＜阈值wThre1，则依次扩大像素点p的邻域范围到4×4、5×5、…、n×n，其中n≤阈值nThre1，迭代直到SigW不小于阈值wThre1，采用如下公式计算像素点p的临时灰度值：

$\mathrm{gTemp}=\frac{\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}{w}_i\×g_i}{\mathrm{SigW}}$

如果在迭代过程中，SigW＜阈值wThre1且n＞阈值nThre1，则像素点p的临时灰度值等于该像素点的原灰度值；

根据像素点p的透明度α计算其权值wα，则最终像素点p的新灰度值采用如下公式计算：

gNew＝wα×g+(1-wα)×gTemp。

7.如权利要求6所述的图像锯齿消除方法，其特征在于：当像素点p为前景像素点时，前景修补参考点权值w等于修补参考点到像素点p欧式距离的高斯函数值乘以(1-α)的高斯函数值；当像素点p为背景像素点时，背景修补参考点权值w等于修补参考点到像素点p欧式距离的高斯函数值乘以α的高斯函数值。

8.如权利要求6所述的图像锯齿消除方法，其特征在于：当像素点p为前景像素点时，wα为(1-α)的高斯函数值；当像素点p为背景像素点时，wα为α的高斯函数值。

9.如权利要求1～8中任一项所述的图像锯齿消除方法，其特征在于，所述融合边界路径上一个像素点q的过程如下：

计算像素点q的融合度，所述融合度是指边界线和像素点的四条边所围成的区域面积；

在像素点q的3×3的邻域内分别找到前景点和背景点，计算所述前景点和背景点相对于像素点q的欧几里德距离的前景权值wF和背景权值wB及相应的前景权值和SigWF和背景权值和SigWB；

如果SigWF≥wThre2且SigWB≥wThre2，采用如下公式计算出邻域内前景像素点灰度值和SigGF和背景像素点的灰度值和SigGB：

$\mathrm{SigGF}=\underset{i=1}{\overset{9}{\mathrm{\Σ}}}w{F}_i\×g_i,$ $\mathrm{SigGB}=\underset{i=1}{\overset{9}{\mathrm{\Σ}}}w{F}_i\×g_i;$

否则扩大邻域范围到4×4、5×5、…、n×n，其中n≤阈值nThre2，迭代直到SigWF和SigWB不小于阈值wThre2，采用如下公式计算出邻域内前景像素点灰度值和SigGF和背景像素点的灰度值和SigGB：

$\mathrm{SigGF}=\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}w{F}_i\×g_i,$ $\mathrm{SigGB}=\underset{i=1}{\overset{n\×n}{\mathrm{\Σ}}}w{B}_i\×g_i;$

其中，g表示前景或背景像素点的灰度值；

再采用如下公式计算像素点q的新灰度值：

$\mathrm{gNew}=m\×\frac{\mathrm{SigGF}}{\mathrm{SigWF}}+(1-m)\×\frac{\mathrm{SigGB}}{\mathrm{SigWB}}$

其中m为像素点q的融合度；

如果在迭代过程中，(SigWF＜wThre2或SigWB＜wThre2)且n＞阈值nThre2，则像素点q的灰度值等于该像素点的原始灰度值。

10.如权利要求9所述的图像锯齿消除方法，其特征在于：所述wF为前景像素点相对于像素点q的欧几里德距离的高斯函数值；所述wB为背景像素点相对于像素点q的欧几里德距离的高斯函数值。

11.一种图像锯齿消除系统，包括用于确定图像中需要消除锯齿边界，并对所述边界进行拟合的边界确定装置(11)；

用于根据边界路径两侧设定范围内像素点与其最近边界之间的关系及图像拆解得到的图像透明度修补所述边界路径两侧像素点的修补装置(12)；

用于计算所述边界路径上像素点的融合度，根据所述融合度对所述边界路径上的像素点进行融合的融合装置(13)。

Images