CN104574266A - 基于轮廓线的图像变形技术 - Google Patents

Abstract

本发明公开一种基于轮廓线的图像变形方法，包括以下步骤：首先将待变形的图像进行边缘检测得到边缘图像，将该边缘图像上的边缘曲线作为轮廓线；用户选取要变形的轮廓线并进行拖动，在拖动前后分别在该二维平面上建立一组一一对应的基；轮廓线上的点和变形区域中的点在用户拖动轮廓线前后的对应基中有各自的坐标，根据变形前轮廓线上点的坐标以拖动比例放缩后最大限度地逼近其移动后在拖动后对应基中的坐标的原则，可求得变形后的轮廓线并由此确定变形区域，根据变形区域中的点的坐标以拖动比例放缩后最大限度地逼近其未移动时在变形前对应基中的坐标的原则求得变形区域中各点对应于变形前图片中的点，用这些点填充变形区域得到变形后图片。

Description

基于轮廓线的图像变形技术

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于轮廓线的图像变形方法，可对图像进行变形操作。

背景技术

图像变形技术在动画制作、影像特效处理、医学影像处理等方面都有重要应用。用户通过对一副图像进行变形操作，不仅可以修饰图像上不满意的区域，还可以通过夸张某些特征达到愉悦身心的目的。此外，可用多张渐变的图片来生成动画，图像变形的算法还可用来生成特效影像。在医学整容方面，医生可以在手术之前通过图像变形生成目标图像，根据目标图像实施手术过程，降低手术风险。

现有的图像变形算法都没有进行图像分割，因此用户的变形操作都是对整张图片进行变形，目标变形区域以外的区域都不可避免受到影响而出现扭曲。FFD技术是最早应用于图像变形领域的算法，请参见Ron M.,Kenneth I.： Free-form deformations with lattices of arbitrary topology[C]. SIGGRAPH '96 Proceedings of the 23rd annual conference on Computer graphics and interactive techniques, 1996,pp.181-188.它被广泛地使用在各软件中，该算法将变形网格嵌入到整张图片中，用户通过对网格的拖动来改变网格的形状，再由拖动前后两张网格的映射关系约束图像上所有点的移动达到变形图像的目的，这种方法无法控制具体的变形区域，如果变形区域较大，整张图片都会产生严重扭曲。MLS图像变形算法通过设置权值的方式试图减小变形操作对变形区域以外区域的影响，请参见Scott S., Travis M., Joe W.: Image deformation using moving least squares[J]. Proceedings of ACM SIGGRAPH’06, 2006,25(3):pp.533-540，但是这种方法对距离变形区域较近的区域仍然会产生明显的影响。

现有的对特定区域的变形方法在区域确定后便可以达到对图像的分割目的，且产生较好的变形效果，《一种三维人脸重建方法》（中国专利号CN101751689 B，公开日期：2012年2月22日）就是对人脸变形的实际应用。但是这种对特定区域变形的方法无法应用于图片中的其它区域。再则，对特定区域的变形也是对该区域的整体进行变形，无法做到对区域中细节的修整。

另外，最能反映图片上的物体形态特征的就是物体的轮廓线，而现有方法都无法准确调节轮廓线的形状来产生用户想要的变形效果，所以用户的变形体验会大打折扣。

发明内容

针对上述问题，本发明提出一种基于轮廓线的图像变形方法。由于图像的边缘曲线可以根据图像上的灰度信息将图像进行分割，所以可近似看做轮廓线。由于对图像变形的过程是和用户互动的过程，所以用户也可以添加或修复轮廓线。通过轮廓线对图像进行分割，可有效地消除变形操作对变形区域以外的区域产生的影响。同时，用户的变形操作是直接对轮廓线的变形操作，所以可以准确地得到用户想要的形状。

本发明的技术方案是提供一种基于轮廓线的图像变形方法，下面将阐述各实施步骤。

步骤1：将图像的颜色空间由RGB转为Lab。

步骤2：对图像在Lab颜色空间中使用双边滤波器进行双边滤波。

步骤3：将滤波后的图像颜色空间由Lab转换为RGB。

步骤4：将该RGB图像转换为灰度图像后使用Canny边缘检测算子进行边缘检测得到一幅边缘图像，将该边缘图像上的边缘曲线作为轮廓线，同时用户可以添加或擦除轮廓线。

步骤5：用户选取边缘图片上的某两点作为锚点确定要拖动的轮廓线。 

步骤6：用户点选廓线上的某点为拖动点，两两连接锚点和拖动点得到一组向量，每个向量和其各自的正交向量一起构建一个二维平面的基，记为                                                ，其中，为单位向量，为的正交单位向量。

步骤7：用户对该拖动点进行拉伸或者压缩得到目的拖动点，用和步骤6同样的方法可得到另外一组基，第个基记为，和步骤6中对应。

步骤8：轮廓线上任意点在变形前第个基中坐标为，变形后的对应点在第个基中的坐标为，其中和均为二维列向量，要求以拖动比例放缩后最大限度地等于，即求

                                                           (1)

其中， 为第个向量的拖动比例，， 为对应的未单位化向量，为对应的未单位化向量，为和垂直方向上的向量和之间的放缩比例，。为用户变形参数，用来调节垂方向上的放缩比例。为各基的权值，这里，我们取

                                                                                                            (2)

其中，为用户变形参数，用来调节变形后的光滑度, 由于，，，，为各基的原点，所以求变形后的位置就转化为求如下最小二乘问题的解：         (3)

求得后将其作为拖动后轮廓线上的点，求得所有的点后按顺序连接各点，平滑处理后得到变形后轮廓线。

步骤9：用户通过调节式(3)中的变形参数调整轮廓线的形状以得到想要的变形形状。 

步骤10：根据拖动后的轮廓线确定变形区域，确定变形区域的方法如下：

方法1：直线连接步骤5中的两锚点得到一直线和变形后的轮廓线一起构成封闭的区域，将该区域作为变形区域；

方法2：用户重复步骤6-9来得到另外一条变形后轮廓线，其中锚点仍为步骤5中的锚点，该轮廓线和前一条轮廓线一起组成封闭区域作为变形区域。

步骤11：变形区域中任意位置上的点在变形后第个基中坐标为，该点对应于变形前图片上的点，点在拖动前第个基中的坐标为，同样要求以拖动比例放缩后最大限度地等于，即求：

                                               (4)

上式也可以写为

       (5)

式中，其它所有变量的意义同式(1)、式(2) 、式(3)，将求得的点上的像素插入点，变形区域中所有点的像素插值完成后即生成了变形后图像。当用户对轮廓线进行拖动后所确定的变形区域无法完全覆盖原轮廓线所确定的区域时，在图像上将会出现空白区域。由于轮廓线对图片按灰度进行了区域分割，所以同一区域中的颜色纹理差异不大。对此，本算法将使用同一区域的像素对空白区域进行均值填充,即

 ，                                                                     (6)                        

这里，，为空白区域中任意一点的像素值，为的8邻域的点，为的像素值，为所在区域，当和属于同一区域时，才将其加权填充。

步骤12：用户调节步骤9中的参数，将变形区域中的颜色纹理调整至最清晰状态。

与现有技术相比，本发明具有以下有益效果：

1、本发明使用轮廓线来变形，可由轮廓线对图像进行分割，即由变形后轮廓线确定出变形区域，所以不会对非变形区域产生任何影响，消除了以往方法扭曲图像非变形区域的巨大缺陷；

2、本发明直接对轮廓线进行变形，用户通过调节变形参数来调整轮廓线的形状，可得到最理想的变形形状，克服了现有方法中用户不能准确调整变形形状的缺陷。

附图说明

图1为本方法执行的流程图。

图2中(a)图为待变形图像，(b)图为其边缘图像。

图3为1个拖动点的原理示意图。

图4为2个拖动点的原理示意图。

图5为其它变形参数不变变换值时的轮廓线形状和变形图像。

图6为其它参数不变变换参数值时的轮廓线形状和变形图像。

图7为其它参数不变变换参数值时的轮廓线形状和变形图像。

图8中左图标出待均值填充的空白区域，该图片已经用轮廓线进行了分割，右图为均值填充后的结果。

图9中(a)图为变形后轮廓线，(b)图为变形后的图像。

具体实施方式

下面结合附图和具体实例对本发明进一步说明，本发明采用用户拖动轮廓线的方式对图像进行变形，图1是本发明具体的实施步骤，以图2(a)中的图片为例来演示各实施步骤。

步骤1：将图片的颜色空间由RGB转为Lab。

步骤2：对图片在Lab颜色空间中使用双边滤波器进行双边滤波。

步骤3：将滤波后图片的颜色空间由Lab转换为RGB。

步骤4：将该RGB图片转换为灰度图片后使用Canny边缘检测算子进行边缘检测得到一幅边缘图像，如图2(b)所示，将该边缘图像上的边缘曲线作为轮廓线。

步骤5：用户选取边缘图片上的某两点A和B作为锚点确定要拖动的轮廓线。以图3和图4来演示变形原理，图3为拖动图2(b)中鼻子轮廓线的情况，在图3中可由鼻子轮廓线上两点确定一条鼻子待拖动轮廓线，图4为拖动图2(b)中眼睛轮廓线的情况，由眼睛轮廓线上两点确定待拖动的眼睛轮廓线，由于眼睛轮廓线封闭，所以可以分别选取上下两条轮廓线拖动。

步骤6：用户点选廓线上的某点为拖动点，图3中选取了一个拖动点C，两两连接锚点和拖动点得到三个向量，，，图4选取了两个拖动点C和D，可得到，，，.令为各向量的单位向量，它和其正交向量一起构建一个二维平面的基，记为。

步骤7：用户对该拖动点进行拉伸或者压缩得到目的拖动点，如图3中的点D和图4中的点E和点F，两两连接各锚点和目的拖动点，用和步骤6同样的方法可得到另外一组基，第个基记为，与步骤6中对应。

步骤8：根据变形前轮廓线上的任意点在拖动前各基中的坐标以拖动比例放缩后最大限度地逼近其拖动后的对应点在拖动后各基中的坐标这一要求，即

                               

求得拖动后该点的位置。其中，为在基中的投影坐标，为在基中的投影坐标，由于，，，，所以求就转化为求如下最小二乘问题的解：

式中，为第个向量的拖动比例，， 为对应的未单位化向量，为对应的未单位化向量，为和垂直方向上的向量和之间的放缩比例，。图3中，在算和对应的时，分别为，，，在算对应的时，，（即拖动点到的距离和拖动点到的距离之比）。图4中，。 为各基的原点。为用户变形参数，用来调节垂方向上的放缩比例。为各基的权值，这里，我们取 。其中，为用户变形参数，用来调节变形后的光滑度。求得所有的点后，按顺序直线连接各相邻点，再对整条线进行平滑处理得到连续的拖动后的轮廓线，如图3中以A和B为端点的拖动后鼻子轮廓线和图4中以A和B为端点的上下两条拖动后眼睛轮廓线。

步骤9：用户通过调节变形参数调整轮廓线的形状以得到想要的变形形状，具体参数如下：

参数1：式(2)中的 。用户可以通过该参数来调节轮廓线的平滑性，其它参数相同时，调节的效果如图5所示，图5(a) 、5(b) 、5(c)依次为、、时的变形图片；

参数2：式(1)中的 .设置该参数是为了使用户调节拖动垂直方向上的放缩比例，用户通过调节该参数可以调节变形后形状的宽窄，值越大，变形后的形状越宽，其它参数相同，调节时的效果如图6所示，图6(a) 、6(b) 、6(c)依次为、、时的变形图片；

参数3：为了最大限度地提高用户的变形体验，本发明引入轮廓线的刚性概念，图3和图4中的在目的拖动点确定后就已经确定。在此，我们将缓慢地旋转到，当计算式(3)中的 时，若的位置越远离拖动点，和的夹角就越小，这样一来，越远离拖动点位置上的点旋转量就越小，于是轮廓线就就呈现出柔性，越靠近拖动点位置的点旋转量就越大，也即呈现出刚性，对于任意一点，设其对应的设为，则

                                             

其中，  ，为由到转过的角度，将作为用户的变形参数，越大，轮廓线越显柔性，越小，轮廓线越显刚性。当时，始终为最终位置，不表现出柔性，其它参数相同，变换时的效果如图8所示，图7(a) 、7(b) 、7(c)依次为、、时的变形图片。

步骤10：根据拉伸后的轮廓线确定变形区域，对图3中的鼻子有一个拖动点C的情况，直接连接两锚点A和B得到线段AB，它和变形后的轮廓线一起构成封闭的区域，将该区域作为鼻子的变形区域；对于图4中的眼睛有两个拖动点C和D的情况，将两条变形后轮廓线一起组成封闭区域作为眼睛的变形区域。

步骤11：根据变形区域中任意一点在拖动后各基中的坐标以拖动比例放缩后最大限度地逼近其在未拖动时对应于各拖动前的基中坐标的原则，即 

，

仿照步骤8求得变形区域中任意一点对应于变形前图片的位置。上式中，其它所有变量的意义同步骤8。当用户对轮廓线进行拖动后所确定的变形区域无法完全覆盖原轮廓线所确定的区域时，在图像上将会出现空白区域。如图8(a)中空白区域1所示。由于轮廓线对图片按灰度进行了区域分割，所以同一区域中的颜色纹理差异不大。对此，本算法将使用同一区域的像素对空白区域进行均值填充,即

 ，                                                               

这里，，为空白区域中任意一点的像素值，为的8邻域的点，为的像素值，为所在区域。当和属于同一区域时，才将其加权填充，图8(a)中鼻子轮廓线被压缩后，区域1和区域2成为同一区域，用区域2中的像素均值填充区域1，结果如图8(b)中右边的图所示。

步骤12：用户调节步骤10中的参数，将变形区域中的颜色纹理调整至最清晰状态，对于图9(a)中所示的变形后轮廓线,经过填充后最终得到图9(b)所示的变形图片。

以上结合优选实施方案具体介绍了本发明，其它以本发明为基础，对本发明在形式上和细节上进行的各种变化或者改进，均属于本发明的保护范围。

Claims (3)

1.一种基于轮廓线的图像变形方法，可改变图像中目标的形状，其特征在于以下步骤：

步骤1:对待变形的图片滤波后进行边缘检测得到一幅边缘图像，将该边缘图像上的边缘曲线作为轮廓线，同时用户可以在该边缘图像上添加或擦除轮廓线；

步骤2:用户点选两个锚点和一个拖动点，由锚点确定待拖动的轮廓线，两两连接各锚点和拖动点确定一组向量，每个向量和其正交向量建立二维平面上的一个基；

步骤3:用户拖动拖动点得到目的拖动点，由目的拖动点和锚点用和步骤2中同样的方法建立另一组基，和步骤2中的各基一一对应；

步骤4:根据变形前轮廓线上任意一点在拖动前各基中的坐标以拖动比例放缩后最大限度地逼近其在拖动后各基中的坐标这一要求，求得变形后的轮廓线，同时，用户可以调节变形参数来得到想要的轮廓线的形状，得到变形后的轮廓线后由其确定变形区域；

步骤5:根据变形区域中任意一点在拖动后各基中的坐标以拖动比例放缩后最大限度地逼近其在拖动前对应基中的坐标这一要求，求得其对应于变形前图像上的位置，并将该位置上的像素插入到变形区域中，所有点都填充完后得到最终的变形图像。

2.根据权利要求1所述的基于轮廓线的图像变形方法，其特征在于：所述步骤4中，轮廓线上的任意点                                                在变形前第个基中坐标为，变形后对应点，在第个基中的坐标为，要求以拖动比例放缩后最大限度地等于，即求

为拖动前各基的权值.为第个向量的拖动比例, 为第个向量垂直方向上的拖动比例,为各基的原点，为用户调节垂直于拖动方向上的放缩比例的变形参数，求得后将其作为拖动后轮廓线上的点，求得所有的点后按顺序连接各点，平滑处理后得到变形后轮廓线，用户通过改变上式中设置的参数来调节变形后轮廓线的形状，最后由变形后轮廓线确定出变形区域。

3.根据权利要求1所述的基于轮廓线的图像变形方法，其特征在于：所述步骤5中，变形区域中任意点在变形后第个基中坐标为，该点对应于变形前图片上的点，点在拖动前第个基中的坐标为，同样要求以拖动比例放缩后最大限度地等于，即求

为拖动后各基的权值，其余各变量意义不变，将求得的点上的像素插入位置，变形区域中所有点的像素插值完成后即生成了变形后图像。