CN106251281B - 一种基于形状插值的图像渐变方法 - Google Patents

一种基于形状插值的图像渐变方法 Download PDF

Info

Publication number
CN106251281B
CN106251281B CN201610552592.7A CN201610552592A CN106251281B CN 106251281 B CN106251281 B CN 106251281B CN 201610552592 A CN201610552592 A CN 201610552592A CN 106251281 B CN106251281 B CN 106251281B
Authority
CN
China
Prior art keywords
characteristic curve
image
gravity
calculating
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610552592.7A
Other languages
English (en)
Other versions
CN106251281A (zh
Inventor
杨文武
黄冠华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201610552592.7A priority Critical patent/CN106251281B/zh
Publication of CN106251281A publication Critical patent/CN106251281A/zh
Application granted granted Critical
Publication of CN106251281B publication Critical patent/CN106251281B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于形状插值的图像渐变方法，包括源图像和目标图像，源图像包括源特征曲线集目标图像包括目标特征曲线集本发明以中间特征曲线为约束，计算出源图像和目标图像中任意一点的最优变形位置，实现源图像和目标图像相对中间特征曲线的几何变形，实现源图像和目标图像中对应几何特征的对齐融合。本发明具有能够生成更加自然平滑的过渡序列和渐变效果，进一步增强了图像渐变技术的实用性和便捷性的特点。

Description

一种基于形状插值的图像渐变方法
技术领域
本发明涉及二维图像变形技术领域，特别是涉及一种基于形状插值的图像渐变方法。
背景技术
随着数字媒体技术的发展，产生了诸多的数字娱乐应用，如电影、网络、游戏等。图像渐变是这些应用中的一个重要内容。因此，为了进一步推动并普及这些应用，需要设计并提供相应的工具，以使得图像渐变的效果更加逼真自然，并且让一般普通用户能够直观容易地制作图像渐变。
图像渐变技术(Image morphing)是在计算机图形学和数字图像处理的基础上发展而来的，它主要通过提取两幅图像中相对应的几何特征，然后利用几何变换将它们的特征进行融合，并将它们的颜色进行混合插值，从而产生它们之间的过渡图像帧，最终实现从源图像自然地渐变到目标图像。一般地，已有方法通过在图像上放置点、线段、曲线或者骨架，来提取源图像和目标图像中的几何特征，并通过形变函数(warping function)对图像进行几何变形，以实现图像中对应几何特征的对齐和融合。但是，如图1所示，已有方法中的形变函数一般通过纯数学的方式来定义，主要考虑了变形的光滑性和连续性，而忽视了特征的几何形状及其结构特性，使得几何特征在融合过程中容易发生形状扭曲。
在使用已有图像渐变技术的过程中，特别是当源图像和目标图像中几何特征的形状差别较大时，常常需要大量的手工纠正和交互，以保持原始图像中几何特征的外观和属性。而形状渐变技术处理几何表示的图形对象，因而可以直接考虑对象特征的几何形状及其结构特性。虽然形状插值方法可以有效避免形状发生扭曲，从而保持所描述对象的几何特征，但是形状插值方法通常仅适用于具有简单轮廓的矢量图，而无法直接应用于具有较复杂且丰富细节的图像。
发明内容
本发明的发明目的是为了克服现有技术中的图像渐变方法需要大量的手工纠正和交互的不足，提供了一种基于形状插值的图像的渐变方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于形状插值的图像渐变方法，包括源图像和目标图像，源图像包括源特征曲线集目标图像包括目标特征曲线集所述方法包括如下步骤：
(1-1)构造和的线条外观模型，分别记为M0和M1；
(1-2)根据M0和M1，计算中间过渡特征曲线集的线条外观模型，记为Mt，然后计算得到中间过渡特征曲线集
(1-3)对于源图像中的每一个像素点，其位置用u表示，根据M0和Mt，为该像素点计算得到一个最优的刚性变换旋转矩阵，然后计算所述像素点的最优形变位置
(1-4)对于目标图像中的每一个像素点，其位置用v表示，根据M1和Mt，为该像素点计算得到一个最优的刚性变换旋转矩阵，然后计算所述像素点的最优形变位置
(1-5)根据源图像中每个像素点的形变位置以及目标图像中每个像素点的形变位置把形变位置相同的源图像和目标图像中的像素颜色平均地混合在一起，即得到中间过渡图像的像素颜色。
本发明以中间特征曲线为约束，计算出源图像和目标图像中任意一点的最优变形位置，实现目标图像相对中间特征曲线的几何变形，实现源图像和目标图像中对应几何特征的对齐融合。
本发明的用户需要为源图像和目标图像指定特征曲线，并通过移动特征曲线的位置，确定要实现的图像渐变效果。相对于传统的图像变形方法，在变形程度大时无需大量的手工纠正和交互，并且能够使用于具有较复杂且丰富细节的图像。此外，本发明考虑了特征曲线之间的空间位置，从而能够有效避免图像渐变时发生局部扭曲。最终，相比于传统的图像渐变方法，本发明更简单，且能够生成更加自然平滑的过渡序列和渐变效果，因而进一步增强了图像渐变技术的实用性和便捷性。
作为优选，步骤(1-1)包括如下步骤：
取中每条特征曲线的重心作为该曲线在空间中的位置代理；将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接，获得的重心网格，记为记为中各条特征曲线的边长和顶点角度的参数集合，它与一起共同构成了的线条外观模型M0；
取中每条特征曲线的重心作为该曲线在空间中的位置代理；将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接，获得的重心网格，记为记为中各条特征曲线的边长和顶点角度的参数集合，与一起共同构成了的线条外观模型M1。
基于重心的线条外观模型用来表示特征曲线的形状及其传达的视觉外观。在渐变过程中，该模型完整地考虑特征曲线的整体形状和几何形状，有效传递特征曲线的信息，从而避免渐变过程中发生局部扭曲。
作为优选，步骤(1-2)包括如下步骤：
(1-2-1)设源图像和目标图像所在的时刻分别为0和1，中间过渡图像所在的时刻为t，为中间过渡特征曲线集的线条外观模型Mt的各条特征曲线的边长和顶点角度的参数集合；
利用公式计算得到
(1-2-2)通过插值重心网格和计算到中间过渡特征曲线集的重心网格
利用对和中每对对应的边向量和做插值，计算得到中间边向量
其中，为重心网格中边向量的集合，为重心网格中边向量的集合，j，k分别为边的顶点序号，λ为缩放因子，tα为从边到的旋转角度，Rtα为tα角度所对应的旋转矩阵；
设定为所有中间边向量的集合，通过最小化二次能量函数：计算得到重心网格各个顶点的位置，其中，为顶点j的位置，为顶点k的位置；
(1-2-3)将与结合得到Mt；
(1-2-4)根据Mt中的各条中间过渡特征曲线的边长和顶点角度的参数集合得到各条中间过渡特征曲线的形状，再根据中间过渡特征曲线集的重心网格确定出各条中间过渡特征曲线的重心位置，最终得到中间过渡特征曲线集
因此，本发明具有如下有益效果：本发明的用户需要为源图像和目标图像指定特征曲线，并通过移动特征曲线的位置，确定要实现的图像渐变效果。本发明考虑了特征曲线之间的空间位置，在渐变过程中保持一组特征曲线的整体形状来实现，保持图像中几何特征的外观和属性，从而能够有效避免图像渐变时发生局部扭曲。能够生成更加自然平滑的过渡序列和渐变效果，进一步增强了图像渐变技术的实用性和便捷性。当源图像和目标图像中对应几何特征的形状差别较大时，也能够充分保持特征的外观和属性。
附图说明
图1是本发明的一种流程图；
图2是线性插值方法生成的一种渐变序列图像；
图3是本发明生成的一种渐变序列图像；
图4是本发明的一种重心网格图像。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
实施例1
如图1所示的实施例是一种基于形状插值的图像渐变方法，包括源图像和目标图像，用户给定一幅源图像和一幅目标图像，通过在图像上放置开或者封闭的曲线(称为“特征曲线”)，指定并对齐源图像和目标图像中的几何特征，几何特征一般指眼睛，鼻子，眉毛，手等内部特征和简单的外部轮廓。
源图像包括源特征曲线集目标图像包括目标特征曲线集所述方法包括如下步骤：
步骤100，构造和的线条外观模型；
取中每条特征曲线的重心作为该曲线在空间中的位置代理；将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接，获得的重心网格，记为记为中各条特征曲线的边长和顶点角度的参数集合，它与一起共同构成了的线条外观模型M0；
取中每条特征曲线的重心作为该曲线在空间中的位置代理；将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接，获得的重心网格，记为记为中各条特征曲线的边长和顶点角度的参数集合，它与一起共同构成了的线条外观模型M1。
步骤200，计算M0和M1的中间过渡图像的线条外观模型Mt；
步骤210，设源图像和目标图像所在的时刻分别为0和1，中间过渡图像所在的时刻为t，为中间过渡特征曲线集的线条外观模型Mt的各条特征曲线的边长和顶点角度的参数集合；
利用公式计算得到
步骤220，通过插值重心网格和计算到中间过渡特征曲线集的重心网格
利用对和中每对对应的边向量和做插值，计算得到中间边向量
其中，为重心网格中边向量的集合，为重心网格由边向量的集合，j，k分别为边的顶点序号，λ为缩放因子，tα为从边到的旋转角度，Rtα为tα角度所对应的旋转矩阵；
设定为所有中间边向量的集合，通过最小化二次能量函数：计算得到重心网格各个顶点的位置，其中，为顶点j的位置，为顶点k的位置；
步骤230，将与结合得到Mt；
步骤240，根据Mt中的各条中间过渡特征曲线的边长和顶点角度的参数集合得到各条中间过渡特征曲线的形状，再根据中间过渡特征曲线集的重心网格确定出各条中间过渡特征曲线的重心位置，最终得到中间过渡特征曲线集
步骤300，计算源图像每个像素点的最优形变位置
利用公式计算得到最优的刚性变换旋转矩阵M；
其中：pi(t)和qi(t)分别表示第i条源特征曲线以及第i条中间过渡特征曲线上的各个点，并且pi(t)和qi(t)一一对应，
wi(t)为源特征曲线上各个点相对点v的变形影响因子，其值为：
利用公式计算得到像素点的最优形变位置
步骤400，计算目标图像每个像素点的最优形变位置
利用公式计算得到最优的刚性变换旋转矩阵M；
其中：pi(t)和qi(t)分别表示第i条目标特征曲线以及第i条中间过渡特征曲线上的各个点，并且pi(t)和qi(t)一一对应，
wi(t)为目标特征曲线上各个点相对点v的变形影响因子，其值为：
利用公式计算得到像素点的最优形变位置
步骤500，根据源图像中每个像素点的形变位置以及目标图像中每个像素点的形变位置把形变位置相同的源图像和目标图像中的像素颜色平均地混合在一起，即得到中间过渡图像的像素颜色。
如图2所示，可以看出传统的线性插值方法主要考虑了变形的光滑性和连续性，而忽视了特征的几何形状及其结构特性，使得几何特征在融合过程中容易发生形状扭曲。
如图3所示，可以看出本发明考虑了特征曲线之间的空间位置，在渐变过程中保持一组特征曲线的整体形状，因此保持了图像中几何特征的外观和属性，从而能够有效避免图像渐变时发生局部扭曲。
如图4所示，可以看出一个钟摆的实例中图像的特征曲线集以及每条特征曲线的圆点重心以及与特征曲线集相对应的重心网格，用来完整的表示特征曲线的整体外观，包括单条曲线的形状和所有曲线之间的空间布局关系。
实施例2
本实施例包含了实施例1中的全部内容，对于源图像和目标图像，本实施例使用规则的四边形网格来逼近，并把源图像作为纹理嵌入到网格中，目标图像作为纹理嵌入到网格中，在图像渐变过程中则根据每个网格点的位置进行计算，而不是计算图像每一像素的变形位置，充分利用GPU资源，大大降低了程序的计算量，节省运算开销，实现图像变形的实时性。
应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (4)

1.一种基于形状插值的图像渐变方法，其特征是，包括源图像和目标图像，源图像包括源特征曲线集目标图像包括目标特征曲线集其中i为特征曲线集中各条曲线的标号；所述方法包括如下步骤：
(1-1)根据特定步骤构造和的线条外观模型，分别记为M0和M1；
取中每条特征曲线的重心作为该曲线在空间中的位置代理；将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接，获得的重心网格，记为记为中各条特征曲线的边长和顶点角度的参数集合，与一起共同构成了的线条外观模型M0；
取中每条特征曲线的重心作为该曲线在空间中的位置代理；将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接，获得的重心网格，记为记为中各条特征曲线的边长和顶点角度的参数集合，与一起共同构成了的线条外观模型M1；
(1-2)根据M0和M1，计算中间过渡特征曲线集的线条外观模型，记为Mt，然后计算得到中间过渡特征曲线集
(1-3)对于源图像中的每一个像素点，其位置用u表示，根据M0和Mt，为该像素点计算得到一个最优的刚性变换旋转矩阵，然后计算所述像素点的最优形变位置
(1-4)对于目标图像中的每一个像素点，其位置用v表示，根据M1和Mt，为该像素点计算得到一个最优的刚性变换旋转矩阵，然后计算所述像素点的最优形变位置
(1-5)根据源图像中每个像素点的形变位置以及目标图像中每个像素点的形变位置把形变位置相同的源图像和目标图像中的像素颜色平均地混合在一起，即得到中间过渡图像的像素颜色。
2.根据权利要求1所述的基于形状插值的图像渐变方法，其特征是，步骤(1-2)包括如下步骤：
(1-2-1)设源图像和目标图像所在的时刻分别为0和1，中间过渡图像所在的时刻为t，为中间过渡特征曲线集的线条外观模型Mt的各条特征曲线的边长和顶点角度的参数集合；
利用公式计算得到
(1-2-2)通过插值和计算到中间过渡特征曲线集的重心网格
利用对和中每对对应的边向量和做插值，计算得到中间边向量
其中，为重心网格中边向量的集合，为重心网格由边向量的集合，j，k分别为边的顶点序号，λ为缩放因子，tα为从边到的旋转角度，Rtα为tα角度所对应的旋转矩阵；
设定为所有中间边向量的集合，通过最小化二次能量函数：计算得到重心网格各个顶点的位置，其中，为顶点j的位置，为顶点k的位置；
(1-2-3)将与结合得到Mt；
(1-2-4)根据Mt中的各条中间过渡特征曲线的边长和顶点角度的参数集合得到各条中间过渡特征曲线的形状，再根据中间过渡特征曲线集的重心网格确定出各条中间过渡特征曲线的重心位置，最终得到中间过渡特征曲线集
3.根据权利要求1或2所述的基于形状插值的图像渐变方法，其特征是，步骤(1-3)包括如下步骤：
利用公式计算得到最优的刚性变换旋转矩阵M；
其中：pi(t)和qi(t)分别表示第i条源特征曲线以及第i条中间过渡特征曲线上的各个点，并且pi(t)和qi(t)一一对应，
wi(t)为源特征曲线上各个点相对点u的变形影响因子，其值为：
利用公式计算得到像素点的最优形变位置
4.根据权利要求1或2所述的基于形状插值的图像渐变方法，其特征是，步骤(1-4)包括如下步骤：
利用公式计算得到最优的刚性变换旋转矩阵M；
其中：pi(t)和qi(t)分别表示第i条目标特征曲线以及第i条中间过渡特征曲线上的各个点，并且pi(t)和qi(t)一一对应，
wi(t)为目标特征曲线上各个点相对点v的变形影响因子，其值为：
利用公式计算得到像素点的最优形变位置
CN201610552592.7A 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法 Expired - Fee Related CN106251281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610552592.7A CN106251281B (zh) 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610552592.7A CN106251281B (zh) 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法

Publications (2)

Publication Number Publication Date
CN106251281A CN106251281A (zh) 2016-12-21
CN106251281B true CN106251281B (zh) 2019-04-23

Family

ID=57613928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610552592.7A Expired - Fee Related CN106251281B (zh) 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法

Country Status (1)

Country Link
CN (1) CN106251281B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424204B (zh) * 2017-06-28 2020-09-01 浙江工商大学 基于渐进式平面映射的同构三角化方法
CN107392985B (zh) * 2017-06-28 2020-07-17 浙江工商大学 运动可控的形状插值方法
CN107369199B (zh) * 2017-06-28 2020-09-01 浙江工商大学 基于圆盘的近似刚性形状插值方法
CN110751594B (zh) * 2019-10-18 2022-06-24 合肥学院 基于三关联连分式Thiele混合有理插值的图形图像渐变处理方法
CN114821494B (zh) * 2022-06-27 2022-10-14 杭州声飞光电技术有限公司 船舶信息匹配方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152842A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Face morphing based on learning
CN103093488A (zh) * 2013-02-02 2013-05-08 浙江大学 一种虚拟发型插值及渐变动画生成方法
CN104424658A (zh) * 2014-10-22 2015-03-18 浙江工商大学 一种保结构的二维形状内插方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152842A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Face morphing based on learning
CN103093488A (zh) * 2013-02-02 2013-05-08 浙江大学 一种虚拟发型插值及渐变动画生成方法
CN104424658A (zh) * 2014-10-22 2015-03-18 浙江工商大学 一种保结构的二维形状内插方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人脸图像变形算法的研究与改进;林军;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120415;全文 *
基于多层次特征结构的二维形状渐变;杨文武 等;《计算机辅助设计与图形学学报》;20120531;第24卷(第5期);正文第563-573页 *

Also Published As

Publication number Publication date
CN106251281A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
CN106251281B (zh) 一种基于形状插值的图像渐变方法
Litwinowicz et al. Animating images with drawings
CN102663766B (zh) 一种基于非真实感的艺术插画效果绘制方法
CN103606186B (zh) 一种图像与视频的虚拟发型建模方法
Han et al. Caricatureshop: Personalized and photorealistic caricature sketching
CN107730587B (zh) 一种基于图片快速三维化交互式建模方法
CN103824253A (zh) 一种基于图像局部精确变形的人物五官变形方法
CN112258655A (zh) 一种应用于vr虚拟银行的三维网格简化方法
CN104424658B (zh) 一种保结构的二维形状内插方法
KR20230097157A (ko) 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템
Yang et al. Biharmonic deformation transfer with automatic key point selection
CN104599305A (zh) 一种二三维结合的动画生成方法
Liu et al. Selective color transferring via ellipsoid color mixture map
CN102509356A (zh) 使用网格细分的细节保留几何模型变形方法
JP2009104570A (ja) 画像の形成用のデータ構造及び画像の形成方法
CN106228590B (zh) 一种图像中的人体姿态编辑方法
CN105956995A (zh) 一种基于实时视频本征分解的人脸外观编辑方法
Orbay et al. Sketch-based surface design using malleable curve networks
CN111127658A (zh) 一种基于点云重建三角网格曲面的保特征曲面重建方法
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
CN103093488A (zh) 一种虚拟发型插值及渐变动画生成方法
Zhou et al. Image deformation with vector-field interpolation based on MRLS-TPS
Liu et al. Practical fabrication of discrete chebyshev nets
Lieng et al. Shading Curves: Vector‐Based Drawing With Explicit Gradient Control
Cetinaslan et al. Sketching manipulators for localized blendshape editing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190423

CF01 Termination of patent right due to non-payment of annual fee