CN106251281A - 一种基于形状插值的图像渐变方法 - Google Patents

一种基于形状插值的图像渐变方法 Download PDF

Info

Publication number
CN106251281A
CN106251281A CN201610552592.7A CN201610552592A CN106251281A CN 106251281 A CN106251281 A CN 106251281A CN 201610552592 A CN201610552592 A CN 201610552592A CN 106251281 A CN106251281 A CN 106251281A
Authority
CN
China
Prior art keywords
characteristic curve
center
gravity
image
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610552592.7A
Other languages
English (en)
Other versions
CN106251281B (zh
Inventor
杨文武
黄冠华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201610552592.7A priority Critical patent/CN106251281B/zh
Publication of CN106251281A publication Critical patent/CN106251281A/zh
Application granted granted Critical
Publication of CN106251281B publication Critical patent/CN106251281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于形状插值的图像渐变方法,包括源图像和目标图像,源图像包括源特征曲线集目标图像包括目标特征曲线集本发明以中间特征曲线为约束,计算出源图像和目标图像中任意一点的最优变形位置,实现源图像和目标图像相对中间特征曲线的几何变形,实现源图像和目标图像中对应几何特征的对齐融合。本发明具有能够生成更加自然平滑的过渡序列和渐变效果,进一步增强了图像渐变技术的实用性和便捷性的特点。

Description

一种基于形状插值的图像渐变方法
技术领域
本发明涉及二维图像变形技术领域,特别是涉及一种基于形状插值的图像渐变方法。
背景技术
随着数字媒体技术的发展,产生了诸多的数字娱乐应用,如电影、网络、游戏等。图像渐变是这些应用中的一个重要内容。因此,为了进一步推动并普及这些应用,需要设计并提供相应的工具,以使得图像渐变的效果更加逼真自然,并且让一般普通用户能够直观容易地制作图像渐变。
图像渐变技术(Image morphing)是在计算机图形学和数字图像处理的基础上发展而来的,它主要通过提取两幅图像中相对应的几何特征,然后利用几何变换将它们的特征进行融合,并将它们的颜色进行混合插值,从而产生它们之间的过渡图像帧,最终实现从源图像自然地渐变到目标图像。一般地,已有方法通过在图像上放置点、线段、曲线或者骨架,来提取源图像和目标图像中的几何特征,并通过形变函数(warping function)对图像进行几何变形,以实现图像中对应几何特征的对齐和融合。但是,如图1所示,已有方法中的形变函数一般通过纯数学的方式来定义,主要考虑了变形的光滑性和连续性,而忽视了特征的几何形状及其结构特性,使得几何特征在融合过程中容易发生形状扭曲。
在使用已有图像渐变技术的过程中,特别是当源图像和目标图像中几何特征的形状差别较大时,常常需要大量的手工纠正和交互,以保持原始图像中几何特征的外观和属性。而形状渐变技术处理几何表示的图形对象,因而可以直接考虑对象特征的几何形状及其结构特性。虽然形状插值方法可以有效避免形状发生扭曲,从而保持所描述对象的几何特征,但是形状插值方法通常仅适用于具有简单轮廓的矢量图,而无法直接应用于具有较复杂且丰富细节的图像。
发明内容
本发明的发明目的是为了克服现有技术中的图像渐变方法需要大量的手工纠正和交互的不足,提供了一种基于形状插值的图像的渐变方法。
为了实现上述目的,本发明采用以下技术方案:
一种基于形状插值的图像渐变方法,包括源图像和目标图像,源图像包括源特征曲线集目标图像包括目标特征曲线集所述方法包括如下步骤:
(1-1)构造的线条外观模型,分别记为M0和M1
(1-2)根据M0和M1,计算中间过渡特征曲线集的线条外观模型,记为Mt,然后计算得到中间过渡特征曲线集
(1-3)对于源图像中的每一个像素点,其位置用u表示,根据M0和Mt,为该像素点计算得到一个最优的刚性变换旋转矩阵,然后计算所述像素点的最优形变位置
(1-4)对于目标图像中的每一个像素点,其位置用v表示,根据M1和Mt,为该像素点计算得到一个最优的刚性变换旋转矩阵,然后计算所述像素点的最优形变位置
(1-5)根据源图像中每个像素点的形变位置以及目标图像中每个像素点的形变位置把形变位置相同的源图像和目标图像中的像素颜色平均地混合在一起,即得到中间过渡图像的像素颜色。
本发明以中间特征曲线为约束,计算出源图像和目标图像中任意一点的最优变形位置,实现目标图像相对中间特征曲线的几何变形,实现源图像和目标图像中对应几何特征的对齐融合。
本发明的用户需要为源图像和目标图像指定特征曲线,并通过移动特征曲线的位置,确定要实现的图像渐变效果。相对于传统的图像变形方法,在变形程度大时无需大量的手工纠正和交互,并且能够使用于具有较复杂且丰富细节的图像。此外,本发明考虑了特征曲线之间的空间位置,从而能够有效避免图像渐变时发生局部扭曲。最终,相比于传统的图像渐变方法,本发明更简单,且能够生成更加自然平滑的过渡序列和渐变效果,因而进一步增强了图像渐变技术的实用性和便捷性。
作为优选,步骤(1-1)包括如下步骤:
中每条特征曲线的重心作为该曲线在空间中的位置代理;将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接,获得的重心网格,记为中各条特征曲线的边长和顶点角度的参数集合,它与一起共同构成了的线条外观模型M0
中每条特征曲线的重心作为该曲线在空间中的位置代理;将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接,获得的重心网格,记为中各条特征曲线的边长和顶点角度的参数集合,一起共同构成了的线条外观模型M1
基于重心的线条外观模型用来表示特征曲线的形状及其传达的视觉外观。在渐变过程中,该模型完整地考虑特征曲线的整体形状和几何形状,有效传递特征曲线的信息,从而避免渐变过程中发生局部扭曲。
作为优选,步骤(1-2)包括如下步骤:
(1-2-1)设源图像和目标图像所在的时刻分别为0和1,中间过渡图像所在的时刻为t,为中间过渡特征曲线集的线条外观模型Mt的各条特征曲线的边长和顶点角度的参数集合;
利用公式计算得到
(1-2-2)通过插值重心网格计算到中间过渡特征曲线集的重心网格
利用中每对对应的边向量做插值,计算得到中间边向量
其中,为重心网格中边向量的集合,为重心网格中边向量的集合,i,j分别为边的顶点序号,入为缩放因子,tα为从边的旋转角度,R为tα角度所对应的旋转矩阵;
设定为所有中间边向量的集合,通过最小化二次能量函数:计算得到重心网格各个顶点的位置,其中,为顶点i的位置,为顶点j的位置;
结合得到Mt。
(1-2-4)根据Mt中的各条中间过渡特征曲线的边长和顶点角度的参数集合得到各条中间过渡特征曲线的形状,再根据中间过渡特征曲线集的重心网格确定出各条中间过渡特征曲线的重心位置,最终得到中间过渡特征曲线集
因此,本发明具有如下有益效果:本发明的用户需要为源图像和目标图像指定特征曲线,并通过移动特征曲线的位置,确定要实现的图像渐变效果。本发明考虑了特征曲线之间的空间位置,在渐变过程中保持一组特征曲线的整体形状来实现,保持图像中几何特征的外观和属性,从而能够有效避免图像渐变时发生局部扭曲。能够生成更加自然平滑的过渡序列和渐变效果,进一步增强了图像渐变技术的实用性和便捷性。当源图像和目标图像中对应几何特征的形状差别较大时,也能够充分保持特征的外观和属性。
附图说明
图1是本发明的一种流程图;
图2是线性插值方法生成的一种渐变序列图像;
图3是本发明生成的一种渐变序列图像;
图4是本发明的一种重心网格图像。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
实施例1
如图1所示的实施例是一种基于形状插值的图像渐变方法,包括源图像和目标图像,用户给定一幅源图像和一幅目标图像,通过在图像上放置开或者封闭的曲线(称为“特征曲线”),指定并对齐源图像和目标图像中的几何特征,几何特征一般指眼睛,鼻子,眉毛,手等内部特征和简单的外部轮廓。
源图像包括源特征曲线集目标图像包括目标特征曲线集所述方法包括如下步骤:
步骤100,构造的线条外观模型;
中每条特征曲线的重心作为该曲线在空间中的位置代理;将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接,获得的重心网格,记为中各条特征曲线的边长和顶点角度的参数集合,它与一起共同构成了的线条外观模型M0
中每条特征曲线的重心作为该曲线在空间中的位置代理;将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接,获得的重心网格,记为中各条特征曲线的边长和顶点角度的参数集合,它与一起共同构成了的线条外观模型M1
步骤200,计算M0和M1的中间过渡图像的线条外观模型Mt;
步骤210,设源图像和目标图像所在的时刻分别为0和1,中间过渡图像所在的时刻为t,为中间过渡特征曲线集的线条外观模型Mt的各条特征曲线的边长和顶点角度的参数集合;
利用公式计算得到
步骤220,通过插值重心网格计算到中间过渡特征曲线集的重心网格
利用中每对对应的边向量做插值,计算得到中间边向量
其中,为重心网格中边向量的集合,为重心网格中边向量的集合,i,j分别为边的顶点序号,入为缩放因子,tα为从边的旋转角度,R为tα角度所对应的旋转矩阵;
设定为所有中间边向量的集合,通过最小化二次能量函数:计算得到重心网格各个顶点的位置,其中,为顶点i的位置,为顶点j的位置;
步骤230,将结合得到Mt
步骤240,根据Mt中的各条中间过渡特征曲线的边长和顶点角度的参数集合得到各条中间过渡特征曲线的形状,再根据中间过渡特征曲线集的重心网格确定出各条中间过渡特征曲线的重心位置,最终得到中间过渡特征曲线集
步骤300,计算源图像每个像素点的最优形变位置
利用公式计算得到最优的刚性变换旋转矩阵M;
其中:pi(t)和qi(t)分别表示第i条源特征曲线以及第i条中间过渡特征曲线上的各个点,并且pi(t)和qi(t)一一对应,
wi(t)为源特征曲线上各个点相对点v的变形影响因子,其值为:
利用公式计算得到像素点的最优形变位置
步骤400,计算目标图像每个像素点的最优形变位置
利用公式计算得到最优的刚性变换旋转矩阵M;
其中:pi(t)和qi(t)分别表示第i条目标特征曲线以及第i条中间过渡特征曲线上的各个点,并且pi(t)和qi(t)一一对应,
wi(t)为目标特征曲线上各个点相对点v的变形影响因子,其值为:
利用公式计算得到像素点的最优形变位置
步骤500,根据源图像中每个像素点的形变位置以及目标图像中每个像素点的形变位置把形变位置相同的源图像和目标图像中的像素颜色平均地混合在一起,即得到中间过渡图像的像素颜色。
如图2所示,可以看出传统的线性插值方法主要考虑了变形的光滑性和连续性,而忽视了特征的几何形状及其结构特性,使得几何特征在融合过程中容易发生形状扭曲。
如图3所示,可以看出本发明考虑了特征曲线之间的空间位置,在渐变过程中保持一组特征曲线的整体形状,因此保持了图像中几何特征的外观和属性,从而能够有效避免图像渐变时发生局部扭曲。
如图4所示,可以看出一个钟摆的实例中图像的特征曲线集以及每条特征曲线的圆点重心以及与特征曲线集相对应的重心网格,用来完整的表示特征曲线的整体外观,包括单条曲线的形状和所有曲线之间的空间布局关系。
实施例2
本实施例包含了实施例1中的全部内容,对于源图像和目标图像,本实施例使用规则的四边形网格来逼近,并把源图像作为纹理嵌入到网格中,目标图像作为纹理嵌入到网格中,在图像渐变过程中则根据每个网格点的位置进行计算,而不是计算图像每一像素的变形位置,充分利用GPU资源,大大降低了程序的计算量,节省运算开销,实现图像变形的实时性。
应理解,本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (5)

1.一种基于形状插值的图像渐变方法,其特征是,包括源图像和目标图像,源图像包括源特征曲线集目标图像包括目标特征曲线集所述方法包括如下步骤:
(1-1)构造的线条外观模型,分别记为M0和M1
(1-2)根据M0和M1,计算中间过渡特征曲线集的线条外观模型,记为Mt,然后计算得到中间过渡特征曲线集
(1-3)对于源图像中的每一个像素点,其位置用u表示,根据M0和Mt,为该像素点计算得到一个最优的刚性变换旋转矩阵,然后计算所述像素点的最优形变位置
(1-4)对于目标图像中的每一个像素点,其位置用v表示,根据M1和Mt,为该像素点计算得到一个最优的刚性变换旋转矩阵,然后计算所述像素点的最优形变位置
(1-5)根据源图像中每个像素点的形变位置以及目标图像中每个像素点的形变位置把形变位置相同的源图像和目标图像中的像素颜色平均地混合在一起,即得到中间过渡图像的像素颜色。
2.根据权利要求1所述的基于形状插值的图像渐变方法,其特征是,步骤(1-1)包括如下步骤:
中每条特征曲线的重心作为该曲线在空间中的位置代理;将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接,获得的重心网格,记为中各条特征曲线的边长和顶点角度的参数集合,一起共同构成了的线条外观模型M0
中每条特征曲线的重心作为该曲线在空间中的位置代理;将中每条特征曲线的重心用连线分别与其它特征曲线的重心连接,获得的重心网格,记为中各条特征曲线的边长和顶点角度的参数集合,一起共同构成了的线条外观模型M1
3.根据权利要求1所述的基于形状插值的图像渐变方法,其特征是,步骤(1-2)包括如下步骤:
(1-2-1)设源图像和目标图像所在的时刻分别为0和1,中间过渡图像所在的时刻为t,为中间过渡特征曲线集的线条外观模型Mt的各条特征曲线的边长和顶点角度的参数集合;
利用公式计算得到
(1-2-2)通过插值重心网格计算到中间过渡特征曲线集的重心网格
利用中每对对应的边向量做插值,计算得到中间边向量
其中,为重心网格中边向量的集合,为重心网格中边向量的集合,i,j分别为边的顶点序号,入为缩放因子,tα为从边的旋转角度,R为tα角度所对应的旋转矩阵;
设定为所有中间边向量的集合,通过最小化二次能量函数:计算得到重心网格各个顶点的位置,其中,为顶点i的位置,为顶点j的位置;
(1-2-3)将结合得到Mt
(1-2-4)根据Mt中的各条中间过渡特征曲线的边长和顶点角度的参数集合得到各条中间过渡特征曲线的形状,再根据中间过渡特征曲线集的重心网格确定出各条中间过渡特征曲线的重心位置,最终得到中间过渡特征曲线集
4.根据权利要求1或2或3所述的基于形状插值的图像渐变方法,其特征是,步骤(1-3)包括如下步骤:
利用公式计算得到最优的刚性变换旋转矩阵M;
其中:pi(t)和qi(t)分别表示第i条源特征曲线以及第i条中间过渡特征曲线上的各个点,并且pi(t)和qi(t)一一对应,
wi(t)为源特征曲线上各个点相对点u的变形影响因子,其值为:
利用公式计算得到像素点的最优形变位置
5.根据权利要求1或2或3所述的基于形状插值的图像渐变方法,其特征是,步骤(1-4)包括如下步骤:
利用公式计算得到最优的刚性变换旋转矩阵M;
其中:pi(t)和qi(t)分别表示第i条目标特征曲线以及第i条中间过渡特征曲线上的各个点,并且pi(t)和qi(t)一一对应,
wi(t)为目标特征曲线上各个点相对点v的变形影响因子,其值为:
利用公式计算得到像素点的最优形变位置
CN201610552592.7A 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法 Active CN106251281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610552592.7A CN106251281B (zh) 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610552592.7A CN106251281B (zh) 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法

Publications (2)

Publication Number Publication Date
CN106251281A true CN106251281A (zh) 2016-12-21
CN106251281B CN106251281B (zh) 2019-04-23

Family

ID=57613928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610552592.7A Active CN106251281B (zh) 2016-07-11 2016-07-11 一种基于形状插值的图像渐变方法

Country Status (1)

Country Link
CN (1) CN106251281B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369199A (zh) * 2017-06-28 2017-11-21 浙江工商大学 基于圆盘的近似刚性形状插值方法
CN107392985A (zh) * 2017-06-28 2017-11-24 浙江工商大学 运动可控的形状插值方法
CN107424204A (zh) * 2017-06-28 2017-12-01 浙江工商大学 基于渐进式平面映射的同构三角化方法
CN110751594A (zh) * 2019-10-18 2020-02-04 合肥学院 基于三关联连分式Thiele混合有理插值的图形图像渐变处理方法
CN114821494A (zh) * 2022-06-27 2022-07-29 杭州声飞光电技术有限公司 船舶信息匹配方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152842A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Face morphing based on learning
CN103093488A (zh) * 2013-02-02 2013-05-08 浙江大学 一种虚拟发型插值及渐变动画生成方法
CN104424658A (zh) * 2014-10-22 2015-03-18 浙江工商大学 一种保结构的二维形状内插方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011152842A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Face morphing based on learning
CN103093488A (zh) * 2013-02-02 2013-05-08 浙江大学 一种虚拟发型插值及渐变动画生成方法
CN104424658A (zh) * 2014-10-22 2015-03-18 浙江工商大学 一种保结构的二维形状内插方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨文武 等: "基于多层次特征结构的二维形状渐变", 《计算机辅助设计与图形学学报》 *
林军: "人脸图像变形算法的研究与改进", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369199A (zh) * 2017-06-28 2017-11-21 浙江工商大学 基于圆盘的近似刚性形状插值方法
CN107392985A (zh) * 2017-06-28 2017-11-24 浙江工商大学 运动可控的形状插值方法
CN107424204A (zh) * 2017-06-28 2017-12-01 浙江工商大学 基于渐进式平面映射的同构三角化方法
CN107392985B (zh) * 2017-06-28 2020-07-17 浙江工商大学 运动可控的形状插值方法
CN107369199B (zh) * 2017-06-28 2020-09-01 浙江工商大学 基于圆盘的近似刚性形状插值方法
CN107424204B (zh) * 2017-06-28 2020-09-01 浙江工商大学 基于渐进式平面映射的同构三角化方法
CN110751594A (zh) * 2019-10-18 2020-02-04 合肥学院 基于三关联连分式Thiele混合有理插值的图形图像渐变处理方法
CN114821494A (zh) * 2022-06-27 2022-07-29 杭州声飞光电技术有限公司 船舶信息匹配方法及装置
CN114821494B (zh) * 2022-06-27 2022-10-14 杭州声飞光电技术有限公司 船舶信息匹配方法及装置

Also Published As

Publication number Publication date
CN106251281B (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN106251281B (zh) 一种基于形状插值的图像渐变方法
CN106600667B (zh) 一种基于卷积神经网络的视频驱动人脸动画方法
US10489956B2 (en) Robust attribute transfer for character animation
CN103679783B (zh) 基于几何变形的三维动画角色模型皮肤变形方法
CN102306386B (zh) 从单张树木图像快速构建真实感树木模型的方法
CN112258655B (zh) 一种应用于vr虚拟银行的三维网格简化方法
US20130278607A1 (en) Systems and Methods for Displaying Animations on a Mobile Device
CN108335352A (zh) 一种面向多视图大规模三维重建场景的纹理映射方法
CN108898665A (zh) 三维人脸重建方法、装置、设备及计算机可读存储介质
CN107145224B (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN104318605B (zh) 矢量实线与三维地形的并行贴合渲染方法
WO2023284713A1 (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
CN105574922A (zh) 一种鲁棒的三维模型高质量纹理映射方法
CN103854301A (zh) 基于复杂背景下可见外壳的三维重建方法
CN106780707B (zh) 模拟场景中全局光照的方法和装置
CN103077552A (zh) 一种基于多视点视频的三维展示方法
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
CN103530907A (zh) 基于图像的复杂三维模型绘制方法
Wu et al. Neuralhdhair: Automatic high-fidelity hair modeling from a single image using implicit neural representations
CN104157000B (zh) 模型表面法线的计算方法
Zhang et al. Avatarverse: High-quality & stable 3d avatar creation from text and pose
CN103077546A (zh) 二维图形的三维透视变换方法
CN108364355B (zh) 一种贴合面部表情的ar渲染方法
CN104091318B (zh) 一种中国手语视频过渡帧的合成方法
CN103871096B (zh) 三维空间中真实感流体场景合成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant