CN108961283A - 基于特征对应的图像变形方法及装置 - Google Patents

基于特征对应的图像变形方法及装置 Download PDF

Info

Publication number
CN108961283A
CN108961283A CN201810569811.1A CN201810569811A CN108961283A CN 108961283 A CN108961283 A CN 108961283A CN 201810569811 A CN201810569811 A CN 201810569811A CN 108961283 A CN108961283 A CN 108961283A
Authority
CN
China
Prior art keywords
original
triangle
triangle gridding
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810569811.1A
Other languages
English (en)
Inventor
刘雅琼
林欣
寿国础
谢福顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810569811.1A priority Critical patent/CN108961283A/zh
Publication of CN108961283A publication Critical patent/CN108961283A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于特征对应的图像变形方法及装置，包括：分别提取原始图像和目标图像的特征点；分别对原始图像和目标图像的特征点进行两次Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格；采用调和映射算法，建立原始密集三角网格与目标密集三角网格之间的映射关系；依据映射关系，采用线性插值算法生成中间三角网格；并计算中间三角网格内像素点的像素值，以显示中间三角网格对应的中间图像。本发明实施例在变形过程中，既考虑了轮廓特征又考虑了内部特征，产生了更好的变形效果；且能够自动提取轮廓特征，避免了用户的繁冗操作，提高了变形的效率；同时，可以实现具有不同颜色的图像之间的变形，提升了图像变形的效果。

Description

基于特征对应的图像变形方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于特征对应的图像变形方法及装置。
背景技术
图像变形是指按一定的规则或方法将一幅图像缓慢变形为另一幅图像。随着图像处理技术的不断发展，图像变形在计算机图形学、动画、电影等领域的应用也越来越广泛，例如，在卫星图像、超声图像的处理中，图像变形可以用于校正由于工具或方法的内在限制而产生的图像扭曲；在图像编辑和艺术设计中，利用图像变形可达到某些特殊效果。因此，研究灵活快速的图像变形技术具有十分重要的实际意义。
现有技术中，通常采用基于格林坐标的控制笼变形方法实现图像变形。该变形方法主要是在原始图像的外围构造一个封闭的控制笼，采用控制笼的顶点位置和法线的加权和表示原始图像的点，用户可以通过修改控制笼的形状来控制原始图像的变形，即用户通过移动控制笼的顶点来实现原始图像的变形。
由于该变形方法是通过修改控制笼的形状来控制原始图像的变形，在变形过程中，仅能改变原始图像的形状或者大小，不能够产生除原始图像自身颜色以外的新的颜色，降低了变形效果。
发明内容
本发明实施例的目的在于提供一种基于特征对应的图像变形方法及装置，以实现具有不同颜色的图像之间的变形，提升了图像变形的效果。具体技术方案如下：
第一方面，本发明实施例提供了一种基于特征对应的图形变形方法，所述方法包括：
获取原始图像和目标图像；
分别提取所述原始图像和所述目标图像的特征点，所述原始图像的特征点作为原始特征点，所述目标图像的特征点作为目标特征点，其中，所述原始特征点和目标特征点一一对应；
分别对所述原始特征点和目标特征点进行德洛内Delaunay三角剖分，生成原始图像的粗三角网格和目标图像的粗三角网格，所述原始图像的粗三角网格作为原始粗三角网格，所述目标图像的粗三角网格作为目标粗三角网格；
分别对所述原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格；
采用调和映射算法，建立所述原始密集三角网格与所述目标密集三角网格之间的映射关系；
依据所述映射关系，采用线性插值算法生成中间三角网格，其中，所述中间三角网格为变形过程中显示的中间图像所对应的三角网格；
采用线性插值算法，计算所述中间三角网格内像素点的像素值，以显示所述中间三角网格对应的中间图像。
可选的，所述分别对所述原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格的步骤，包括：
分别对所述原始粗三角网格内的每个原始粗三角形和所述目标粗三角网格内的每个目标粗三角形进行Delaunay三角剖分，生成原始三角网格片和目标三角网格片，其中，所述原始粗三角形为所述原始粗三角网格内的三角形，所述目标粗三角形为所述目标粗三角网格内的三角形；
分别对所述原始三角网格片和目标三角网格片进行重三角化，生成新的原始三角网格片和新的目标三角网格片，以生成原始密集三角网格和目标密集三角网格，其中，所述新原始三角网格片为所述原始密集三角网格内的三角网格片，所述新目标三角网格为所述目标密集三角网格内的三角网格片。
可选的，所述分别提取所述原始图像和所述目标图像的特征点，所述原始图像的特征点作为原始特征点，所述目标图像的特征点作为目标特征点，其中，所述原始特征点和目标特征点一一对应的步骤，包括：
分别提取所述原始图像和目标图像的轮廓特征点，所述原始图像的轮廓特征点作为原始轮廓特征点，所述目标图像的轮廓特征点作为目标轮廓特征点；或者，
分别提取所述原始图像和目标图像的轮廓特征点、内部特征点，所述原始图像的轮廓特征点、内部特征点分别作为原始轮廓特征点、原始内部特征点，所述目标图像的轮廓特征点、内部特征点分别作为目标轮廓特征点、目标内部特征点。
可选的，所述分别提取所述原始图像和目标图像的轮廓特征点，所述原始图像的轮廓特征点作为原始轮廓特征点，所述目标图像的轮廓特征点作为目标轮廓特征点的步骤，包括：
分别对所述原始图像和目标图像进行高斯模糊滤波；
采用边缘检测算法，分别提取所述原始图像和所述目标图像的轮廓特征，所述原始图像的轮廓特征作为原始轮廓特征，所述目标图像的轮廓特征作为目标轮廓特征；
分别在所述原始轮廓特征和目标轮廓特征上均匀设置轮廓特征点，所述原始轮廓特征上设置的轮廓特征点作为原始轮廓特征点，所述目标轮廓特征上设置的轮廓特征点作为目标轮廓特征点，其中，所述原始轮廓特征点和所述目标轮廓特征点一一对应。
可选的，所述依据所述映射关系，采用线性插值算法生成中间三角网格的步骤，包括：
采用如下公式计算所述中间三角网格的每个顶点的位置：
p(v)＝(1-μ)*p(vs)+μ*p(vt)；
其中，p(v)为所述中间三角网格的每个顶点的位置，p(vs)为所述原始密集三角网格的每个顶点的位置，p(vt)为在所述目标密集三角网格内与所述原始密集三角网格的顶点相对应的顶点的位置，μ为调节差值的参数，取值范围为：0≤μ≤1；
根据所述原始密集三角网格，连接所述中间三角网格的每个顶点，以生成中间三角网格。
可选的，所述采用线性插值算法，计算所述中间三角网格内的像素点的像素值，以显示所述中间三角网格对应的中间图像的步骤，包括：
采用如下公式计算所述中间三角网格内像素点的像素值：
pi＝(1-t)*ps+t*pt；
其中，pi为所述中间三角网格内每个像素点的像素值，ps为在所述原始密集三角网格内与所述中间三角网格内的像素点相对应的像素点的像素值，pt为在所述目标密集三角网格中与所述中间三角网格内的像素点相对应的像素点的像素值，t为调节差值的参数，取值范围为：0≤t≤1。
第二方面，本发明实施例提供一种基于特征对应的图像变形装置，其特征在于，包括：
获取模块，用于获取原始图像和目标图像；
提取模块，用于分别提取所述原始图像和所述目标图像的特征点，所述原始图像的特征点作为原始特征点，所述目标图像的特征点作为目标特征点，其中，所述原始特征点和目标特征点一一对应；
第一生成模块，用于分别对所述原始特征点和目标特征点进行德洛内Delaunay三角剖分，生成原始图像的粗三角网格和目标图像的粗三角网格，所述原始图像的粗三角网格作为原始粗三角网格，所述目标图像的粗三角网格作为目标粗三角网格；
第二生成模块，用于分别对所述原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格；
建立模块，用于采用调和映射算法，建立所述原始密集三角网格与所述目标密集三角网格之间的映射关系；
第三生成模块，用于依据所述映射关系，采用线性插值算法生成中间三角网格，其中，所述中间三角网格为变形过程中显示的中间图像所对应的三角网格；
计算模块，用于采用线性插值算法，计算所述中间三角网格内像素点的像素值，以显示所述中间三角网格对应的中间图像。
可选的，所述第二生成模块，具体用于：
分别对所述原始粗三角网格内的每个原始粗三角形和所述目标粗三角网格内的每个目标粗三角形进行Delaunay三角剖分，生成原始三角网格片和目标三角网格片，其中，所述原始粗三角形为所述原始粗三角网格内的三角形，所述目标粗三角形为所述目标粗三角网格内的三角形；
分别对所述原始三角网格片和目标三角网格片进行重三角化，生成新的原始三角网格片和新的目标三角网格片，以生成原始密集三角网格和目标密集三角网格，其中，所述新原始三角网格片为所述原始密集三角网格内的三角网格片，所述新目标三角网格为所述目标密集三角网格内的三角网格片。
可选的，所述提取模块，包括：
第一提取子模块，用于分别提取所述原始图像和目标图像的轮廓特征点，所述原始图像的轮廓特征点作为原始轮廓特征点，所述目标图像的轮廓特征点作为目标轮廓特征点；或者，
第二提取子模块，用于分别提取所述原始图像和目标图像的轮廓特征点、内部特征点，所述原始图像的轮廓特征点、内部特征点分别作为原始轮廓特征点、原始内部特征点，所述目标图像的轮廓特征点、内部特征点分别作为目标轮廓特征点、目标内部特征点。
可选的，所述第一提取子模块，具体用于：
分别对所述原始图像和目标图像进行高斯模糊滤波；
采用边缘检测算法，分别提取所述原始图像和所述目标图像的轮廓特征，所述原始图像的轮廓特征作为原始轮廓特征，所述目标图像的轮廓特征作为目标轮廓特征；
分别在所述原始轮廓特征和目标轮廓特征上均匀设置轮廓特征点，所述原始轮廓特征上设置的轮廓特征点作为原始轮廓特征点，所述目标轮廓特征上设置的轮廓特征点作为目标轮廓特征点，其中，所述原始轮廓特征点和所述目标轮廓特征点一一对应。
本发明实施例提供的一种基于特征对应的图像变形方法及装置，在图像变形过程中，可以采用Delaunay三角剖分技术分别对原始图像和目标图像的原始特征点和目标特征点进行剖分，生成原始密集三角网格和目标密集三角网格，并建立原始密集三角网格与目标密集三角网格之间的映射关系，也即是根据给定的目标图像，可以建立原始图像的原始密集三角网格与目标图像的三角网格之间的映射关系，并根据该映射关系，采用线性插值算法可以确定中间图像的中间三角网格，然后根据该映射关系采用线性插值算法来计算中间三角网格内像素点的像素值。在变形过程中，根据建立的映射关系，采用线性插值算法计算中间三角网格内像素点的像素值，可以产生除原始图像自身颜色以外的新的颜色，即可以实现具有不同颜色的图像之间的变形，提升了图像变形的效果。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于特征对应的图像变形方法的流程图；
图2为本发明实施例提供的一种原始粗三角网格的结构示意图；
图3为本发明实施例提供的一种目标粗三角网格的结构示意图；
图4为本发明实施例提供的一种原始密集三角网格的结构示意图；
图5为本发明实施例提供的一种目标密集三角网格的结构示意图；
图6为本发明实施例提供的一种基于特征对应的图像变形序列示意图；
图7为本发明实施例提供的一种基于特征对应的图像变形装置的结构示意图；
图8为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于特征对应的图像变形方法，如图1所示，该方法包括：
S101，获取原始图像和目标图像。
在实际应用中，将获取的原始图像按照一定的规则或方法缓慢变形为目标图像，以显示变形过程中生成的中间图像序列。其中，获取的原始图像和目标图像可以由用户直接输入，也可以采用其他方法获取，本发明实施例不对其加以限制。
S102，分别提取原始图像和目标图像的特征点，原始图像的特征点作为原始特征点，目标图像的特征点作为目标特征点，其中，原始特征点和目标特征点一一对应。
在实际应用中，当原始图像与目标图像包含有内部特征时，则分别提取原始图像和目标图像的轮廓特征点、内部特征点，原始图像的轮廓特征点、内部特征点分别作为原始轮廓特征点、原始内部特征点，目标图像的轮廓特征点、内部特征点分别作为目标轮廓特征点、目标内部特征点。其中，内部特征可以是原始图像与目标图像的眼睛、鼻子、嘴巴等细节特征。当原始图像与目标图像不包含有内部特征时，则分别提取原始图像和目标图像的轮廓特征点，原始图像的轮廓特征点作为原始轮廓特征点，目标图像的轮廓特征点作为目标轮廓特征点。
其中，提取原始轮廓特征点和目标轮廓特征点可以采用如下方法实现：
步骤一，分别对原始图像和目标图像进行高斯模糊滤波。
具体的，可以选取一个3*3的像素点图构建卷积矩阵，以该像素点图的中心像素点作为原点，即该中心像素点的坐标为(0，0)，例如，以水平方向表示x轴，垂直方向表示y轴，则距离该中心像素点最近的8个像素点的坐标分别为(-1，1)，(0，1)，(1，1)，(-1，0)，(1，0)，(-1，-1)，(0，1)及(1，-1)，利用高斯函数公式计算该像素点图中每个像素点的权值，且使得该像素点图中所有像素点的权值之和为1，即构建一个3*3的卷积矩阵。其中，G(x，y)表示像素点图中每个像素点的权值，x表示每个像素点在水平方向上与原点之间的距离，y表示每个像素点在竖直方向上与原点之间的距离，σ表示高斯分布的标准差，用户可以根据实际情况设定σ的取值，例如，σ的取值可以为0.8、1.0、或者是1.5，本发明实施例不对σ的取值进行限制。本发明实施例还可以选取5*5的像素点图构建卷积矩阵，选取的像素点图的大小可以根据实际情况设定，本发明实施例不对其加以限制。
本发明实施例中，可以采用构建的卷积矩阵对原始图像和目标图像进行高斯模糊滤波。具体的，采用卷积矩阵扫描原始图像和目标图像中每个像素点，由每个像素点及其邻域内其他像素点的像素值的加权平均值作为该像素点的像素值。也即是，对于原始图像和目标图像的每个像素点，计算该像素点及其邻域内其他像素点的像素值与卷积矩阵中对应权值的乘积，然后相加求平均值，将计算得到的平均值作为该像素点的像素值。即完成对原始图像和目标图像的高斯模糊滤波。
对原始图像和目标图像进行高斯模糊滤波，可以消除原始图像和目标图像的噪声，同时最大限度保留边缘信息。
步骤二，采用边缘检测算法，分别提取原始图像和目标图像的轮廓特征，原始图像的轮廓特征作为原始轮廓特征，目标图像的轮廓特征作为目标轮廓特征。
本发明实施例中，以提取原始图像的轮廓特征为例进行说明，具体的，可以采用Canny边缘检测算法对高斯模糊滤波后的原始图像进行边缘检测，提取原始图像的原始轮廓特征。Canny边缘检测算法主要包括计算梯度幅值、非极大值抑制和高低双阈值处理等三个步骤，其中，第一步骤中，可以采用索贝尔Sobel算子计算高斯模糊滤波后的原始图像中每个像素点的梯度幅值，例如，针对每个像素点，可以采用卷积核G-X＝{-101；-202；-101}与该原始图像作平面卷积，计算卷积结果即为该像素点沿水平方向的梯度，采用Gx表示该像素点沿水平方向的梯度，采用卷积核G-Y＝{121；000；-1-2-1}与该原始图像作平面卷积，卷积结果即为计算该像素点沿垂直方向的梯度，采用GY表示该像素点沿垂直方向的梯度；然后再根据公式计算该像素点的梯度幅值。其中，G表示该像素点的梯度幅值，Gx表示该像素点沿水平方向的梯度，GY表示该像素点沿垂直方向的梯度。第二步骤中，非极大值抑制目的是将模糊的边缘变得清晰，也即是，保留每个像素点上梯度强度的极大值。例如，比较每个像素点和其梯度方向正负方向的像素点的梯度幅值，如果该像素点的梯度幅值最大则保留，否则将该像素点的梯度幅值置为0。其中，梯度方向指的是该像素点的上下左右和45度方向。第三步骤中，采用高低双阈值作用于经过非极大值抑制后的原始图像，两个阈值作用后得到两个图像，高阈值检测出的图像过滤掉了大部分噪声，但是损失的有用的边缘信息；低阈值检测得到的图像则保留着较多的边缘信息，以此为基础，补充较大阈值检测出的图像中丢失的信息，连接图像边缘得到原始图像的轮廓特征。其中，高阈值可以设置为600，低阈值可以设置为200，高阈值和低阈值的取值可以根据实际情况设定，本发明实施例不对其加以限制。
步骤三，使用OpenCV(Open Source Computer Vision Library，开源计算机视觉库)中的轮廓查找函数cvFindContours(img_temp，mem_storage，&first_contour，sizeof(CvContour)，CV_RETR_EXTERNAL，CV_CHAIN_APPROX_SIMPLE)提取原始图像的原始轮廓特征。在该轮廓查找函数cvFindContours中，参数CV_RETR_EXTERNAL的含义为：仅查找外接轮廓，即用户仅保留原始图像的外部轮廓特征。其中，OpenCV是由一系列C函数和少量C++类构成，同时提供了Python、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
步骤四，分别在原始轮廓特征和目标轮廓特征上均匀设置轮廓特征点，原始轮廓特征上设置的轮廓特征点作为原始轮廓特征点，目标轮廓特征上设置的轮廓特征点作为目标轮廓特征点，其中，原始轮廓特征点和目标轮廓特征点一一对应。
本发明实施例中，目标图像的目标轮廓特征的提取可以采用提取原始轮廓特征的实现方式来实现，本发明实施例不在此进行赘述。
在实际应用中，采用上述方法实现了原始图像的原始轮廓特征的自动提取，以及目标图像的目标轮廓特征的自动提取，避免用户手动提取原始轮廓特征和目标轮廓特征的情况，提高了图像变形的效率。
在实际应用中，由于提取的原始轮廓特征和目标轮廓特征均是由密集的点组成，用户可以设置一个采样步长，该采样步长可以设置为5，即在原始轮廓特征和目标轮廓特征上每隔5个点选取一个点作为轮廓特征点，原始轮廓特征上选取的轮廓特征点作为原始轮廓特征点，目标轮廓特征上选取的轮廓特征点作为目标轮廓特征点。原始轮廓特征点和目标轮廓特征点一一对应。其中，采样步长的大小可以根据原始图像和目标图像的类型设置，本发明实施例不对其加以限制。
本发明实施例中，提取原始内部特征点和目标内部特征点时，用户可以直接在原始图像上描绘原始内部特征，并在原始内部特征上设置原始内部特征点；在目标图像上描绘目标内部特征，并在目标内部特征上设置目标内部特征点。其中，目标内部特征的数目与原始内部特征的数目相同，且目标内部特征与原始内部特征相对应。在描绘原始内部特征和目标内部特征时需要以对应的起点及相同的方向描绘，同时，设置的目标内部特征点与设置的原始内部特征点一一对应。
S103，分别对原始特征点和目标特征点进行德洛内Delaunay三角剖分，生成原始图像的粗三角网格和目标图像的粗三角网格，原始图像的粗三角网格作为原始粗三角网格，目标图像的粗三角网格作为目标粗三角网格。
其中，三角剖分的定义为：假设V是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段，E为边e的集合。该点集V的一个三角剖分T＝(V，E)是一个平面图G，该平面图满足条件：(1)除了端点，平面图中的边不包含点集中的任何点；(2)没有相交边；(3)平面图中所有的面都是三角面，且所有三角面的合集是散点集V的凸包。Delaunay三角剖分的定义为：如果点集V的一个三角剖分T只包含Delaunay边，则该三角剖分称为Delaunay三角剖分。Delaunay边的定义为：假设集合E中的一条边e，该边e的两个端点分别为a和b，存在一个圆经过a，b两点，圆内不含点集V中任何其他的点，且任意四点不能共圆。
本发明实施例中，以对原始特征点进行Delaunay三角剖分为例进行说明，具体的，可以采用逐点插入算法对原始特征点进行Delaunay三角剖分，其基本原理为：首先建立一个大的三角形或多边形，将所有的原始特征点包围，向其中插入一个原始特征点，该原始特征点与建立的三角形或者多边形的每个顶点相连，形成多个新的三角形，然后逐个对新的三角形进行空外接圆检测，同时通过交换对角线的方法来保证所形成的三角网格为Delaunay三角网格。在逐一插入原始特征点的过程中，遇到非Delaunay边时，可以通过删除调整构造新的Delaunay边。其中，除逐点插入算法外，还可以采用分割合并算法、分治算法等算法对原始特征点进行Delaunay三角剖分，本发明实施例不对实现Delaunay三角剖分所采用的算法加以限制。
在实际应用中，对目标特征点进行Delaunay三角剖分时，由于目标特征点与原始特征点一一对应，即可以根据原始粗三角网格中原始特征点之间的连接关系，将与原始特征点对应的目标特征点进行连接，生成目标粗三角网格。该目标粗三角网格由多个三角形组成，将该三角形作为目标粗三角形，原始粗三角网格也由多个三角形组成，将该三角形作为原始粗三角形。由于目标粗三角网格与原始粗三角网格具有相同的网格结构，即目标粗三角网格内目标粗三角形数目与原始粗三角网格内原始粗三角形的数目相同，且目标粗三角网格内的目标粗三角形与原始粗三角网格内的原始粗三角形一一对应。其中，在目标特征点的连接过程中，允许用户通过稍微移动某几个目标特征点的位置使得目标粗三角网格不存在交叉，目标粗三角网格内的Delaunay边上只存在两个端点，该端点为目标特征点。
示例的，本发明实施例可以以原始图像和目标图像均为小鸭子为例进行说明，如图2所示，图2是本发明实施例提供的一种原始粗三角网格的结构示意图，该原始粗三角网格包括多个原始粗三角形A；如图3所示，图3是本发明实施例提供的一种目标粗三角网格的结构示意图，该目标粗三角网格包括多个目标粗三角形B。由图2和图3所知，目标粗三角网格内目标粗三角形数目与原始粗三角网格内原始粗三角形的数目相同，且目标粗三角网格内的目标粗三角形与原始粗三角网格内的原始粗三角形一一对应。
S104，分别对原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格。
本发明实施例中，分别对原始粗三角网格和目标粗三角网格进行Delaunay三角剖分可以采用以下两个步骤实现：
步骤一，可以分别对原始粗三角网格内的每个原始粗三角形和目标粗三角网格内的每个目标粗三角形进行Delaunay三角剖分，生成原始三角网格片和目标三角网格片，即每个原始粗三角形经过Delaunay三角剖分后，会生成一个对应的原始三角网格片，该原始三角网格片由多个三角形组成；每个目标粗三角形经过Delaunay三角剖分后，同样会生成一个对应的目标三角网格片，该目标三角网格片由多个三角形组成。由于原始粗三角形与目标三角形之间存在一一对应关系，即原始三角网格片与目标三角网格片之间也存在一一对应关系。其中，原始粗三角形为原始粗三角网格内的三角形，目标粗三角形为目标粗三角网格内的三角形。
在实际应用中，对原始粗三角网格和目标粗三角网格进行Delaunay三角剖分的实现方法可以采用步骤S103中实现Delaunay三角剖分所采用的算法来实现，本发明实施例不在此进行赘述。
步骤二，分别对原始三角网格片和目标三角网格片进行重三角化，生成新的原始三角网格片和新的目标三角网格片，以生成原始密集三角网格和目标密集三角网格。由于原始三角网格片与目标三角网格片之间存在一一对应关系，即新的原始三角网格片和新的目标三角网格片之间也存在一一对应关系。其中，新的原始三角网格片为原始密集三角网格内的三角网格片，原始密集三角网格由多个新的原始三角网格片组成，新的原始三角网格片由多个三角形组成，将组成原始三角网格片的三角形作为原始三角形；新的目标三角网格片为目标密集三角网格内的三角网格片，目标密集三角网格由多个新的目标三角网格片组成，新的目标三角形网格片由多个三角形组成，将组成目标三角网格片的三角作为目标三角形。
本发明实施例以对原始三角网格片进行重三角化为例进行说明，具体的，每个原始粗三角形在Delaunay三角剖分过程中，会产生新的顶点将该原始粗三角形分割成多个三角形，以生成对应的原始三角网格片，即该原始三角网格片由多个三角形组成，产生的新的顶点除分布在该原始粗三角形的内部以外，也会分布在该原始粗三角形的每条边上。与该原始粗三角形相邻的原始粗三角形在Delaunay三角剖分过程中，也会在该相邻的原始粗三角形的每条边上产生新的顶点，本发明实施例通过获取原始粗三角形的每条边上分布的顶点，及获取与该原始粗三角形相邻的原始粗三角形的每条边上分布的顶点，基于这些获取的顶点对该原始粗三角形经过Delaunay三角剖分后生成的原始三角网格片再重新进行Delaunay三角剖分，生成新的原始三角网格片，将生成的所有新的原始三角网格片组合成原始图像的原始密集三角网格。该原始密集三角网格中任意两个相邻的新的原始三角网格片共享公共边上分布的顶点。其中，对原始三角网格片进行Delaunay三角剖分时可以采用步骤S103中实现Delaunay三角剖分时所采用的算法来实现，本发明实施例不在此进行赘述。
示例的，基于步骤103，本发明实施例以原始图像和目标图像均为小鸭子为例进行说明，如图4所示，图4是本发明实施例提供的一种原始密集三角网格的结构示意图，该原始密集三角网格包括多个原始三角形A’；如图5所示，图5是本发明实施例提供的一种目标密集三角网格的结构示意图，该目标密集三角网格包括多个目标三角形B’。
S105，采用调和映射算法，建立原始密集三角网格与目标密集三角网格之间的映射关系。
在原始图像变形为目标图像的过程中，建立原始图像的原始密集三角网格与目标图像的目标密集三角网格之间的映射关系，也即是，建立每个新的原始三角网格片与对应的新的目标三角网格片之间的映射关系，目的是针对每个新的原始三角网格片内的每个三角形，能够在与该新的原始三角网格片对应的新的目标三角网格片内确定对应的三角形。该对应的三角形指的是根据映射关系在新的目标三角网格片内确定对应的三个顶点，及由这三个顶点组成的三角形。
本发明实施例中，建立每个新的原始三角网格片与对应的新的目标三角网格片之间的映射关系时，可以基于调和映射算法，先将新的原始三角网格片映射到一个单位圆，即f：Ps→D；再将新的目标三角网格片映射到另一个单位圆，即g：Pt→D′；然后再建立这两个单位圆之间的映射关系，即h：D→D′，最后根据公式建立新的原始三角网格片与新的目标三角网格片之间的映射关系，其中，Ps表示新的原始三角网格片，Pt表示新的目标三角网格片，D表示一个单位圆，D′表示另一个单位圆，f表示新的原始三角网格片与单位圆之间的映射关系，h表示两个单位圆之间的映射关系，g表示新的目标三角网格片与另一个单位圆之间的映射关系，g-1表示g的逆映射，即为另一个单位圆与新的目标三角网格片之间的映射关系，表示新的原始三角网格片与新的目标三角网格片之间的映射关系，即为f、h和g-1的复合映射。
示例的，本发明实施例以新的原始三角网格为例进行说明，将新的原始三角网格片映射到一个单位圆时，需要基于调和映射算法将该新的原始三角网格片的边界点映射到单位圆的边界上，并将新的原始三角网格片的内部点映射到单位圆的内部。
具体的，本发明实施例可以通过弧长参数化，将该新的原始三角网格片的边界点映射到单位圆的边界。例如，该新的原始三角网格片上存在5个边界点，分别为P1、P2、P3、P4和P5，P1、P2和P3为该新的原始三角网格片的三个顶点，P4和P5为边P1P3上的点，根据P1、P2和P3这3个顶点的坐标得到该新的原始三角网格片的外接圆的圆心O，令∠P1OP2、∠P2OP3及∠P1OP3的角度分别为α、β及θ，在单位圆的边界上设置一个点作为点P1映射到单位圆的边界上的点，根据角度α和θ，在单位圆的边界上确定P2和P3分别映射到该单位圆的边界上的点和其中，及的角度与∠P1OP2、∠P2OP3及∠P1OP3的角度相同，分别为α、β及θ，O′表示单位圆的圆心。另外，将P4和P5映射到单位圆的边界时，计算线段P1P4、P4P5与P5P3之间长度的比例，根据该比例将的角度θ划分为θ1、θ2和θ3，即根据角度θ1、θ2和θ3可以在该单位圆的边界确定P4和P5的映射点和
本发明实施例可以根据公式计算新的原始三角网格片的内部点映射到单位圆的内部时所对应的点的位置。具体的，令E的偏微分等于0，即则由公式计算得到新的原始三角网格片的内部点映射到单位圆的内部时所对应的点的位置。其中，E表示新的原始三角网格片的弹性能量，Ps表示新的原始三角网格片，Edges(Ps)表示新的原始三角网格片内所有三角形的边的集合，{i，j}表示新的原始三角网格片内的三角形的边，表示新的原始三角网格片的内部点映射到单位圆的内部时所对应的点的位置，表示新的原始三角网格片的边界点映射到单位圆的边界时所对应的点的位置，αij表示弹性系数，可以根据公式计算弹性系数，其中，在新的原始三角网格片内，边{i，j}可以关联两个三角形，如三角形{i，j，k1}和三角形{i，j，k2}，即表示三角形{i，j，k1}的面积，表示三角形{i，j，k2}的面积，Lij表示边{i，j}的长度，表示边{i，k1}的长度，表示边{j，k1}的长度，表示边{i，k2}的长度，表示边{j，k2}的长度。在新的原始三角网格片内，当边{i，j}只关联一个三角形时，即只需针对这一个三角形计算弹性系数。例如，该三角形为{i，j，k}，则弹性系数公式中Areai，j，k表示三角形{i，j，k}的面积，Lij表示边{i，j}的长度，Lik表示边{i，k}的长度，Ljk表示边{j，k}的长度。
本发明实施例中，将新的目标三角网格片映射到另一个单位圆，以及建立两个单位圆之间的映射关系的具体实现方法，可以采用上述将新的原始三角网格片映射到一个单位圆的实现方式来实现，本发明实施例不在此进行赘述。
S106，依据映射关系，采用线性插值算法生成中间三角网格，其中，中间三角网格为变形过程中显示的中间图像所对应的三角网格。
当每个新的原始三角网格片与对应的新的目标三角网格片之间的映射关系建立后，针对每个新的原始三角网格片内的每个三角形，可以在与该新的原始三角网格片对应的新的目标三角网格片内确定对应的三角形。该对应的三角形指的是根据映射关系在新的目标三角网格片内确定对应的三个顶点，由这三个顶点组成的三角形。也即是，依据映射关系，针对原始密集三角网格内的每个顶点，可以在目标密集三角网格内确定对应的顶点。
本发明实施例可以采用公式p(v)＝(1-μ)*p(vs)+μ*p(vt)，计算中间三角网格的每个顶点的位置。其中，p(v)为中间三角网格的每个顶点的位置，p(vs)为原始密集三角网格的每个顶点的位置，p(vt)为在目标密集三角网格内与原始密集三角网格的顶点相对应的顶点的位置，μ为调节差值的参数，取值范围为：0≤μ≤1。
在实际应用中，该参数μ的取值可以根据显示的中间图像的帧数来设定，例如，当中间图像的帧数为50帧时，则计算第一帧中间图像所对应的三角网格的每个顶点的位置时，μ的取值为1/50，计算第二帧中间图像所对应的三角网格的每个顶点的位置时，μ的取值为2/50，每连续两帧中间图像所对应的μ的差值为1/50；当中间图像的帧数为60帧时，则计算第一帧中间图像所对应的三角网格的每个顶点的位置时，μ的取值为1/60，计算第二帧中间图像所对应的三角网格的每个顶点的位置时，μ的取值为2/60，每连续两帧中间图像所对应的μ的差值为1/60。本发明实施例不对μ的取值进行限定。其中，显示的中间图像的帧数可以由用户设定，例如，可以设定为50帧、60帧等，本发明实施例不对帧数的取值进行限定。
在实际应用中，当每计算完一帧中间图像所对应的中间三角网格的所有顶点的位置时，可以根据原始密集三角网格中各个顶点的连接关系，连接该中间三角网格的每个顶点，以生成中间三角网格。
S107，采用线性插值算法，计算中间三角网格内像素点的像素值，以显示中间三角网格对应的中间图像。
本发明实施例中，可以采用公式pi＝(1-t)*ps+t*pt，计算中间三角网格内像素点的像素值。其中，pj为中间三角网格内每个像素点的像素值，ps为在原始密集三角网格内与中间三角网格内的像素点相对应的像素点的像素值，pt为在目标密集三角网格中与中间三角网格内的像素点相对应的像素点的像素值，t为调节差值的参数，取值范围为：0≤t≤1。该参数t的取值与上述步骤S106中μ的取值一致，本发明实施例不在此进行赘述。
本发明实施例以中间三角网格内任意一个像素点为例进行说明，计算该像素点的像素值时，可以根据该像素点的质心坐标在原始密集三角网格内和目标密集三角网格内分别确定与该像素点相对应的像素点，然后采用上述线性插值算法，根据确定的相对应的像素点的像素值，计算得到中间三角网格内该像素点的像素值。
具体的，首先，可以根据该像素点的坐标位置在中间三角网格内确定该像素点所在的三角形，进而确定该三角形的三个顶点，由于在生成中间三角网格的过程中，记录了中间三角网格内各个顶点与原始密集三角网格内各个顶点的对应关系，即可以依据中间三角网格内该像素点所在的三角形的三个顶点，在原始密集三角网格内确定对应的三个顶点，及这三个顶点组成的三角形，再根据原始密集三角网格与目标密集三角网格之间的映射关系，在目标密集三角网格内确定对应的三个顶点，及这三个顶点组成的三角形。然后根据该像素点的质心坐标，在原始密集三角网格内确定的三角形中确定与该像素点对应的像素点的坐标，以及在目标密集三角网格内确定的三角形中确定与该像素点对应的像素点的坐标。例如，该像素点的坐标为(x，y)，该像素点所在的三角形的三个顶点分别为(x1，y1)、(x2，y2)和(x3，y3)，在原始密集三角网格内确定的三角形的三个顶点的坐标分别为(a1，b1)、(a2，b2)和(a3，b3)，在目标密集三角网格内确定的三角形的三个顶点的坐标分别为(m1，n1)、(m2，n2)和(m3，n3)，令该像素点的质心坐标为(c1，c2，c3)，则根据三元一次方程组：x＝c1*x1+c2*x2+c3*x3，y＝c1*y1+c2*y2+c3*y3，c1+c2+c3＝1，计算得到该像素点的质心坐标(c1，c2，c3)。基于该像素点的像素坐标，在原始密集三角网格内确定的三角形中与该像素点对应的像素点的坐标为(c1*a1+c2*a2+c3*a3，c1*b1+c2*b2+c3*b3)，在目标密集三角网格内确定的三角形中与该像素点对应的像素点的坐标为(c1*m1+c2*m2+c3*m3，c1*n1+c2*n2+c3*n3)。最后采用上述线性插值算法，根据确定的相对应的像素点的像素值，计算得到中间三角网格内该像素点的像素值。
示例的，本发明实施例以原始图像和目标图像均为小鸭子为例进行说明，如图6所示，图6为本发明实施例提供的一种基于特征对应的图像变形序列示意图，图6中的第一帧图像为原始图像M，第六帧图像为目标图像N，中间的四帧图像为原始图像变形为目标图像的过程中依次显示的中间图像L(图6中未示出原始图像、目标图像以及变形过程中显示的中间图像的颜色)。其中，原始图像M与目标图像N的颜色可以不相同，例如，原始图像M的颜色可以为黄色，目标图像N的颜色可以为棕色，中间图像L的颜色可以通过上述线性插值算法计算中间三角网格内的每个像素点的像素值得到。原始图像M和目标图像N的颜色可以由用户选择，本发明实施例对原始图像M和目标图像M的颜色不作限定。此外，图6中显示的中间图像的帧数仅是示意性说明，中间图像的帧数可以由用户设定，例如，可以设定为50帧、60帧等，本发明实施例对中间图像的帧数不作限定。
本发明实施例提供一种基于特征对应的图像变形方法，可以采用Delaunay三角剖分技术分别对原始图像和目标图像的原始特征点和目标特征点进行剖分，生成原始密集三角网格和目标密集三角网格，并建立原始密集三角网格与目标密集三角网格之间的映射关系，也即是根据给定的目标图像，可以建立原始图像的原始密集三角网格与目标图像的三角网格之间的映射关系，并根据该映射关系，采用线性插值算法可以确定中间图像的中间三角网格，然后根据该映射关系采用线性插值算法来计算中间三角网格内像素点的像素值。在变形过程中，根据建立的映射关系，采用线性插值算法计算中间三角网格内像素点的像素值，可以产生除原始图像自身颜色以外的新的颜色，即可以实现具有不同颜色的图像之间的变形，提升了图像变形的效果。
本发明实施例提供了一种基于特征对应的图像变形装置，如图7所示，该装置包括：
获取模块710，用于获取原始图像和目标图像。
提取模块720，用于分别提取原始图像和目标图像的特征点，原始图像的特征点作为原始特征点，目标图像的特征点作为目标特征点，其中，原始特征点和目标特征点一一对应。
第一生成模块730，用于分别对原始特征点和目标特征点进行德洛内Delaunay三角剖分，生成原始图像的粗三角网格和目标图像的粗三角网格，原始图像的粗三角网格作为原始粗三角网格，目标图像的粗三角网格作为目标粗三角网格。
第二生成模块740，用于分别对原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格。
建立模块750，用于采用调和映射算法，建立原始密集三角网格与目标密集三角网格之间的映射关系。
第三生成模块760，用于依据映射关系，采用线性插值算法生成中间三角网格，其中，中间三角网格为变形过程中显示的中间图像所对应的三角网格。
计算模块770，用于采用线性插值算法，计算中间三角网格内像素点的像素值，以显示中间三角网格对应的中间图像。
本发明实施例提供的一种基于特征对应的图像变形装置，在图像变形过程中，可以采用Delaunay三角剖分技术分别对原始图像和目标图像的原始特征点和目标特征点进行剖分，生成原始密集三角网格和目标密集三角网格，并建立原始密集三角网格与目标密集三角网格之间的映射关系，也即是根据给定的目标图像，可以建立原始图像的原始密集三角网格与目标图像的三角网格之间的映射关系，并根据该映射关系，采用线性插值算法可以确定中间图像的中间三角网格，然后根据该映射关系采用线性插值算法来计算中间三角网格内像素点的像素值。在变形过程中，根据建立的映射关系，采用线性插值算法计算中间三角网格内像素点的像素值，可以产生除原始图像自身颜色以外的新的颜色，即可以实现具有不同颜色的图像之间的变形，提升了图像变形的效果。
作为本发明实施例的一种实施方式，上述第二生成模块740，具体用于：
分别对原始粗三角网格内的每个原始粗三角形和目标粗三角网格内的每个目标粗三角形进行Delaunay三角剖分，生成原始三角网格片和目标三角网格片，其中，原始粗三角形为原始粗三角网格内的三角形，目标粗三角形为目标粗三角网格内的三角形。
分别对原始三角网格片和目标三角网格片进行重三角化，生成新的原始三角网格片和新的目标三角网格片，以生成原始密集三角网格和目标密集三角网格，其中，新的原始三角网格片为原始密集三角网格内的三角网格片，新的目标三角网格为目标密集三角网格内的三角网格片。
作为本发明实施例的一种实施方式，上述提取模块720，包括：
第一提取子模块，用于分别提取原始图像和目标图像的轮廓特征点，原始图像的轮廓特征点作为原始轮廓特征点，目标图像的轮廓特征点作为目标轮廓特征点；或者，
第二提取子模块，用于分别提取原始图像和目标图像的轮廓特征点、内部特征点，原始图像的轮廓特征点、内部特征点分别作为原始轮廓特征点、原始内部特征点，目标图像的轮廓特征点、内部特征点分别作为目标轮廓特征点、目标内部特征点。
作为本发明实施例的一种实施方式，上述第一提取子模块，具体用于：
分别对原始图像和目标图像进行高斯模糊滤波。
采用边缘检测算法，分别提取原始图像和目标图像的轮廓特征，原始图像的轮廓特征作为原始轮廓特征，目标图像的轮廓特征作为目标轮廓特征。
分别在原始轮廓特征和目标轮廓特征上均匀设置轮廓特征点，原始轮廓特征上设置的轮廓特征点作为原始轮廓特征点，目标轮廓特征上设置的轮廓特征点作为目标轮廓特征点，其中，原始轮廓特征点和目标轮廓特征点一一对应。
作为本发明实施例的一种实施方式，上述第三生成模块760，具体用于采用如下公式计算中间三角网格的每个顶点的位置：
p(v)＝(1-μ)*p(vs)+μ*p(vt)；
其中，p(v)为中间三角网格的每个顶点的位置，p(vs)为原始密集三角网格的每个顶点的位置，p(vt)为在目标密集三角网格内与原始密集三角网格的顶点相对应的顶点的位置，μ为调节差值的参数，取值范围为：0≤μ≤1。
根据原始密集三角网格，连接中间三角网格的每个顶点，以生成中间三角网格。
作为本发明实施例的一种实施方式，上述计算模块770，具体用于采用如下公式计算中间三角网格内像素点的像素值：
pi＝(1-t)*ps+t*pt；
其中，pi为中间三角网格内每个像素点的像素值，ps为在原始密集三角网格内与中间三角网格内的像素点相对应的像素点的像素值，pt为在目标密集三角网格中与中间三角网格内的像素点相对应的像素点的像素值，t为调节差值的参数，取值范围为：0≤t≤1。
本发明实施例提供的一种基于特征对应的图像变形装置，在图像变形过程中，可以采用Delaunay三角剖分技术分别对原始图像和目标图像的原始特征点和目标特征点进行剖分，生成原始密集三角网格和目标密集三角网格，并建立原始密集三角网格与目标密集三角网格之间的映射关系，也即是根据给定的原始图像和目标图像，建立原始图像的原始密集三角网格与目标图像的三角网格之间的映射关系，并根据该映射关系，采用线性插值算法确定中间图像的中间三角网格，然后根据该映射关系采用线性插值算法来计算中间三角网格内像素点的像素值。在变形过程中，既考虑了轮廓特征又考虑了内部特征，且能够自动提取轮廓特征，因此避免了用户进行图像变形的繁冗操作、提高了变形的效率、实现更自然更真实的变形效果；同时，根据建立的映射关系，采用线性插值算法计算中间三角网格内像素点的像素值，可以产生除原始图像自身颜色以外的新的颜色，即可以实现具有不同颜色的图像之间的变形，提升了图像变形的效果。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器810、通信接口820、存储器830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信，
存储器830，用于存放计算机程序；
处理器810，用于执行存储器830上所存放的程序时，实现如下步骤：
获取原始图像和目标图像。
分别提取所述原始图像和所述目标图像的特征点，所述原始图像的特征点作为原始特征点，所述目标图像的特征点作为目标特征点，其中，所述原始特征点和目标特征点一一对应。
分别对所述原始特征点和目标特征点进行德洛内Delaunay三角剖分，生成原始图像的粗三角网格和目标图像的粗三角网格，原始图像的粗三角网格作为原始粗三角网格，目标图像的粗三角网格作为目标粗三角网格。
分别对所述原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格。
采用调和映射算法，建立所述原始密集三角网格与所述目标密集三角网格之间的映射关系。
依据所述映射关系，采用线性插值算法生成中间三角网格，其中，所述中间三角网格为变形过程中显示的中间图像所对应的三角网格。
采用线性插值算法，计算所述中间三角网格内像素点的像素值，以显示所述中间三角网格对应的中间图像。
本发明实施例中，在图像变形过程中，可以采用Delaunay三角剖分技术分别对原始图像和目标图像的原始特征点和目标特征点进行剖分，生成原始密集三角网格和目标密集三角网格，并建立原始密集三角网格与目标密集三角网格之间的映射关系，也即是根据给定的目标图像，可以建立原始图像的原始密集三角网格与目标图像的三角网格之间的映射关系，并根据该映射关系，采用线性插值算法可以确定中间图像的中间三角网格，然后根据该映射关系采用线性插值算法来计算中间三角网格内像素点的像素值。在变形过程中，根据建立的映射关系，采用线性插值算法计算中间三角网格内像素点的像素值，可以产生除原始图像自身颜色以外的新的颜色，即可以实现具有不同颜色的图像之间的变形，提升了图像变形的效果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
对于装置/电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于特征对应的图像变形方法，其特征在于，包括：
获取原始图像和目标图像；
分别提取所述原始图像和所述目标图像的特征点，所述原始图像的特征点作为原始特征点，所述目标图像的特征点作为目标特征点，其中，所述原始特征点和目标特征点一一对应；
分别对所述原始特征点和目标特征点进行德洛内Delaunay三角剖分，生成原始图像的粗三角网格和目标图像的粗三角网格，所述原始图像的粗三角网格作为原始粗三角网格，所述目标图像的粗三角网格作为目标粗三角网格；
分别对所述原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格；
采用调和映射算法，建立所述原始密集三角网格与所述目标密集三角网格之间的映射关系；
依据所述映射关系，采用线性插值算法生成中间三角网格，其中，所述中间三角网格为变形过程中显示的中间图像所对应的三角网格；
采用线性插值算法，计算所述中间三角网格内像素点的像素值，以显示所述中间三角网格对应的中间图像。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格的步骤，包括：
分别对所述原始粗三角网格内的每个原始粗三角形和所述目标粗三角网格内的每个目标粗三角形进行Delaunay三角剖分，生成原始三角网格片和目标三角网格片，其中，所述原始粗三角形为所述原始粗三角网格内的三角形，所述目标粗三角形为所述目标粗三角网格内的三角形；
分别对所述原始三角网格片和目标三角网格片进行重三角化，生成新的原始三角网格片和新的目标三角网格片，以生成原始密集三角网格和目标密集三角网格，其中，所述新的原始三角网格片为所述原始密集三角网格内的三角网格片，所述新的目标三角网格片为所述目标密集三角网格内的三角网格片。
3.根据权利要求1所述的方法，其特征在于，所述分别提取所述原始图像和所述目标图像的特征点，所述原始图像的特征点作为原始特征点，所述目标图像的特征点作为目标特征点，其中，所述原始特征点和目标特征点一一对应的步骤，包括：
分别提取所述原始图像和目标图像的轮廓特征点，所述原始图像的轮廓特征点作为原始轮廓特征点，所述目标图像的轮廓特征点作为目标轮廓特征点；或者，
分别提取所述原始图像和目标图像的轮廓特征点、内部特征点，所述原始图像的轮廓特征点、内部特征点分别作为原始轮廓特征点、原始内部特征点，所述目标图像的轮廓特征点、内部特征点分别作为目标轮廓特征点、目标内部特征点。
4.根据权利要求3所述的方法，其特征在于，所述分别提取所述原始图像和目标图像的轮廓特征点，所述原始图像的轮廓特征点作为原始轮廓特征点，所述目标图像的轮廓特征点作为目标轮廓特征点的步骤，包括：
分别对所述原始图像和目标图像进行高斯模糊滤波；
采用边缘检测算法，分别提取所述原始图像和所述目标图像的轮廓特征，所述原始图像的轮廓特征作为原始轮廓特征，所述目标图像的轮廓特征作为目标轮廓特征；
分别在所述原始轮廓特征和目标轮廓特征上均匀设置轮廓特征点，所述原始轮廓特征上设置的轮廓特征点作为原始轮廓特征点，所述目标轮廓特征上设置的轮廓特征点作为目标轮廓特征点，其中，所述原始轮廓特征点和所述目标轮廓特征点一一对应。
5.根据权利要求1所述的方法，其特征在于，所述依据所述映射关系，采用线性插值算法生成中间三角网格的步骤，包括：
采用如下公式计算所述中间三角网格的每个顶点的位置：
p(v)＝(1-μ)*p(vs)+μ*p(vt)；
其中，p(v)为所述中间三角网格的每个顶点的位置，p(vs)为所述原始密集三角网格的每个顶点的位置，p(vt)为在所述目标密集三角网格内与所述原始密集三角网格的顶点相对应的顶点的位置，μ为调节差值的参数，取值范围为：0≤μ≤1；
根据所述原始密集三角网格，连接所述中间三角网格的每个顶点，以生成中间三角网格。
6.根据权利要求1所述的方法，其特征在于，所述采用线性插值算法，计算所述中间三角网格内的像素点的像素值，以显示所述中间三角网格对应的中间图像的步骤，包括：
采用如下公式计算所述中间三角网格内像素点的像素值：
pi＝(1-t)*ps+t*pt；
其中，pi为所述中间三角网格内每个像素点的像素值，ps为在所述原始密集三角网格内与所述中间三角网格内的像素点相对应的像素点的像素值，pt为在所述目标密集三角网格中与所述中间三角网格内的像素点相对应的像素点的像素值，t为调节差值的参数，取值范围为：0≤t≤1。
7.一种基于特征对应的图像变形装置，其特征在于，包括：
获取模块，用于获取原始图像和目标图像；
提取模块，用于分别提取所述原始图像和所述目标图像的特征点，所述原始图像的特征点作为原始特征点，所述目标图像的特征点作为目标特征点，其中，所述原始特征点和目标特征点一一对应；
第一生成模块，用于分别对所述原始特征点和目标特征点进行德洛内Delaunay三角剖分，生成原始图像的粗三角网格和目标图像的粗三角网格，所述原始图像的粗三角网格作为原始粗三角网格，所述目标图像的粗三角网格作为目标粗三角网格；
第二生成模块，用于分别对所述原始粗三角网格和目标粗三角网格进行Delaunay三角剖分，生成原始密集三角网格和目标密集三角网格；
建立模块，用于采用调和映射算法，建立所述原始密集三角网格与所述目标密集三角网格之间的映射关系；
第三生成模块，用于依据所述映射关系，采用线性插值算法生成中间三角网格，其中，所述中间三角网格为变形过程中显示的中间图像所对应的三角网格；
计算模块，用于采用线性插值算法，计算所述中间三角网格内像素点的像素值，以显示所述中间三角网格对应的中间图像。
8.根据权利要求7所述的装置，其特征在于，所述第二生成模块，具体用于：
分别对所述原始粗三角网格内的每个原始粗三角形和所述目标粗三角网格内的每个目标粗三角形进行Delaunay三角剖分，生成原始三角网格片和目标三角网格片，其中，所述原始粗三角形为所述原始粗三角网格内的三角形，所述目标粗三角形为所述目标粗三角网格内的三角形；
分别对所述原始三角网格片和目标三角网格片进行重三角化，生成新的原始三角网格片和新的目标三角网格片，以生成原始密集三角网格和目标密集三角网格，其中，所述新原始三角网格片为所述原始密集三角网格内的三角网格片，所述新目标三角网格为所述目标密集三角网格内的三角网格片。
9.根据权利要求7所述的装置，其特征在于，所述提取模块，包括：
第一提取子模块，用于分别提取所述原始图像和目标图像的轮廓特征点，所述原始图像的轮廓特征点作为原始轮廓特征点，所述目标图像的轮廓特征点作为目标轮廓特征点；或者，
第二提取子模块，用于分别提取所述原始图像和目标图像的轮廓特征点、内部特征点，所述原始图像的轮廓特征点、内部特征点分别作为原始轮廓特征点、原始内部特征点，所述目标图像的轮廓特征点、内部特征点分别作为目标轮廓特征点、目标内部特征点。
10.根据权利要求9所述的装置，其特征在于，所述第一提取子模块，具体用于：
分别对所述原始图像和目标图像进行高斯模糊滤波；
采用边缘检测算法，分别提取所述原始图像和所述目标图像的轮廓特征，所述原始图像的轮廓特征作为原始轮廓特征，所述目标图像的轮廓特征作为目标轮廓特征；
分别在所述原始轮廓特征和目标轮廓特征上均匀设置轮廓特征点，所述原始轮廓特征上设置的轮廓特征点作为原始轮廓特征点，所述目标轮廓特征上设置的轮廓特征点作为目标轮廓特征点，其中，所述原始轮廓特征点和所述目标轮廓特征点一一对应。
CN201810569811.1A 2018-06-05 2018-06-05 基于特征对应的图像变形方法及装置 Pending CN108961283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810569811.1A CN108961283A (zh) 2018-06-05 2018-06-05 基于特征对应的图像变形方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810569811.1A CN108961283A (zh) 2018-06-05 2018-06-05 基于特征对应的图像变形方法及装置

Publications (1)

Publication Number Publication Date
CN108961283A true CN108961283A (zh) 2018-12-07

Family

ID=64493730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810569811.1A Pending CN108961283A (zh) 2018-06-05 2018-06-05 基于特征对应的图像变形方法及装置

Country Status (1)

Country Link
CN (1) CN108961283A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903217A (zh) * 2019-01-25 2019-06-18 北京百度网讯科技有限公司 图像变形方法和装置
CN110580691A (zh) * 2019-09-09 2019-12-17 京东方科技集团股份有限公司 图像的动态处理方法、装置、设备及计算机可读存储介质
GB2583774A (en) * 2019-05-10 2020-11-11 Robok Ltd Stereo image processing
CN112132913A (zh) * 2019-06-25 2020-12-25 北京字节跳动网络技术有限公司 图像处理方法、装置、介质和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038665A (zh) * 2007-04-29 2007-09-19 威盛电子股份有限公司 图像变形的方法
CN101826217A (zh) * 2010-05-07 2010-09-08 上海交通大学 人脸动画快速生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038665A (zh) * 2007-04-29 2007-09-19 威盛电子股份有限公司 图像变形的方法
CN101826217A (zh) * 2010-05-07 2010-09-08 上海交通大学 人脸动画快速生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAQIONG LIU ET AL: "Sketch Based Image Deformation and Editing with Guaranteed Feature Correspondence", 《PROCEEDINGS OF THE 10TH INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATIONS IN INDUSTRY》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903217A (zh) * 2019-01-25 2019-06-18 北京百度网讯科技有限公司 图像变形方法和装置
CN109903217B (zh) * 2019-01-25 2023-05-02 北京百度网讯科技有限公司 图像变形方法和装置
GB2583774A (en) * 2019-05-10 2020-11-11 Robok Ltd Stereo image processing
GB2583774B (en) * 2019-05-10 2022-05-11 Robok Ltd Stereo image processing
CN112132913A (zh) * 2019-06-25 2020-12-25 北京字节跳动网络技术有限公司 图像处理方法、装置、介质和电子设备
CN110580691A (zh) * 2019-09-09 2019-12-17 京东方科技集团股份有限公司 图像的动态处理方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN108961283A (zh) 基于特征对应的图像变形方法及装置
WO2020119527A1 (zh) 人体动作识别方法、装置、终端设备及存储介质
CN110717494B (zh) Android移动端室内场景三维重建及语义分割方法
CN104183016B (zh) 一种快速的2.5维建筑物模型的构建方法
CN106910242A (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
CN113658316B (zh) 三维模型的渲染方法和装置、存储介质及计算机设备
CN114119607B (zh) 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN106937059A (zh) 基于Kinect的影像合成方法和系统
CN109345486A (zh) 一种基于自适应网格变形的人脸图像去模糊方法
CN115393538A (zh) 基于深度学习的室内动态场景的视觉slam方法及系统
CN103645463A (zh) 合成孔径雷达成像数据三维显示的方法
CN108010002A (zh) 一种基于自适应隐式移动最小二乘的结构化点云去噪方法
CN107146211A (zh) 基于线扩散函数和双边滤波的视网膜血管图像降噪方法
CN110717978A (zh) 基于单张图像的三维头部重建方法
Zhang et al. A data-driven approach for adding facade details to textured lod2 citygml models
WO2019042028A1 (zh) 全视向的球体光场渲染方法
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN111652807B (zh) 眼部的调整、直播方法、装置、电子设备和存储介质
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
Fishbaugh et al. Acceleration controlled diffeomorphisms for nonparametric image regression
CN111027389A (zh) 人群计数系统中基于可变形高斯核的训练数据生成方法
US20200342635A1 (en) Generating contextualized image variants of multiple component images
CN109214396A (zh) 一种工业设备图像特征提取方法及设备
CN115294295B (zh) 一种人体模型的构建方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207

RJ01 Rejection of invention patent application after publication