CN105956997A - 图像形变处理的方法和装置 - Google Patents

图像形变处理的方法和装置 Download PDF

Info

Publication number
CN105956997A
CN105956997A CN201610270547.2A CN201610270547A CN105956997A CN 105956997 A CN105956997 A CN 105956997A CN 201610270547 A CN201610270547 A CN 201610270547A CN 105956997 A CN105956997 A CN 105956997A
Authority
CN
China
Prior art keywords
point
line segment
configuration
mapping
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610270547.2A
Other languages
English (en)
Other versions
CN105956997B (zh
Inventor
钱梦仁
王志斌
程培
邱璇
李晓懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610270547.2A priority Critical patent/CN105956997B/zh
Publication of CN105956997A publication Critical patent/CN105956997A/zh
Priority to PCT/CN2017/080822 priority patent/WO2017186016A1/zh
Priority to KR1020187009599A priority patent/KR102076431B1/ko
Priority to JP2018517437A priority patent/JP6585838B2/ja
Priority to US16/014,410 priority patent/US10691927B2/en
Application granted granted Critical
Publication of CN105956997B publication Critical patent/CN105956997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及一种图像形变处理的方法和装置，包括：获取待处理图像，识别图像中的人脸图像并定位五官基准点；获取携带配置参考点和配置基准点的形变模版，在五官基准点中确定配置参考点对应的当前参考点，配置基准点对应的待匹配基准点；根据配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到配置基准点在待处理图像中对应的目标基准点，目标基准点与对应的待匹配基准点形成映射点对；根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据映射关系将待处理图像点映射至对应的目标位置，提高形变后的图像与目标图像的匹配度。

Description

图像形变处理的方法和装置
技术领域
本发明涉及计算机技术领域，特别是涉及一种图像形变处理的方法和装置。
背景技术
随着图像处理技术和计算机技术的发展，用户对拍摄的人像图片进行美化、变形的需求越来越高。五官变形是图像变形领域非常重要的应用，在广告、电影、动画等领域均有广泛应用。
现有的人脸形变技术一般基于局部图像的变形算法，使用模型参数进行变形，无法自适应的匹配用户给出的目标形状。
发明内容
基于此，有必要针对上述技术问题，提供一种图像形变处理的方法和装置，提高形变后的图像与目标图像的匹配度。
一种图像形变处理的方法，所述方法包括：
获取待处理图像，识别所述待处理图像中的人脸图像，定位所述人脸图像的五官基准点；
获取形变模版，所述形变模版携带配置参考点和配置基准点，在所述五官基准点中确定所述配置参考点对应的当前参考点，配置基准点对应的待匹配基准点；
根据所述配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到所述配置基准点在待处理图像中对应的目标基准点，所述目标基准点与对应的待匹配基准点形成映射点对；
根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据所述映射关系将所述待处理图像点映射至对应的目标位置。
一种图像形变处理的装置，所述装置包括：
基准点定位模块，用于获取待处理图像，识别所述待处理图像中的人脸图像，定位所述人脸图像的五官基准点；
基准点区分模块，用于获取形变模版，所述形变模版携带配置参考点和配置基准点，在所述五官基准点中确定所述配置参考点对应的当前参考点，配置基准点对应的待匹配基准点；
相似性映射模块，用于根据所述配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到所述配置基准点在待处理图像中对应的目标基准点，所述目标基准点与对应的待匹配基准点形成映射点对；
待处理图像点映射模块，根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据所述映射关系将所述待处理图像点映射至对应的目标位置。
上述图像形变处理的方法和装置，通过获取待处理图像，识别待处理图像中的人脸图像，定位人脸图像的五官基准点，获取形变模版，形变模版携带配置参考点和配置基准点，在五官基准点中确定配置参考点对应的当前参考点，配置基准点对应的待匹配基准点，根据配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到配置基准点在待处理图像中对应的目标基准点，目标基准点与对应的待匹配基准点形成映射点对，根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据映射关系将待处理图像点映射至对应的目标位置，形变模版中自带了配置参考点和配置基准点，且通过相应的待处理图像中的当前参考点和待匹配基准点，先进行得到五官相似性映射目标基准点，再确定待处理图像点的映射关系，从而将待处理图像点映射至对应的目标位置，可自适应的根据形变模版确定形变大小，提高了形变后的图像与目标图像的匹配度。
附图说明
图1为一个实施例中图像形变处理的方法的应用环境图；
图2为一个实施例中图1中终端的内部结构图；
图3为一个实施例中图1中服务器的内部结构图；
图4为一个实施例中图像形变处理的方法流程图；
图5为一个实施例中人脸图像的五官基准点的示意图；
图6为一个实施例中形变模块五官基准点的示意图；
图7为一个实施例中待处理图像五官基准点的示意图；
图8为一个实施例中确定目标基准点的位置的流程图；
图9为一个实施例中配置参考点和配置基准点的位置关系示意图；
图10为一个实施例中确定目标基准点的位置示意图；
图11为一个实施例中根据三角图形确定目标基准点的位置的流程图；
图12为一个实施例中配置参考点形成配置三角图形的示意图；
图13为另一个实施例中配置参考点和配置基准点的位置关系示意图；
图14为另一个实施例中确定目标基准点的位置示意图；
图15为一个实施例中将待处理图像点映射至对应的目标位置的流程图；
图16为一个实施例中点映射计算示意图；
图17为一个实施例中点映射结果示意图；
图18为一个实施例中分块将待处理图像点映射至对应的目标位置的流程图；
图19为一个实施例中将待处理图像进行分块的示意图；
图20为一个实施例中待处理图像分块映射的示意图；
图21为一个实施例中形变后的图像的示意图；
图22为一个实施例中图像形变处理的方法的技术框架图；
图23为一个实施例中图像形变处理的装置的结构框图；
图24为一个实施例中相似性映射模块的结构框图；
图25为一个实施例中待处理图像点映射模块的结构框图；
图26为一个实施例中目标位置确定单元的结构框图。
具体实施方式
图1为一个实施例中图像形变处理的方法运行的应用环境图。如图1所示，该应用环境包括终端110和服务器120。终端110和服务器120可以通过网络进行通信。
终端110可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端110可以向服务器120发送形变模版获取请求、发送图像数据等，服务器120可以向终端110发送形变模版等。图像形变处理的方法可以在终端或服务器上实施。
在一个实施例中，图1中的终端110的内部结构如图2所示，该终端110包括通过系统总线连接的处理器、图形处理单元、存储介质、内存、网络接口、显示屏幕和输入设备。其中，终端110的存储介质存储有操作系统，还包括第一图像形变处理的装置，用于实现一种适用于终端的图像形变处理的方法。该处理器用于提供计算和控制能力，支撑整个终端110的运行。终端110中的图形处理单元用于至少提供显示界面的绘制能力，内存为存储介质中的第一图像形变处理的装置的运行提供环境，终端中的内存为存储介质中的第一图像形变处理的装置的运行提供环境，该内存中可储存有计算机可读指令，该计算机可读指令被所述处理器执行时，可使得所述处理器执行图像形变处理的方法。网络接口用于与服务器120进行网络通信，如发送形变模版获取请求至服务器120，接收服务器120返回的数据等。显示屏幕用于显示应用界面等，输入设备用于接收用户输入的命令或数据等。对于带触摸屏的终端110，显示屏幕和输入设备可为触摸屏。
在一个实施例中，图1中的服务器120的内部结构如图3所示，该服务器120包括通过系统总线连接的处理器、存储介质、内存和网络接口。其中，该服务器120的存储介质存储有操作系统、数据库和第二图像形变处理的装置，第二图像形变处理的装置用于实现一种适用于服务器120的图像形变处理的方法。该服务器120的处理器用于提供计算和控制能力，支撑整个服务器120的运行。该服务器120的内存为存储介质中的第二图像形变处理的装置的运行提供环境，服务器中的内存为存储介质中的第二图像形变处理的装置的运行提供环境，该内存中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行图像形变处理的方法。该服务器120的网络接口用于与外部的终端110通过网络连接通信，比如接收终端110发送的图像数据以及向终端110返回数据等。
如图4所示，在一个实施例中，提供了一种图像形变处理的方法，以应用于上述应用环境中的终端或服务器来举例说明，包括如下步骤：
步骤S210，获取待处理图像，识别待处理图像中的人脸图像，定位人脸图像的五官基准点。
具体的，待处理图像可以是摄像头实时拍摄的图像，也可以是终端预先存储的图像，也可以是从服务器实时获取的图像。可通过人脸检测算法识别待处理图像中的人脸图像，人脸检测算法可根据需要自定义，如可为OpenCV人脸检测算法、IOS、Android系统自带的人脸检测算法、Face++人脸检测等。对于任意一张输入的待处理图像，人脸检测算法可以返回图像中是否包含人脸以及具体的人脸范围，如通过矩形框标识人脸的位置，如果有多个人脸则返回多个矩形框。五官基准点是指确定人脸五官、表情动作的关键点，如图5所示为人脸图像的五官基准点的示意图，五官基准点包含：人脸轮廓基准点，即图中1到9号点，左右眼基准点，即图中10-14号点，15-19号点，鼻子基准点即图中20-26号点，嘴唇基准点即图中27-30号点，左右眉基准点即图中31-32号点，33-34号点等，不同部位对应不同类型的基准点，五官基准点包括至少一种类型的基准点。
步骤S220，获取形变模版，形变模版携带配置参考点和配置基准点，在五官基准点中确定配置参考点对应的当前参考点，配置基准点对应的待匹配基准点。
具体的，形变模版是目标形状图像，携带了目标特征，如尖脸、大眼睛、小鼻子等。可以通过离线预处理或对任意目标图像进行在线预处理得到形变模版，预处理的过程包括五官基准点的提取，得到目标图像五官基准点的具体位置，可通过坐标记录和进行图标标识。如果检测算法无法直接得到形变模版的五官基准点时，可以通过离线手动标注的方式标注五官基准点。配置参考点和配置基准点都是五官基准点，其中配置参考点用于判断当前待处理图像和形变模版的五官基准点的位置差，配置基准点用于计算当前待处理图像和形变模版的五官基准点的形变趋势，是影响其它待处理图像点形变的控制点。针对不同的五官变形，可设置不同的配置参考点，如脸形参考点：鼻尖、左右眼对应的外轮廓点、下巴尖点。左眼形变参考点：左眼中心点、鼻尖、左眼对应的脸部轮廓点。右眼形变参考点：右眼中心点、鼻尖、右眼对应的脸部轮廓点。鼻子形变参考点：左眼中心点、鼻尖、右眼中心点。嘴巴形变参考点：根据嘴巴上不同点的位置，确定的参考点分左右两半，分别为嘴巴中心点、鼻尖、左眼中心点，或者嘴巴中心点、鼻尖、右眼中心点。
可控制待处理图像检测出的五官基准点与形变模版中的配置参考点和配置基准点对应，可采用相同的算法对待处理图像和形变模版进行五官基准点检测从而保证其检测出的五官基准点的匹配性。如果待处理图像检测出的五官基准点与形变模版中的配置参考点和配置基准点不对应，如个数不同，可进行二次检测或匹配算法去掉不匹配的基准点。如形变模版中配置参考点为鼻尖、左右眼对应的外轮廓点、下巴尖这四个点，则从待处理图像的五官基准点中获取对应的鼻尖、左右眼对应的外轮廓点、下巴尖处的点作为当前参考点。在图像形变过程中，当前参考点的位置是不变的，起到定位参考的作用。如图6所示，为形变模块示意图，其中311、312、313、314为配置参考点，315-320为配置基准点，图7为待处理图像示意图，其中321、322、323、324为当前参考点，325-330为待匹配基准点，当前参考点的个数与配置参考点的个数相同，相对应，待匹配基准点的个数与配置基准点的个数相同，相对应。
步骤S230，根据配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到配置基准点在待处理图像中对应的目标基准点，目标基准点与对应的待匹配基准点形成映射点对。
具体的，各个配置参考点可进行组合形成对应的图形，如相邻的任意3个点形成配置三角形，4个点形成配置四边形等，而当前参考点也可以进行和配置参考点相同规则的组合形成对应的当前三角形、当前四边形等。可通过配置图形与当前图形之间的面积比例、配置图形与当前图形中对应的图形角度比例以及配置基准点与配置参考点的距离比例、配置基准点与配置参考点之间形成的线段的位置关系，将配置基准点映射到待处理图像的对应位置，得到目标基准点。在映射的过程中可先计算出形变因子，再根据形变因子计算目标基准点的位置。进行相似性映射的具体算法可根据需要自定义，在一个实施例中，将相邻的当前参考点连线得到参考线段，将相邻的当前参考点连线得到当前线段，获取配置基准点邻近的参考线段，根据配置基准点与参考线段的位置关系确定目标基准点与当前线段的位置关系，从而根据位置关系确定目标基准点的位置，如配置基准点刚好在参考线段上，则得到目标基准点的位置也在对应的当前线段上。目标基准点与待匹配基准点对应，目标基准点与待匹配基准点之间的位移偏移代表了形变模版与待处理图像的形变大小。
步骤S240，根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据映射关系将待处理图像点映射至对应的目标位置。
具体的，计算映射点对中目标基准点与待匹配基准点的位移偏移，可通过目标基准点与待匹配基准点的坐标计算得到相应的位移偏移，如目标基准点的坐标为(x，y),待匹配基准点的坐标为(a，b)，则位移差为(x-a，y-b)。可通过向量的形式表示位移偏移。可根据映射点对的分布位置对待处理图像进行分区域，不同的区域内包含相应的映射点对，如第一区域包括第一映射点对，则第一区域内待处理图像点只受到第一映射点对的影响，其它的映射点对不会对第一区域内待处理图像点的形变产生影响。也可以不分区域，根据映射点对与待处理图像点的距离计算各个映射点对对待处理图像点的形变影响权重。将影响权重与位移偏移结合起来计算得到待处理图像点的映射关系，通过映射关系可直接确定待处理图像点形变后的位置，从而将待处理图像点映射至对应的目标位置。
本实施例中，通过获取待处理图像，识别待处理图像中的人脸图像，定位人脸图像的五官基准点，获取形变模版，形变模版携带配置参考点和配置基准点，在五官基准点中确定配置参考点对应的当前参考点，配置基准点对应的待匹配基准点，根据配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到配置基准点在待处理图像中对应的目标基准点，目标基准点与对应的待匹配基准点形成映射点对，根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据映射关系将待处理图像点映射至对应的目标位置，形变模版中自带了配置参考点和配置基准点，且通过相应的待处理图像中的当前参考点和待匹配基准点，先进行得到五官相似性映射目标基准点，再确定待处理图像点的映射关系，从而将待处理图像点映射至对应的目标位置，可自适应的根据形变模版确定形变大小，提高了形变后的图像与目标图像的匹配度。
在一个实施例中，形变模版包括多种五官类型对应的配置基准点和配置参考点。
具体的，变形的五官类型不同，相应的配置基准点和配置参考点的位置和个数也不同。如对于脸型变形，配置参考点为鼻尖、左右眼对应的外轮廓点、下巴尖点，配置基准点为脸部外轮廓上的点。对于左眼形变，配置参考点为右眼中心点、鼻尖、右眼对应的脸部轮廓点，配置基准点为眼睛外轮廓上的点。配置基准点一般为变形的五官外轮廓上的点，配置参考点可根据需要选择变形的五官附近便于定位的点。包括多种五官类型对应的配置基准点和配置参考点，可一次性完成多种类型的五官形变，且各个五官形变之间的形变大小相互影响，达到从全局进行五官形变。
在一个实施例中，如图8所示，步骤S230包括：
步骤S231，获取配置参考点形成的图形的第一重心点，配置基准点和第一重心点连线形成第一线段，第一重心点和不同的配置参考点连线形成第一参考线段集合。
具体的，获取的配置参考点的个数可根据需要自定义，至少为3个，如获取任意相邻的4个配置参考点形成的四边形的第一重心点400。配置基准点一般为多个，依次确定每个配置基准点对应的目标基准点的位置。如图9所示，配置基准点410与第一重心点400连线形成第一线段411，第一重心点400和不同的配置参考点420、430、440、450连线形成第一参考线段集合412，413，414、415。
步骤S232，根据第一线段与第一参考线段集合中的线段的夹角关系、第一线段的长度、第一参考线段集合中的线段的长度确定形变因子。
具体的，第一线段与第一参考线段412、413，414，415分别形成夹角ε1、ε2、ε3、ε4。可根据第一线段与第一参考线段集合中的线段的距离确定形变权重，如第一参考线段412、第一参考线段集合415的形变权重大，第一参考线段413，414的形变权重小。也可选择第一参考线段集合中的一部分目标线段计算目标夹角，在计算形变因子时只考虑目标夹角，如将第一参考线段412、第一参考线段集合415选取作为目标线段，在计算时只考虑目标夹角ε1、目标夹角ε2。确定形变因子的算法可根据需要自定义，如采用线性的函数和非线性的函数。在一个实施例中采用线性的函数，如由公式Dsrc＝d1ε1kp1+d2ε2kp2+...+dnεnkpn确定形变因子k，其中Dsrc为第一线段411的长度，ε1至εn分别为第一线段与第一参考线段集合中的各个线段的夹角，其中n为第一参考线段集合中的线段的数量，d1至dn为第一参考线段集合中的各个线段的长度，p1至pn为形变权重，具体的大小可自定义。
步骤S233，获取根据当前参考点形成的图形的第二重心点，目标基准点和第二重心点连线形成第二线段，第二重心点和不同的当前参考点连线形成第二参考线段集合，根据夹角关系确定第二线段与第二参考线段集合中的各个线段的夹角。
具体的，获取的当前参考点个数和位置，与配置参考点的个数和位置对应，如获取任意相邻的4个当前参考点形成的四边形的第二重心点500，如图10所示，先假设一个目标基准点的位置，目标基准点510与第二重心点500连线形成第二线段511，第一重心点500和不同的配置参考点520、530、540、550连线形成第二参考线段集合512，513，514，515，第二线段511与第二参考线段512，513，514，515分别形成第二夹角如第一线段与第一参考线段分别形成的第一夹角是ε1、ε2、ε3、ε4，则可自定义算法根据第一线段与第一参考线段分别形成的夹角的关系确定第二线段511与第二参考线段集合中的线段的夹角，如可选取任意两个第一夹角，计算这两个第一夹角的比例，使得第二夹角中对应的夹角的比例与第一夹角的比例相同，从而得到第二线段的方向，确定的具体角度值。
步骤S234，根据形变因子、夹角和第二参考线段集合中的线段的长度确定目标基准点的位置。
具体的，可自定义算法确定目标基准点的位置，如采用线性的函数和非线性的函数，在一个实施例中根据公式计算目标基准点的位置，其中Ddst为第二线段511的长度，至分别为第二线段与第二参考线段集合中的线段的夹角，其中n为第二参考线段集合中的线段的数量，与第一参考线段集合中的线段的数量一致，p1至pn为形变权重，具体的大小与计算形变因子时采用的一致。第二线段511的长度确定后，由于线段的其中一个端点为第二重心点500位置确定，且线段的方向确定，从而能确定另一个端点目标基准点的位置。
本实施例中，利用配置参考点和当前参考点形成的图形重心以及各种线段长度、角度关系确定目标基准点的位置，能提高目标基准点的位置计算的准确度，使得变形后的待处理图像与目标图像更接近，特征匹配度更高。
在一个实施例中，配置参考点形成的图形为根据相邻的3个配置参考点形成的配置三角图形，当前参考点形成的图形为根据与配置三角图形相同的规则形成的当前三角图形，如图11所示，步骤S230包括：
步骤S236，获取配置三角图形的配置重心点，配置基准点和配置重心点连线形成第一线段，获取与配置基准点相邻的两个目标配置参考点，配置重心点和目标配置参考点连线形成第一配置参考线段和第二配置参考线段。
具体的，配置参考点为4个时，任意相邻的3个配置参考点形成3个配置三角图形，如图12所示，配置参考点321、322、323、324中任意相邻的3个形成配置三角图形S1、S2、S3。可根据配置基准点的位置确定采用哪一个配置三角图形来计算目标基准点，如可采用与配置基准点距离最近的配置三角图形。如图13所示，配置基准点610与配置重心点600连线形成第一线段611，配置重心点600和配置参考点620、630连线形成第一配置参考线段612和第二配置参考线段613。
步骤S237，获取第一线段与第一配置参考线段的夹角α，第一线段与第二配置参考线段的夹角β、第一线段的长度Dsrc、第一配置参考线段的长度d1，第二配置参考线段的长度d2，根据公式Dsrc＝d1αk+d2βk确定形变因子k。
步骤S238，获取当前三角图形的当前重心点，目标基准点和当前重心点连线形成第二线段，获取目标配置参考点对应的两个目标当前参考点，当前重心点和目标当前参考点连线形成第一当前参考线段和第二当前参考线段，根据公式确定第二线段与第一当前参考线段的夹角α'和第二线段与第二当前参考线段的夹角β'。
具体的，如图14所示，先假设一个目标基准点的位置，目标基准点710与当前重心点700连线形成第二线段711，当前重心点700和目标当前参考点720、730连线形成第一当前参考线段712和第二当前参考线段713，第二线段711与第一当前参考线段712和第二当前参考线段713分别形成夹角α'和β'，根据公式确定α'和β'的具体角度值，如α：β＝1：2，而第一当前参考线段712和第二当前参考线段713形成的夹角为60°，则α'和β'分别为20°和40°，从而得到第二线段的方向，
步骤S239，获取第一当前参考线段的长度d1'、第二当前参考线段的长度d2'，根据公式Ddst＝d1α'k+d2β'k计算得到第二线段的长度Ddst，从而确定目标基准点的位置。
具体的，第二线段711的长度确定后，由于线段的其中一个端点为当前重心点700位置确定，且线段的方向确定，从而能确定另一个端点目标基准点的位置。
本实施例中，采用三角形的重心，由于三角形端点少且为稳定的图形，可快速方便的计算得到目标基准点的位置，在计算时，采用与配置基准点相邻的两个目标配置参考点进行计算，充分考虑了位置接近时影响较大的原则，确保了目标基准点的位置计算的准确性。
在一个实施例中，如图15所示，步骤S240包括：
步骤S241，根据待处理图像点与待匹配基准点的位置计算得到各个映射点对对应的影响权重因子。
具体的，距离待处理图像点越近的映射点对对待处理图像点的形变影响越大，根据此反比关系，可计算待处理图像点与各个待匹配基准点的位置距离，根据反比关系，为距离大的分配较小的影响权重因子，为距离小的分配较大的影响权重因子，具体的分配算法可根据需要自定义，如根据映射点对的总个数分配不同等级的影响权重因子，如4个映射点对，则分配4个等级的影响权重因子，且各个等级的影响权重因子之和为1，如0.1、0.2、0.3、0.4，再将待处理图像点与4个映射点对中的待匹配基准点的距离计算出来，根据距离的大小排序找到匹配的影响权重因子，距离最大的影响权重因子最小，从而得到各个映射点对对应的影响权重因子。
步骤S242，计算各个映射点对对应的位移偏移，根据各个映射点对对应的影响权重因子和位移偏移计算得到待处理图像点的位移，根据位移将待处理图像点映射至对应的目标位置。
具体的，映射点对可表示为(S1,D1)，(S2,D2)…(Sn,Dn)，其中n为映射点对的总数目，其中每个点都有相应的坐标，如S1(S1x,S1y)，则映射点对对应的位移偏移为Di-Si，其中Di为第i个映射点对中目标基准点的坐标，Si为第i个映射点对中待匹配基准点的坐标，由于坐标为二维坐标，则位移偏移包含了绝对位移距离和方向。待处理图像点的位移可根据图像中全部或部分的映射点对对应的位移偏移与对应的影响权重因子得到，如果待处理图像预先进行了分区处理，则各个区域内的待处理图像点的位移只受到相同区域内的映射点对的影响，在计算待处理图像点映射至对应的目标位置时，先获取相同区域内的各个映射点对对应的影响权重因子和位移偏移，再计算得到待处理图像点映射的目标位置。如图16所示，为点映射计算示意图，图中包括6个映射点对，分别为(S1,D1)，(S2,D2)…(S6,D6)，映射点对中两个点之间的箭头代表了各个映射点对对应的位移偏移，箭头的方向表示形变的方向，箭头的长度表示了形变的大小。其中待处理图像点A与待匹配基准点S1之间的虚线表示A与S1之间的欧式距离。如图17所示，为点映射结果示意图，其中待处理图像点A映射到A’，待处理图像点B映射到B’，由于A点距离映射点对较近，所以形变也较大，B点距离映射点对较远，所以形变也较小，A点距离(S1,D1)、(S2,D2)、(S3,D3)的距离比(S4,D4)、(S5,D5)、(S6,D6)的距离近，所以(S1,D1)、(S2,D2)、(S3,D3)对A的影响比(S4,D4)、(S5,D5)、(S6,D6)的影响大，可以看出A点的形变方向是和(S1,D1)、(S2,D2)、(S3,D3)的位移方向相似的。
本实施例中，不同的映射点对对待处理图像点的形变影响权重不同，能在全局形变的情况下考虑局部形变区别，使得形变后的图像的准确度更高。
在一个实施例中，步骤S241包括：根据计算得到第i个映射点对对应的影响权重因子wi，其中A表示待处理图像点的位置坐标，Si表示第i个映射点对中待匹配基准点的坐标，|A-Si|表示A到Si的距离，j为索引，N为映射点对的总数目。
具体的，|A-Si|表示A到Si的距离，如欧氏距离。根据公式，A到Si的距离越大，则影响权重因子wi越小，且根据公式计算出的N个影响权重因子的总和为1。
步骤S242包括：根据计算得到目标位置A'，其中Di表示第i个映射点对中目标基准点的坐标。
具体的，由于N为映射点对的总数目，所以待处理图像点A的形变后的位置与待处理图像中所有的映射点对相关，在局部权重差异的同时又考虑了图像的整体性。
本实施例中，影响权重因子可根据各个映射点对与待处理图像点的距离自适应的计算出，更精确且计算简单方便，且待处理图像中的所有映射点对都会对当前待处理图像点的形变产生影响，且与当前待处理图像点的距离越近，影响越大。
在一个实施例中，如图18所示，步骤S240中根据映射关系将待处理图像点映射至对应的目标位置的步骤包括：
步骤S243，将待处理图像进行分块得到原始分块，将各个原始分块对应的顶点作为第一待处理图像点，各个原始分块内的其它点作为第二待处理图像点。
具体的，进行分块的规则可根据需要自定义，如可分三角型、四边型等。分块的多少决定了计算的复杂度和精度。分块越多，每个分块越小，计算复杂度越高，精度越高。分块后，每个原始分块的顶点为第一待处理图像点，第一待处理图像点是在形变过程中需要精确计算目标形变位置的点。各个原始分块内的其它点为第二待处理图像点，第二待处理图像点形变后的位置由第一待处理图像点形变后的位置决定，不需要精确计算，大大减少了点的计算数量，提高了计算的速度。如图19所示，为一个实施例中的分块示意思，将待处理图像进行分块得到了多个三角形原始分块。
步骤S244，根据映射关系将第一待处理图像点映射至对应的目标位置得到第一映射图像点，第一映射图像点形成原始分块对应的映射分块。
具体的，第一待处理图像点根据映射关系映射至对应的目标位置得到第一映射图像点，根据每一个三角形原始的3个顶点的偏移量，可以算出整个分块的偏移量，如图20所示，待处理图像中三角形原始分块810会偏移到图像中映射分块820的位置。
步骤S245，将第二待处理图像点以原始分块为处理单元映射至原始分块对应的映射分块内对应的位置。
具体的，每个三角形原始分块内的第二待处理图像点，都会直接映射至对应的映射分块内对应的位置。可以得到每一个三角形原始分块在形变后的图像中的位置，因为各个三角形原始分块的顶点都是共享的，所以形变后的图像也是连续的像素，如图21所示。整个形变过程可采用OpenGL ES(OpenGL for Embedded Systems)进行实现，通过调整输出图像的顶点着色器(Vertex Shader)的坐标，从而实现待处理图像的形变后的效果。由于GPU的强大计算能力，整个计算过程可以在极短的时间内完成。如分辨率为640x480的图像，在低端移动终端iPod Touch 5设备上仅需要20ms，即50FPS，从而达到实时形变的性能。
在一个具体的实施例中，图像形变处理的方法的技术框架如图22所示，包括在线处理部分920和离线处理部分910，其中离线处理部分910用于生成形变模版，以及识别检测得到形变模版中的配置参考点和配置基准点。离线处理部分910包括：目标图像获取单元911用于获取目标形变图像，人脸检测和五官基准点检测单元912用于对目标形变图像进行检测得到配置参考点和配置基准点，手动标注单元913，用于如果检测不到人脸，则采用人工标注的方式确定人脸所在区域，并标注配置参考点和配置基准点，最终得到携带配置参考点和配置基准点的形变模版。在线处理部分920包括待处理图像获取单元921用于获取待处理输入图像，基准点定位模块922用于检测待处理图像中的人脸并进行五官定位得到五官基准点，五官基准点包括与形变模版对应的当前参考点和待匹配基准点。分块形变量计算单元923用于根据形变模版和待处理图像中的配置参考点和配置基准点的位置关系和当前参考点和待匹配基准点的位置关系以分块为单位计算分块形变量，目标形变图像生成单元924，用于根据各个分块的形变生成总的形变后的图像。
在一个实施例中，如图23所示，提供了一种图像形变处理的装置包括：
基准点定位模块1010，用于获取待处理图像，识别待处理图像中的人脸图像，定位人脸图像的五官基准点。
基准点区分模块1020，用于获取形变模版，形变模版携带配置参考点和配置基准点，在五官基准点中确定配置参考点对应的当前参考点，配置基准点对应的待匹配基准点。
相似性映射模块1030，用于根据配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到配置基准点在待处理图像中对应的目标基准点，目标基准点与对应的待匹配基准点形成映射点对。
待处理图像点映射模块1040，根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据映射关系将待处理图像点映射至对应的目标位置。
在一个实施例中，形变模版包括多种五官类型对应的配置基准点和配置参考点。
在一个实施例中，如图24所示，相似性映射模块1030包括：
形变因子确定单元1031，用于获取配置参考点形成的图形的第一重心点，配置基准点和第一重心点连线形成第一线段，第一重心点和不同的配置参考点连线形成第一参考线段集合，根据第一线段与第一参考线段集合中的线段的夹角关系、第一线段的长度、第一参考线段集合中的线段的长度确定形变因子。
夹角确定单元1032，用于获取根据当前参考点形成的图形的第二重心点，目标基准点和第二重心点连线形成第二线段，第二重心点和不同的当前参考点连线形成第二参考线段集合，根据夹角关系确定第二线段与第二参考线段集合中的各个线段的夹角。
目标基准点确定单元1033，用于根据形变因子、夹角和第二参考线段集合中的线段的长度确定目标基准点的位置。
在一个实施例中，配置参考点形成的图形为根据相邻的3个配置参考点形成的配置三角图形，当前参考点形成的图形为根据与配置三角图形相同的规则形成的当前三角图形，形变因子确定单元1031还用于获取配置三角图形的配置重心点，配置基准点和配置重心点连线形成第一线段，获取与配置基准点相邻的两个目标配置参考点，配置重心点和目标配置参考点连线形成第一配置参考线段和第二配置参考线段，获取第一线段与第一配置参考线段的夹角α，第一线段与第二配置参考线段的夹角β、第一线段的长度Dsrc、第一配置参考线段的长度d1，第二配置参考线段的长度d2，根据公式Dsrc＝d1αk+d2βk确定形变因子k。
夹角确定单元1032还用于获取当前三角图形的当前重心点，目标基准点和当前重心点连线形成第二线段，获取目标配置参考点对应的两个目标当前参考点，当前重心点和目标当前参考点连线形成第一当前参考线段和第二当前参考线段，根据公式确定所述第二线段与第一当前参考线段的夹角α'和第二线段与第二当前参考线段的夹角β'。
目标基准点确定单元1033还用于获取第一当前参考线段的长度d1'、第二当前参考线段的长度d2'，根据公式Ddst＝d1α'k+d2β'k计算得到第二线段的长度Ddst，从而确定所述目标基准点的位置。
在一个实施例中，如图25所示，待处理图像点映射模块1040包括：
影响权重因子计算单元1041，用于根据待处理图像点与待匹配基准点的位置计算得到各个映射点对对应的影响权重因子。
目标位置确定单元1042，用于计算各个映射点对对应的位移偏移，根据各个映射点对对应的影响权重因子和位移偏移计算得到待处理图像点的位移，根据位移将待处理图像点映射至对应的目标位置。
在一个实施例中，影响权重因子计算单元1041还用于根据计算得到第i个映射点对对应的影响权重因子wi，其中A表示待处理图像点的位置坐标，Si表示第i个映射点对中待匹配基准点的坐标，|A-Si|表示A到Si的距离，j为索引，N为映射点对的总数目。
目标位置确定单元1042还用于根据计算得到目标位置A'，其中Di表示第i个映射点对中目标基准点的坐标。
在一个实施例中，如图26所示，目标位置确定单元1042包括：
分块单元1042a，用于将待处理图像进行分块得到原始分块，将各个原始分块对应的顶点作为第一待处理图像点，各个原始分块内的其它点作为第二待处理图像点。
第一映射单元1042b，用于根据映射关系将第一待处理图像点映射至对应的目标位置得到第一映射图像点，第一映射图像点形成原始分块对应的映射分块。
第二映射单元1042c，用于将第二待处理图像点以原始分块为处理单元映射至原始分块对应的映射分块内对应的位置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像形变处理的方法，所述方法包括：
获取待处理图像，识别所述待处理图像中的人脸图像，定位所述人脸图像的五官基准点；
获取形变模版，所述形变模版携带配置参考点和配置基准点，在所述五官基准点中确定所述配置参考点对应的当前参考点，配置基准点对应的待匹配基准点；
根据所述配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到所述配置基准点在待处理图像中对应的目标基准点，所述目标基准点与对应的待匹配基准点形成映射点对；
根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据所述映射关系将所述待处理图像点映射至对应的目标位置。
2.根据权利要求1所述的方法，其特征在于，所述形变模版包括多种五官类型对应的配置基准点和配置参考点。
3.根据权利要求1所述的方法，其特征在于，所述根据所述配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到所述配置基准点在待处理图像中对应的目标基准点的步骤包括：
获取所述配置参考点形成的图形的第一重心点，所述配置基准点和第一重心点连线形成第一线段，所述第一重心点和不同的配置参考点连线形成第一参考线段集合；
根据所述第一线段与第一参考线段集合中的线段的夹角关系、所述第一线段的长度、所述第一参考线段集合中的线段的长度确定形变因子；
获取根据所述当前参考点形成的图形的第二重心点，所述目标基准点和第二重心点连线形成第二线段，所述第二重心点和不同的当前参考点连线形成第二参考线段集合；
根据所述夹角关系确定所述第二线段与第二参考线段集合中的各个线段的夹角；
根据所述形变因子、所述夹角和第二参考线段集合中的线段的长度确定所述目标基准点的位置。
4.根据权利要求3所述的方法，其特征在于，所述配置参考点形成的图形为根据相邻的3个配置参考点形成的配置三角图形，所述当前参考点形成的图形为根据与配置三角图形相同的规则形成的当前三角图形，所述根据所述配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到所述配置基准点在待处理图像中对应的目标基准点的步骤包括：
获取所述配置三角图形的配置重心点，所述配置基准点和配置重心点连线形成所述第一线段，获取与所述配置基准点相邻的两个目标配置参考点，所述配置重心点和目标配置参考点连线形成第一配置参考线段和第二配置参考线段；
获取所述第一线段与第一配置参考线段的夹角α，所述第一线段与第二配置参考线段的夹角β、所述第一线段的长度Dsrc、所述第一配置参考线段的长度d1，所述第二配置参考线段的长度d2，根据公式Dsrc＝d1αk+d2βk确定形变因子k；
获取所述当前三角图形的当前重心点，所述目标基准点和当前重心点连线形成第二线段，获取所述目标配置参考点对应的两个目标当前参考点，所述当前重心点和目标当前参考点连线形成第一当前参考线段和第二当前参考线段；
根据公式确定所述第二线段与第一当前参考线段的夹角α'和第二线段与第二当前参考线段的夹角β'；
获取所述第一当前参考线段的长度d1'、第二当前参考线段的长度d2'，根据公式Ddst＝d1α'k+d2β'k计算得到第二线段的长度Ddst，从而确定所述目标基准点的位置。
5.根据权利要求1所述的方法，其特征在于，所述根据所述映射点对中目标基准点与待匹配基准点的位置确定待处理图像点的映射关系，根据所述映射关系将所述待处理图像点映射至对应的目标位置的步骤包括：
根据待处理图像点与待匹配基准点的位置计算得到各个映射点对对应的影响权重因子；
计算各个映射点对对应的位移偏移；
根据所述各个映射点对对应的影响权重因子和位移偏移计算得到待处理图像点的位移；
根据所述位移将所述待处理图像点映射至对应的目标位置。
6.根据权利要求4所述的方法，其特征在于，所述根据待处理图像点与待匹配基准点的位置计算得到各个映射点对对应的影响权重因子的步骤包括：
根据计算得到第i个映射点对对应的影响权重因子wi，其中A表示待处理图像点的位置坐标，Si表示第i个映射点对中待匹配基准点的坐标，|A-Si|表示A到Si的距离，j为索引，N为映射点对的总数目；
所述计算各个映射点对对应的位移偏移，根据所述各个映射点对对应的影响权重因子和位移偏移计算得到待处理图像点的位移，根据所述位移将所述待处理图像点映射至对应的目标位置的步骤包括：
根据计算得到目标位置A'，其中Di表示第i个映射点对中目标基准点的坐标。
7.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系将所述待处理图像点映射至对应的目标位置的步骤包括：
将所述待处理图像进行分块得到原始分块，将各个原始分块对应的顶点作为第一待处理图像点，各个原始分块内的其它点作为第二待处理图像点；
根据所述映射关系将所述第一待处理图像点映射至对应的目标位置得到第一映射图像点，所述第一映射图像点形成所述原始分块对应的映射分块；
将所述第二待处理图像点以原始分块为处理单元映射至所述原始分块对应的映射分块内对应的位置。
8.一种图像形变处理的装置，其特征在于，所述装置包括：
基准点定位模块，用于获取待处理图像，识别所述待处理图像中的人脸图像，定位所述人脸图像的五官基准点；
基准点区分模块，用于获取形变模版，所述形变模版携带配置参考点和配置基准点，在所述五官基准点中确定所述配置参考点对应的当前参考点，配置基准点对应的待匹配基准点；
相似性映射模块，用于根据所述配置参考点和配置基准点的位置关系、当前参考点和待匹配基准点的位置关系，进行五官相似性映射，得到所述配置基准点在待处理图像中对应的目标基准点，所述目标基准点与对应的待匹配基准点形成映射点对；
待处理图像点映射模块，根据映射点对中目标基准点与待匹配基准点的位置关系，以及映射点对与待处理图像点的位置关系确定待处理图像点的映射关系，根据所述映射关系将所述待处理图像点映射至对应的目标位置。
9.根据权利要求8所述的装置，其特征在于，所述形变模版包括多种五官类型对应的配置基准点和配置参考点。
10.根据权利要求8所述的装置，其特征在于，所述相似性映射模块包括：
形变因子确定单元，用于获取所述配置参考点形成的图形的第一重心点，所述配置基准点和第一重心点连线形成第一线段，所述第一重心点和不同的配置参考点连线形成第一参考线段集合，根据所述第一线段与第一参考线段集合中的线段的夹角关系、所述第一线段的长度、所述第一参考线段集合中的线段的长度确定形变因子；
夹角确定单元，用于获取根据所述当前参考点形成的图形的第二重心点，所述目标基准点和第二重心点连线形成第二线段，所述第二重心点和不同的当前参考点连线形成第二参考线段集合，根据所述夹角关系确定所述第二线段与第二参考线段集合中的各个线段的夹角；
目标基准点确定单元，用于根据所述形变因子、所述夹角和第二参考线段集合中的线段的长度确定所述目标基准点的位置。
11.根据权利要求10所述的装置，其特征在于，所述配置参考点形成的图形为根据相邻的3个配置参考点形成的配置三角图形，所述当前参考点形成的图形为根据与配置三角图形相同的规则形成的当前三角图形，所述形变因子确定单元还用于获取所述配置三角图形的配置重心点，所述配置基准点和配置重心点连线形成所述第一线段，获取与所述配置基准点相邻的两个目标配置参考点，所述配置重心点和目标配置参考点连线形成第一配置参考线段和第二配置参考线段，获取所述第一线段与第一配置参考线段的夹角α，所述第一线段与第二配置参考线段的夹角β、所述第一线段的长度Dsrc、所述第一配置参考线段的长度d1，所述第二配置参考线段的长度d2，根据公式Dsrc＝d1αk+d2βk确定形变因子k；
所述夹角确定单元还用于获取所述当前三角图形的当前重心点，所述目标基准点和当前重心点连线形成第二线段，获取所述目标配置参考点对应的两个目标当前参考点，所述当前重心点和目标当前参考点连线形成第一当前参考线段和第二当前参考线段，根据公式确定所述第二线段与第一当前参考线段的夹角α'和第二线段与第二当前参考线段的夹角β'；
所述目标基准点确定单元还用于获取所述第一当前参考线段的长度d1'、第二当前参考线段的长度d2'，根据公式Ddst＝d1α'k+d2β'k计算得到第二线段的长度Ddst，从而确定所述目标基准点的位置。
12.根据权利要求8所述的装置，其特征在于，所述待处理图像点映射模块包括：
影响权重因子计算单元，用于根据待处理图像点与待匹配基准点的位置计算得到各个映射点对对应的影响权重因子；
目标位置确定单元，用于计算各个映射点对对应的位移偏移，根据所述各个映射点对对应的影响权重因子和位移偏移计算得到待处理图像点的位移，根据所述位移将所述待处理图像点映射至对应的目标位置。
13.根据权利要求12所述的装置，其特征在于，所述影响权重因子计算单元还用于根据计算得到第i个映射点对对应的影响权重因子wi，其中A表示待处理图像点的位置坐标，Si表示第i个映射点对中待匹配基准点的坐标，|A-Si|表示A到Si的距离，j为索引，N为映射点对的总数目；
所述目标位置确定单元还用于根据计算得到目标位置A'，其中Di表示第i个映射点对中目标基准点的坐标。
14.根据权利要求8所述的装置，其特征在于，目标位置确定单元包括：
分块单元，用于将所述待处理图像进行分块得到原始分块，将各个原始分块对应的顶点作为第一待处理图像点，各个原始分块内的其它点作为第二待处理图像点；
第一映射单元，用于根据所述映射关系将所述第一待处理图像点映射至对应的目标位置得到第一映射图像点，所述第一映射图像点形成所述原始分块对应的映射分块；
第二映射单元，用于将所述第二待处理图像点以原始分块为处理单元映射至所述原始分块对应的映射分块内对应的位置。
CN201610270547.2A 2016-04-27 2016-04-27 图像形变处理的方法和装置 Active CN105956997B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610270547.2A CN105956997B (zh) 2016-04-27 2016-04-27 图像形变处理的方法和装置
PCT/CN2017/080822 WO2017186016A1 (zh) 2016-04-27 2017-04-17 图像形变处理的方法和装置、计算机存储介质
KR1020187009599A KR102076431B1 (ko) 2016-04-27 2017-04-17 이미지 변형 처리 방법 및 장치, 컴퓨터 기억 매체
JP2018517437A JP6585838B2 (ja) 2016-04-27 2017-04-17 画像歪み処理方法及び装置、コンピュータ記憶媒体
US16/014,410 US10691927B2 (en) 2016-04-27 2018-06-21 Image deformation processing method and apparatus, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610270547.2A CN105956997B (zh) 2016-04-27 2016-04-27 图像形变处理的方法和装置

Publications (2)

Publication Number Publication Date
CN105956997A true CN105956997A (zh) 2016-09-21
CN105956997B CN105956997B (zh) 2019-07-05

Family

ID=56916929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610270547.2A Active CN105956997B (zh) 2016-04-27 2016-04-27 图像形变处理的方法和装置

Country Status (5)

Country Link
US (1) US10691927B2 (zh)
JP (1) JP6585838B2 (zh)
KR (1) KR102076431B1 (zh)
CN (1) CN105956997B (zh)
WO (1) WO2017186016A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017186016A1 (zh) * 2016-04-27 2017-11-02 腾讯科技（深圳）有限公司 图像形变处理的方法和装置、计算机存储介质
CN108765274A (zh) * 2018-05-31 2018-11-06 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830784A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830200A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830787A (zh) * 2018-06-20 2018-11-16 北京微播视界科技有限公司 图像变形的方法、装置及电子设备
CN108875633A (zh) * 2018-06-19 2018-11-23 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN109003224A (zh) * 2018-07-27 2018-12-14 北京微播视界科技有限公司 基于人脸的形变图像生成方法和装置
CN109952594A (zh) * 2017-10-18 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN110415164A (zh) * 2018-04-27 2019-11-05 武汉斗鱼网络科技有限公司 人脸变形处理方法、存储介质、电子设备及系统
CN110799164A (zh) * 2017-12-13 2020-02-14 上海联影医疗科技有限公司 用于诊断和治疗的系统和方法
CN110837332A (zh) * 2019-11-13 2020-02-25 北京字节跳动网络技术有限公司 面部图像变形方法、装置、电子设备和计算机可读介质
CN112149647A (zh) * 2020-11-24 2020-12-29 北京蜜莱坞网络科技有限公司 图像处理方法、装置、设备及存储介质
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人（深圳）有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
CN112729214A (zh) * 2020-11-27 2021-04-30 成都飞机工业（集团）有限责任公司 一种基于试验数据修正基准点坐标的测量方法
CN115775279A (zh) * 2023-02-13 2023-03-10 苏州希盟科技股份有限公司 点胶定位方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564082B (zh) * 2018-04-28 2023-06-09 苏州赛腾精密电子股份有限公司 图像处理方法、装置、服务器和介质
CN113436063B (zh) * 2021-07-30 2024-03-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000688A (zh) * 2007-01-15 2007-07-18 浙江大学 多张人脸照片自动合成方法
CN101276474A (zh) * 2008-04-14 2008-10-01 中山大学 一种基于局部坐标的线性约束图像变形方法
WO2011152842A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Face morphing based on learning
CN104751404A (zh) * 2013-12-30 2015-07-01 腾讯科技（深圳）有限公司 一种图像变换的方法及装置
CN105184735A (zh) * 2014-06-19 2015-12-23 腾讯科技（深圳）有限公司 一种人像变形方法及装置
CN105205779A (zh) * 2015-09-15 2015-12-30 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034724A (ja) * 2005-07-27 2007-02-08 Glory Ltd 画像処理装置、画像処理方法および画像処理プログラム
KR100902995B1 (ko) * 2007-10-23 2009-06-15 에스케이 텔레콤주식회사 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치
JP2011053942A (ja) * 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5240795B2 (ja) * 2010-04-30 2013-07-17 オムロン株式会社 画像変形装置、電子機器、画像変形方法、および画像変形プログラム
JP5840528B2 (ja) * 2012-02-21 2016-01-06 花王株式会社 顔画像合成装置及び顔画像合成方法
KR102013928B1 (ko) * 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
CN105184249B (zh) * 2015-08-28 2017-07-18 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
CN105118024A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 人脸交换方法
CN105956997B (zh) * 2016-04-27 2019-07-05 腾讯科技（深圳）有限公司 图像形变处理的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000688A (zh) * 2007-01-15 2007-07-18 浙江大学 多张人脸照片自动合成方法
CN101276474A (zh) * 2008-04-14 2008-10-01 中山大学 一种基于局部坐标的线性约束图像变形方法
WO2011152842A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Face morphing based on learning
CN104751404A (zh) * 2013-12-30 2015-07-01 腾讯科技（深圳）有限公司 一种图像变换的方法及装置
CN105184735A (zh) * 2014-06-19 2015-12-23 腾讯科技（深圳）有限公司 一种人像变形方法及装置
CN105205779A (zh) * 2015-09-15 2015-12-30 厦门美图之家科技有限公司 一种基于图像变形的眼部图像处理方法、系统及拍摄终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭海京: "基于不规则三角网的遥感影像配准", <全国测绘科技信息网中南分网第二十八次学术信息交流会论文集> *
陈伊力: "基于数据驱动的人脸美化", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691927B2 (en) 2016-04-27 2020-06-23 Tencent Technology (Shenzhen) Company Limited Image deformation processing method and apparatus, and computer storage medium
WO2017186016A1 (zh) * 2016-04-27 2017-11-02 腾讯科技（深圳）有限公司 图像形变处理的方法和装置、计算机存储介质
US11043011B2 (en) 2017-10-18 2021-06-22 Tencent Technology (Shenzhen) Company Limited Image processing method, apparatus, terminal, and storage medium for fusing images of two objects
CN109952594B (zh) * 2017-10-18 2022-01-07 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN109952594A (zh) * 2017-10-18 2019-06-28 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN110799164B (zh) * 2017-12-13 2021-05-18 上海联影医疗科技股份有限公司 用于诊断和治疗的系统和方法
CN110799164A (zh) * 2017-12-13 2020-02-14 上海联影医疗科技有限公司 用于诊断和治疗的系统和方法
CN110415164A (zh) * 2018-04-27 2019-11-05 武汉斗鱼网络科技有限公司 人脸变形处理方法、存储介质、电子设备及系统
CN108765274A (zh) * 2018-05-31 2018-11-06 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830784A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830200A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108875633B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN108875633A (zh) * 2018-06-19 2018-11-23 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN108830787A (zh) * 2018-06-20 2018-11-16 北京微播视界科技有限公司 图像变形的方法、装置及电子设备
CN109003224A (zh) * 2018-07-27 2018-12-14 北京微播视界科技有限公司 基于人脸的形变图像生成方法和装置
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人（深圳）有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
CN110837332A (zh) * 2019-11-13 2020-02-25 北京字节跳动网络技术有限公司 面部图像变形方法、装置、电子设备和计算机可读介质
CN112149647B (zh) * 2020-11-24 2021-02-26 北京蜜莱坞网络科技有限公司 图像处理方法、装置、设备及存储介质
CN112149647A (zh) * 2020-11-24 2020-12-29 北京蜜莱坞网络科技有限公司 图像处理方法、装置、设备及存储介质
CN112729214A (zh) * 2020-11-27 2021-04-30 成都飞机工业（集团）有限责任公司 一种基于试验数据修正基准点坐标的测量方法
CN115775279A (zh) * 2023-02-13 2023-03-10 苏州希盟科技股份有限公司 点胶定位方法、装置及电子设备

Also Published As

Publication number Publication date
US20180300537A1 (en) 2018-10-18
KR20180050702A (ko) 2018-05-15
KR102076431B1 (ko) 2020-03-02
CN105956997B (zh) 2019-07-05
WO2017186016A1 (zh) 2017-11-02
US10691927B2 (en) 2020-06-23
JP2018536221A (ja) 2018-12-06
JP6585838B2 (ja) 2019-10-02

Similar Documents

Publication Publication Date Title
CN105956997B (zh) 图像形变处理的方法和装置
US11836943B2 (en) Virtual face model creation based on key point
US11538229B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
US9639914B2 (en) Portrait deformation method and apparatus
US20220148222A1 (en) Image three-dimensional measurement method, electronic device, storage medium and program product
CN110675489B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN109636921A (zh) 基于云平台的智能视觉船舶感知系统以及数据处理方法
CN108875524A (zh) 视线估计方法、装置、系统和存储介质
CN104899563A (zh) 一种二维人脸关键特征点定位方法及系统
CN107507216A (zh) 图像中局部区域的替换方法、装置及存储介质
JP5855416B2 (ja) ３次元座標取得装置、カメラ姿勢推定装置、プログラム
CN107145224B (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN110555812A (zh) 图像调整方法、装置和计算机设备
CN111369428A (zh) 虚拟头像生成方法和装置
CN108717707A (zh) 一种结节匹配方法及装置
CN108830888A (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
CN112329699A (zh) 一种像素级精度的人眼注视点定位方法
CN108629799A (zh) 一种实现增强现实的方法及设备
CN110837326B (zh) 一种基于物体属性递进式表达的三维目标选择方法
CN106408654B (zh) 一种三维地图的创建方法及系统
CN116109803B (zh) 信息构建方法、装置、设备及存储介质
JP7143931B2 (ja) 制御方法、学習装置、識別装置及びプログラム
CN108876704A (zh) 人脸图像变形的方法、装置及计算机存储介质
CN109754467B (zh) 三维人脸构建方法、计算机存储介质和计算机设备
CN115223240B (zh) 基于动态时间规整算法的运动实时计数方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210922

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right