CN108205822B - 贴图方法及装置 - Google Patents

贴图方法及装置 Download PDF

Info

Publication number
CN108205822B
CN108205822B CN201711329205.4A CN201711329205A CN108205822B CN 108205822 B CN108205822 B CN 108205822B CN 201711329205 A CN201711329205 A CN 201711329205A CN 108205822 B CN108205822 B CN 108205822B
Authority
CN
China
Prior art keywords
image
processed
line segments
line segment
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711329205.4A
Other languages
English (en)
Other versions
CN108205822A (zh
Inventor
王洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201711329205.4A priority Critical patent/CN108205822B/zh
Publication of CN108205822A publication Critical patent/CN108205822A/zh
Application granted granted Critical
Publication of CN108205822B publication Critical patent/CN108205822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本发明提供了一种贴图方法及装置,其中,该方法包括:采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示,解决了相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题,实现了快速变换贴图素材并准确匹配人脸,提升实时贴图的效果。

Description

贴图方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种贴图方法及装置。
背景技术
随着人脸识别技术的日趋成熟和手机处理图像能力的提高,基于实时人脸的贴图功能广泛使用在直播和短视频应用中。该技术需要实时检测和跟踪Camera预览数据中的人脸,并将各种内置的素材经过一定变化叠加到人脸位置。
增强现实技术(Augmented Reality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
在拍照、短视频或网络视频通讯领域,使用增强现实和人脸跟踪技术,对Camera拍摄人物面部实时叠加一些如帽子、眼镜等虚拟物体,在很大程度上提高了拍照、录像或视频对话的趣味性。
目前人脸贴图主要有两种实现架构:简单几何变换和三维变换。
通常贴图素材是矩形图像,几何变换一般是先提取人脸关键特征点,计算人脸大小,从而确定贴图素材的缩放比例。其次,计算人脸旋转角度和人脸在Camera预览图像中的位置,从而对贴图素材平移和旋转。
简单的拉伸、旋转和平移几何变换操作速度快,但时容易出现图像失真:
人脸是有固定几何关系,但Camera预览图像是三维人脸在二维平面的投影。如果Camera是正对人脸,简单的拉伸、旋转和平移几何变换是可以很好的匹配。但实际拍摄中有侧脸,抬头,倾斜等动作,从Camera预览中得到的人脸图像是非对称关系,简单几何变换不能很好的匹配人脸。
三维变换方法,主要是对二维人脸图像根据人脸几何对称的关系建立3维模型。比如采用瞳孔中心点,嘴角和鼻尖位置建立三维模型可以准确计算出头部姿态。根据三维空间旋转原理,找到人脸结构模型在旋转和平移之后的实际坐标与其在图像平面的投影之间关系。根据这个对应关系可以对素材变换精确贴图。
该方法中人脸三维计算,以及素材的三维投影变换计算量都很大,满足不了实时预览要求。
针对相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题,尚未提出解决方案。
发明内容
本发明实施例提供了一种贴图方法及装置,以至少解决相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题。
根据本发明的一个实施例,提供了一种贴图方法,包括:
采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;
根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示。
可选地,所述方法还包括:
通过以下方式计算得到所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系:
对标准人脸进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
计算得到所述矩形贴图素材与所述标准人脸中的两条特征线段的比例关系和位置关系。
可选地,采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段包括:
采集所述待处理图像,并识别出所述待处理图像中人脸的N个特征点,将所述N个特征点形成交叉的两条特征线段,其中,N为大于或等于4的整数。
可选地,根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系包括:
根据所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系以及所述待处理图像的两条特征线段确定一个平行四边形,其中,所述平行四边形的两组邻边分别与所述待处理图像的两条特征线段平行。
可选地,根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示包括:
根据所述待处理图像的两条特征线段按照对称比例以等差数列方式计算所述平行四边形的网格的疏密程度;
根据所述网格的数据以线性插值方式或硬件加速方式对所述矩形贴图素材进行图像变换,并将变换后的矩形贴图素材叠加到采集的所述待处理图像上进行显示。
可选地,根据所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系以及所述待处理图像的两条特征线段确定一个平行四边形包括:
根据所述待处理图像的两条特征线段中特征点的坐标确定斜率k1和斜率k2;
根据所述矩形贴图素材与所述标准人脸中的两条特征线段中的一条线段L1的比例关系r1得到平行四边形的一边线段a的长度,根据所述矩形贴图素材与所述线段L1的位置关系s2计算得到所述待处理图像的两条特征线段中的一条线段B所在直线与所述线段a的交点;
根据所述矩形贴图素材与所述标准人脸中的两条特征线段中的另一条线段L2的比例关系r2得到平行四边形的另一边线段b的长度,根据所述贴图素材与所述线段L2的位置关系s1计算得到所述待处理图像的两条特征线段中的另一条线段A所在直线与所述线段b的交点;
根据所述斜率k1、所述斜率k2以及所述线段a的长度、所述线段b的长度确定所述平行四边形。
可选地,根据所述待处理图像的两条特征线段按照对称比例以等差数列方式计算所述平行四边形的网格的疏密程度包括:
根据比例将所述平行四边形在水平方向和竖直方向按照等差数列方式调整所述平行四边形的网格的疏密程度,其中,所述比例为所述线段B所在直线将线段A分成两部分的比例和所述线段A所在直线将线段B分成两部分的比例,所述线段B和所述线段A为所述待处理图像的两条特征线段。
可选地,根据比例将所述平行四边形在水平方向和竖直方向按照等差数列方式调整所述平行四边形的网格的疏密程度包括:
根据所述平行四边形水平方向的两个顶点、以及所述线段B所在直线与所述线段a的交点的坐标确定每个网格之间的水平距离,其中,所述线段a为平行四边形的一边线段;
根据所述平行四边形竖直方向的两个顶点、以及所述线段A所在直线与所述线段b的交点的坐标确定每个网格之间的竖直距离,其中,所述线段b为所述平行四边形中与所述线段a相邻的另一边线段;
根据所述每个网格之间的水平距离与斜率k1,所述每个网格之间的竖直距离与斜率k2按照等差数列方式调整所述平行四边形的网格的疏密程度,其中,所述斜率k1和斜率k2是根据所述线段A和所述线段B中特征点的坐标确定的。
根据本发明的另一个实施例,还提供了一种贴图装置,包括:
采集模块,用于采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
确定模块,用于根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;
叠加模块,用于根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序运行时执行上述任一项所述的方法。
根据本发明的又一个实施例,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任一项所述的方法。
通过本发明,采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示,解决了相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题,实现了快速变换贴图素材并准确匹配人脸,提升实时贴图的效果,提高了用户体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的贴图方法的移动终端的硬件结构框图;
图2是根据本发明实施例的贴图方法的流程图;
图3是根据本发明实施例的标准人脸和贴图素材的示意图;
图4是根据本发明实施例的贴图算法计算得到的平行四边形的示意图;
图5是根据本发明实施例的贴图素材划分网格的示意图;
图6是根据本发明实施例的疏密调整后的网格的示意图;
图7是根据本发明实施例的贴图装置的框图;
图8是根据本发明优选实施例的人脸贴图装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的贴图方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或两个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据传输方法对应的程序指令/模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者两个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
基于上述的移动终端,本发明实施例,提供了一种贴图方法,图2是根据本发明实施例的贴图方法的流程图,如图2所示,包括:
步骤S202,采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
步骤S204,根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;
步骤S206,根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示。
通过上述步骤,解决了相关技术中通过简单几何变换和三维变换实现人脸贴图存在缺陷的问题,实现了快速变换贴图素材并准确匹配人脸,提升实时贴图的效果,提高了用户体验。
可选地,所述方法还包括:通过以下方式计算得到所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系:对标准人脸进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;计算得到所述矩形贴图素材与所述标准人脸中的两条特征线段的比例关系和位置关系。
可选地,采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段包括:采集所述待处理图像,并识别出所述待处理图像中人脸的N个特征点,将所述N个特征点形成交叉的两条特征线段,其中,N为大于或等于4的整数。
可选地,根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系包括:根据所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系以及所述待处理图像的两条特征线段确定一个平行四边形,其中,所述平行四边形的两组邻边分别与所述待处理图像的两条特征线段平行。
可选地,根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示包括:根据所述待处理图像的两条特征线段按照对称比例以等差数列方式计算所述平行四边形的网格的疏密程度;根据所述网格的数据以线性插值方式或硬件加速方式对所述矩形贴图素材进行图像变换,并将变换后的矩形贴图素材叠加到采集的所述待处理图像上进行显示。
可选地,根据所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系以及所述待处理图像的两条特征线段确定一个平行四边形包括:根据所述待处理图像的两条特征线段中特征点的坐标确定斜率k1和斜率k2;根据所述矩形贴图素材与所述标准人脸中的两条特征线段中的一条线段L1的比例关系r1得到平行四边形的一边线段a的长度,根据所述矩形贴图素材与所述线段L1的位置关系s2计算得到所述待处理图像的两条特征线段中的一条线段B所在直线与所述线段a的交点;根据所述矩形贴图素材与所述标准人脸中的两条特征线段中的另一条线段L2的比例关系r2得到平行四边形的另一边线段b的长度,根据所述贴图素材与所述线段L2的位置关系s1计算得到所述待处理图像的两条特征线段中的另一条线段A所在直线与所述线段b的交点;根据所述斜率k1、所述斜率k2以及所述线段a的长度、所述线段b的长度确定所述平行四边形。
可选地,根据所述待处理图像的两条特征线段按照对称比例以等差数列方式计算所述平行四边形的网格的疏密程度包括:根据比例将所述平行四边形在水平方向和竖直方向按照等差数列方式调整所述平行四边形的网格的疏密程度,其中,所述比例为所述线段B所在直线将线段A分成两部分的比例和所述线段A所在直线将线段B分成两部分的比例,所述线段B和所述线段A为所述待处理图像的两条特征线段。
可选地,根据比例将所述平行四边形在水平方向和竖直方向按照等差数列方式调整所述平行四边形的网格的疏密程度包括:根据所述平行四边形水平方向的两个顶点、以及所述线段B所在直线与所述线段a的交点的坐标确定每个网格之间的水平距离,其中,所述线段a为平行四边形的一边线段;根据所述平行四边形竖直方向的两个顶点、以及所述线段A所在直线与所述线段b的交点的坐标确定每个网格之间的竖直距离,其中,所述线段b为所述平行四边形中与所述线段a相邻的另一边线段;根据所述每个网格之间的水平距离与所述斜率k1,所述每个网格之间的竖直距离与所述斜率k2按照等差数列方式调整所述平行四边形的网格的疏密程度,其中,所述斜率k1和斜率k2是根据所述线段A和所述线段B中特征点的坐标确定的。
在一个优选的实施例,基于网格实时人脸贴图方法,包括:
步骤1:选取标准人脸几个特征点,组成水平和垂直两条特征线段,并计算贴图素材与标准人脸中两条特征线段的比例关系和位置关系;
步骤2:Camera模块捕获实时图像;
步骤3:Camera数据处理模块检测实时图像中是否有人脸,如果有人脸识别出两个外眼角、鼻根部、上嘴唇中间和下嘴唇中间五个特征点;
步骤4:贴图算法模块根据两个外眼角点得到线段A,计算上嘴唇中间和下嘴唇中间两点的中点作为嘴部中心点,根据嘴部中间点和鼻根部这两点得到线段B;
步骤5:根据A、B两条线段可以得到一个平行四边形,计算方式是根据平行四边形的两组邻边分别与线段A和线段B平行,两组边长可以根据步骤1比例计算得到,平行四边形相对线段A和B的偏移位置可以根据1的位置关系计算;
步骤6:将矩形素材水平和垂直等分成2n*2m网格;
步骤7:线段B所在直线将线段A分成两部分,根据比例将网格值水平方向按照等差数列方式调整矩阵的疏密程度;
步骤8:根据网格以线性插值方式得到变换后的素材,并叠加在Camera预览数据上显示。
下面结合附图进行详细说明。
步骤1:图3是根据本发明实施例的标准人脸和贴图素材的示意图,如图3所示,选取标准人脸两个外眼角点作为水平线段L1,鼻根部和嘴部中间点作为垂直线段L2,计算素材水平方向与线段L1的比例关系r1和位置关系s1,计算素材与线段L2垂直的比例关系r2和位置关系s2。其中嘴部中间点是上嘴唇中间点和下嘴唇中间点得到的线段中点;
步骤2:Camera模块捕获实时图像;
步骤3:Camera数据处理模块检测实时图像中是否有人脸,如果有人脸识别出左外眼角P1、右外眼角P2、鼻根部P3、上嘴唇中间和下嘴唇中间五个特征点,进一步根据上嘴唇中间点和下嘴唇中间点得到的线段中点P4作为嘴部中间点;
步骤4:贴图算法模块根据两个外眼角点得到线段A,计算上嘴唇中间和下嘴唇中间两点的中点作为嘴部中心点,根据嘴部中间点和鼻根部这两点得到线段B;
步骤5:图4是根据本发明实施例的贴图算法计算得到的平行四边形的示意图,如图4所示,根据A、B两条线段可以得到一个平行四边形,平行四边形边a的斜率k与线段A相等,由于已知P1和P2点坐标,根据公式k=(y2-y1)/(x2-x1)可计算斜率。根据比例关系r1可以得到a边线段长度。根据位置关系s2可以计算得到线段B所在直线与线段a的交点,同理可以得到线段b的斜率、线段上的一点和其长度,根据平行四边形定理我们很容易计算得到平行四边形的四个顶点坐标。
步骤6:图5是根据本发明实施例的贴图素材划分网格的示意图,如图5所示,将矩形素材水平和垂直均匀分成2n*2m个网格,其中n和m值越大,人脸匹配越精确,n和m值越小计算量越小,速度越快,可以根据实际情况选择;其中每个网格点存贮的是该网格点的实际渲染位置坐标。
步骤7:线段B所在直线将线段A分成两部分,在标准人脸模型中,根据人脸对称关系,我们可以假设这两部分长度比例是1:1,在实时图像中,得到的比例反映了人脸左右侧脸程度,我们可以根据这个比例调整矩阵的疏密程度。
图6是根据本发明实施例的疏密调整后的网格的示意图,如图6所示,已知三个点P5,P6和P7的坐标,其中P5和P7是平行四边形的两个顶点,P6是线段B所确定的直线与直线a的交点。
设P5到P6的距离为Sn,它们之间有n个点,由于P6是网格的水平中间点,那么P5到P7之间有2n个点,设他们的距离为S2n,设定从P5开始网格的每两点距离分别为a1,a2...a2n,相邻两个距离值得差值为d.
根据等差数列求和公式:
Sn=a1*n+(n*(n-1)*d)/2
S2n=a1*2*n+(2*n*(2*n-1)*d)/2
根据上面两个方程联合求解可以得到
d=(S2n-2*Sn)/(n*n)
a1=(Sn-(n*(n-1)*d)/2)/n
进而可以很容易得出从P5和P7点间任意每个点Pi与P5的距离Di,我们已知P5坐标线段a的斜率k,根据下列公式我们可以每个点坐标
Pi.x=P5.x+cos(atan(k))*Di
Pi.y=P5.y+sin(atan(k))*Di
同理可以得到网格中每个点的坐标。
步骤8:根据网格数据通过双线性插值或其它硬件加速方式,可以很方便的对素材做图像变换,最后将变换后得到的图像数据,根据每个像素点的透明度叠加显示在Camera预览层之上。
如果素材贴图更关注抬头和低头的精度,可以在调节网格的垂直方向疏密程度,计算方法类似上述实施例中调节水平方向疏密程度,在此不再赘述。
实施例2
本发明实施例,还提供了一种贴图装置,图7是根据本发明实施例的贴图装置的框图,如图7所示,包括:
采集模块72,用于采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
确定模块74,用于根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;
叠加模块76,用于根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示。
图8是根据本发明优选实施例的人脸贴图装置的框图,如图8所示,包括:采集模块82、数据处理模块84、人脸识别模块88、素材处理模块810、显示模块812,其中,
采集模块82负责捕获实时图像;数据处理模块84调用人脸识别模块88检测图像中是否有人脸,如果检测到人脸,调用贴图算法模块86根据人脸特征点计算网格数据,然后调用素材处理模块810根据网格数据对素材变换,最后将处理后的素材数据与捕获的实时图像数据进行合成。显示模块812显示合成后的图像数据。
实施例3
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项所述的方法。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S11,采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
S12,根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;
S13,根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
实施例4
本发明的实施例还提供了一种处理器,该处理器用于运行程序,其中,该程序运行时执行上述任一项方法中的步骤。
可选地,在本实施例中,上述程序用于执行以下步骤:
S21,采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
S22,根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系;
S23,根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在两个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的两个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种贴图方法,其特征在于,包括:
采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段,包括:采集所述待处理图像,并识别出所述待处理图像中人脸的N个特征点,将所述N个特征点形成交叉的两条特征线段,其中,N为大于或等于4的整数;
根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系,其中,包括:根据所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系以及所述待处理图像的两条特征线段确定一个平行四边形,其中,所述平行四边形的两组邻边分别与所述待处理图像的两条特征线段平行;
根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示,其中,包括:根据所述待处理图像的两条特征线段按照对称比例以等差数列方式计算所述平行四边形的网格的疏密程度;根据所述网格的数据以线性插值方式或硬件加速方式对所述矩形贴图素材进行图像变换,并将变换后的矩形贴图素材叠加到采集的所述待处理图像上进行显示。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过以下方式计算得到所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系:
对标准人脸进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段;
计算得到所述矩形贴图素材与所述标准人脸中的两条特征线段的比例关系和位置关系。
3.根据权利要求1所述的方法,其特征在于,根据所述待处理图像的两条特征线段按照对称比例以等差数列方式计算所述平行四边形的网格的疏密程度包括:
根据比例将所述平行四边形在水平方向和竖直方向按照等差数列方式调整所述平行四边形的网格的疏密程度,其中,所述比例为线段B所在直线将线段A分成两部分的比例和所述线段A所在直线将线段B分成两部分的比例,所述线段B和所述线段A为所述待处理图像的两条特征线段。
4.根据权利要求3所述的方法,其特征在于,根据比例将所述平行四边形在水平方向和竖直方向按照等差数列方式调整所述平行四边形的网格的疏密程度包括:
根据所述平行四边形水平方向的两个顶点、以及所述线段B所在直线与所述线段a的交点的坐标确定每个网格之间的水平距离,其中,所述线段a为平行四边形的一边线段;
根据所述平行四边形竖直方向的两个顶点、以及所述线段A所在直线与所述线段b的交点的坐标确定每个网格之间的竖直距离,其中,所述线段b为所述平行四边形中与所述线段a相邻的另一边线段;
根据所述每个网格之间的水平距离与斜率k1,所述每个网格之间的竖直距离与斜率k2按照等差数列方式调整所述平行四边形的网格的疏密程度,其中,所述斜率k1和斜率k2是根据所述线段A和所述线段B中特征点的坐标确定的。
5.一种贴图装置,其特征在于,包括:
采集模块,用于采集待处理图像,对所述待处理图像进行特征点定位和特征点提取,将提取的特征点组成水平和垂直的两条特征线段,包括:采集所述待处理图像,并识别出所述待处理图像中人脸的N个特征点,将所述N个特征点形成交叉的两条特征线段,其中,N为大于或等于4的整数;
确定模块,用于根据预先计算得到的矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系确定所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系,其中,还用于根据所述矩形贴图素材与标准人脸中的两条特征线段的比例关系和位置关系以及所述待处理图像的两条特征线段确定一个平行四边形,其中,所述平行四边形的两组邻边分别与所述待处理图像的两条特征线段平行;
叠加模块,用于根据所述矩形贴图素材与所述待处理图像的两条特征线段的比例关系和位置关系将所述矩形贴图素材叠加到所述待处理图像的对应位置进行显示,其中,还用于根据所述待处理图像的两条特征线段按照对称比例以等差数列方式计算所述平行四边形的网格的疏密程度;根据所述网格的数据以线性插值方式或硬件加速方式对所述矩形贴图素材进行图像变换,并将变换后的矩形贴图素材叠加到采集的所述待处理图像上进行显示。
6.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至4中任一项所述的方法。
7.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至4中任一项所述的方法。
CN201711329205.4A 2017-12-13 2017-12-13 贴图方法及装置 Active CN108205822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711329205.4A CN108205822B (zh) 2017-12-13 2017-12-13 贴图方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711329205.4A CN108205822B (zh) 2017-12-13 2017-12-13 贴图方法及装置

Publications (2)

Publication Number Publication Date
CN108205822A CN108205822A (zh) 2018-06-26
CN108205822B true CN108205822B (zh) 2020-09-08

Family

ID=62603910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711329205.4A Active CN108205822B (zh) 2017-12-13 2017-12-13 贴图方法及装置

Country Status (1)

Country Link
CN (1) CN108205822B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830928A (zh) * 2018-06-28 2018-11-16 北京字节跳动网络技术有限公司 三维模型的映射方法、装置、终端设备和可读存储介质
CN108876713B (zh) * 2018-06-28 2022-07-22 北京字节跳动网络技术有限公司 二维模板图像的映射方法、装置、终端设备和存储介质
CN109859134A (zh) * 2019-01-30 2019-06-07 珠海天燕科技有限公司 一种美妆素材的处理方法及终端
CN113221877A (zh) 2020-02-06 2021-08-06 北京字节跳动网络技术有限公司 用于处理图像的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技(上海)有限公司 一种图像处理方法及装置
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统
CN107506732A (zh) * 2017-08-25 2017-12-22 奇酷互联网络科技(深圳)有限公司 贴图的方法、设备、移动终端以及计算机存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659600B2 (en) * 2011-07-13 2014-02-25 Pixar Generating vector displacement maps using parameterized sculpted meshes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技(上海)有限公司 一种图像处理方法及装置
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
CN107122774A (zh) * 2017-03-28 2017-09-01 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和系统
CN107506732A (zh) * 2017-08-25 2017-12-22 奇酷互联网络科技(深圳)有限公司 贴图的方法、设备、移动终端以及计算机存储介质

Also Published As

Publication number Publication date
CN108205822A (zh) 2018-06-26

Similar Documents

Publication Publication Date Title
US11869205B1 (en) Techniques for determining a three-dimensional representation of a surface of an object from a set of images
CN108205822B (zh) 贴图方法及装置
CN110599540B (zh) 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN103226830B (zh) 三维虚实融合环境中视频纹理投影的自动匹配校正方法
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
JPWO2018047687A1 (ja) 三次元モデル生成装置及び三次元モデル生成方法
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN104881526B (zh) 一种基于3d的物品穿戴方法及眼镜试戴方法
CN113574863A (zh) 使用深度信息渲染3d图像的方法和系统
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
JP2015022510A (ja) 自由視点画像撮像装置およびその方法
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
CN106683163B (zh) 一种视频监控的成像方法及系统
US20230298280A1 (en) Map for augmented reality
JP2013120556A (ja) 被写体姿勢推定装置および映像描画装置
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN114782647A (zh) 一种模型重建方法、装置、设备及存储介质
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN109788270B (zh) 3d-360度全景图像生成方法及装置
CN111047678B (zh) 一种三维人脸采集装置和方法
CN116109684B (zh) 面向变电场站在线视频监测二三维数据映射方法及装置
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP6168597B2 (ja) 情報端末装置
CN111179341A (zh) 一种增强现实设备与移动机器人的配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant