CN109002185B - 一种三维动画处理的方法、装置、设备及存储介质 - Google Patents

一种三维动画处理的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109002185B
CN109002185B CN201810643243.5A CN201810643243A CN109002185B CN 109002185 B CN109002185 B CN 109002185B CN 201810643243 A CN201810643243 A CN 201810643243A CN 109002185 B CN109002185 B CN 109002185B
Authority
CN
China
Prior art keywords
dimensional
cartoon
image frame
processed
diffuse reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810643243.5A
Other languages
English (en)
Other versions
CN109002185A (zh
Inventor
沈芾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810643243.5A priority Critical patent/CN109002185B/zh
Publication of CN109002185A publication Critical patent/CN109002185A/zh
Application granted granted Critical
Publication of CN109002185B publication Critical patent/CN109002185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本发明实施例提供了一种三维动画处理的方法、装置、设备及存储介质,所述方法通过将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;将各所述卡通化图像帧进行组合,得到卡通化的三维动画;将所述三维动画作为候选输入项提供给输入法用户。本发明实施例的技术方案可以在输入法中实现卡通化三维动画,丰富了输入法能够提供的表情类型,满足了人们日益增长的个性化的输入法表情生成需求。

Description

一种三维动画处理的方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种三维动画处理的方法、装置、设备及存储介质。
背景技术
输入法是在电脑普通键盘或手机键盘上的输入方式,随着聊天工具的发展,越来越多的人喜欢在聊天中采用各种表情进行沟通,既能活跃气氛又可以避免聊天尴尬。目前的输入法表情主要包括emoji、颜文字、表情图,对于表情图通常是趣味性图片或动图,而随着输入法表情的发展,尤其是增强现实(Augmented Reality,AR)表情吸引了越来越多的用户关注,但目前AR表情还仅局限于二维图片和动图的结合,用户可以通过下载动图,并通过终端摄像头拍摄人脸表情,将人脸表情加入到动图中。然而AR表情单一,且在设计的题材上选择受限制,无法满足人们对表情的个性化追求。
发明内容
本发明实施例提供了一种三维动画处理的方法、装置、设备及存储介质,可以实现输入法的三维卡通个性化表情,提高用户体验。
第一方面,本发明实施例提供了一种三维动画处理的方法,包括:
将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;
分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;
将各所述卡通化图像帧进行组合,得到卡通化的三维动画;
将所述三维动画作为候选输入项提供给输入法用户。
第二方面,本发明实施例还提供了一种三维动画处理的装置,包括:
三维融合图像帧获取模块,用于将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;
卡通化图像帧获取模块,用于分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;
三维动画获取模块,用于将各所述卡通化图像帧进行组合,得到卡通化的三维动画;
输入法生成模块,用于将所述三维动画作为候选输入项提供给输入法用户。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例任一所述的三维动画处理的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例任一所述的三维动画处理的方法。
本发明实施例提供了一种三维动画处理的方法、装置、设备及存储介质,所述方法通过将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;将各所述卡通化图像帧进行组合,得到卡通化的三维动画;将所述三维动画作为候选输入项提供给输入法用户。本发明实施例的技术方案可以在输入法中实现卡通化三维动画,丰富了输入法能够提供的表情类型,满足了人们日益增长的个性化的输入法表情生成需求。
附图说明
图1是本发明实施例一中的一种三维动画处理的方法的流程图;
图2是本发明实施例二中的一种三维动画处理的方法的流程图;
图3是本发明实施例三中的一种三维动画处理的方法的流程图;
图4是本发明实施例四中的一种三维动画处理的装置的流程图;
图5是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种三维动画处理的方法的流程图,本实施例适用于生成卡通化的三维动画作为输入法中的输入项的情况,主要应用于输入法系统中,该方法可以由本发明实施例提供的三维动画处理的装置来执行,该装置可采用软件和/或硬件的方式实现,并一般可集成在安装输入法应用的用户终端中,或者与安装有输入法应用的用户终端配合的服务器中。如图1所示,本实施例的方法具体包括:
S110、将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧。
可选的,所述用户图像为用户的脸部表情图像(例如,五官表情、或者仅仅是眼睛、嘴部或者头部的运动等),所述三维模型为设定三维卡通头像。
将用户图像与标准三维模型进行融合,是将用户图像和标准三维模型的如明暗、色彩、温度、距离等特征信息融合到一张图像上,使得融合的图像一包含更多的信息。示例性的,可以将实时捕捉的用户图像作为源图像,与标准三维模型进行融合,如标准三维模型是卡通狗模型,可以通过像素级、特征级、决策级融合算法,将捕捉的用户眼睛作为卡通狗模型的眼睛。可以理解的是,图像融合中对源图像中不感兴趣的信息,如除眼睛之外的用户图像信息,要尽可能多地抑制其出现在融合图像中。
S120、分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧。
其中,卡通化处理是让边缘变粗,平坦的地方更加平坦或色彩变少,因此,可以采用边缘检测的方法、和/或渲染的方法来进行卡通化。示例性的,采用滤波算法如中值滤波、高通Laplacian滤波对三维融合图像帧进行边缘检测,对边缘检测的结果进行二值化处理,将边缘变粗,再通过双边滤波将平坦的部分更加平坦且保持边缘较粗的效果。
示例性的,还可以采用渲染的方法来进行卡通化,通过gameplay引擎,分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧。在gameplay引擎软件中,降低三维融合图像帧的色彩数量,得到使三维融合图像帧符合标准三维模型的卡通场景。
S130、将各所述卡通化图像帧进行组合,得到卡通化的三维动画。
其中,可以根据实时获取的卡通图像帧按照时间先后的顺序进行排列得到图像序列,再根据图像序列得到三维动画。如通过Photoshop、AE等软件,或在程序中加载相应的软件程序等,调用图像序列,并创建动画时间轴,从而得到三维动画。
S140、将所述三维动画作为候选输入项提供给输入法用户。
其中,三维动画可以加入到输入法中输入法表情的候选项中,也可以加入到输入法相对应的文字选项中。例如,当用户通过实体或虚拟的键盘输入“高兴”时,在输入法显示的文字选项中会适应性的出现与“高兴”相对应的三维动画选项,如三维动画选项为3,则用户可以在输入数字3时将该三维动画选项选中并加入信息输入框,并在用户选择发送包括上述三维动画的信息时,该信息会相应发送至相应的一个或者多个终端中供其他用户查看。
本发明实施例提供的三维动画处理方法,通过将实时捕捉的用户图像与标准三维模型进行融合,得到至少两帧三维融合图像,并对各三维图像帧进行卡通化处理,得到卡通化图像帧,并通过各卡通化图像帧进行组合形成卡通化的三维动画,将其作为输入法的候选输入项提供给输入法用户。本发明实施例可以在输入法中实现卡通化三维动画,丰富了输入法能够提供的表情类型,满足了人们日益增长的个性化的输入法表情生成需求。
实施例二
图2为本发明实施例二提供的一种三维动画处理的方法的流程图,本实施例以上述实施例为基础进行优化,本实施例中,将分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧,具体为:获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配;分别将所述各像素点的正常漫反射颜色离散化至设定数量的色阶值,得到各所述像素点的卡通化漫反射颜色;将所述三维融合图像帧中各像素点的实际颜色与各所述像素点的卡通化漫反射颜色进行融合,得到与所述三维融合图像帧对应的卡通化图像帧。
进一步的,在获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配之前,还具体包括:对所述三维融合图像帧中的所述待处理物体进行描边处理。
相应的,如图2所示,本发明实施例的方法包括:
210、将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧。
220、对所述三维融合图像帧中的所述待处理物体进行描边处理。
其中,可以通过现有的软件,如photoshop等对三维融合图像帧中的待处理物体进行描边,将待处理物体与三维融合图像帧中其他物体当做背景处理。可以理解的是,也可以在软件中加载自定义程序进行描边处理,使描边效果符合用户的个性化需求。
230、获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配。
其中,各像素点的正常漫反射颜色可以采用逐像素光照或者逐顶点光照的来获取漫反射颜色。逐像素光照和逐顶点光照符合兰伯特定律,即反射光线的强度与表面法线和光源方向之间的夹角的余弦值成正比。可选的,逐顶点光照依赖于线性插值得到像素光照,逐顶点光照会在渲染图元内部对顶点进行插值,渲染图元内部的颜色总是暗于顶点处的最高颜色。
可选的,逐像素光照又称为逐片元光照,如在着色器shader的处理中,顶点着色器中存储有待处理物体的模型法线信息,将顶点坐标从模型坐标转换为裁剪坐标,从而将模型法线转换到世界坐标,并传递给片元着色器。当环境光介入时,获取世界坐标下的法线和光照方向,将世界坐标下的法线归一化,并根据漫反射光照模型得到逐像素光照。
240、分别将所述各像素点的正常漫反射颜色离散化至设定数量的色阶值,得到各所述像素点的卡通化漫反射颜色。
其中,色阶是表示图像亮度强弱的指数标准,图像的色彩丰满度和精细度时由色阶决定的。任何色彩在最暗时,也就是纯度最低,用0表示;最亮时,也就是纯度最高,用255表示。各像素点的正常漫反射颜色会有很多,将其调整为设定数量的色阶值,可以减少正常漫反射的颜色,从而使像素点颜色变少,写实成分变低,更趋近于卡通化。
示例性的,在对正常的漫反射颜色进行离散化之前可以对正常的漫反射颜色进行亮化处理,并使颜色平滑设定范围内,如[0,1]之间。而将正常的漫反射颜色离散化为设定色阶值,这样处理可以使得色阶间能够平滑显示。可以理解的是,还可以设置外部可控的卡通化程度值,卡通化程度值时二次元与三次元的交界线,可以根据卡通化程度来进一步调节卡通与现实的比重,从而到卡通化漫反射颜色。
示例性的,在分别将所述各像素点的正常漫反射颜色离散化至设定数量的色阶值之前,加入离散化的高光,根据各像素点距离光源的距离得到每个像素点的衰减值,并在对正常漫反射颜色亮化和平滑处理之后,根据每个像素点的半角向量得到正常情况下的高光强度,并在将高光强度离散化之后进一步调节卡通与现实高光的比重,从而得到卡通化漫反射颜色。
250、将所述三维融合图像帧中各像素点的实际颜色与各所述像素点的卡通化漫反射颜色进行融合,得到与所述三维融合图像帧对应的卡通化图像帧。
其中,将各像素点的实际颜色和卡通化漫反射衍射进行融合,可以是根据色相饱和度或色彩平衡,对各像素点的实际颜色和卡通化漫反射颜色进行调和,可以使各像素点的实际颜色平滑过渡到卡通化漫反射颜色。
示例性的,三维融合图像帧中如人脸图像和标准三维的猴头模型融合的三维图像帧,在该融合图像帧中人眼和猴眼融合的眼睛颜色可以有10个色阶值,而卡通化漫反射颜色的眼睛颜色有5个色阶值,可以将融合的眼睛颜色的10各色阶值转变为相对应的5个色阶值,如融合的眼睛颜色中的彼此间色阶差值在设定范围内的颜色可以转变为卡通化漫反射颜色中的同一色阶。
260、将各所述卡通化图像帧进行组合,得到卡通化的三维动画。
270、将所述各三维动画作为候选输入项提供给输入法用户。
本发明实施例的技术方案提供的三维动画处理的方法,通过对三维融合图像帧进行描边处理后,获取与三维融合图像帧中待处理为题的各像素点的正常漫反射颜色,并将其离散化至设定数量的色阶值,得到各像素点的卡通化漫反射颜色,同时将三维融合图像帧中的各像素点的实际颜色与各像素点的卡通化漫反射颜色进行融合,得到卡通化图像帧,并进一步得到卡通化的三维动画帧。本实施例克服了现有技术中三维动画渲染的实际效果偏于写实的缺陷,降低三维融合图像帧中各像素点的漫反射颜色,实现了将三维融合图像帧渲染为卡通化图像帧,增加了设计题材的选择,如二次元风格的设计题材和资源。
实施例三
图3为本发明实施例三提供的一种三维动画处理的方法的流程图,本实施例以上述实施例为基础进行优化。在本实施例中,对所述三维融合图像帧中的所述待处理物体进行描边处理,具体为:获取与所述待处理物体对应的各像素点;在获取的各所述像素点中,筛除所述待处理物体正对摄像头的一面的前面像素点后,得到与所述待处理物体对应的背面像素点;将所述背面像素点向外挤出设定位置后,对所述背面像素点的轮廓进行设定粗度的描边。
相应的,如图3所示,本实施例的方法包括:
310、将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧。
320、获取与所述待处理物体对应的各像素点。
其中,待处理物体与三维融合图像帧中与标准三维模型相匹配,如标准三维模型为卡通猴头模型,则待处理物体为用户的头部,在处理过程中,用户图像中除头部以外的部分将被忽略,如将其与部分作背景化处理。
330、在获取的各所述像素点中,筛除所述待处理物体正对摄像头的一面的前面像素点后,得到与所述待处理物体对应的背面像素点。
其中,根据背面像素点可以获得待处理物体的轮廓。可以理解的是,在实际处理过程中,物体与物体之间存在交叠处,为了避免描边时将交叠处挤出的描边盖住,可以设置像素深度缓冲,将像素的深度写入像素深度缓冲中。
340、将所述背面像素点向外挤出设定位置后,对所述背面像素点的轮廓进行设定粗度的描边。
示例性的,可以预先设置待处理物体的几何中心,建立待处理物体距离几何中心的单位方向向量和法线方向,则待处理物体中某个背面像素点的位置是其相对于几何中心的位置朝向和法线方向的点积,若点积为正值,则该背面像素点是背离几何中心,反之,则是指向几何中心。将该背面像素点的位置朝向和法线方向按设定比重混合,控制该背面像素点被挤出多远。
350、获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配。
360、分别将所述各像素点的正常漫反射颜色离散化至设定数量的色阶值,得到各所述像素点的卡通化漫反射颜色。
370、所述三维融合图像帧中各像素点的实际颜色与各所述像素点的卡通化漫反射颜色进行融合,得到与所述三维融合图像帧对应的卡通化图像帧。
380、将各所述卡通化图像帧进行组合,得到卡通化的三维动画。
390、将所述各三维动画作为候选输入项提供给输入法用户。
本发明实施例的技术方案提供的三维动画处理的方法,通过获取与所述待处理物体对应的各像素点,在获取的各所述像素点中,筛除所述待处理物体正对摄像头的一面的前面像素点后,得到与所述待处理物体对应的背面像素点;将所述背面像素点向外挤出设定位置后,对所述背面像素点的轮廓进行设定粗度的描边。通过描边处理可以将三维融合图像帧的待处理物体轮廓更加鲜明,并且经过描边处理之后再进行待处理物体的各像素点颜色离散化,卡通化效果更加显著。
实施例四
图4是本发明实施例四提供的一种三维动画处理的装置的结构示意图,如图4所示,所述装置包括:三维融合图像帧获取模块410、卡通化图像帧获取模块420、三维动画获取模块430和输入法提供模块440,其中:
三维融合图像帧获取模块410,用于将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;
卡通化图像帧获取模块420,用于分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;
三维动画获取模块430,用于将各所述卡通化图像帧进行组合,得到卡通化的三维动画;
输入法提供模块440,用于将所述三维动画作为候选输入项提供给输入法用户。
本发明实施例提供的三维动画处理的装置,包括三维融合图像帧获取模块、卡通化图像帧获取模块、三维动画获取模块和输入法提供模块,通过将实时捕捉的用户图像与标准三维模型进行融合,得到至少两帧三维融合图像,并对各三维图像帧进行卡通化处理,得到卡通化图像帧,并通过各卡通化图像帧进行组合形成卡通化的三维动画,将其作为输入法的候选输入项提供给输入法用户。本发明实施例可以在输入法中实现卡通化三维动画,丰富了输入法能够提供的表情类型,满足了人们日益增长的个性化的输入法表情生成需求。
在上述各实施例的基础上,所述卡通化图像帧获取模块,具体用于:
获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配;
分别将所述各像素点的正常漫反射颜色离散化至设定数量的色阶值,得到各所述像素点的卡通化漫反射颜色;
将所述三维融合图像帧中各像素点的实际颜色与各所述像素点的卡通化漫反射颜色进行融合,得到与所述三维融合图像帧对应的卡通化图像帧。
在上述各实施例的基础上,还可以包括描边处理模块,用于:
在获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配之前,对所述三维融合图像帧中的所述待处理物体进行描边处理。
在上述各实施例的基础上,所述描边处理模块,具体用于:
获取与所述待处理物体对应的各像素点;
在获取的所述各像素点中,筛除所述待处理物体正对摄像头的一面的前面像素点后,得到与所述待处理物体对应的背面像素点;
将所述背面像素点向外挤出设定位置后,对所述背面像素点的轮廓进行设定粗度的描边。
在上述各实施例的基础上,所述卡通化图像帧获取模块,还具体用于:
通过gameplay引擎,分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧。
上述三维动画处理的装置可执行本发明任意实施例所提供的三维动画处理的方法,具备执行的三维动画处理的方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例5提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图5中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的三维动画处理的方法。
也即,所述处理单元执行所述程序时实现:将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;将各所述卡通化图像帧进行组合,得到卡通化的三维动画;将所述三维动画作为候选输入项提供给输入法用户。
实施例六
本发明实施例六提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有发明实施例提供的三维动画处理的方法:
也即,该程序被处理器执行时实现:将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;将各所述卡通化图像帧进行组合,得到卡通化的三维动画;将所述三维动画作为候选输入项提供给输入法用户。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种三维动画处理的方法,其特征在于,包括:
将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;
分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;
将各所述卡通化图像帧进行组合,得到卡通化的三维动画;
将所述三维动画作为候选输入项提供给输入法用户;
其中,所述分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧,包括:
获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配;
分别将所述各像素点的正常漫反射颜色离散化至设定数量的色阶值,得到各所述像素点的卡通化漫反射颜色;
将所述三维融合图像帧中各像素点的实际颜色与各所述像素点的卡通化漫反射颜色进行融合,得到与所述三维融合图像帧对应的卡通化图像帧。
2.根据权利要求1所述的方法,其特征在于,在获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配之前,还包括:
对所述三维融合图像帧中的所述待处理物体进行描边处理。
3.根据权利要求2所述的方法,其特征在于,对所述三维融合图像帧中的所述待处理物体进行描边处理,包括:
获取与所述待处理物体对应的各像素点;
在获取的所述各像素点中,筛除所述待处理物体正对摄像头的一面的前面像素点后,得到与所述待处理物体对应的背面像素点;
将所述背面像素点向外挤出设定位置后,对所述背面像素点的轮廓进行设定粗度的描边。
4.根据权利要求1所述的方法,其特征在于,分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧,还包括:
通过gameplay引擎,分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧。
5.根据权利要求1所述的方法,其特征在于,所述用户图像为用户的脸部表情图像,所述三维模型为设定三维卡通头像。
6.一种三维动画处理的装置,其特征在于,包括:
三维融合图像帧获取模块,用于将实时捕捉的用户图像与标准三维模型进行融合,得到至少两张三维融合图像帧;
卡通化图像帧获取模块,用于分别对得到的各所述三维融合图像帧进行卡通化处理,得到与各所述三维融合图像帧分别对应的卡通化图像帧;
三维动画获取模块,用于将各所述卡通化图像帧进行组合,得到卡通化的三维动画;
输入法提供模块,用于将所述三维动画作为候选输入项提供给输入法用户;
其中,所述卡通化图像帧获取模块包括:
正常漫反射颜色获取子模块,用于获取与所述三维融合图像帧中待处理物体的各像素点的正常漫反射颜色,所述待处理物体与所述标准三维模型的轮廓相匹配;
卡通化漫反射颜色获取子模块,用于分别将所述各像素点的正常漫反射颜色离散化至设定数量的色阶值,得到各所述像素点的卡通化漫反射颜色;
卡通化图像帧获取子模块,用于将所述三维融合图像帧中各像素点的实际颜色,与各所述像素点的卡通化漫反射颜色进行融合,得到与所述三维融合图像帧对应的卡通化图像帧。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任一所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201810643243.5A 2018-06-21 2018-06-21 一种三维动画处理的方法、装置、设备及存储介质 Active CN109002185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810643243.5A CN109002185B (zh) 2018-06-21 2018-06-21 一种三维动画处理的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810643243.5A CN109002185B (zh) 2018-06-21 2018-06-21 一种三维动画处理的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109002185A CN109002185A (zh) 2018-12-14
CN109002185B true CN109002185B (zh) 2022-11-08

Family

ID=64601002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810643243.5A Active CN109002185B (zh) 2018-06-21 2018-06-21 一种三维动画处理的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109002185B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436301B (zh) * 2020-03-20 2024-04-09 华为技术有限公司 拟人化3d模型生成的方法和装置
CN112435313A (zh) * 2020-11-10 2021-03-02 北京百度网讯科技有限公司 播放帧动画的方法、装置、电子设备及可读存储介质
CN115953516B (zh) * 2023-03-13 2023-05-19 山东美猴文化创意集团股份有限公司 一种基于动作捕捉技术的交互动画制作平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477699A (zh) * 2008-01-04 2009-07-08 白涛 将文字型语句转变为相应的动画卡通的基本的程序化方法
CN101778302A (zh) * 2009-01-13 2010-07-14 宏碁股份有限公司 三维立体图像显示装置及其方法
CN102509333A (zh) * 2011-12-07 2012-06-20 浙江大学 基于动作捕获数据驱动的二维卡通表情动画制作方法
CN102663806A (zh) * 2012-03-02 2012-09-12 西安交通大学 基于艺术视觉的图像卡通风格化渲染方法
MX2013013313A (es) * 2011-05-19 2014-02-10 Sony Computer Entertainment Inc Dispositivo de captura de imagenes en movimiento, sistema de procesamiento de informacion, dispositivo de procesamiento de unformacion y metodo de procesamiento de datos de imagenes.
CN105118023A (zh) * 2015-08-31 2015-12-02 电子科技大学 基于人脸特征点的实时视频人脸卡通化生成方法
CN105245774A (zh) * 2015-09-15 2016-01-13 努比亚技术有限公司 一种图片处理方法及终端
CN107393017A (zh) * 2017-08-11 2017-11-24 北京铂石空间科技有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452582B (zh) * 2008-12-18 2013-09-18 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
CN105139438B (zh) * 2014-09-19 2018-01-12 电子科技大学 视频人脸卡通动画生成方法
KR101780792B1 (ko) * 2015-03-20 2017-10-10 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치
US20170069124A1 (en) * 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
CN106599965B (zh) * 2016-11-25 2019-05-31 北京矩石科技有限公司 一种将图像卡通化并与二维码融合的方法与装置
CN107292961A (zh) * 2017-06-30 2017-10-24 浙江科澜信息技术有限公司 一种实现三维场景中地球海洋水效的方法
CN107918949A (zh) * 2017-12-11 2018-04-17 网易(杭州)网络有限公司 虚拟资源对象的渲染方法、存储介质、处理器及终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477699A (zh) * 2008-01-04 2009-07-08 白涛 将文字型语句转变为相应的动画卡通的基本的程序化方法
CN101778302A (zh) * 2009-01-13 2010-07-14 宏碁股份有限公司 三维立体图像显示装置及其方法
MX2013013313A (es) * 2011-05-19 2014-02-10 Sony Computer Entertainment Inc Dispositivo de captura de imagenes en movimiento, sistema de procesamiento de informacion, dispositivo de procesamiento de unformacion y metodo de procesamiento de datos de imagenes.
CN102509333A (zh) * 2011-12-07 2012-06-20 浙江大学 基于动作捕获数据驱动的二维卡通表情动画制作方法
CN102663806A (zh) * 2012-03-02 2012-09-12 西安交通大学 基于艺术视觉的图像卡通风格化渲染方法
CN105118023A (zh) * 2015-08-31 2015-12-02 电子科技大学 基于人脸特征点的实时视频人脸卡通化生成方法
CN105245774A (zh) * 2015-09-15 2016-01-13 努比亚技术有限公司 一种图片处理方法及终端
CN107393017A (zh) * 2017-08-11 2017-11-24 北京铂石空间科技有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image-Based Fitting Diffuse and Specular Reflectance of Object;Han Huijian 等;《2008 International Symposium on Intelligent Information Technology Application Workshops》;20081230;487-490 *
Mobile augmented reality for teaching structural analysis;Turkan Yelda 等;《Advanced Engineering Informatics》;20171031;第34卷;90-100 *
人物动态图像的研究与实现;曾彩勇;《中国优秀硕士学位论文全文数据库信息科技辑》;20130215(第02期);I138-1864 *
基于加速度传感器的动作捕捉系统的研究;刘晓祥;《中国优秀硕士学位论文全文数据库信息科技辑》;20110915(第09期);I140-135 *

Also Published As

Publication number Publication date
CN109002185A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
US11676342B2 (en) Providing 3D data for messages in a messaging system
US11748957B2 (en) Generating 3D data in a messaging system
US20180158246A1 (en) Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
CN115699114B (zh) 用于分析的图像增广的方法和装置
US9202309B2 (en) Methods and apparatus for digital stereo drawing
KR102624635B1 (ko) 메시징 시스템에서의 3d 데이터 생성
CN111656407A (zh) 对动态三维模型的视图进行融合、纹理化和绘制
US11410401B2 (en) Beautification techniques for 3D data in a messaging system
US11825065B2 (en) Effects for 3D data in a messaging system
CN109002185B (zh) 一种三维动画处理的方法、装置、设备及存储介质
KR20220167323A (ko) 메시징 시스템 내의 3d 데이터를 포함하는 증강 현실 콘텐츠 생성기들
KR102145220B1 (ko) 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법 및 장치
Kolivand et al. Realistic real-time outdoor rendering in augmented reality
CN106447756B (zh) 用于生成用户定制的计算机生成动画的方法和系统
US20160086365A1 (en) Systems and methods for the conversion of images into personalized animations
JP2013168146A (ja) 実物体のテクスチャ描写を生成する方法、装置、およびシステム
JP2014215720A (ja) 情報処理装置、制御方法、及び記録媒体
JP2003168130A (ja) リアルタイムで合成シーンのフォトリアルなレンダリングをプレビューするための方法
JP6930091B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US20230412724A1 (en) Controlling an Augmented Call Based on User Gaze
Schwandt et al. Illumination in Mixed Reality
JP2022067171A (ja) 生成装置、生成方法、及び、プログラム
Wang Scene Lighting Estimation for Augmented reality with Neural Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant