CN109035373A - 三维特效程序文件包的生成及三维特效生成方法与装置 - Google Patents

三维特效程序文件包的生成及三维特效生成方法与装置 Download PDF

Info

Publication number
CN109035373A
CN109035373A CN201810690808.5A CN201810690808A CN109035373A CN 109035373 A CN109035373 A CN 109035373A CN 201810690808 A CN201810690808 A CN 201810690808A CN 109035373 A CN109035373 A CN 109035373A
Authority
CN
China
Prior art keywords
dimensional material
dimensional
key point
special efficacy
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810690808.5A
Other languages
English (en)
Other versions
CN109035373B (zh
Inventor
许亲亲
杨瑞健
盛崇山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810690808.5A priority Critical patent/CN109035373B/zh
Publication of CN109035373A publication Critical patent/CN109035373A/zh
Application granted granted Critical
Publication of CN109035373B publication Critical patent/CN109035373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

本发明实施例公开了一种三维特效程序文件包的生成及三维特效生成方法与装置,其中,三维特效程序文件包的生成方法包括:导入三维素材;获取所述三维素材的特效参数的参数值,并建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包。本发明实施例无需通过手动书写程序文件,便可生成渲染引擎可执行的三维特效程序文件包,提升了三维特效实现的整体效率,且避免了手动书写程序文件可能出现的错误。

Description

三维特效程序文件包的生成及三维特效生成方法与装置
技术领域
本发明涉及人工智能技术,尤其是一种三维特效程序文件包的生成及三维特效生成方法与装置。
背景技术
增强现实技术(Augmented Reality,AR),是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内的实体信息,模拟仿真后再叠加虚拟信息,将虚拟信息应用到真实世界,将真实世界的人物、环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,从而达到超越现实的感官体验。
发明内容
本发明实施例提供一种特效程序文件包的生成、以及特效生成的技术方案。
根据本发明实施例的一个方面,提供的一种三维特效程序文件包的生成方法,包括:
导入三维素材;
获取所述三维素材的特效参数的参数值,并建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述导入三维素材,包括:
接收导入指令,导入所述导入指令指向的三维素材的资源配置信息;
生成所述三维素材。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述三维素材的资源配置信息包括所述三维素材的模型信息和配置信息。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述模型信息包括三维几何模型与材质、纹理贴图信息;
所述方法还包括:
预先生成三维几何模型,并设置所述三维几何模型的材质和纹理贴图,得到所述模型信息,以及设置所述三维几何模型的配置信息,得到所述三维素材的资源配置信息并存储。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述利用着色器,基于所述三维素材的资源配置信息生成所述三维素材,包括:
调用所述模型信息对应的着色器,基于所述三维素材的资源配置信息生成所述三维素材。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述生成所述三维素材之后,还包括:
利用所述着色器,对所述三维素材的模型信息和/或配置信息中的任意一项或多项信息进行调整。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述模型信息包括骨骼模型与骨骼蒙皮信息、骨骼动画数据;
所述方法还包括:
预先生成骨骼模型,并设置所述骨骼模型的骨骼蒙皮信息和骨骼动画数据,得到所述模型信息,以及设置所述骨骼模型的配置信息,得到所述三维素材的资源配置信息并存储。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述模型信息还包括关键帧信息;
所述方法还包括:
设置所述三维几何模型的材质和纹理贴图、或者设置所述骨骼模型的骨骼蒙皮信息和骨骼动画数据时,还设置所述三维几何模型或者骨骼模型的关键帧信息及该关键帧的参数的参数值。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述特效参数包括以下任意一项或多项:
显示参数:用于表示是否显示所述三维素材;
位置类型参数:用于表示所述三维素材和位置的关系类型;
位置跟随设置参数:用于表示所述三维素材是否跟随预设参考部位改变显示效果;
触发方式参数:用于表示触发显示所述三维素材的触发事件;
循环参数:用于表示所述三维素材的循环播放次数;
播放帧数参数,用于表示所述三维素材播放多少帧数;
延迟触发参数:用于表示延迟显示所述三维素材的时间;
触发结束参数:用于表示结束显示所述三维素材显示的触发事件;
变形特效参数:用于表示显示所述三维素材时在图像上生成变形区域的变形效果;
描边特效参数,用于表示显示所述三维素材时在图像上生成描边特效。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述位置类型参数包括以下任意一项或多项:
用于表示前景的参数;
用于表示所述三维素材跟随所述预设参考部位进行定位和/或移动的参数;
用于表示背景的参数。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述位置跟随设置参数包括以下任意一项或多项:
所述三维素材跟随所述预设参考部位的位置进行移动的参数,所述三维素材跟随所述预设参考部位的大小进行缩放的参数,所述三维素材跟随所述预设参考部位的平面旋转进行旋转的参数。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述预设参考部位包括以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,肢体。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述触发事件包括以下任意一项或多项:无动作触发,眼部动作,头部动作,眉部动作,手部动作,嘴部动作,肩部动作,肢体动作,骨骼动作,变形特效,贴纸特效,声音特效,描边特效。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系,包括:
建立所述三维素材的显示属性和所述显示位置覆盖范围内至少两个关键点之间的对应关系。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述关键点包括以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述头部关键点包括以下至少之一:头顶关键点,鼻尖关键点,以及下巴关键点;和/或
所述面部脸部关键点包括以下至少之一:脸部轮廓关键点,眼睛关键点,眉毛关键点,鼻子关键点,嘴部关键点;和/或
所述肩部关键点包括以下至少之一:位于肩部与头部交汇位置处的肩头交汇关键点,以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点;和/或
所述手臂关键点包括以下至少之一:手腕轮廓关键点,胳膊肘轮廓关键点,臂根轮廓关键点,位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的小臂轮廓中点关键点,以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的大臂中点关键点;和/或
所述手势关键点包括以下至少之一:手势框的四个顶点关键点,以及手势框的中心关键点;和/或
所述腿部关键点包括以下至少之一:裆部关键点,膝盖轮廓关键点,脚踝轮廓关键点,大腿根部外侧轮廓关键点,位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点,位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点,以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点;和/或
所述腰部关键点包括以下至少之一:将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分,所产生的N个等分点;其中,所述N大于1;和/或
所述脚部关键点包括以下至少之一:脚尖关键点以及足跟关键点;和/或
所述人体骨骼关键点把包括以下至少之一:右肩骨骼关键点,右肘骨骼关键点,右腕骨骼关键点,左肩骨骼关键点,左肘骨骼关键点,左腕骨骼关键点,右髋骨骼关键点,右膝骨骼关键点,右踝骨骼关键点,左髋骨骼关键点,左膝骨骼关键点,左踝骨骼关键点,头顶骨骼关键点,以及脖子骨骼关键点;和/或
所述肢体关键点包括以下至少之一:头部关键点,肩膀关键点,左臂关键点,右臂关键点,左腿关键点,右腿关键点。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述眼睛关键点包括以下至少之一:左眼眶关键点,左眼瞳孔中心关键点,左眼中心关键点,右眼眶关键点,右眼瞳孔中心关键点,以及右眼中心关键点;和/或
所述眉毛关键点包括以下至少之一:左眉毛关键点以及右眉毛关键点;和/或
所述鼻子关键点包括以下至少之一:鼻梁关键点,鼻子下沿关键点,以及鼻子外侧轮廓关键点;和/或
所述嘴部关键点包括以下至少之一:上嘴唇关键点,以及下嘴唇关键点。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,还包括:
获取针对所述三维素材设置的环境参数的参数值;
所述根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包,包括:根据所述三维素材、所述特效参数的参数值、所述环境参数的参数值和所述对应关系生成特效程序文件包。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述环境参数包括以下任意一项或多项:
环境光参数,至少一个方位的灯光参数,全局反射纹理参数,环境天空材质参数。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述导入三维素材之后,还包括:
通过内容显示栏显示预设三维参考模型和所述三维素材。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述三维参考模型包括:参考人物的至少一个参考部位的三维模型,所述三维素材与所述三维参考模型或者所述三维模型中至少一个参考部位的的尺寸匹配。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述至少一个参考部位包括以下任意一项或多项:完整人体,头部,脸部,肩部,手臂,手部,腰部,腿部,脚部,人体骨骼,肢体。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,还包括:
根据接收到的针对两个或以上三维素材发送的图层调整指令,调整所述两个或以上三维素材之间的遮挡关系,并根据调整后的遮挡关系和所述特效参数的参数值显示所述两个或以上三维素材。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,还包括:
显示节点列表、所述内容显示栏和/或操作栏;
所述节点列表用于显示节点的名称,每个所述节点包括导入的三维素材,或者进一步包括针对所述节点设置的以下任意一项或多项:预设三维参考模型,环境光,至少一个方位的灯光,全局反射纹理,环境天空材质;所述内容显示栏用于显示导入的三维素材在设置的所述特效参数的参数值和所述环境参数的参数值下的显示效果;所述操作栏包括至少一个交互接口,用于导入三维素材、接收设置的所述特效参数的参数值和所述环境参数的参数值。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包,包括:
根据预先设置的特效程序文件、所述参数值和所述对应关系,生成所述三维素材的特效程序文件;
根据接收到的保存指令,由所述三维素材、和所述三维素材的特效程序文件,生成所述特效程序文件包,并在所述保存指令指向的位置保存所述特效程序文件包。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述根据接收到的保存指令,由所述三维素材和所述三维素材的特效程序文件,生成所述特效程序文件包,并在所述保存指令指向的位置保存所述特效程序文件包,包括:
响应于接收到保存指令,由所述三维素材和所述三维素材的特效程序文件,生成所述特效程序文件包,并显示保存路径选择接口和压缩接口;
接收通过所述保存路径选择接口发送的保存位置;以及接收基于所述压缩接口发送的压缩方式,并根据所述压缩方式对所述特效程序文件包进行压缩,生成压缩文件包;
将所述压缩文件包存储至所述保存位置指向的文件夹中。
可选地,在本发明上述各三维特效程序文件包的生成方法实施例中,所述特效程序文件包中三维素材的大小保持为所述三维素材被导入前的大小。
根据本发明实施例的另一个方面,提供的一种三维特效生成方法,包括:
获取三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效。
可选地,在本发明上述各三维特效生成方法实施例中,所述图像包括以下任意一项或多项:静态图像,视频中图像。
可选地,在本发明上述各三维特效生成方法实施例中,还包括:
通过神经网络,对所述图像进行所述对应关系涉及的关键点检测,并输出关键点检测结果。
可选地,在本发明上述各三维特效生成方法实施例中,所述关键点检测结果包括以下任意一项或多项:
所述对应关系涉及的关键点在所述图像中的位置;
所述对应关系涉及的关键点的预设编号。
可选地,在本发明上述各三维特效生成方法实施例中,所述关键点包括以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点。
可选地,在本发明上述各三维特效生成方法实施例中,还包括:
导入特效程序文件包;所述特效程序文件包包括:所述三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系;
所述获取三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系,包括:从所述特效程序文件包中获取三维素材、所述特效参数的参数值、以及所述对应关系。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效程序文件包为采用如本申请上述任一实施例所述三维特效程序文件包的生成方法生成的特效程序文件包。
可选地,在本发明上述各三维特效生成方法实施例中,所述从所述特效程序文件包中获取三维素材、所述特效参数的参数值、以及所述对应关系,包括:解析所述特效程序文件包,获得三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效程序文件包还包括:针对所述三维素材设置的环境参数的参数值;
所述从所述特效程序文件包中获取三维素材、所述特效参数的参数值、以及所述对应关系,包括:解析所述特效程序文件包,获得三维素材、所述三维素材的特效参数的参数值和环境参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系。
可选地,在本发明上述各三维特效生成方法实施例中,所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:根据所述关键点检测结果和所述对应关系,获取所述三维素材在所述图像所在的三维空间中的位置和朝向;根据所述三维素材在三维空间中的位置和朝向将所述三维素材加载至所述三维空间,并基于所述特效参数的参数值对所述三维素材进行渲染,基于所述环境参数的参数值进行环境渲染,得到具有所述三维素材的特效的图像。
可选地,在本发明上述各三维特效生成方法实施例中,所述关键点检测结果为人体骨骼关键点的检测结果;
所述三维素材设置有骨骼蒙皮信息和骨骼动画数据;
所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
根据所述人体骨骼关键点的检测结果和所述对应关系、以及骨骼动画数据,获取所述图像中的骨骼蒙皮在三维空间中的位置和朝向;根据所述骨骼蒙皮在三维空间中的位置和朝向将所述骨骼蒙皮加载至所述三维空间,基于所述特效参数的参数值对所述骨骼蒙皮进行渲染,基于所述环境参数的参数值进行环境渲染,得到具有骨骼蒙皮特效的图像。
可选地,在本发明上述各三维特效生成方法实施例中,所述三维素材还设置有关键帧信息及该关键帧的参数的参数值;
所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
基于所述关键帧信息确定所述图像是否关键帧图像;
若所述图像是关键帧图像,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效的操作;
否则,若所述图像不是关键帧图像,基于所述关键帧的参数的参数值,由相邻关键帧图像中所述三维素材的特效获取所述图像中所述三维素材的特效,并在所述图像上生成获取到的所述三维素材的特效。
可选地,在本发明上述各三维特效生成方法实施例中,所述三维素材为多个。
可选地,在本发明上述各三维特效生成方法实施例中,多个所述三维素材的显示位置有重叠时,所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
根据多个所述三维素材的特效参数中的节点标识、或者多个所述三维素材的所述参数值和所述对应关系的排列顺序,确定多个所述三维素材的遮挡关系;
根据多个所述三维素材的遮挡关系,基于所述多个三维素材的所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成多个所述三维素材的特效。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:显示参数,所述显示参数用于表示是否显示所述三维素材;
所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
响应于所述显示参数的参数值为显示所述三维素材的参数值时,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效的操作。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:触发方式参数,所述触发方式参数用于表示触发显示所述三维素材的触发事件;
所述方法还包括:检测所述图像中是否出现所述触发方式参数的参数值对应的触发事件;
所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
响应于检测到所述图像中出现所述触发方式参数的参数值对应的触发事件,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效的操作。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:延迟触发参数,所述延迟触发参数用于表示延迟显示所述三维素材的时间;
所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
响应于满足三维素材的显示条件,根据所述延迟触发参数的参数值对应的延迟播放时间,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,延迟在图像上生成所述三维素材的特效的操作;所述满足三维素材的显示条件包括:所述显示参数的参数值为用于显示所述三维素材,和/或,出现所述触发方式参数的参数值对应的触发事件。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:位置类型参数:用于表示所述三维素材和位置的关系类型;位置跟随设置参数:用于表示所述三维素材是否跟随预设参考部位改变显示效果;
所述位置类型参数包括以下任意一项:
用于表示前景的参数;
用于表示所述三维素材跟随预设参考部位进行定位和/或移动的参数;所述预设参考部位包括以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,肢体;
用于表示背景的参数;
所述位置跟随设置参数包括以下任意一项或多项:所述三维素材跟随所述预设参考部位的位置进行移动,所述三维素材跟随所述参考部位的大小进行缩放,所述三维素材跟随所述参考部位的平面旋转进行旋转;
所述方法还包括:
针对视频中生成所述三维素材的特效的首帧图像之后的各帧图像,分别根据所述位置类型参数和所述位置跟随设置参数的参数值,基于所述对应关系、所述对应关系涉及的图像中的关键点,对上一帧图像中的所述三维素材进行相应的位置移动、大小缩放或者旋转,得到当前图像上所述三维素材的特效。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:循环参数,所述循环参数用于表示所述三维素材的循环播放次数;
所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
响应于满足三维素材的显示条件,根据所述循环参数的参数值对应的循环次数,分别针对视频中多帧图像上执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在图像上生成所述三维素材的特效的操作,以在所述视频中图像上循环显示所述三维素材;所述满足三维素材的显示条件包括:所述显示参数的参数值为用于显示所述三维素材,和/或,出现所述触发方式参数的参数值对应的触发事件。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:播放帧数参数,所述播放帧数参数用于表示所述三维素材播放多少帧数;
所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效,包括:
响应于满足三维素材的播放条件,基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,根据所述播放帧数参数的参数值对应的播放帧数,在视频中所述播放帧数对应的图像上生成所述三维素材的特效;所述满足三维素材的显示条件包括:所述显示参数的参数值为用于显示所述三维素材,和/或,出现所述触发方式参数的参数值对应的触发事件。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:触发结束参数,所述触发结束参数用于表示结束显示所述三维素材的触发事件;
所述方法还包括:
检测是否出现所述触发结束参数的参数值对应的触发事件;
响应于检测到出现所述触发结束参数的参数值对应的触发事件,停止生成所述三维素材的特效。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:变形特效参数,所述变形特效参数用于表示显示所述三维素材时在图像上生成变形区域的变形效果;
所述方法还包括:
基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效时,根据所述变形特效参数的参数值,在所述图像中生成所述变形区域的变形效果。
可选地,在本发明上述各三维特效生成方法实施例中,所述特效参数包括:描边特效参数,所述描边特效参数用于表示显示所述三维素材时在图像上生成描边特效;
所述方法还包括:
基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效时,根据所述描边特效参数的参数值,在所述图像中生成描边特效。
根据本发明实施例的又一个方面,提供的一种三维特效程序文件包的生成装置,包括:
第一导入模块,用于导入三维素材;
第一获取模块,用于获取所述三维素材的特效参数的参数值,并建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
第一生成模块,用于根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述第一导入模块,具体用于接收导入指令,导入所述导入指令指向的三维素材的资源配置信息;以及生成所述三维素材。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述三维素材的资源配置信息包括所述三维素材的模型信息和配置信息。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述模型信息包括三维几何模型与材质、纹理贴图信息;
所述装置还包括:
第二生成模块,用于预先生成三维几何模型,并设置所述三维几何模型的材质和纹理贴图,得到所述模型信息,以及设置所述三维几何模型的配置信息,得到所述三维素材的资源配置信息并存储。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述第一导入模块,具体用于调用所述模型信息对应的着色器,基于所述三维素材的资源配置信息生成所述三维素材。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,还包括:
着色器,用于对所述三维素材的模型信息和/或配置信息中的任意一项或多项信息进行调整。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述模型信息包括骨骼模型与骨骼蒙皮信息、骨骼动画数据;
所述装置还包括:
第三生成模块,用于预先生成骨骼模型,并设置所述骨骼模型的骨骼蒙皮信息和骨骼动画数据,得到所述模型信息,以及设置所述骨骼模型的配置信息,得到所述三维素材的资源配置信息并存储。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述模型信息还包括关键帧信息;
所述第二生成模块,还用于设置所述三维几何模型或者骨骼模型的关键帧信息及该关键帧的参数的参数值;
所述第三生成模块,还用于所述三维几何模型或者骨骼模型的关键帧信息及该关键帧的参数的参数值。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述特效参数包括以下任意一项或多项:
显示参数:用于表示是否显示所述三维素材;
位置类型参数:用于表示所述三维素材和位置的关系类型;
位置跟随设置参数:用于表示所述三维素材是否跟随预设参考部位改变显示效果;
触发方式参数:用于表示触发显示所述三维素材的触发事件;
循环参数:用于表示所述三维素材的循环播放次数;
播放帧数参数,用于表示所述三维素材播放多少帧数;
延迟触发参数:用于表示延迟显示所述三维素材的时间;
触发结束参数:用于表示结束显示所述三维素材显示的触发事件;
变形特效参数:用于表示显示所述三维素材时在图像上生成变形区域的变形效果;
描边特效参数,用于表示显示所述三维素材时在图像上生成描边特效。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述位置类型参数包括以下任意一项或多项:
用于表示前景的参数;
用于表示所述三维素材跟随所述预设参考部位进行定位和/或移动的参数;
用于表示背景的参数。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述位置跟随设置参数包括以下任意一项或多项:
所述三维素材跟随所述预设参考部位的位置进行移动的参数,所述三维素材跟随所述预设参考部位的大小进行缩放的参数,所述三维素材跟随所述预设参考部位的平面旋转进行旋转的参数。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述预设参考部位包括以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,肢体。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述触发事件包括以下任意一项或多项:无动作触发,眼部动作,头部动作,眉部动作,手部动作,嘴部动作,肩部动作,肢体动作,骨骼动作,变形特效,贴纸特效,声音特效,描边特效。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述第一获取模块建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系时,具体用于建立所述三维素材的显示属性和所述显示位置覆盖范围内至少两个关键点之间的对应关系。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述关键点包括以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述头部关键点包括以下至少之一:头顶关键点,鼻尖关键点,以及下巴关键点;和/或
所述面部脸部关键点包括以下至少之一:脸部轮廓关键点,眼睛关键点,眉毛关键点,鼻子关键点,嘴部关键点;和/或
所述肩部关键点包括以下至少之一:位于肩部与头部交汇位置处的肩头交汇关键点,以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点;和/或
所述手臂关键点包括以下至少之一:手腕轮廓关键点,胳膊肘轮廓关键点,臂根轮廓关键点,位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的小臂轮廓中点关键点,以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的大臂中点关键点;和/或
所述手势关键点包括以下至少之一:手势框的四个顶点关键点,以及手势框的中心关键点;和/或
所述腿部关键点包括以下至少之一:裆部关键点,膝盖轮廓关键点,脚踝轮廓关键点,大腿根部外侧轮廓关键点,位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点,位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点,以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点;和/或
所述腰部关键点包括以下至少之一:将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分,所产生的N个等分点;其中,所述N大于1;和/或
所述脚部关键点包括以下至少之一:脚尖关键点以及足跟关键点;和/或
所述人体骨骼关键点把包括以下至少之一:右肩骨骼关键点,右肘骨骼关键点,右腕骨骼关键点,左肩骨骼关键点,左肘骨骼关键点,左腕骨骼关键点,右髋骨骼关键点,右膝骨骼关键点,右踝骨骼关键点,左髋骨骼关键点,左膝骨骼关键点,左踝骨骼关键点,头顶骨骼关键点,以及脖子骨骼关键点;和/或
所述肢体关键点包括以下至少之一:头部关键点,肩膀关键点,左臂关键点,右臂关键点,左腿关键点,右腿关键点。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述眼睛关键点包括以下至少之一:左眼眶关键点,左眼瞳孔中心关键点,左眼中心关键点,右眼眶关键点,右眼瞳孔中心关键点,以及右眼中心关键点;和/或
所述眉毛关键点包括以下至少之一:左眉毛关键点以及右眉毛关键点;和/或
所述鼻子关键点包括以下至少之一:鼻梁关键点,鼻子下沿关键点,以及鼻子外侧轮廓关键点;和/或
所述嘴部关键点包括以下至少之一:上嘴唇关键点,以及下嘴唇关键点。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述第一获取模块,还用于获取针对所述三维素材设置的环境参数的参数值;
所述第一生成模块,具体用于根据所述三维素材、所述特效参数的参数值、所述环境参数的参数值和所述对应关系生成特效程序文件包。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述环境参数包括以下任意一项或多项:
环境光参数,至少一个方位的灯光参数,全局反射纹理参数,环境天空材质参数。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,还包括:
内容显示栏,用于显示预设三维参考模型和所述三维素材。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述三维参考模型包括:参考人物的至少一个参考部位的三维模型,所述三维素材与所述三维参考模型或者所述三维模型中至少一个参考部位的的尺寸匹配。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述至少一个参考部位包括以下任意一项或多项:完整人体,头部,脸部,肩部,手臂,手部,腰部,腿部,脚部,人体骨骼,肢体。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,还包括:
调整模块,用于根据接收到的针对两个或以上三维素材发送的图层调整指令,调整所述两个或以上三维素材之间的遮挡关系,并根据调整后的遮挡关系和所述特效参数的参数值显示所述两个或以上三维素材。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,还包括:
显示节点列表,用于显示节点的名称,每个所述节点包括导入的三维素材,或者进一步包括针对所述节点设置的以下任意一项或多项:预设三维参考模型,环境光,至少一个方位的灯光,全局反射纹理,环境天空材质;
操作栏,包括至少一个交互接口,用于导入三维素材、接收设置的所述特效参数的参数值和所述环境参数的参数值;
所述内容显示栏,具体用于显示预设三维参考模型,以及显示导入的三维素材在设置的所述特效参数的参数值和所述环境参数的参数值下的显示效果。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述第一生成模块,具体用于根据预先设置的特效程序文件、所述参数值和所述对应关系,生成所述三维素材的特效程序文件;以及根据接收到的保存指令,由所述三维素材、和所述三维素材的特效程序文件,生成所述特效程序文件包,并在所述保存指令指向的位置保存所述特效程序文件包。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述第一生成模块根据接收到的保存指令,由所述三维素材和所述三维素材的特效程序文件,生成所述特效程序文件包,并在所述保存指令指向的位置保存所述特效程序文件包时,具体用于:
响应于接收到保存指令,由所述三维素材和所述三维素材的特效程序文件,生成所述特效程序文件包,并显示保存路径选择接口和压缩接口;
接收通过所述保存路径选择接口发送的保存位置;以及接收基于所述压缩接口发送的压缩方式,并根据所述压缩方式对所述特效程序文件包进行压缩,生成压缩文件包;
将所述压缩文件包存储至所述保存位置指向的文件夹中。
可选地,在本发明上述各三维特效程序文件包的生成装置实施例中,所述特效程序文件包中三维素材的大小保持为所述三维素材被导入前的大小。
根据本发明实施例的再一个方面,提供的一种三维特效生成装置,包括:
第二获取模块,用于获取三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
第四生成模块,用于基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效。
可选地,在本发明上述各三维特效生成装置实施例中,所述图像包括以下任意一项或多项:静态图像,视频中图像。
可选地,在本发明上述各三维特效生成装置实施例中,还包括:
神经网络,用于对所述图像进行所述对应关系涉及的关键点检测,并输出关键点检测结果。
可选地,在本发明上述各三维特效生成装置实施例中,所述关键点检测结果包括以下任意一项或多项:
所述对应关系涉及的关键点在所述图像中的位置;
所述对应关系涉及的关键点的预设编号。
可选地,在本发明上述各三维特效生成装置实施例中,所述关键点包括以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点。
可选地,在本发明上述各三维特效生成装置实施例中,还包括:
第二导入模块,用于导入特效程序文件包;所述特效程序文件包包括:所述三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系;
所述第二获取模块,具体用于从所述特效程序文件包中获取三维素材、所述特效参数的参数值、以及所述对应关系。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效程序文件包为采用本发明上述任一实施例所述三维特效程序文件包的生成方法或者装置生成的特效程序文件包。
可选地,在本发明上述各三维特效生成装置实施例中,所述第二获取模块,具体用于解析所述特效程序文件包,获得三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效程序文件包还包括:针对所述三维素材设置的环境参数的参数值;
所述第二获取模块,具体用于解析所述特效程序文件包,获得三维素材、所述三维素材的特效参数的参数值和环境参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系。
可选地,在本发明上述各三维特效生成装置实施例中,所述第四生成模块,具体用于根据所述关键点检测结果和所述对应关系,获取所述三维素材在所述图像所在的三维空间中的位置和朝向;根据所述三维素材在三维空间中的位置和朝向将所述三维素材加载至所述三维空间,并基于所述特效参数的参数值对所述三维素材进行渲染,基于所述环境参数的参数值进行环境渲染,得到具有所述三维素材的特效的图像。
可选地,在本发明上述各三维特效生成装置实施例中,所述关键点检测结果为人体骨骼关键点的检测结果;
所述三维素材设置有骨骼蒙皮信息和骨骼动画数据;
所述第四生成模块,具体用于:根据所述人体骨骼关键点的检测结果和所述对应关系、以及骨骼动画数据,获取所述图像中的骨骼蒙皮在三维空间中的位置和朝向;根据所述骨骼蒙皮在三维空间中的位置和朝向将所述骨骼蒙皮加载至所述三维空间,基于所述特效参数的参数值对所述骨骼蒙皮进行渲染,基于所述环境参数的参数值进行环境渲染,得到具有骨骼蒙皮特效的图像。
可选地,在本发明上述各三维特效生成装置实施例中,所述三维素材还设置有关键帧信息及该关键帧的参数的参数值;
所述第四生成模块,具体用于:基于所述关键帧信息确定所述图像是否关键帧图像;若所述图像是关键帧图像,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效的操作;否则,若所述图像不是关键帧图像,基于所述关键帧的参数的参数值,由相邻关键帧图像中所述三维素材的特效获取所述图像中所述三维素材的特效,并在所述图像上生成获取到的所述三维素材的特效。
可选地,在本发明上述各三维特效生成装置实施例中,所述三维素材为多个。
可选地,在本发明上述各三维特效生成装置实施例中,多个所述三维素材的显示位置有重叠时,所述第四生成模块,具体用于:根据多个所述三维素材的特效参数中的节点标识、或者多个所述三维素材的所述参数值和所述对应关系的排列顺序,确定多个所述三维素材的遮挡关系;根据多个所述三维素材的遮挡关系,基于所述多个三维素材的所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成多个所述三维素材的特效。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:显示参数,所述显示参数用于表示是否显示所述三维素材;
所述第四生成模块,具体用于:响应于所述显示参数的参数值为显示所述三维素材的参数值时,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效的操作。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:触发方式参数,所述触发方式参数用于表示触发显示所述三维素材的触发事件;
所述装置还包括:
第一检测模块,用于检测所述图像中是否出现所述触发方式参数的参数值对应的触发事件;
所述第四生成模块,具体用于:响应于检测到所述图像中出现所述触发方式参数的参数值对应的触发事件,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效的操作。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:延迟触发参数,所述延迟触发参数用于表示延迟显示所述三维素材的时间;
所述第四生成模块,具体用于:响应于满足三维素材的显示条件,根据所述延迟触发参数的参数值对应的延迟播放时间,执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,延迟在图像上生成所述三维素材的特效的操作;所述满足三维素材的显示条件包括:所述显示参数的参数值为用于显示所述三维素材,和/或,出现所述触发方式参数的参数值对应的触发事件。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:位置类型参数:用于表示所述三维素材和位置的关系类型;位置跟随设置参数:用于表示所述三维素材是否跟随预设参考部位改变显示效果;
所述位置类型参数包括以下任意一项:
用于表示前景的参数;
用于表示所述三维素材跟随预设参考部位进行定位和/或移动的参数;所述预设参考部位包括以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,肢体;
用于表示背景的参数;
所述位置跟随设置参数包括以下任意一项或多项:所述三维素材跟随所述预设参考部位的位置进行移动,所述三维素材跟随所述参考部位的大小进行缩放,所述三维素材跟随所述参考部位的平面旋转进行旋转;
所述第四生成模块,具体用于针对视频中生成所述三维素材的特效的首帧图像之后的各帧图像,分别根据所述位置类型参数和所述位置跟随设置参数的参数值,基于所述对应关系、所述对应关系涉及的图像中的关键点,对上一帧图像中的所述三维素材进行相应的位置移动、大小缩放或者旋转,得到当前图像上所述三维素材的特效。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:循环参数,所述循环参数用于表示所述三维素材的循环播放次数;
所述第四生成模块,具体用于:响应于满足三维素材的显示条件,根据所述循环参数的参数值对应的循环次数,分别针对视频中多帧图像上执行所述基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在图像上生成所述三维素材的特效的操作,以在所述视频中图像上循环显示所述三维素材;所述满足三维素材的显示条件包括:所述显示参数的参数值为用于显示所述三维素材,和/或,出现所述触发方式参数的参数值对应的触发事件。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:播放帧数参数,所述播放帧数参数用于表示所述三维素材播放多少帧数;
所述第四生成模块,具体用于:响应于满足三维素材的播放条件,基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,根据所述播放帧数参数的参数值对应的播放帧数,在视频中所述播放帧数对应的图像上生成所述三维素材的特效;所述满足三维素材的显示条件包括:所述显示参数的参数值为用于显示所述三维素材,和/或,出现所述触发方式参数的参数值对应的触发事件。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:触发结束参数,所述触发结束参数用于表示结束显示所述三维素材的触发事件;
所述装置还包括:
第二检测模块,用于检测是否出现所述触发结束参数的参数值对应的触发事件;
所述第四生成模块,还用于响应于检测到出现所述触发结束参数的参数值对应的触发事件,停止生成所述三维素材的特效。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:变形特效参数,所述变形特效参数用于表示显示所述三维素材时在图像上生成变形区域的变形效果;
所述装置还包括:
第五生成模块,用于在所述第四生成模块基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效时,根据所述变形特效参数的参数值,在所述图像中生成所述变形区域的变形效果。
可选地,在本发明上述各三维特效生成装置实施例中,所述特效参数包括:描边特效参数,所述描边特效参数用于表示显示所述三维素材时在图像上生成描边特效;
所述装置还包括:
第六生成模块,用于在所述第四生成模块基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效时,根据所述描边特效参数的参数值,在所述图像中生成描边特效。
根据本发明实施例的再一个方面,提供的一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本发明上述任一实施例所述的方法。
根据本发明实施例的再一个方面,提供的一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现本发明上述任一实施例所述的方法。
根据本发明实施例的再一个方面,提供的一种计算机程序,包括计算机指令,当所述计算机指令在设备的处理器中运行时,实现本发明上述任一实施例所述的方法。
基于本发明上述实施例提供的三维特效程序文件包的生成方法与装置、电子设备、程序和介质,生成特效程序文件包时,导入三维素材;获取该三维素材的特效参数的参数值,并建立该三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;根据该三维素材、所述参数值和所述对应关系生成特效程序文件包,以便在图像上实现三维素材的特效。另外,本发明实施例生成特效程序文件包时,无需通过手动书写程序文件,只需要导入三维素材,便可生成渲染引擎可执行的特效程序文件,操作简单、所需时间短,提升了三维素材特效实现的整体效率,且避免了手动书写程序文件可能出现的错误,有效保障了特效的准确性。
基于本发明上述实施例提供的三维特效生成方法与装置、电子设备、程序和介质,获取三维素材、该三维素材的特效参数的参数值、以及该三维素材的显示属性和关键点之间的对应关系;基于上述对应关系、该对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效。本发明实施例通过预先设置的三维素材及其特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系,便可在图像上生成三维素材的特效,增加了图像播放的整体氛围效果,增强了用户的娱乐性,提高了用户的沉浸感,提升了播放效果。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1为本发明三维特效程序文件包的生成方法一个实施例的流程图。
图2为本发明实施例中三维素材的一个示例性示意图。
图3为本发明实施例中手部动作的一个示例性示意图。
图4为本发明实施例中变形特效的一个示例性示意图。
图5为本发明实施例中贴纸特效的一个示例性示意图。
图6为本发明实施例中描边特效的一个示例性示意图。
图7为本发明实施例中三维特效程序文件包的生成装置的一个显示界面示例图。
图8为本发明三维特效程序文件包的生成方法另一实施例的流程图。
图9为本发明三维特效生成方法一个实施例的流程图。
图10为基于本发明实施例在图像上生成三维几何模型的特效的一个示例性示意图。
图11为本发明三维特效生成方法另一个实施例的流程图。
图12为本发明三维特效程序文件包的生成装置一个实施例的结构示意图。
图13为本发明三维特效程序文件包的生成装置另一个实施例的结构示意图。
图14为本发明三维特效生成装置一个实施例的结构示意图。
图15为本发明三维特效生成装置另一个实施例的结构示意图。
图16为本发明电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明三维(3D)特效程序文件包的生成方法一个实施例的流程图。本发明各实施例三维特效程序文件包的生成方法,例如可以通过但不限于一个装置(本发明以下实施例称为三维特效程序文件包的生成装置)实现。如图1所示,该实施例三维特效程序文件包的生成方法包括:
102,导入三维素材。
本发明实施例中的三维素材,可以是三维的任意素材,如图2所示,为本发明实施例中一个三维素材的一个示例性示意图。
104,获取导入的三维素材的特效参数的参数值,并建立该三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系。
其中的显示属性包括:大小和/或显示位置,即:既可以包括大小和显示位置,也可以仅包括大小或者显示位置。
其中,三维素材的显示属性和显示位置覆盖范围内的关键点之间的对应关系,可以是显示属性和显示位置覆盖范围内的至少一个关键点(例如两个或多个关键点)之间的一一对应关系,也可以是显示属性和显示位置覆盖范围内的至少一个关键点之间的一一绑定关系。将该三维素材的显示属性和显示位置覆盖范围内的关键点进行对应或者绑定后,便可实现三维素材和/或显示位置覆盖范围内部位的紧密贴合。
106,根据上述三维素材及其特效参数的参数值和对应关系生成特效程序文件包。
本发明实施例的特效程序文件包可以包括一个以上三维素材,特效程序文件包包括两个或以上三维素材时,可以分别针对各三维素材执行操作102-104,在针对所有需要导入的三维素材执行完操作102-104后,再执行操作106,即可生成包括多个三维素材的特效程序文件包,以便在图像上生成一个以上三维素材的特效。
本发明实施例中,上述特效程序文件包可用于对图像进行三维特效处理,在图像上生成三维素材的特效,对静态图像或视频图像进行AR效果的渲染处理,例如,三维素材为头花(如图2所示)时,生成的三维特效可以在图像中人物的头顶上生成一顶头花(如图10所示),从而得到一副戴帽子的人物的三维图像。
基于本发明上述实施例提供的三维特效程序文件包的生成方法,生成特效程序文件包时,导入三维素材;获取该三维素材的特效参数的参数值,并建立该三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;根据该三维素材、所述参数值和所述对应关系生成特效程序文件包,以便在图像上实现三维特效。另外,本发明实施例生成特效程序文件包时,无需通过手动书写程序文件,只需要导入三维素材,便可生成渲染引擎可执行的特效程序文件,操作简单、所需时间短,提升了三维特效实现的整体效率,且避免了手动书写程序文件可能出现的错误,有效保障了特效的准确性。
在本发明上述各实施例的一些实施方式中,操作102可以包括:
接收例如通过操作栏的交互接口输入的导入指令,导入该导入指令指向的三维素材的资源配置信息。其中,该三维素材的资源配置信息可以包括三维素材的模型信息和配置信息;
例如调用着色器(shader),基于上述三维素材的资源配置信息生成上述三维素材。
在其中一些可选示例中,上述模型信息例如可以包括但不限于三维几何模型与材质信息、纹理贴图信息等。其中的材质信息用于表示该三维素材是否自发光;纹理贴图表示三维素材表面呈现的纹理效果、以及贴图效果,贴图例如可以包括以下通道:红绿蓝(RGB)、红、绿、蓝、透明度(alpha),透明度通道用于表示该三维素材是否透明。其中的配置信息例如可以包括但不限于三维素材的文件名、纹理贴图文件的存储路径、光源信息、遮挡模型等。
在本发明的另一些实施例中,在上述各实施例导入三维素材之前,还可以包括:
预先生成三维几何模型,并设置该三维几何模型的材质和纹理贴图,得到模型信息,以及设置该三维几何模型的配置信息,得到三维素材的资源配置信息并存储。
示例性地,可以利用一个建模软件构建上述三维几何模型,可以利用一个三维素材的编辑器设置上述三维几何模型的材质和纹理贴图、以及配置信息。具体构建上述三维几何模型时,可以基于标准的预设三维参考模型,构建与该标准的预设三维参考模型尺寸匹配的三维几何模型的模型。例如,三维素材为帽子时,标准的预设三维参考模型可以是平均人脸模型,构建与平均人脸模型尺寸匹配的帽子的模型。
在具体应用中,不同模型信息可以对应不同的着色器,在其中一些可选示例中,可以调用上述模型信息对应的着色器,基于三维素材的资源配置信息生成三维素材。
在本发明的又一些实施例中,生成三维素材之后,还可以利用着色器,对上述三维素材的模型信息和/或配置信息中的任意一项或多项信息进行调整,例如,调整纹理贴图信息、光源信息、遮挡模型等,以调整三维素材的显示效果。
在另一些可选示例中,上述模型信息可以包括骨骼模型与骨骼蒙皮信息、骨骼动画数据。
相应地,在本发明的另一些实施例中,在上述各实施例导入三维素材之前,还可以包括:
预先生成骨骼模型,并设置该骨骼模型的骨骼蒙皮信息和骨骼动画数据,得到模型信息,以及设置该骨骼模型的配置信息,得到上述三维素材的资源配置信息并存储。
在骨骼动画中每一个角色主要是由如下两部分表示的:骨架(也称为:骨骼模型)和皮肤(也称为:骨骼蒙皮)。其中,骨骼模型是一系列的骨头相结合形成的骨层级,这些骨骼按照父子关系是以树状结构组织起来的,形成角色模型的整个骨骼框架。骨骼蒙皮主要是指蒙在骨骼模型之上的网格模型。网格模型即角色的多边形模型,该多边形模型一般由三角形面片组成,而三角形又是由顶点组成的,同时还需要确定哪些骨骼影响哪些顶点,这些信息称为骨骼动画数据,当骨骼模型中的骨骼运动时依附于骨骼的顶点会随着一起运动,这样就实现了动画中角色的运动。
基于上述实施例,三维素材的模型信息包括骨骼模型与骨骼蒙皮信息、骨骼动画数据时,可以实现图像的骨骼动画(bones animation)特效,即通过改变骨骼的位置和朝向来移动和编辑一个蒙在骨骼模型之上的网格模型而生成的动画。
另外,在上述可选示例中,上述模型信息还可以进一步包括关键帧信息,即:用于确定关键帧的信息,可以是帧序号、时刻、或者用于确定作为关键帧的参数或者属性等信息,本发明实施例对此不进行限定。
相应地,在本发明的又一些实施例中,在上述各实施例导入三维素材之前,还可以包括:设置三维几何模型的材质和纹理贴图、或者设置骨骼模型的骨骼蒙皮信息和骨骼动画数据时,还设置三维几何模型或者骨骼模型的关键帧信息及该关键帧的参数的参数值。
其中,关键帧的参数可以包括所有影响画面图像的参数,例如可以包括但不限于:三维素材的空间位置、形状、旋转角、纹理的参数,等等,关键帧的参数的参数值即这些参数的具体数值。
在本发明各实施例的一些实施方式中,特效参数例如可以包括但不限于以下任意一项或多项:
1,显示参数(Display):用于表示是否显示三维素材。其参数值包括“是(Yes)”和“否(No)”两个选项,参数值选择“是(Yes)”时表示在图像或视频播放过程中需要显示相应的三维素材,参数值选择“否(No)”时表示在图像或视频播放过程中不需要显示相应的三维素材;
2,位置类型参数(PositionType):用于表示三维素材和位置的关系类型,可以包括以下任意一项:用于表示前景(Foreground)的参数,此时表示相应上述三维素材将在图像或视频播放中作为前景显示,播放过程中三维素材将和播放终端的显示器的屏幕位置关联,其中心点在显示器的屏幕上的位置将保持不变;用于表示所述三维素材跟随预设参考部位进行定位和/或移动的参数,该预设参考部位例如可以包括但不限于以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,肢体;用于表示背景(Background)的参数,表示相应上述三维素材将在图像或视频播放过程中作为背景显示,播放过程中该三维素材将和播放终端的显示器的屏幕位置关联,其中心点在显示器的屏幕上的位置将保持不变;
3,位置跟随设置参数(Position跟随设置):用于表示三维素材是否跟随预设参考部位改变显示效果,其可以包括以下任意一项或多项:三维素材跟随预设参考部位的位置进行移动的参数(position),三维素材跟随该预设参考部位的大小进行缩放的参数(scale),三维素材跟随该预设参考部位的平面旋转进行旋转的参数(rotate)。选取参数position时,表示三维素材跟随预设参考部位的位置进行移动;选取参数scale时,表示三维素材跟随参考部位的大小进行缩放;选取参数rotate时,表示三维素材跟随该预设参考部位的平面旋转进行旋转。参数position、scale和rotate可以同时选取,也可以仅选取其中任意一个或多个;
4,触发方式参数(TriggerType):用于表示触发显示三维素材的触发事件,是指通过什么触发事件触发显示三维素材,其参数值可以包括各触发事件,用户可以从预设事件集合中选择至少一个事件作为触发事件。即:在图像或视频播放过程中,检测相应的触发事件时可触发显示相应三维素材,例如,检测到视频中出现该触发方式参数中规定的触发事件“张嘴”这一动作时开始显示帽子这一三维素材,具体该三维素材的开始显示时间、结束显示时间、显示多久等,具体可以根据其他参数的参数值确定,例如可以分别根据延迟触发参数、触发结束参数、循环参数的参数值确定;
5,循环参数(TriggerLoop):用于表示循环显示三维素材的次数。可以设置或选择循环播放次数的具体数值作为其参数值,例如,1、5等,可以约定参数值设置为0为无限循环播放;
6,播放帧数参数(DisplayFrames):用于表示三维素材播放多少帧数,即在视频播放过程中需要在多少帧图像上显示相应三维素材,具体该三维素材的开始显示时间,可以根据其他参数的参数值确定,例如可以分别根据触发方式参数、延迟触发参数的参数值确定;
7,延迟触发参数(TriggerDelay):用于表示延迟显示三维素材的时间,即:从检测到触发方式参数中的触发方式时,延迟多少时间或者在视频播放过程中延迟多少帧开始显示该三维素材,可以设置或选择延迟显示三维素材的具体时间或者帧数作为其参数值;
8,触发结束参数(TriggerStop):用于表示结束显示三维素材的触发事件,是指通过什么触发事件结束显示三维素材,其参数值包括各触发事件,用户可以从预设事件集合中选择至少一个事件作为结束三维素材显示的触发事件;
9,变形特效参数(Deformation):用于表示显示三维素材时在图像上生成变形区域的变形效果,该变形特效参数可以包括变形区域的显示位置参数和变形效果参数,变形区域的显示位置可以由其对应的预定的至少一关键点的位置确定,因此显示位置参数可以是对应的关键点的位置或编号等等,变形效果参数可以是表示向内拉伸、向外拉伸等表示变形效果的参数,变形特效参数的参数值可以包括:变形区域对应的关键点的位置或编号、变形效果参数的参数值,通过设置该变形特效参数的参数值,可用于对图像的变形特效处理,在图像上生成变形区域的变形效果(也称为:变形特效),例如,对视频图像进行AR效果的渲染处理;
10,描边特效参数(BackgroundEdge),用于表示显示三维素材时在图像上生成描边特效,该描边特效参数可以包括图像中需要进行描边的目标对象(例如脸部、衣服、手、耳朵等等)和描边效果参数(例如描边的粗度、颜色等等),描边特效参数的参数值相应可以包括:目标对象的编号或者名称、描边效果参数的参数值(例如描边的粗度值、颜色值等等),通过设置该描边特效参数的参数值,可用于对图像中的目标对象进行描边特效处理,对图像中的目标对象添加描边、实现描边特效,对视频图像中的目标对象进行AR效果的渲染处理,例如,为了凸显游戏中的某个对象,可以给游戏中的某个目的对象增加一个描边效果。
在其中一些可选示例中,上述触发事件例如可以包括但不限于以下任意一项或多项:
无动作触发(NULL),即:不需任何动作即可显示该三维素材;
眼部动作,例如,眨眼、闭眼、睁眼等;
头部动作,例如,摇头、点头、歪头、转头等;
眉部动作,例如,挑眉等;
手部动作,例如,爱心手、托手、手掌、大拇哥、抱拳恭喜、单手比心、OK手、剪刀手、手枪手、食指等。如图3所示,为本发明实施例中手部动作的一个示例性示意图;
嘴部动作,例如,张嘴、闭嘴等;
肩部动作,例如,耸肩等;
肢体动作,例如跳舞、跑步等对应的肢体动作;
骨骼动作,例如跳舞、跑步等对应的骨骼动作;
变形特效,例如,在人物脸上显示一个变形特效等,如图4所示,为本发明实施例中变形特效的一个示例性示意图;
贴纸特效,例如,在人物头顶上显示一个帽子等贴纸,如图5所示,为本发明实施例中贴纸特效的一个示例性示意图;
声音特效,例如,视频中出现某一声音等;
描边特效,例如,视频中某一目标对象出现描边等,如图6所示,为本发明实施例中描边特效的一个示例性示意图;
其他动作。
在其中一些可选示例中,位置类型参数为用于表示三维素材跟随预设参考部位进行定位和/或移动的参数时,例如包括以下任意一项:
用于表示三维素材跟随脸部位置进行定位和/或移动的参数:表示相应三维素材对应的参考部位为脸部,此时该三维素材在视频播放过程中将会跟随脸部位置进行定位和/或移动;
用于表示三维素材跟随手的位置进行定位和/或移动的参数:表示相应三维素材对应的参考部位为手,此时该三维素材在视频播放过程中将会跟随手的位置进行定位和/或移动;
用于表示三维素材跟随头部的位置进行定位和/或移动的参数:用于表示该三维素材在视频播放过程中将会跟随头部的位置进行定位和/或移动;
用于表示三维素材跟随肩部的位置进行定位和/或移动的参数:用于表示该三维素材在视频播放过程中将会跟随肩部的位置进行移动;
用于表示三维素材跟随手臂的位置进行定位和/或移动的参数:用于表示该三维素材在视频播放过程中将会跟随手臂的位置进行定位和/或移动;
用于表示三维素材跟随腰部的位置进行定位和/或移动的参数:用于表示该三维素材在视频播放过程中将会跟随腰部的位置进行定位和/或移动;
用于表示三维素材跟随腿部的位置进行定位和/或移动的参数:用于表示该三维素材在视频播放过程中将会跟随腿部的位置进行定位和/或移动;
用于表示三维素材跟随脚部的位置进行定位和/或移动的参数:用于表示该三维素材在视频播放过程中将会跟随脚部的位置进行定位和/或移动;
用于表示三维素材跟随人体骨骼的位置进行定位和/或移动的参数:用于表示该三维素材在视频播放过程中将会跟随人体骨骼的位置进行定位和/或移动。在本发明上述各实施例的一些实施方式中,建立三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系,可以包括:建立三维素材的显示属性和显示位置覆盖范围内至少两个关键点之间的对应关系。
在本发明各实施例中,可以预先设置多个关键点的位置,以便将三维素材的显示属性和显示位置覆盖范围内的关键点之间进行对应。例如,在其中一个实施方式中,可以基于人脸检测和手势检测,分别针对脸部和手势(手部)定义多个关键点,以在三维特效生成过程中,基于脸部关键点或者手势关键点进行位置关系的对应。
在本发明各实施例的一些实施方式中,预设的关键点例如可以包括但不限于以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点,等等。
在其中一个可选示例中,头部关键点例如可以包括但不限于以下至少之一:头顶关键点,鼻尖关键点,以及下巴关键点,等等。
在其中一个可选示例中,脸部关键点例如可以包括但不限于以下至少之一:脸部轮廓关键点,眼睛关键点,眉毛关键点,鼻子关键点,嘴部关键点,等等。
示例性地,眼睛关键点例如可以包括但不限于以下至少之一:左眼眶关键点,左眼瞳孔中心关键点,左眼中心关键点,右眼眶关键点,右眼瞳孔中心关键点,以及右眼中心关键点,等等。眉毛关键点例如可以包括但不限于以下至少之一:左眉毛关键点以及右眉毛关键点,等等。鼻子关键点例如可以包括但不限于以下至少之一:鼻梁关键点,鼻子下沿关键点,以及鼻子外侧轮廓关键点,等等。嘴部关键点例如可以包括但不限于以下至少之一:上嘴唇关键点,以及下嘴唇关键点,等等。
在其中一个可选示例中,肩部关键点例如可以包括但不限于以下至少之一:位于肩部与头部交汇位置处的肩头交汇关键点,以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点,等等。
在其中一个可选示例中,手臂关键点例如可以包括但不限于以下至少之一:手腕轮廓关键点,胳膊肘轮廓关键点,臂根轮廓关键点,位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的小臂轮廓中点关键点,以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的大臂中点关键点,等等。
在其中一个可选示例中,手势关键点例如可以包括但不限于以下至少之一:手势框(即:手势检测框)的四个顶点关键点,以及手势框的中心关键点,等等。
在其中一个可选示例中,腿部关键点例如可以包括但不限于以下至少之一:裆部关键点,膝盖轮廓关键点,脚踝轮廓关键点,大腿根部外侧轮廓关键点,位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点,位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点,以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点,等等。
在其中一个可选示例中,腰部关键点例如可以包括但不限于以下至少之一:将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分,所产生的N个等分点;其中,N大于1。
在其中一个可选示例中,脚部关键点例如可以包括但不限于以下至少之一:脚尖关键点以及足跟关键点,等等。
在其中一个可选示例中,人体骨骼关键点例如可以包括但不限于以下至少之一:右肩骨骼关键点,右肘骨骼关键点,右腕骨骼关键点,左肩骨骼关键点,左肘骨骼关键点,左腕骨骼关键点,右髋骨骼关键点,右膝骨骼关键点,右踝骨骼关键点,左髋骨骼关键点,左膝骨骼关键点,左踝骨骼关键点,头顶骨骼关键点,以及脖子骨骼关键点,等等。
另外,在本发明的一些实施例中,还可以包括:获取针对三维素材设置的环境参数的参数值。相应地,在该实施例中,操作106根据上述三维素材及其特效参数的参数值和对应关系生成特效程序文件包时,具体根据上述三维素材及其特效参数的参数值和环境参数的参数值、以及对应关系生成特效程序文件包。
在其中一些实施方式中,环境参数例如可以包括但不限于以下任意一项或多项:环境光参数,至少一个方位的灯光参数,全局反射纹理参数,环境天空材质参数,等等。
另外,在本发明的一些实施例中,还可以包括:显示节点列表、内容显示栏和/或操作栏。
其中,节点列表用于显示节点的名称,每个节点包括导入的三维素材,或者进一步包括针对该节点设置的以下任意一项或多项:预设三维参考模型,环境光,至少一个方位的灯光,全局反射纹理,环境天空材质,等等;内容显示栏用于显示导入的三维素材在设置的特效参数的参数值和环境参数的参数值下的显示效果或者还可用于显示预设三维参考模型;操作栏包括至少一个交互接口,用于导入三维素材、接收设置的特效参数的参数值和环境参数的参数值。另外,在本发明的再一些实施例中,导入三维素材之后,还可以包括:通过内容显示栏显示预设三维参考模型和三维素材。
在其中一些可选示例中,上述三维参考模型可以包括:参考人物的至少一个参考部位的三维几何模型,上述三维素材与该三维参考模型或者其中至少一个参考部位的三维模型的尺寸匹配。
其中的至少一个参考部位例如可以包括但不限于以下任意一项或多项:完整人体,头部,脸部,肩部,手臂,手部,腰部,腿部,脚部,等等。
其中,可以在针对一个粒子特效程序文件包的生成任务,在首次导入三维素材之前显示操作栏,可以在显示操作栏的同时显示内容显示栏和/或节点列表。另外,也可以在针对一个粒子特效程序文件包的生成任务首次导入三维素材后显示内容显示栏和节点列表,并通过内容显示栏显示导入的三维素材或者进一步显示预设三维参考模型;可以在显示内容显示栏的同时显示节点列表,通过节点列表显示节点的名称。
如图7所示,为本发明实施例中三维特效程序文件包的生成装置的一个显示界面示例图。参见图7,其中显示界面的左侧为节点列表,用于显示节点的名称,例如,zzm_01,light01,light02,light03,等;显示界面的中间为内容显示栏,显示有三维素材和三维参考模型;显示界面的右侧为操作栏,其包括多个交互接口,例如交互接口71用于导入三维素材或者三维素材的资源配置信息,交互接口72用于接收设置的播放参数的参数值,交互接口73用于接收环境参数(例如环境光参数,三个方位的灯光参数---灯光0、灯光1和灯光2的参数,全局反射纹理参数,环境天空材质参数)的参数值。需要说明的是,图7仅用于对三维特效程序文件包的生成装置的显示界面进行示例性说明,并不限定该显示界面的具体布局、表现形式和显示的内容。
图8为本发明三维特效程序文件包的生成方法另一实施例的流程图。如图8所示,该实施例三维特效程序文件包的生成方法包括:
200,显示节点列表、内容显示栏和/或操作栏。
202,通过操作栏的交互接口导入三维素材。
例如,可以接收通过操作栏的交互接口输入的导入指令,导入该导入指令指向的三维素材的资源配置信息;利用着色器,基于上述三维素材的资源配置信息生成上述三维素材。
204,获取导入的三维素材的特效参数的参数值和环境参数的参数值,并建立该三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系。
其中的显示属性包括:大小和/或显示位置,即:既可以包括大小和显示位置,也可以仅包括大小或者显示位置。
206,通过内容显示栏显示预设三维参考模型和三维素材。
由于上述三维素材与该三维参考模型或者其中至少一个参考部位的的尺寸匹配,根据该三维素材的大小和显示位置覆盖范围内的关键点,便可以将该三维素材的显示属性和显示位置覆盖范围内的关键点进行对应,从而实现三维素材和显示位置覆盖范围内对应部位的紧密贴合。
208,根据预先设置的特效程序文件、三维素材的特效参数的参数值和环境参数的参数值和对应关系,生成三维素材的特效程序文件。
在本发明各实施例的一个实施方式中,可以预先设置特效程序文件,其例如可以是例如基于JavaScript语言的轻量级的数据交换格式(JavaScript Object Notiation,json)文件、或者其他任意可执行程序文件。该特效程序文件中特效参数的参数值可以空缺或者被预设为默认值,接收到针对三维素材的特效参数设置的参数值时,该特效程序文件中的相应参数值被自动更新为接收到的参数值。
210,根据接收到的保存指令,由上述三维素材、和三维素材的特效程序文件,生成特效程序文件包,并在保存指令指向的位置保存特效程序文件包。
在其中一些实施方式中,该操作210可以通过如下方式实现:响应于接收到保存指令,由三维素材和三维素材的特效程序文件,生成特效程序文件包,并显示保存路径选择接口和压缩接口;接收通过保存路径选择接口发送的保存位置;以及接收基于压缩接口发送的压缩方式,并根据该压缩方式对特效程序文件包进行压缩,生成压缩文件包;将该压缩文件包存储至保存位置指向的文件夹中。
在特效程序文件包的大小较大时,不适合在手机终端中运行,本发明实施例可以对特效程序文件包进行压缩后保存,以便于导入手机终端中进行特效生成。在其中一些实施方式中,本发明实施例仅对特效程序文件包的大小进行压缩,并不更改特效程序文件包中三维素材的大小,即:在特效程序文件包中三维素材的大小保持为该三维素材被导入前的大小。
本发明实施例的特效程序文件包可以包括一个以上三维素材,特效程序文件包包括两个或以上三维素材时,可以分别针对各三维素材执行操作202-206,在针对所有需要导入的三维素材执行完操作202-206后,再执行操作208,即可生成包括多个三维素材的特效程序文件包,以便在图像上生成一个以上三维素材的特效。
在本发明上述各实施例中,导入两个或以上三维素材时,还可以包括:根据例如通过操作栏的交互接口,接收到的针对两个或以上三维素材发送的图层调整指令,调整两个或以上三维素材之间的遮挡关系,并根据调整后的遮挡关系和特效参数的参数值显示两个或以上三维素材。
本发明实施例无需通过手动书写程序文件生成渲染引擎可执行文件,基于用户的在操作栏中对三维素材的导入操作和对参数值的设置操作便可以实现特效程序包的生成,操作简单、所需时间短,提升了三维特效实现的整体效率,且避免了手动书写程序文件可能出现的错误,有效保障了三维效果的准确性。
基于本发明上述各实施例生成特效程序文件包后,便可以将该特效程序文件包导入终端中,对终端播放的图像或视频生成该三维素材的三维特效。
图9为本发明三维特效生成方法一个实施例的流程图。本发明各实施例的三维特效生成方法可以通过一个装置(本发明以下实施例称为三维特效生成装置)实现。如图9所示,该实施例的三维特效生成方法包括:
302,获取三维素材、该三维素材的特效参数的参数值、以及该三维素材的显示属性和关键点之间的对应关系。
其中的显示属性包括:大小和/或显示位置,即:既可以包括大小和显示位置,也可以仅包括大小或者显示位置。
其中,三维素材的显示属性和显示位置覆盖范围内的关键点之间的对应关系,可以是显示属性和显示位置覆盖范围内的至少一个关键点(例如两个或多个关键点)之间的一一对应关系,也可以是显示属性和显示位置覆盖范围内的至少一个关键点之间的一一绑定关系。
304,基于上述对应关系、以及该对应关系涉及的图像中的关键点和特效参数的参数值,在该图像上生成上述三维素材的特效(即:三维特效)。
本发明各实施例中的图像可以包括但不限于以下任意一项或多项:静态图像,视频中图像,即,本发明实施例可以针对获取到的静态图像或者视频中图像生成三维特效。如图10所示,为基于本发明实施例,在图像上生成图2所示实施例中三维素材的特效的一个示例性示意图。
基于本发明上述实施例提供的三维特效生成方法,获取三维素材、该三维素材的特效参数的参数值、以及该三维素材的显示属性和关键点之间的对应关系;基于上述对应关系、该对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效。本发明实施例通过预先设置的三维素材及其特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系,便可在图像上生成三维素材特效,增加了图像播放的整体氛围效果,增强了用户的娱乐性,提高了用户的沉浸感,提升了播放效果。
可选地,在本发明上述三维特效生成方法实施例的流程之前,还可以包括:导入特效程序文件包,该特效程序文件包包括:三维素材、三维素材的特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。该实施例中,操作302可以包括:从该特效程序文件包中获取三维素材、该三维素材的特效参数的参数值、以及该三维素材的显示属性和关键点之间的对应关系。
其中的特效程序文件包可以采用本发明上述任一实施例的三维特效程序文件包的生成方法生成。
另外,在本发明特效生成方法的另一实施例中,还可以包括:通过神经网络,对图像进行对应关系涉及的关键点检测,并输出关键点检测结果。在一些实施方式中,上述关键点检测结果例如可以包括但不限于以下任意一项或多项:上述对应关系涉及的关键点在图像中的位置;上述对应关系涉及的关键点的预设编号。
本发明各三维特效生成方法实施例中的关键点与上述各三维特效程序文件包的生成方法实施例中的关键点相同,例如可以包括但不限于以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点,等等。
图11为本发明三维特效生成方法另一个实施例的流程图。如图11所示,该实施例的三维特效生成方法包括:
402,导入特效程序文件包,该特效程序文件包包括:三维素材、三维素材的特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。
其中的显示属性包括:大小和/或显示位置,即:既可以包括大小和显示位置,也可以仅包括大小或者显示位置。
404,解析特效程序文件包,获得三维素材、三维素材的特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。
另外,可选地,特效程序文件包还可以包括:针对三维素材设置的环境参数的参数值。相应地,该操作404中,解析特效程序文件包,可以获得三维素材、三维素材的特效参数的参数值和环境参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。
406,通过神经网络,对图像进行对应关系涉及的关键点检测,并输出关键点检测结果。
本发明各实施例中的图像可以包括但不限于以下任意一项或多项:静态图像,视频中图像。即,本发明实施例可以针对获取到的静态图像或者视频中图像生成三维特效。
408,根据上述关键点检测结果和对应关系,获取三维素材在图像所在的三维空间中的位置和朝向。
410,根据三维素材在三维空间中的位置和朝向将三维素材加载至三维空间,并例如调用着色器,基于特效参数的参数值对三维素材进行渲染,如解析特效程序文件包还获得环境参数的参数值时,还基于该环境参数的参数值进行环境渲染,得到具有三维素材的特效(即:三维特效)的图像。
另外,在本发明三维特效生成方法的又一个实施例中,操作406输出的关键点检测结果具体为人体骨骼关键点的检测结果。另外,与上述图11所示实施例不同的是,该实施例中,三维素材还设置有骨骼蒙皮信息和骨骼动画数据。相应地,与操作408-410不同的是,该是实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,包括:根据上述人体骨骼关键点的检测结果和对应关系、以及骨骼动画数据,获取图像中的骨骼蒙皮在三维空间中的位置和朝向;根据该骨骼蒙皮在三维空间中的位置和朝向将骨骼蒙皮加载至三维空间,基于特效参数的参数值对该骨骼蒙皮进行渲染,如解析特效程序文件包还获得环境参数的参数值时,还基于环境参数的参数值进行环境渲染,得到具有骨骼蒙皮特效的图像。
基于上述实施例,实现了视频或者图像的骨骼动画效果,例如,骨骼蒙皮是猩猩皮肤时,基于本发明实施例可以将猩猩皮肤加载至人体骨骼上,随着人体骨骼运动,从而得到猩猩运动特效。
另外,可选地,在本发明上述各三维特效生成方法实施例中,三维素材还可以设置有关键帧信息及该关键帧的参数的参数值。相应地,该实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,包括:基于关键帧信息确定图像是否关键帧图像;若图像是关键帧图像,执行基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作;否则,若图像不是关键帧图像,基于关键帧的参数的参数值,由相邻关键帧图像(可以包括前一相邻关键帧图像和/或后一相邻关键帧图像)中三维素材的特效获取图像中三维素材的特效,并在图像上生成获取到的三维素材的特效。
基于上述实施例,在当前帧图像是关键帧图像时,可以直接在当前帧图像上生成三维素材的特效,在当前帧图像不是关键帧图像时,可以根据关键帧的参数的参数值,由相邻关键帧图像中三维素材的特效确定当前帧图像中三维素材的参数的参数值,从而在当前帧图像上生成获取到的三维素材的特效,由此实现了关键帧动画效果,提升了三维素材特效的实现效率。
在其中一些实施方式中,上述三维素材可以是一个,也可以是多个。
在其中一些实施方式中,在多个三维素材的显示位置有重叠时,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,可以包括:
根据多个三维素材的特效参数中的节点标识、或者多个三维素材的特效参数的参数值和对应关系的排列顺序,确定上述多个三维素材的遮挡关系;
根据多个三维素材的遮挡关系,基于该多个三维素材的对应关系、该对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成该多个三维素材的特效。
在其中一些实施方式中,上述特效参数可以包括:显示参数,该显示参数用于表示是否显示三维素材。相应地,上述实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,可以包括:响应于显示参数的参数值为显示三维素材的参数值时,执行上述基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作。
在其中一些实施方式中,上述特效参数可以包括:触发方式参数,该触发方式参数用于表示触发显示三维素材的触发事件。相应地,该实施例的三维特效生成方法还可以包括:检测图像中是否出现触发方式参数的参数值对应的触发事件。基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,可以包括:响应于检测到图像中出现触发方式参数的参数值对应的触发事件,执行上述基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作。
另外,在一些实施方式中,上述特效参数可以包括:延迟触发参数,该延迟触发参数用于表示延迟显示三维素材的时间。相应地,上述实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,可以包括:响应于满足三维素材的显示条件,根据延迟触发参数的参数值对应的延迟播放时间,执行上述基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,延迟在图像上生成三维素材的特效的操作。其中,满足三维素材的显示条件例如可以包括:上述显示参数的参数值为用于显示三维素材,和/或,出现上述触发方式参数的参数值对应的触发事件。
另外,在一些实施方式中,上述特效参数可以包括:位置类型参数:用于表示三维素材和位置的关系类型;位置跟随设置参数:用于表示三维素材是否跟随预设参考部位改变显示效果。其中的位置类型参数包括以下任意一项:用于表示前景的参数;用于表示三维素材跟随预设参考部位进行定位和/或移动的参数,其中的预设参考部位例如可以包括但不限于以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,等等;用于表示背景的参数。位置跟随设置参数例如可以包括但不限于以下任意一项或多项:三维素材跟随预设参考部位的位置进行移动,三维素材跟随参考部位的大小进行缩放,三维素材跟随参考部位的平面旋转进行旋转。该实施例的三维特效生成方法还可以包括:针对视频中生成三维素材的特效的首帧图像之后的各帧图像,分别根据位置类型参数和位置跟随设置参数的参数值,基于上述对应关系、对应关系涉及的图像中的关键点,对上一帧图像中的三维素材进行相应的位置移动、大小缩放或者旋转,得到当前图像上三维素材的特效。
另外,在一些实施方式中,上述特效参数可以包括:循环参数,该循环参数用于表示三维素材的循环播放次数。相应地,上述实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,可以包括:响应于满足三维素材的显示条件,根据循环参数的参数值对应的循环次数,分别针对视频中多帧图像上执行基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作,以在视频中图像上循环显示三维素材。其中,满足三维素材的显示条件例如可以包括:上述显示参数的参数值为用于显示三维素材,和/或,出现上述触发方式参数的参数值对应的触发事件。
另外,在一些实施方式中,上述特效参数可以包括:播放帧数参数,该播放帧数参数用于表示三维素材播放多少帧数。相应地,上述实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效,可以包括:响应于满足三维素材的播放条件,基于上述对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,根据播放帧数参数的参数值对应的播放帧数,在视频中播放帧数对应的图像上生成三维素材的特效。其中,满足三维素材的显示条件例如可以包括:上述显示参数的参数值为用于显示三维素材,和/或,出现上述触发方式参数的参数值对应的触发事件。
另外,在一些实施方式中,上述特效参数可以包括:触发结束参数,该触发结束参数用于表示结束显示三维素材的触发事件。相应地,该实施例的三维特效生成方法还可以包括:检测是否出现触发结束参数的参数值对应的触发事件;以及响应于检测到出现触发结束参数的参数值对应的触发事件,停止生成三维素材的特效。
另外,在一些实施方式中,上述特效参数可以包括:变形特效参数,该变形特效参数用于表示显示三维素材时在图像上生成变形区域的变形效果。相应地,该实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效时,还根据上述变形特效参数的参数值,在图像中生成变形区域的变形效果。
另外,在一些实施方式中,上述特效参数可以包括:描边特效参数,该描边特效参数用于表示显示三维素材时在图像上生成描边特效。相应地,该实施例中,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效时,还根据上述描边特效参数的参数值,在图像中生成描边特效。
本发明各三维特效生成方法实施例可以用于各种图像或者视频播放场景,例如用于包含人物的视频直播场景,为该直播视频生成三维素材的三维特效,根据特效程序文件包在直播视频上叠加播放相应的三维素材,以增加氛围效果,增强客户的娱乐性,提升使用的沉浸感。
本发明实施例提供的任一方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本发明实施例提供的任一方法和特效生成方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一方法。下文不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图12为本发明三维特效程序文件包的生成装置一个实施例的结构示意图。本发明各实施例三维特效程序文件包的生成装置可用于实现本发明上述各实施例三维特效程序文件包的生成方法。如图12所示,该实施例三维特效程序文件包的生成装置可以包括:显示模块,第一导入模块,第一获取模块和第一生成模块。其中:
第一导入模块,用于导入三维素材。本发明实施例中的三维素材,可以是三维的任意素材,如图2所示,为本发明实施例中一个三维素材的一个示例性示意图。
第一获取模块,用于获取三维素材的特效参数的参数值,并建立三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系。其中的显示属性包括:大小和/或显示位置,即:既可以包括大小和显示位置,也可以仅包括大小或者显示位置。其中,三维素材的显示属性和显示位置覆盖范围内的关键点之间的对应关系,可以是显示属性和显示位置覆盖范围内的至少一个关键点(例如两个或多个关键点)之间的一一对应关系,也可以是显示属性和显示位置覆盖范围内的至少一个关键点之间的一一绑定关系。将该三维素材的显示属性和显示位置覆盖范围内的关键点进行对应或者绑定后,便可实现三维素材和/或显示位置覆盖范围内部位的紧密贴合。
第一生成模块,用于根据三维素材、参数值和对应关系生成特效程序文件包。
基于本发明上述实施例提供的三维特效程序文件包的生成装置,生成的特效程序文件包可以在图像上实现三维特效;另外,本发明实施例生成特效程序文件包时,无需通过手动书写程序文件,只需要导入三维素材,便可生成渲染引擎可执行的特效程序文件,操作简单、所需时间短,提升了三维特效实现的整体效率,且避免了手动书写程序文件可能出现的错误,有效保障了特效的准确性。
在其中一些实施方式中,第一导入模块具体用于接收导入指令,导入该导入指令指向的三维素材的资源配置信息;以及生成三维素材。其中,该三维素材的资源配置信息包括三维素材的模型信息和配置信息。
在其中一些可选示例中,上述模型信息包括三维几何模型与材质、纹理贴图信息。相应地,在该实施例的生成装置中,还可以包括:第二生成模块,用于预先生成三维几何模型,并设置三维几何模型的材质和纹理贴图,得到模型信息,以及设置三维几何模型的配置信息,得到三维素材的资源配置信息并存储。
在另一些可选示例中,第一导入模块具体用于调用模型信息对应的着色器,基于三维素材的资源配置信息生成三维素材。
在另一些实施方式中,上述生成装置还可以包括:着色器,用于对三维素材的模型信息和/或配置信息中的任意一项或多项信息进行调整。
在又一些可选示例中,上述模型信息包括骨骼模型与骨骼蒙皮信息、骨骼动画数据。相应地,在该实施例的生成装置中,还可以包括:第三生成模块,用于预先生成骨骼模型,并设置骨骼模型的骨骼蒙皮信息和骨骼动画数据,得到模型信息,以及设置骨骼模型的配置信息,得到三维素材的资源配置信息并存储。
在又一些可选示例中,上述模型信息还可以包括关键帧信息。相应地,在该实施例的生成装置中,第二生成模块还可用于设置三维几何模型或者骨骼模型的关键帧信息及该关键帧的参数的参数值。第三生成模块还可用于三维几何模型或者骨骼模型的关键帧信息及该关键帧的参数的参数值。
在本发明各实施例的一些实施方式中,特效参数例如可以包括但不限于以下任意一项或多项:
显示参数:用于表示是否显示三维素材;
位置类型参数:用于表示三维素材和位置的关系类型,例如可以包括但不限于以下任意一项或多项:用于表示前景的参数;用于表示三维素材跟随预设参考部位进行定位和/或移动的参数,该预设参考部位例如可以包括但不限于以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,肢体;用于表示背景的参数;
位置跟随设置参数:用于表示三维素材是否跟随预设参考部位改变显示效果,例如可以包括但不限于以下任意一项或多项:三维素材跟随预设参考部位的位置进行移动的参数,三维素材跟随预设参考部位的大小进行缩放的参数,三维素材跟随预设参考部位的平面旋转进行旋转的参数;
触发方式参数:用于表示触发显示三维素材的触发事件;
循环参数:用于表示三维素材的循环播放次数;
播放帧数参数,用于表示三维素材播放多少帧数;
延迟触发参数:用于表示延迟显示三维素材的时间;
触发结束参数:用于表示结束显示三维素材显示的触发事件;
变形特效参数:用于表示显示三维素材时在图像上生成变形区域的变形效果;
描边特效参数,用于表示显示三维素材时在图像上生成描边特效。
在其中一些可选示例中,上述触发事件例如可以包括但不限于以下任意一项或多项:无动作触发,眼部动作,头部动作,眉部动作,手部动作,嘴部动作,肩部动作,肢体动作,骨骼动作,变形特效,贴纸特效,声音特效,描边特效。
在其中一些可选示例中,第一获取模块建立三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系时,具体用于建立所述三维素材的显示属性和所述显示位置覆盖范围内至少两个关键点之间的对应关系。
在本发明各实施例中,可以预先设置多个关键点的位置,以便将三维素材的显示属性和显示位置覆盖范围内的关键点之间进行对应。在本发明各实施例的一些实施方式中,预设的关键点例如可以包括但不限于以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点,等等。
在其中一个可选示例中,头部关键点例如可以包括但不限于以下至少之一:头顶关键点,鼻尖关键点,以及下巴关键点,等等。
在其中一个可选示例中,脸部关键点例如可以包括但不限于以下至少之一:脸部轮廓关键点,眼睛关键点,眉毛关键点,鼻子关键点,嘴部关键点,等等。
示例性地,眼睛关键点例如可以包括但不限于以下至少之一:左眼眶关键点,左眼瞳孔中心关键点,左眼中心关键点,右眼眶关键点,右眼瞳孔中心关键点,以及右眼中心关键点,等等。眉毛关键点例如可以包括但不限于以下至少之一:左眉毛关键点以及右眉毛关键点,等等。鼻子关键点例如可以包括但不限于以下至少之一:鼻梁关键点,鼻子下沿关键点,以及鼻子外侧轮廓关键点,等等。嘴部关键点例如可以包括但不限于以下至少之一:上嘴唇关键点,以及下嘴唇关键点,等等。
在其中一个可选示例中,肩部关键点例如可以包括但不限于以下至少之一:位于肩部与头部交汇位置处的肩头交汇关键点,以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点,等等。
在其中一个可选示例中,手臂关键点例如可以包括但不限于以下至少之一:手腕轮廓关键点,胳膊肘轮廓关键点,臂根轮廓关键点,位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的小臂轮廓中点关键点,以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的大臂中点关键点,等等。
在其中一个可选示例中,手势关键点例如可以包括但不限于以下至少之一:手势框(即:手势检测框)的四个顶点关键点,以及手势框的中心关键点,等等。
在其中一个可选示例中,腿部关键点例如可以包括但不限于以下至少之一:裆部关键点,膝盖轮廓关键点,脚踝轮廓关键点,大腿根部外侧轮廓关键点,位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点,位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点,以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点,等等。
在其中一个可选示例中,腰部关键点例如可以包括但不限于以下至少之一:将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分,所产生的N个等分点;其中,N大于1。
在其中一个可选示例中,脚部关键点例如可以包括但不限于以下至少之一:脚尖关键点以及足跟关键点,等等。
在其中一个可选示例中,人体骨骼关键点例如可以包括但不限于以下至少之一:右肩骨骼关键点,右肘骨骼关键点,右腕骨骼关键点,左肩骨骼关键点,左肘骨骼关键点,左腕骨骼关键点,右髋骨骼关键点,右膝骨骼关键点,右踝骨骼关键点,左髋骨骼关键点,左膝骨骼关键点,左踝骨骼关键点,头顶骨骼关键点,以及脖子骨骼关键点,等等。
另外,在本发明三维特效程序文件包的生成装置的另一实施例中,第一获取模块还可用于获取针对三维素材设置的环境参数的参数值。相应地,第一生成模块具体用于根据三维素材、特效参数的参数值、环境参数的参数值和对应关系生成特效程序文件包。
其中的环境参数例如可以包括但不限于以下任意一项或多项:环境光参数,至少一个方位的灯光参数,全局反射纹理参数,环境天空材质参数。
图13为本发明三维特效程序文件包的生成装置另一个实施例的结构示意图。如图13所示,与图12所示的实施例相比,该实施例的生成装置还可以包括:内容显示栏,用于显示预设三维参考模型和三维素材。
其中三维参考模型包括:参考人物的至少一个参考部位的三维模型,该三维素材与三维参考模型或者三维模型中至少一个参考部位的的尺寸匹配。
其中,上述至少一个参考部位包括以下任意一项或多项:完整人体,头部,脸部,肩部,手臂,手部,腰部,腿部,脚部,人体骨骼,肢体,等等。
另外,再参见图13,在本发明三维特效程序文件包的生成装置的又一个实施例中,还可以包括:调整模块,用于根据接收到的针对两个或以上三维素材发送的图层调整指令,调整两个或以上三维素材之间的遮挡关系,并根据调整后的遮挡关系和特效参数的参数值显示两个或以上三维素材。
另外,再参见图13,在本发明三维特效程序文件包的生成装置的再一个实施例中,还可以包括:节点列表,用于显示节点的名称,每个节点包括导入的三维素材,或者进一步包括针对节点设置的以下任意一项或多项:预设三维参考模型,环境光,至少一个方位的灯光,全局反射纹理,环境天空材质,等等;操作栏,包括至少一个交互接口,用于导入三维素材、接收设置的特效参数的参数值和环境参数的参数值。相应地,该实施例中,内容显示栏具体用于显示预设三维参考模型,以及显示导入的三维素材在设置的特效参数的参数值和环境参数的参数值下的显示效果。
在本发明的其中一些实施方式中,第一生成模块,具体用于根据预先设置的特效程序文件、参数值和对应关系,生成三维素材的特效程序文件;以及根据接收到的保存指令,由三维素材、和三维素材的特效程序文件,生成特效程序文件包,并在保存指令指向的位置保存特效程序文件包。
在其中一些可选示例中,第一生成模块根据接收到的保存指令,由三维素材和三维素材的特效程序文件,生成特效程序文件包,并在保存指令指向的位置保存特效程序文件包时,具体用于:响应于接收到保存指令,由三维素材和三维素材的特效程序文件,生成特效程序文件包,并显示保存路径选择接口和压缩接口;接收通过保存路径选择接口发送的保存位置;以及接收基于压缩接口发送的压缩方式,并根据压缩方式对特效程序文件包进行压缩,生成压缩文件包;将压缩文件包存储至保存位置指向的文件夹中。
在其中一些可选示例中,上述特效程序文件包中三维素材的大小可以保持为三维素材被导入前的大小。
图14为本发明三维特效生成装置一个实施例的结构示意图。本发明各实施例的三维特效生成装置可用于实现本发明上述各实施例的特效生成方法。如图14所示,该实施例的生成装置可以包括:第二获取模块和第四生成模块。其中:
第二获取模块,用于获取三维素材、三维素材的特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。其中的显示属性包括:大小和/或显示位置,即:既可以包括大小和显示位置,也可以仅包括大小或者显示位置。
第四生成模块,用于基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效。
本发明各实施例中的图像可以包括但不限于以下任意一项或多项:静态图像,视频中图像,即,本发明实施例可以针对获取到的静态图像或者视频中图像生成三维特效。
基于本发明上述实施例提供的三维特效生成装置,通过预先设置的三维素材及其特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系,便可在图像上生成三维素材特效,增加了图像播放的整体氛围效果,增强了用户的娱乐性,提高了用户的沉浸感,提升了播放效果。
图15为本发明三维特效生成装置另一个实施例的结构示意图。如图15所示,与图14所示的实施例相比,该实施例的三维特效生成装置中,还可以包括:神经网络,用于对图像进行对应关系涉及的关键点检测,并输出关键点检测结果。其中的关键点检测结果例如可以包括但不限于以下任意一项或多项:对应关系涉及的关键点在图像中的位置;对应关系涉及的关键点的预设编号。
在其中一些实施方式中,上述关键点例如可以包括但不限于以下任意一种或多种:头部关键点,脸部关键点,肩部关键点,手臂关键点,手势关键点,腰部关键点,腿部关键点,脚部关键点,人体骨骼关键点,肢体关键点,等等。
另外,再参见图15,在本发明又一个实施例的三维特效生成装置中,还可以包括:第二导入模块,用于导入特效程序文件包;特效程序文件包包括:三维素材、三维素材的特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。相应地,该实施例中,第二获取模块具体用于从特效程序文件包中获取三维素材、特效参数的参数值、以及对应关系。其中的特效程序文件包可以是采用本发明上述任一实施例三维特效程序文件包的生成方法或者装置生成的特效程序文件包。
在其中一些实施方式中,第二获取模块,具体用于解析特效程序文件包,获得三维素材、三维素材的特效参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。
在另外一些实施方式中,上述特效程序文件包还可以包括:针对三维素材设置的环境参数的参数值。相应地,该实施例中,第二获取模块具体用于解析特效程序文件包,获得三维素材、三维素材的特效参数的参数值和环境参数的参数值、以及三维素材的显示属性和关键点之间的对应关系。
在另外一些实施方式中,第四生成模块具体用于根据关键点检测结果和对应关系,获取三维素材在图像所在的三维空间中的位置和朝向;根据三维素材在三维空间中的位置和朝向将三维素材加载至三维空间,并基于特效参数的参数值对三维素材进行渲染,基于环境参数的参数值进行环境渲染,得到具有三维素材的特效的图像。
在另外一些实施方式中,关键点检测结果为人体骨骼关键点的检测结果;上述三维素材设置有骨骼蒙皮信息和骨骼动画数据。相应地,该实施例中,第四生成模块具体用于:根据人体骨骼关键点的检测结果和对应关系、以及骨骼动画数据,获取图像中的骨骼蒙皮在三维空间中的位置和朝向;根据骨骼蒙皮在三维空间中的位置和朝向将骨骼蒙皮加载至三维空间,基于特效参数的参数值对骨骼蒙皮进行渲染,基于环境参数的参数值进行环境渲染,得到具有骨骼蒙皮特效的图像。
在另外一些实施方式中,上述三维素材还设置有关键帧信息及该关键帧的参数的参数值。相应地,该实施例中,第四生成模块,具体用于:基于关键帧信息确定图像是否关键帧图像;若图像是关键帧图像,执行基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作;否则,若图像不是关键帧图像,基于关键帧的参数的参数值,由相邻关键帧图像中三维素材的特效获取图像中三维素材的特效,并在图像上生成获取到的三维素材的特效。
在上述各实施例中,三维素材可以为一个,也可以为多个。
在其中一些实施方式中,多个三维素材的显示位置有重叠时,第四生成模块,具体用于:根据多个三维素材的特效参数中的节点标识、或者多个三维素材的参数值和对应关系的排列顺序,确定多个三维素材的遮挡关系;根据多个三维素材的遮挡关系,基于多个三维素材的对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成多个三维素材的特效。
在其中一些实施方式中,上述特效参数包括:显示参数,该显示参数用于表示是否显示三维素材。相应地,该实施例中,第四生成模块具体用于:响应于显示参数的参数值为显示三维素材的参数值时,执行基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作。
在其中一些实施方式中,上述特效参数包括:触发方式参数,该触发方式参数用于表示触发显示三维素材的触发事件。再参见图15,在本发明再一个实施例的三维特效生成装置中,还可以包括:第一检测模块,用于检测图像中是否出现触发方式参数的参数值对应的触发事件。相应地,该实施例中,第四生成模块具体用于:响应于检测到图像中出现触发方式参数的参数值对应的触发事件,执行基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作。
在其中一些实施方式中,上述特效参数包括:延迟触发参数,该延迟触发参数用于表示延迟显示三维素材的时间。相应地,该实施例中,第四生成模块具体用于:响应于满足三维素材的显示条件,根据延迟触发参数的参数值对应的延迟播放时间,执行基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,延迟在图像上生成三维素材的特效的操作。其中,满足三维素材的显示条件包括:显示参数的参数值为用于显示三维素材,和/或,出现触发方式参数的参数值对应的触发事件。
在其中一些实施方式中,上述特效参数包括:位置类型参数:用于表示三维素材和位置的关系类型;位置跟随设置参数:用于表示三维素材是否跟随预设参考部位改变显示效果。其中的位置类型参数包括以下任意一项:用于表示前景的参数;用于表示背景的参数;用于表示三维素材跟随预设参考部位进行定位和/或移动的参数,其中预设参考部位例如可以包括但不限于以下任意一项:脸部,手,头部,肩部,手臂,腰部,腿部,脚部,人体骨骼,肢体;位置跟随设置参数包括以下任意一项或多项:三维素材跟随预设参考部位的位置进行移动,三维素材跟随参考部位的大小进行缩放,三维素材跟随参考部位的平面旋转进行旋转。相应地,在本实施例中,第四生成模块,具体用于针对视频中生成三维素材的特效的首帧图像之后的各帧图像,分别根据位置类型参数和位置跟随设置参数的参数值,基于对应关系、对应关系涉及的图像中的关键点,对上一帧图像中的三维素材进行相应的位置移动、大小缩放或者旋转,得到当前图像上三维素材的特效。
在其中一些实施方式中,上述特效参数包括:循环参数,该循环参数用于表示三维素材的循环播放次数。相应地,该实施例中,第四生成模块具体用于:响应于满足三维素材的显示条件,根据循环参数的参数值对应的循环次数,分别针对视频中多帧图像上执行基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效的操作,以在视频中图像上循环显示三维素材;满足三维素材的显示条件包括:显示参数的参数值为用于显示三维素材,和/或,出现触发方式参数的参数值对应的触发事件。
在其中一些实施方式中,上述特效参数包括:播放帧数参数,该播放帧数参数用于表示三维素材播放多少帧数。相应地,该实施例中,第四生成模块,具体用于:响应于满足三维素材的播放条件,基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,根据播放帧数参数的参数值对应的播放帧数,在视频中播放帧数对应的图像上生成三维素材的特效。其中,满足三维素材的显示条件包括:显示参数的参数值为用于显示三维素材,和/或,出现触发方式参数的参数值对应的触发事件。
在其中一些实施方式中,上述特效参数包括:触发结束参数,该触发结束参数用于表示结束显示三维素材的触发事件。再参见图15,在本发明再一个实施例的三维特效生成装置中,还可以包括:第二检测模块,用于检测是否出现触发结束参数的参数值对应的触发事件。相应地,该实施例中,第四生成模块,还可用于响应于检测到出现触发结束参数的参数值对应的触发事件,停止生成三维素材的特效。
在其中一些实施方式中,上述特效参数包括:变形特效参数,变形特效参数用于表示显示三维素材时在图像上生成变形区域的变形效果。再参见图15,在本发明再一个实施例的三维特效生成装置中,还可以包括:第五生成模块,用于在第四生成模块基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效时,根据变形特效参数的参数值,在图像中生成变形区域的变形效果。
在其中一些实施方式中,上述特效参数包括:描边特效参数,该描边特效参数用于表示显示三维素材时在图像上生成描边特效。再参见图15,在本发明再一个实施例的三维特效生成装置中,还可以包括:第六生成模块,用于在第四生成模块基于对应关系、对应关系涉及的图像中的关键点和特效参数的参数值,在图像上生成三维素材的特效时,根据描边特效参数的参数值,在图像中生成描边特效。
另外,本发明实施例提供的另一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行存储器中存储的计算机程序,且计算机程序被执行时,实现本发明上述任一实施例的三维特效程序文件包的生成方法、或者三维特效生成方法。
图16为本发明电子设备一个应用实施例的结构示意图。下面参考图16,其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图16所示,该电子设备包括一个或多个处理器、通信部等,所述一个或多个处理器例如:一个或多个中央处理单元(CPU),和/或一个或多个图像处理器(GPU)等,处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡,所述网卡可包括但不限于IB(Infiniband)网卡,处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令,通过总线与通信部相连、并经通信部与其他目标设备通信,从而完成本申请实施例提供的任一方法对应的操作,例如,导入三维素材;获取所述三维素材的特效参数的参数值,并建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包。又例如,获取三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效。
此外,在RAM中,还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下,ROM为可选模块。RAM存储可执行指令,或在运行时向ROM中写入可执行指令,可执行指令使处理器执行本发明上述任一方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置,也可以设置为具有多个子模块(例如多个IB网卡),并在总线链接上。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的,如图16所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图16的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如GPU和CPU可分离设置或者可将GPU集成在CPU上,通信部可分离设置,也可集成设置在CPU或GPU上,等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码,程序代码可包括对应执行本申请实施例提供的三维特效程序文件包的生成方法或者三维特效生成方法步骤对应的指令。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被CPU执行时,执行本申请的方法中限定的上述功能。
另外,本发明实施例还提供了一种计算机程序,包括计算机指令,当计算机指令在设备的处理器中运行时,实现本发明上述任一实施例的三维特效程序文件包的生成方法、或者三维特效生成方法。
另外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现本发明上述任一实施例的三维特效程序文件包的生成方法、或者三维特效生成方法。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种三维特效程序文件包的生成方法,其特征在于,包括:
导入三维素材;
获取所述三维素材的特效参数的参数值,并建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包。
2.根据权利要求1所述的方法,其特征在于,所述导入三维素材,包括:
接收导入指令,导入所述导入指令指向的三维素材的资源配置信息;
生成所述三维素材。
3.根据权利要求2所述的方法,其特征在于,所述三维素材的资源配置信息包括所述三维素材的模型信息和配置信息。
4.根据权利要求3所述的方法,其特征在于,所述模型信息包括三维几何模型与材质、纹理贴图信息;
所述方法还包括:
预先生成三维几何模型,并设置所述三维几何模型的材质和纹理贴图,得到所述模型信息,以及设置所述三维几何模型的配置信息,得到所述三维素材的资源配置信息并存储。
5.一种三维特效生成方法,其特征在于,包括:
获取三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效。
6.一种三维特效程序文件包的生成装置,其特征在于,包括:
第一导入模块,用于导入三维素材;
第一获取模块,用于获取所述三维素材的特效参数的参数值,并建立所述三维素材的显示属性和显示位置覆盖范围内的预设的至少一关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
第一生成模块,用于根据所述三维素材、所述参数值和所述对应关系生成特效程序文件包。
7.一种三维特效生成装置,其特征在于,包括:
第二获取模块,用于获取三维素材、所述三维素材的特效参数的参数值、以及所述三维素材的显示属性和关键点之间的对应关系;所述显示属性包括:大小和/或显示位置;
第四生成模块,用于基于所述对应关系、所述对应关系涉及的图像中的关键点和所述特效参数的参数值,在所述图像上生成所述三维素材的特效。
8.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述权利要求1-5任一所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述权利要求1-5任一所述的方法。
10.一种计算机程序,包括计算机指令,其特征在于,当所述计算机指令在设备的处理器中运行时,实现上述权利要求1-5任一所述的方法。
CN201810690808.5A 2018-06-28 2018-06-28 三维特效程序文件包的生成及三维特效生成方法与装置 Active CN109035373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810690808.5A CN109035373B (zh) 2018-06-28 2018-06-28 三维特效程序文件包的生成及三维特效生成方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810690808.5A CN109035373B (zh) 2018-06-28 2018-06-28 三维特效程序文件包的生成及三维特效生成方法与装置

Publications (2)

Publication Number Publication Date
CN109035373A true CN109035373A (zh) 2018-12-18
CN109035373B CN109035373B (zh) 2022-02-01

Family

ID=65521881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810690808.5A Active CN109035373B (zh) 2018-06-28 2018-06-28 三维特效程序文件包的生成及三维特效生成方法与装置

Country Status (1)

Country Link
CN (1) CN109035373B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551542A (zh) * 2018-05-25 2018-09-18 许舟 一种夜用监控摄像机
CN110058685A (zh) * 2019-03-20 2019-07-26 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110428390A (zh) * 2019-07-18 2019-11-08 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
CN110475150A (zh) * 2019-09-11 2019-11-19 广州华多网络科技有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN110619615A (zh) * 2018-12-29 2019-12-27 北京时光荏苒科技有限公司 用于处理图像方法和装置
CN111447504A (zh) * 2020-03-27 2020-07-24 北京字节跳动网络技术有限公司 三维视频的处理方法、装置、可读存储介质和电子设备
CN112637518A (zh) * 2020-12-21 2021-04-09 北京字跳网络技术有限公司 模拟拍照特效的生成方法、装置、设备及介质
CN113610949A (zh) * 2021-08-25 2021-11-05 腾讯科技(深圳)有限公司 虚拟手臂骨骼的蒙皮方法、装置、设备以及存储介质
CN113938750A (zh) * 2020-06-29 2022-01-14 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备和存储介质
CN114710704A (zh) * 2022-05-05 2022-07-05 艾迪普科技股份有限公司 一种使用时间线实时编辑三维图形与图像的方法
WO2023061315A1 (zh) * 2021-10-12 2023-04-20 华为技术有限公司 一种声音处理方法及相关装置
WO2023140790A3 (zh) * 2022-01-24 2023-09-14 脸萌有限公司 图像处理方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090091458A (ko) * 2008-02-25 2009-08-28 (주)한국특허기술실용화센터 가상현실 형 사회복지 프로그램
CN102693553A (zh) * 2011-08-26 2012-09-26 新奥特(北京)视频技术有限公司 一种实现三维效果的图表创建方法及装置
US20130201188A1 (en) * 2012-02-06 2013-08-08 Electronics And Telecommunications Research Institute Apparatus and method for generating pre-visualization image
CN103314358A (zh) * 2011-01-05 2013-09-18 正谓有限公司 用于针对嵌入式装置来生成三维用户接口的方法与系统
CN104469179A (zh) * 2014-12-22 2015-03-25 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
US9536344B1 (en) * 2007-11-30 2017-01-03 Roblox Corporation Automatic decoration of a three-dimensional model
CN107343211A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536344B1 (en) * 2007-11-30 2017-01-03 Roblox Corporation Automatic decoration of a three-dimensional model
KR20090091458A (ko) * 2008-02-25 2009-08-28 (주)한국특허기술실용화센터 가상현실 형 사회복지 프로그램
CN103314358A (zh) * 2011-01-05 2013-09-18 正谓有限公司 用于针对嵌入式装置来生成三维用户接口的方法与系统
CN102693553A (zh) * 2011-08-26 2012-09-26 新奥特(北京)视频技术有限公司 一种实现三维效果的图表创建方法及装置
US20130201188A1 (en) * 2012-02-06 2013-08-08 Electronics And Telecommunications Research Institute Apparatus and method for generating pre-visualization image
CN104469179A (zh) * 2014-12-22 2015-03-25 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN105975935A (zh) * 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
CN107343211A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩萌萌: "面部视频贴图特效生成工具的设计与实现", 《万方数据库.学位论文库》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551542A (zh) * 2018-05-25 2018-09-18 许舟 一种夜用监控摄像机
CN110619615A (zh) * 2018-12-29 2019-12-27 北京时光荏苒科技有限公司 用于处理图像方法和装置
CN110058685A (zh) * 2019-03-20 2019-07-26 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110428390B (zh) * 2019-07-18 2022-08-26 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
CN110428390A (zh) * 2019-07-18 2019-11-08 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
US11521368B2 (en) * 2019-07-18 2022-12-06 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for presenting material, and storage medium
CN110475150A (zh) * 2019-09-11 2019-11-19 广州华多网络科技有限公司 虚拟礼物特效的渲染方法和装置、直播系统
CN111447504A (zh) * 2020-03-27 2020-07-24 北京字节跳动网络技术有限公司 三维视频的处理方法、装置、可读存储介质和电子设备
US11785195B2 (en) 2020-03-27 2023-10-10 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for processing three-dimensional video, readable storage medium and electronic device
CN111447504B (zh) * 2020-03-27 2022-05-03 北京字节跳动网络技术有限公司 三维视频的处理方法、装置、可读存储介质和电子设备
CN113938750A (zh) * 2020-06-29 2022-01-14 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备和存储介质
WO2022135001A1 (zh) * 2020-12-21 2022-06-30 北京字跳网络技术有限公司 模拟拍照特效的生成方法、装置、设备及介质
CN112637518B (zh) * 2020-12-21 2023-03-24 北京字跳网络技术有限公司 模拟拍照特效的生成方法、装置、设备及介质
CN112637518A (zh) * 2020-12-21 2021-04-09 北京字跳网络技术有限公司 模拟拍照特效的生成方法、装置、设备及介质
CN113610949A (zh) * 2021-08-25 2021-11-05 腾讯科技(深圳)有限公司 虚拟手臂骨骼的蒙皮方法、装置、设备以及存储介质
CN113610949B (zh) * 2021-08-25 2023-06-16 腾讯科技(深圳)有限公司 虚拟手臂骨骼的蒙皮方法、装置、设备以及存储介质
WO2023061315A1 (zh) * 2021-10-12 2023-04-20 华为技术有限公司 一种声音处理方法及相关装置
WO2023140790A3 (zh) * 2022-01-24 2023-09-14 脸萌有限公司 图像处理方法、装置、电子设备和存储介质
CN114710704A (zh) * 2022-05-05 2022-07-05 艾迪普科技股份有限公司 一种使用时间线实时编辑三维图形与图像的方法
CN114710704B (zh) * 2022-05-05 2023-12-12 艾迪普科技股份有限公司 一种使用时间线实时编辑三维图形与图像的方法

Also Published As

Publication number Publication date
CN109035373B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN109035373A (zh) 三维特效程序文件包的生成及三维特效生成方法与装置
CN108711180B (zh) 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置
CN108259496B (zh) 特效程序文件包的生成及特效生成方法与装置、电子设备
JP7167165B2 (ja) 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器
Magnenat-Thalmann et al. Handbook of virtual humans
CN108280883B (zh) 变形特效程序文件包的生成及变形特效生成方法与装置
US6559845B1 (en) Three dimensional animation system and method
US9224248B2 (en) Method of virtual makeup achieved by facial tracking
Gillies et al. Comparing and evaluating real time character engines for virtual environments
CN204576413U (zh) 一种基于自然用户界面的互联网智能镜
US8498849B1 (en) Wrinkle simulation on fabric based on three arm joint angles
CN108399654A (zh) 描边特效程序文件包的生成及描边特效生成方法与装置
CN108986227B (zh) 粒子特效程序文件包的生成及粒子特效生成方法与装置
WO2005024728A1 (ja) 形態変形装置、物体動作符号化装置および物体動作復号化装置
CN109087379A (zh) 人脸表情的迁移方法和人脸表情的迁移装置
CN106683193A (zh) 一种三维模型的设计方法和设计装置
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
CN108076391A (zh) 用于直播场景的图像处理方法、装置和电子设备
Roth et al. Avatar Embodiment, Behavior Replication, and Kinematics in Virtual Reality.
CN108198234B (zh) 可实时互动的虚拟角色生成系统及方法
WO2024077518A1 (zh) 基于增强现实的界面显示方法、装置、设备、介质和产品
Chiu et al. Continuous circular scribble arts.
CN117482501A (zh) 生成场景资源模型的方法、装置、存储介质和电子装置
Magnenat-Thalmann Living in both the real and virtual worlds
Magnenat Thalmann et al. A System for the Animation of Virtual Humans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant