CN105118082A - 个性化视频生成方法及系统 - Google Patents
个性化视频生成方法及系统 Download PDFInfo
- Publication number
- CN105118082A CN105118082A CN201510467723.7A CN201510467723A CN105118082A CN 105118082 A CN105118082 A CN 105118082A CN 201510467723 A CN201510467723 A CN 201510467723A CN 105118082 A CN105118082 A CN 105118082A
- Authority
- CN
- China
- Prior art keywords
- model
- face
- image
- target
- personage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明公开一种个性化视频生成方法及系统，该方法包括：获取包含人脸的用户图像；提取所述用户图像中的人脸图像；获取目标视频；将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变化动态调整替换后的人脸图像，得到个性化视频。利用本发明，可以提高个性化视频与用户的互动性和娱乐性，提升用户体验度。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种个性化视频生成方法及系统。
背景技术
随着现代生活水平的不断提高，人们对于娱乐的需求也越来越多样化。目前随着视频内容的多样性，视频压缩技术的成熟，存储技术的提高，出现了将用户人脸图像替换为视频中主要人物的人脸图像的产品，从而可以让用户参与到视频内容中。所述产品受到了越来越多用户的关注与喜爱。现有的将用户人脸图像替换视频中主要人物的人脸图像的方法，主要是通过简单的抠图技术：即将用户人脸从用户图像中抠出后，直接贴到视频中相应主要人物的人脸出现的位置，对替换后的人脸图像进行简单的拉伸或放缩以适应视频中的位置，得到替换人脸图像后的视频。通过现有方法得到的替换后的视频中，每帧图像中的人脸图像不会因为视频场景的变化而变化，甚至在有些视频场景中替换后的图像感觉比较奇怪，不能给用户一种代入感，长时间观看所述视频会给人一种简单枯燥的感觉。因此，如何将用户人脸图像与视频中主要人物的人脸图像相应替换起来，带给用户一种代入感，提高视频与用户的互动性和娱乐性的方法具有重要意义。
发明内容
本发明实施例提供一种个性化视频生成方法及系统，以提高个性化视频与用户的互动性和娱乐性，提升用户体验度。
为此，本发明提供如下技术方案：
一种个性化视频生成方法，包括：
获取包含人脸的用户图像；
提取所述用户图像中的人脸图像；
获取目标视频；
将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变化动态调整替换后的人脸图像，得到个性化视频。
优选地，所述将所述人脸图像替换掉所述目标视频中待匹配人物的人脸包括：
提取所述目标视频中待匹配人物的人脸基础图像；
根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型；
图像替换过程，所述图像替换过程包括：对于待匹配人物出现的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模型，得到替换后的图像。
优选地，所述根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型包括：
根据所述待匹配人物的人脸基础图像及预先构建的人脸通用模型构建匹配替换模型；
根据所述人脸图像及所述人脸通用模型构建用户图像中人脸的三维人脸模型；
分别对所述匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划分；
以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
优选地，所述根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型还包括：
对所述目标三维人脸模型各区域的形状和/或纹理进行平滑处理。
优选地，所述对所述目标三维人脸模型各区域的形状进行平滑处理包括：
对所述目标三维人脸模型进行仿射变换，得到仿射变换结果；
根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。
优选地，所述对目标三维人脸模型各区域的纹理进行平滑处理包括：
分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区域；
计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待平滑区域中心点的距离；
根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值；
计算所述目标三维人脸模型中待平滑区域的纹理均值；
根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待平滑区域的纹理均值，计算纹理均值差；
将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。
优选地，所述根据视频场景的变化动态调整替换后的人脸图像包括：
对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比；
如果发生变化，则调整替换后的图像中的目标三维人脸模型。
优选地，所述如果发生变化，则调整替换后的图像中的目标三维人脸模型包括以下任意一种或多种：
如果待匹配人物的姿态发生变化，则根据当前帧图像中待匹配人物的旋转角度，将替换后的图像中的目标三维人脸模型旋转相同角度；
如果待匹配人物的光照发生变化，则构建待匹配人物所在当前帧的人脸纹理蒙版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上；
如果待匹配人物的表情发生变化，则按以下方式调整替换后的图像中的目标三维人脸模型：
根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域及表情；
根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型，所述表情库中包含不同用户不同表情的三维人脸局部模型；
将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模型。
优选地，所述根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型包括：
从所述表情库中选出与所述需要变化的区域及表情对应的所有候选模型；
将所有候选模型进行融合，得到所述重构模型；或者
计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型作为所述重构模型。
优选地，所述目标视频为以下任意一种：
用户上传的视频；
应用系统从视频库中随机选择的视频；
应用系统向用户推荐的视频。
优选地，所述方法还包括：提取所述用户图像的图像特征信息；
所述获取目标视频包括：根据所述图像特征信息从视频库中获取目标视频。
优选地，所述提取所述用户图像的图像特征信息包括：
获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、肤质、是否带眼镜和颜值信息；
计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；
获取所述待推荐图像的拍摄时间。
优选地，所述根据所述图像特征信息从视频库中获取目标视频包括：
提取所述视频库的各视频中主要人物的人脸特征信息；
计算所述图像特征信息与所述人脸特征信息之间的距离；
选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配人物。
一种个性化视频生成系统，包括：
用户图像获取模块，用于获取包含人脸的用户图像；
人脸图像提取模块，用于提取所述用户图像中的人脸图像；
目标视频获取模块，用于获取目标视频；
个性化视频生成模块，用于生成个性化视频，所述个性化视频生成模块包括：图像替换模块和图像调整模块：所述图像替换模块用于将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，所述图像调整模块用于根据视频场景的变化动态调整替换后的人脸图像。
优选地，所述图像替换模块包括：
基础图像提取单元，用于提取所述目标视频中待匹配人物的人脸基础图像；
目标三维人脸模型确定单元，用于根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型；
图像替换单元，用于执行图像替换过程，所述图像替换过程包括：对于待匹配人物出现的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模型，得到替换后的图像。
优选地，所述目标三维人脸模型确定单元包括：
匹配模型构建子单元，用于根据所述待匹配人物的人脸基础图像及预先构建的人脸通用模型构建匹配替换模型；
三维模型构建子单元，用于根据所述人脸图像及所述人脸通用模型构建用户图像中人脸的三维人脸模型；
区域划分子单元，用于分别对所述匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划分；
目标模型生成子单元，用于以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
优选地，所述目标三维人脸模型确定单元还包括：
平滑处理子单元，用于对所述模型生成子单元得到的目标三维人脸模型进行平滑处理；所述平滑处理子单元包括形状处理子单元和/或纹理处理子单元；所述形状处理子单元用于对所述目标三维人脸模型各区域的形状进行平滑处理；所述纹理处理子单元用于对所述目标三维人脸模型各区域的纹理进行平滑处理。
优选地，所述形状处理子单元包括：
仿射变换子单元，用于对所述目标三维人脸模型进行仿射变换，得到仿射变换结果；
插值计算子单元，用于根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。
优选地，所述纹理处理子单元包括：
平滑区域划分子单元，用于分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区域；
距离计算子单元，用于计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待平滑区域中心点的距离；
第一计算子单元，用于根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值；
第二计算子单元，用于计算所述目标三维人脸模型中待平滑区域的纹理均值；
均值差计算子单元，用于根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待平滑区域的纹理均值，计算纹理均值差；
叠加子单元，用于将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。
优选地，所述图像调整模块包括：
图像对比单元，用于对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比；
目标模型调整单元，用于在当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像发生变化的情况下，调整替换后的图像中的目标三维人脸模型。
优选地，所述目标模型调整单元包括以下任意一个或多个子单元：
姿态调整子单元，用于在待匹配人物的姿态发生变化时，根据当前帧图像中待匹配人物的旋转角度，将替换后的图像中的目标三维人脸模型旋转相同角度；
光照调整子单元，用于在待匹配人物的光照发生变化时，构建待匹配人物所在当前帧的人脸纹理蒙版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上；
表情调整子单元，用于在待匹配人物的表情发生变化时，调整替换后的图像中的目标三维人脸模型，所述表情调整子单元包括：
区域及表情确定子单元，用于根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域及表情；
重构模型确定子单元，用于根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型，所述表情库中包含不同用户不同表情的三维人脸局部模型；
区域替换子单元，用于将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模型。
优选地，所述重构模型确定子单元，具体用于从所述表情库中选出与所述需要变化的区域及表情对应的所有候选模型；将所有候选模型进行融合，得到所述重构模型；或者计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型作为所述重构模型。
优选地，所述目标视频为以下任意一种：
用户上传的视频；
应用系统从视频库中随机选择的视频；
应用系统向用户推荐的视频。
优选地，所述系统还包括：特征提取模块，用于提取所述用户图像的图像特征信息；
所述目标视频获取模块，具体用于根据所述特征提取模块提取的图像特征信息从视频库中获取目标视频。
优选地，所述特征提取模块包括：
用户属性获取单元，用于获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、肤质、是否带眼镜和颜值信息；
相似度计算单元，用于计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；
拍摄时间获取单元，用于获取所述待推荐图像的拍摄时间。
优选地，所述目标视频获取模块包括：
主要人物特征提取单元，用于提取所述视频库的各视频中主要人物的人脸特征信息；
特征距离计算单元，用于计算所述图像特征信息与所述人脸特征信息之间的距离；
目标视频选择单元，用于选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配人物。
本发明实施例提供的个性化视频生成方法及系统，在进行人脸替换时，根据视频场景的变化动态调整替换后的人脸图像，比如，调整替换后人脸的姿态、光照及表情的变化等情况，从而使替换后的人脸可以随着视频场景的变化而变化，使生成的个性化视频给用户一种即时感和代入感，大大提高了个性化视频与用户的互动性和娱乐性，提升了用户体验度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明实施例个性化视频生成方法的一种流程图；
图2是本发明实施例中人脸图像替换待匹配人物人脸的流程图；
图3是本发明实施例中纹理平滑示意图；
图4是本发明实施例个性化视频生成方法的另一种流程图；
图5是本发明实施例个性化视频生成系统的一种结构示意图；
图6是本发明实施例中图像替换模块的一种结构示意图；
图7是本发明实施例中图像调整模块的一种结构示意图；
图8是本发明实施例个性化视频生成系统的另一种结构示意图；
图9是本发明实施例中目标视频获取模块的一种结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
本发明实施例提供的个性化视频生成方法及系统，获取包含人脸的图像，提取所述用户图像中的人脸图像，获取目标视频，将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变化动态调整替换后的人脸图像，得到个性化视频。
如图1所示，是本发明实施例的个性化视频生成方法的流程图，包括以下步骤：
步骤101，获取包含人脸的用户图像。
所述用户图像可以是用户使用移动终端设备拍摄的包含人脸的图像。所述移动终端设备可以是相机、手机、平板电脑或者是笔记本等。所述包含人脸的图像可以是用户的自拍照、朋友的合照或者是家庭成员的全家福等图像。
步骤102，提取所述用户图像中的人脸图像。
所述提取所述用户图像中的人脸图像包括：人脸检测和人脸的局部特征点定位。
所述人脸检测的目的是为了确定用户图像中人脸所在的位置。具体地，可以提取预先收集的大量包含人脸的图像中的SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)特征；根据提取结果训练人脸与非人脸的分类模型；根据所述分类模型对用户图像进行人脸检测。
在确定了用户图像中人脸所在的位置后，对该位置区域进行人脸特征点检测，以确定人脸的局部特征点(如眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置。具体定位时，可以通过人脸的纹理特征和各特征点之间的位置约束，例如可以采用ASM(ActiveShapeModel，点分布模型)或AAM(ActiveAppreanceModel，主动表观模型)算法进行人脸特征点定位。定位后，可以得到图像中每个人脸的局部特征点位置。
需要说明的是，如果用户图像中包含多个人脸，可以选择其中任意一个人脸图像进行提取。
进一步地，如果用户图像中有大面积缺失的人脸，可以直接去除该人脸。
步骤103，获取目标视频。
所述目标视频可以由用户提供，也可以由应用系统提供，比如：
(1)用户自己上传的视频；
(2)系统从视频库中随机选择的视频；
(3)应用系统向用户推荐的特定视频；
(4)用户从应用系统推荐的一组视频中选择的一个视频。
需要说明的是，应用系统向用户推荐视频时，可以根据用户的注册信息进行推荐，也可以根据其它用户信息进行推荐，比如，提取用户图像的图像特征信息，然后根据提取的图像特征信息从视频库中获取相应的目标视频，对此将在后面详细说明。
另外，所述视频可以为电影片段、电视片段、MV与综艺节目等。
步骤104，将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变化动态地调整替换后的人脸图像，得到个性化视频。
所述待匹配人物同样可以由用户选定或由应用系统确定，比如，应用系统向用户提供目标视频，并向用户展示该目标视频中的人物列表，用户选择其中的人物作为待匹配人物；或者，应用系统向用户提供目标视频，并向用户展示该目标视频中的人物图像，用户点击该人物图像中的人物作为待匹配人物，应用系统根据用户的选择或点击操作确定待匹配人物。当然，还可以有其它确定方式，对此本发明实施例不做限定。
在进行步骤104时，可以在进行人脸替换的同时根据视频场景的变化动态调整替换后的人脸图像；也可以在将每一帧图像都进行人脸替换后再对每一帧动态调整替换后的人脸图像。对此本发明实施例不做限定。下面的实施例是以所述第一种情况进行详细说明的。
在进行人脸替换时，不同于现有技术中对替换后的人脸图像进行简单的拉伸或放缩以适应目标视频中新的位置的处理，在本发明实施例中，需要根据视频场景的变化动态调整替换后的人脸图像，比如，对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比，判断当前帧图像中待匹配人物的人脸图像是否有变化，如果有变化，则根据变化情况调整替换后的图像中的相应人脸图像，比如，调整替换后人脸的姿态、光照及表情的变化等情况；所述待匹配人物的人脸基础图像是指待匹配人物的弱表情正脸图像，可以根据待匹配人物的人脸朝向与表情的变化情况，从目标视频中提取获得，所述人脸朝向与表情变化情况可以根据待匹配人物的人脸局部特征点定位是否变化进行确定。从而使替换后的人脸可以随着视频场景的变化而变化，使生成的个性化视频给用户一种即时感和代入感，大大提高了个性化视频与用户的互动性和娱乐性，提升了用户体验度。
如图2所示，是本发明实施例中人脸图像替换待匹配人物人脸的流程图，包括以下步骤：
步骤201，提取目标视频中待匹配人物的人脸基础图像。
具体地，根据目标视频中待匹配人物的人脸朝向与表情变化情况，在待匹配人物所在视频中选择一张弱表情正脸图像作为所述待匹配人物的人脸基础图像。
步骤202，根据提取的用户图像中的人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
具体地，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型的过程如下：
(1)根据待匹配人物的人脸基础图像及预先构建的人脸通用模型构建匹配替换模型；
(2)根据用户图像中的人脸图像及人脸通用模型构建用户图像中人脸的三维人脸模型；
(3)分别对所述人脸匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划分；
(4)以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
所述人脸通用模型可以通过预先采集大量三维人脸模型数据作为训练数据，计算训练数据的均值得到。三维人脸模型数据主要包括人脸形状信息和人脸纹理信息，所述人脸形状信息可以是构成人脸形状的三维坐标；所述人脸纹理信息可以是人脸像素点的RGB(Red、Green、Blue，红、绿、蓝)色彩信息。这些训练数据可以通过使用扫描仪等设备获取。
在本发明实施例中，假设三维人脸空间为线性子空间，即任意三维模型可以由其他多个三维人脸模型线性组合而成。那么匹配替换模型可以通过人脸通用模型与预先采集的大量三维人脸模型线性组合而成，线性组合的权重可以根据通用模型和待匹配人物的人脸基础图像估计得到。
基于上述原理及下述式(1)可以得到匹配替换模型：
其中，Smat为匹配替换模型；为人脸通用模型；P为三维人脸模型数据的主成分特征向量，所述主成分特征向量可以通过对预先采集的三维人脸模型进行PCA(PrincipalComponentsAnalysis，主成分分析)分析得到；θ为每一维特征的线性组合的权重，即形变系数，所述形变系数可以根据人脸通用模型和待匹配人物的人脸基础图像估计得到，例如根据稀疏形变模型方法估计得到。
相似地，根据用户图像中的人脸图像及人脸通用模型构建用户图像中人脸的三维人脸模型的过程和上述类似，在此不再赘述。
得到了匹配替换模型和用户图像中人脸的三维人脸模型，就可以分别对所述人脸匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划分。具体划分方法例如可以按照左右眼睛、嘴巴、左右脸颊、额头和下巴等区域进行划分。
然后，以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
具体替换方法可以由式(2)计算得到：
Smat(j)＝α(j)Star(j)+β(j)(2)
其中，Smat(j)为匹配替换模型第j个区域的三维模型；Star(j)为用户图像中人脸的三维人脸模型第j个区域的三维模型；α(j)为第j个区域的变换矩阵；β(j)为第j个区域的约束矩阵，所述α(j)和β(j)的取值可以通过最小二乘法求得。
根据式(2)可以将匹配替换模型各区域的模型替换为用户图像中人脸的三维人脸模型对应区域的模型，替换后的三维模型即为目标三维人脸模型。
步骤203，图像替换过程，所述图像替换过程包括：对于待匹配人物出现的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模型，得到替换后的图像。
进一步地，为了使目标三维人脸模型各区域的模型更加平滑，使替换后的图像效果更好，在本发明另一实施例中，还可以在执行图像替换过程之前，对所述目标三维人脸模型各区域的形状和/或纹理进行平滑处理。
对所述目标三维人脸模型各区域的形状进行平滑处理的过程包括：对所述目标三维人脸模型进行仿射变换，得到仿射变换结果；根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。
需要说明的是，所述插值计算可以根据式(3)实现：
其中，vk是匹配替换模型的第k个顶点坐标；N2是匹配替换模型包含的顶点总数；p(v)为仿射变换结果，所述仿射变换主要是为了使目标三维人脸模型各区域的模型形状更加自然，具有真实感；为径向基函数，所述径向基函数的具体取值可根据实验结果或经验获得，例如径向基函数取为即可推出
对所述目标三维人脸模型各区域的纹理进行平滑处理时可以采用均值滤波的方法。具体平滑时，需要考虑待匹配人物人脸替换前后的纹理差值，将所述纹理差值叠加到目标三人脸的待平滑区域即可。
具体平滑处理过程如下：
(1)分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区域。
所述非待平滑区域和待平滑区域的划分可以通过以下方式来确定：对基础图像的人脸的局部特征点进行定位、并对当前帧的匹配替换模型的人脸局部特征点进行定位，分别比较所述两种人脸的各区域的特征点的定位是否有变化，如果有变化，则变化的区域为待平滑区域，如果没有变化，则没有变化的区域为非待平滑区域。
如图3所示，是本发明实施例中纹理平滑示意图。其中左侧为匹配替换模型，右侧为目标三维人脸模型。方框内A’区域为目标三维人脸模型的待平滑区域，方框内A区域为匹配替换模型中与目标三维人脸模型中A’区域对应的待平滑区域。类似地，方框外B’区域为目标三维人脸模型的非待平滑区域，方框外B区域为匹配替换模型中与目标三维人脸模型中方框外B’区域对应的非待平滑区域。
(2)计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待平滑区域中心点的距离。
如图3所示，计算左侧匹配替换模型中方框外B区域上每个三维点到匹配替换模型方框内A区域中心点的距离。
(3)根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值。
如图3所示，利用所述中心点的距离计算方框内A区域的纹理均值，具体计算方法如式(4)所示：
其中，Ta为匹配替换模型中非待平滑区域上第a个三维点的纹理值；D(pa,c)为匹配替换模型上非待平滑区域上第a个三维点到待平滑区域中心点c的距离，例如可以是欧式距离；N3为匹配替换模型上非待平滑区域上三维点的总数；D(pb,c)为匹配替换模型上非待平滑区域上第b个三维点到待平滑区域中心点c的距离。
(4)计算所述目标三维人脸模型中待平滑区域的纹理均值。
具体可以将目标三维人脸模型中待平滑区域每个三维点的纹理值求和所得的数据除以所述模型中待平滑区域三维点的总数即可。
如图3所示，计算方框内A’区域所有三维点的纹理值的和，然后将所得的数据除以所述区域中所有三维点总数即可得到目标三维人脸模型中待平滑区域的纹理均值。
(5)根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待平滑区域的纹理均值，计算纹理均值差。
(6)将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。
在前面提到，本发明实施例的个性化视频生成方法，不仅要将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，而且要根据视频场景的变化动态调整替换后的人脸图像。由于每段视频都是由多帧图像组成的，并且不同帧图像匹配人物的视频场景均可能发生变化，因此，在本发明实施例的方法中，需要调整替换后各帧图像中的目标三维人脸模型。具体地，对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比；如果发生变化，则调整替换后的图像中的目标三维人脸模型。所述变化可以是姿态、光照及表情等，当然，在实际应用中，可以只针对其中的一种或多种变化进行对比及调整，对此本发明实施例不做限定。
下面详细说明在各种不同变化情况下的目标三维人脸模型的调整过程。
1.如果待匹配人物的姿态发生变化，则根据当前帧图像中待匹配人物的旋转角度，将替换后的图像中的目标三维人脸模型旋转相同角度。所述待匹配人物姿态发生变化可以通过以下两种途径来确定。
(1)对当前帧图像中待匹配人物的人脸和人脸基础图像中人脸做人脸的局部特征点定位，比较所述两种人脸的局部特征点定位的点位是否相似，如果相似，则确定待匹配人物的姿态没有发生变化，如果不相似，则确定待匹配人物的姿态发生了变化。
当然，还可以采用其它方式来确定待匹配人物的姿态是否发生变化，对此本发明实施例不做限定。
2.如果待匹配人物的光照发生变化，则构建待匹配人物所在当前帧的人脸纹理蒙版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上。
所述待匹配人物的光照变化可以通过比较待匹配人物与人脸基础图像的纹理等信息来确定。具体地，提取当前帧图像中待匹配人物的纹理信息和人脸基础图像的纹理信息，比较这两种纹理信息是否相似，如果相似，则确定待匹配人物的姿态没有变化，如果不相似，则确定待匹配人物的姿态发生了变化。
所述人脸纹理蒙版主要是根据待匹配人物所在的人脸基础图像和当前帧图像得到的。具体地，通过计算当前帧图像中人脸的纹理信息再减去所述图像人脸纹理均值，得到第一计算值；然后计算待匹配人物的基础图像的人脸纹理信息再减去所述图像人脸纹理均值，得到第二计算值；最后计算第一计算值与第二计算值的差值，得到待匹配人物所在当前帧图像的人脸纹理蒙版，如式(5)所示：
其中，Tf为当前帧图像中人脸的纹理信息；为当前帧图像的人脸纹理均值；To为待匹配人物的基础图像的人脸纹理信息，为待匹配人物的基础图像人脸纹理均值。
3.如果待匹配人物的表情发生变化，所述待匹配人物的表情变化可以通过人物姿态变化确定方法确定。如果确定待匹配人物的表情发生变化，则可以按以下方式调整替换后的图像中的目标三维人脸模型：
(1)根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域及表情。
当匹配人物在当前帧图像中表情发生变化时，首先根据待匹配人物的图像特征信息获取表情属性，例如高兴、悲伤或中性等。根据待匹配人物在人脸基础图像中的表情对应当前帧图像中表情的变化情况，确定在待匹配人物表情变化时，匹配替换模型中发生了变化的区域，例如嘴巴、眼睛等区域。
(2)根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型。
需要说明的是，所述表情库可以通过预先收集大量用户的三维人脸模型构成。需要同时收集每个用户的高兴、悲伤、中性等具有不同表情属性的三维人脸模型构建表情库。也就是说，所述表情库中包含不同用户不同表情的三维人脸局部模型，所述三维人脸局部模型为根据三维人脸模型进行区域划分后的模型。
在确定上述重构模型时，可以首先根据上述确定的需要变化的区域，到所述表情库中查找该区域的多个相似模型，作为侯选模型，如20个。所述相似模型指的是形状与纹理信息相似的模型。然后根据这些候选模型得到所述重构模型，比如，将所有候选模型进行融合，得到所述重构模型；或者计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型作为所述重构模型。
(3)将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模型。
需要说明的是，为了使调整后的目标三维人脸模型更平滑，还可以对调整后的目标三维人脸模型各区域进行形状与纹理的平滑，进一步提高得到的个性化视频的质量及视觉效果。
前面提到，在本发明方法中，所述目标视频可以由用户提供，也可以由应用系统提供，下面举例说明由应用系统根据用户图像的图像特征，向用户提供更适合用户或用户更感兴趣的目标视频的一种应用。
如图4所示，是本发明实施例个性化视频生成方法的另一种流程图，包括以下步骤：
步骤401，获取包含人脸的用户图像。
步骤402，提取所述用户图像中的人脸图像。
步骤403，提取所述用户图像的图像特征信息。
具体地，所述提取用户图像的图像特征信息包括：获取用户属性相关的信息，所述用户属性相关的信息包括年龄、化妆情况、表情信息、肤质、是否带眼镜和颜值信息等；计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；获取所述用户图像的拍摄时间。
进一步地，根据所述用户属性信息可以判断出用户的基本情况，对于不同的用户属性相关信息，可以按以下方式划分其取值：
对于年龄信息，可以根据年龄段分为：幼儿、少年、青年、中年、老年；
对于化妆情况，根据化妆程度分为：浓妆、淡妆、无妆；
对于表情信息，可以将人脸表情划分为高兴、悲伤、中性三种类型，或者进行更精细的划分，如搞怪、欢乐、喜、怒、哀五种类型；
对于肤色，可以根据皮肤的好坏分为：较好、普通、较差；
对于是否带眼镜：可以分为带眼镜、不带眼镜；
对于颜值信息，可以根据五官的分布情况：从0到100，进行打分。
可以利用所述用户属性相关信息及预先训练得到的人脸分析模型，进行用户属性值的预测。所述人脸分析模型可以采用DNN(DeepNeuralNetwork，深度神经网络)等模型，所述模型可通过预先收集大量数据训练得到。
明星相似度计算可以找出与当前人脸相似度最高的明星。后续进行获取目标视频时，可以获取一些与所述用户相似度最高的明星的视频。相似度的计算可以采用现有的一些方法。例如：通过提取两张图像中人脸特征进行相似度计算，如通过余弦距离度量人脸特征的相似度，将所有特征的相似度进行融合后，得到最终的相似度，根据所述相似度的计算，找到与所述待推荐图像中人脸相似度最高的明星。
获取用户图像的拍摄时间，具体可以通过所述移动终端设备的系统时间获取到用户图像的拍摄时间。为了方便获取目标视频，可以将拍摄时间按时间段进行划分，划分为：早晨、中午、下午、傍晚、深夜。早晨拍摄的图像可以获取一些喜剧类的或者积极向上的视频，深夜拍摄的图像可以获取一些养生的或者有助于睡眠的视频。
步骤404，根据所述图像特征信息从视频库中获取目标视频。
具体地，可以按以下方式确定目标视频：
(1)提取所述视频库的各视频中主要人物的人脸特征信息；
(2)计算所述图像特征信息与所述人脸特征信息之间的距离；
(3)选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配人物。当然，也可以选择其中任意一个人物作为待匹配人物，对此本发明实施例不做限定。
需要说明的是，所述视频库可以包含多种类别的视频片段或完整视频，例如电影、电视剧或综艺节目等。进一步地，电影可以划分为喜剧、动作或爱情等类别；综艺节目也可以划分为美食、真人秀或脱口秀等类别。
具体地，提取所述视频库的各视频中主要人物的人脸特征信息包括：确定视频库中各视频的主要人物的人脸朝向与表情变化情况，所述主要人物可以为一个或多个；根据视频中主要人物的人脸朝向与表情变化情况，在一个或多个主要人物的所在视频中选择一张弱表情正脸图像作为所述主要人物的基础图像；根据主要人物的基础图像进行人脸特征信息的提取。
需要说明的是，确定视频的主要人物具体方法不限，比如可以通过聚类方法来确定，具体可以是对视频进行固定间隔采样；对采样帧做所有人脸的人脸检测和人脸的局部特征点定位；对所有检测到的人脸进行聚类；对聚类后的结果进行分析，所述分析包括：当聚类中人脸数量超过预先设定的阈值时，将所述人脸作为视频主要人物。
计算所述图像特征信息与所述人脸特征信息之间的距离可以采用欧式距离或者余弦距离等，具体计算方法本发明不作限制。
以欧式距离为例，如式(6)所示：
其中，D为欧式距离；Pi表示用户图像中第i维人脸特征值；Vi表示视频中主要人物的第i维人脸特征值，所述人脸特征值可以是用户属性、明星相似度和用户图像的拍摄时间中的一种或多种组合用户属性值；N1为用户图像或视频总维数；wi为第i维特征距离的权重，所述权重的取值可以根据实验结果或经验确定，例如“年龄”特征距离的权重可以大于“是否带眼镜”特征距离的权重。
根据计算的结果，选择距离最小的视频作为目标视频。
步骤405，将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变化动态调整替换后的人脸图像，得到个性化视频。
利用本发明实施例的个性化视频生成方法，不仅可以使生成的个性化视频给用户一种即时感和代入感，大大提高个性化视频与用户的互动性和娱乐性，提升了用户体验度，而且可以在一些应用中，使应用系统主动向用户推送一些用户可能感兴趣的视频，比如广告等内容的视频，提高推送效果。
相应地，本发明实施例还提供一种个性化视频生成系统，如图5所示，是本发明实施例个性化视频生成的一种结构示意图。
用户图像获取模块501，用于获取包含人脸的用户图像。
人脸图像提取模块502，用于提取所述用户图像中的人脸图像。
目标视频获取模块503，用于获取目标视频。
个性化视频生成模块504，用于生成个性化视频，所述个性化视频生成模块504包括图像替换模块541和图像调整模块542：所述图像替换模块541用于将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，所述图像调整模块542用于根据视频场景的变化动态调整替换后的人脸图像。
不同于现有技术中对替换后的人脸图像进行简单的拉伸或放缩以适应目标视频中新的位置的处理，在本发明实施例中，图像调整模块542需要根据视频场景的变化动态调整替换后的人脸图像，比如，对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比，判断当前帧图像中待匹配人物的人脸图像是否有变化，如果有变化，则根据变化情况调整替换后的图像中的相应人脸图像，比如，调整替换后人脸的姿态、光照及表情的变化等情况；所述待匹配人物的人脸基础图像是指待匹配人物的弱表情正脸图像，可以根据待匹配人物的人脸朝向与表情的变化情况，从目标视频中提取获得，所述人脸朝向与表情变化情况可以根据待匹配人物的人脸局部特征点定位进行确定。从而使替换后的人脸可以随着视频场景的变化而变化，使生成的个性化视频给用户一种即时感和代入感，大大提高了个性化视频与用户的互动性和娱乐性，提升了用户体验度。
所述图像替换模块541的一种具体结构如图6所示，可以包括以下各单元：
基础图像提取单元61，用于提取所述目标视频中待匹配人物的人脸基础图像。
目标三维人脸模型确定单元62，用于根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
图像替换单元63，用于执行图像替换过程，所述图像替换过程包括：对于待匹配人物出现的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模型，得到替换后的图像。
所述目标三维人脸模型确定单元62的一种具体结构可以包括以下各子单元：
匹配模型构建子单元，用于根据所述待匹配人物的人脸基础图像及预先构建的人脸通用模型构建匹配替换模型。
三维模型构建子单元，用于根据所述人脸图像及所述人脸通用模型构建用户图像中人脸的三维人脸模型。
区域划分子单元，用于分别对所述匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划分。
目标模型生成子单元，用于以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
进一步地，为了使目标三维人脸模型确定单元确定的目标三维人脸模型各区域的模型更加平滑，使替换后的图像效果更好，在目标三维人脸模型确定单元62的另一实施例中，还可以包括：平滑处理子单元，用于对所述模型生成子单元得到的目标三维人脸模型进行平滑处理；所述平滑处理子单元包括：形状处理子单元和/或纹理处理子单元。其中，所述形状处理子单元用于对所述目标三维人脸模型各区域的形状进行平滑处理；所述纹理处理子单元用于对所述目标三维人脸模型各区域的纹理进行平滑处理。
(1)所述形状处理子单元的一种具体结构可以包括以下各子单元：
仿射变换子单元，用于对所述目标三维人脸模型进行仿射变换，得到仿射变换结果。
插值计算子单元，用于根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。
(2)所述纹理处理子单元的一种具体结构可以包括以下各子单元：
平滑区域划分子单元，用于分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区域。
距离计算子单元，用于计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待平滑区域中心点的距离。
第一计算子单元，用于根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值。
第二计算子单元，用于计算所述目标三维人脸模型中待平滑区域的纹理均值。
均值差计算子单元，用于根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待平滑区域的纹理均值，计算纹理均值差。
叠加子单元，用于将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。
在前面提到，本发明实施例的个性化视频生成系统，不仅要由图像替换模块将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，而且要由图像调整模块根据视频场景的变化动态调整替换后的人脸图像。由于每段视频都是由多帧图像组成的，并且不同帧图像匹配人物的视频场景均可能发生变化，因此，在本发明实施例的系统中，所述图像替换模块541和图像调整模块542可以逐帧进行替换及调整；也可以先由图像替换模块541将所有帧图像中的待匹配人物的人脸进行替换后，再由图像调整模块542逐帧调整替换后的人脸图像，对此本发明实施例不做限定。
所述图像调整模块542的一种具体结构如图7所示，可以包括以下各单元：
图像对比单元71，用于对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比；
目标模型调整单元72，用于在当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像发生变化的情况下，调整替换后的图像中的目标三维人脸模型。
需要说明的是，所述目标模型调整单元72的一种具体结构可以包括以下任意一个或多个子单元，对此本发明实施例不做限定：
姿态调整子单元，用于在待匹配人物的姿态发生变化时，根据当前帧图像中待匹配人物的旋转角度，将替换后的图像中的目标三维人脸模型旋转相同角度；
光照调整子单元，用于在待匹配人物的光照发生变化时，构建待匹配人物所在当前帧的人脸纹理蒙版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上；
表情调整子单元，用于在待匹配人物的表情发生变化时，调整替换后的图像中的目标三维人脸模型，所述表情调整子单元包括：
区域及表情确定子单元，用于根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域及表情；
重构模型确定子单元，用于根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型，所述表情库中包含不同用户不同表情的三维人脸局部模型，所述三维人脸局部模型为根据三维人脸模型进行区域划分后的模型；
区域替换子单元，用于将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模型。
所述重构模型确定子单元，具体可以从所述表情库中选出与所述需要变化的区域及表情对应的所有候选模型，将所有候选模型进行融合，得到所述重构模型；或者计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型作为所述重构模型。
需要说明的是，为了使图像调整模块调整的目标三维人脸模型更平滑，本发明实施例的系统还可以进一步包括用于对调整后的目标三维人脸模型各区域进行形状和/或纹理进行平滑处理的模块，进一步提高得到的个性化视频的质量及视觉效果。
前面提到，所述目标视频可以由用户提供，也可以由应用系统提供，下面举例说明由应用系统根据用户图像的图像特征，向用户提供更适合用户或用户更感兴趣的目标视频的一种应用。
如图8所示，是本发明实施例个性化视频生成系统的另一种结构示意图。
与图5所示实施例不同的是，在该实施例中，所述系统还包括：特征提取模块801，用于提取用户图像获取模块501获取的用户图像的图像特征信息。
相应地，在该实施例中，目标视频获取模块503根据所述特征提取模块603提取的图像特征信息从视频库中获取目标视频。
所述特征提取模块801的一种具体结构可以包括以下各单元：
用户属性获取单元，用于获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、肤质、是否带眼镜和颜值信息；
相似度计算单元，用于计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；
拍摄时间获取单元，用于获取所述待推荐图像的拍摄时间。
所述目标视频获取模块801的一种具体结构如图9所示，可以包括以下各单元：
主要人物特征提取单元91，用于提取所述视频库的各视频中主要人物的人脸特征信息；
特征距离计算单元92，用于计算所述图像特征信息与所述人脸特征信息之间的距离；
目标视频选择单元93，用于选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配人物。
当然，在实际应用中，目标视频获取模块801并不限于上述结构，可以根据目标视频来源等信息的不同，其结构也会有适应性的变化，对此本发明实施例不做限定。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (26)
1.一种个性化视频生成方法，其特征在于，包括：
获取包含人脸的用户图像；
提取所述用户图像中的人脸图像；
获取目标视频；
将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变化动态调整替换后的人脸图像，得到个性化视频。
2.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像替换掉所述目标视频中待匹配人物的人脸包括：
提取所述目标视频中待匹配人物的人脸基础图像；
根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型；
图像替换过程，所述图像替换过程包括：对于待匹配人物出现的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模型，得到替换后的图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型包括：
根据所述待匹配人物的人脸基础图像及预先构建的人脸通用模型构建匹配替换模型；
根据所述人脸图像及所述人脸通用模型构建用户图像中人脸的三维人脸模型；
分别对所述匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划分；
以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型还包括：
对所述目标三维人脸模型各区域的形状和/或纹理进行平滑处理。
5.根据权利要求4所述的方法，其特征在于，所述对所述目标三维人脸模型各区域的形状进行平滑处理包括：
对所述目标三维人脸模型进行仿射变换，得到仿射变换结果；
根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。
6.根据权利要求4所述的方法，其特征在于，所述对目标三维人脸模型各区域的纹理进行平滑处理包括：
分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区域；
计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待平滑区域中心点的距离；
根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值；
计算所述目标三维人脸模型中待平滑区域的纹理均值；
根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待平滑区域的纹理均值，计算纹理均值差；
将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。
7.根据权利要求2至6任一项所述的方法，其特征在于，所述根据视频场景的变化动态调整替换后的人脸图像包括：
对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比；
如果发生变化，则调整替换后的图像中的目标三维人脸模型。
8.根据权利要求7所述的方法，其特征在于，所述如果发生变化，则调整替换后的图像中的目标三维人脸模型包括以下任意一种或多种：
如果待匹配人物的姿态发生变化，则根据当前帧图像中待匹配人物的旋转角度，将替换后的图像中的目标三维人脸模型旋转相同角度；
如果待匹配人物的光照发生变化，则构建待匹配人物所在当前帧的人脸纹理蒙版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上；
如果待匹配人物的表情发生变化，则按以下方式调整替换后的图像中的目标三维人脸模型：
根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域及表情；
根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型，所述表情库中包含不同用户不同表情的三维人脸局部模型；
将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型包括：
从所述表情库中选出与所述需要变化的区域及表情对应的所有候选模型；
将所有候选模型进行融合，得到所述重构模型；或者
计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型作为所述重构模型。
10.根据权利要求1至6任一项所述的方法，其特征在于，所述目标视频为以下任意一种：
用户上传的视频；
应用系统从视频库中随机选择的视频；
应用系统向用户推荐的视频。
11.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：提取所述用户图像的图像特征信息；
所述获取目标视频包括：根据所述图像特征信息从视频库中获取目标视频。
12.根据权利要求11所述的方法，其特征在于，所述提取所述用户图像的图像特征信息包括：
获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、肤质、是否带眼镜和颜值信息；
计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；
获取所述待推荐图像的拍摄时间。
13.根据权利要求11所述的方法，其特征在于，所述根据所述图像特征信息从视频库中获取目标视频包括：
提取所述视频库的各视频中主要人物的人脸特征信息；
计算所述图像特征信息与所述人脸特征信息之间的距离；
选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配人物。
14.一种个性化视频生成系统，其特征在于，包括：
用户图像获取模块，用于获取包含人脸的用户图像；
人脸图像提取模块，用于提取所述用户图像中的人脸图像；
目标视频获取模块，用于获取目标视频；
个性化视频生成模块，用于生成个性化视频，所述个性化视频生成模块包括：图像替换模块和图像调整模块：所述图像替换模块用于将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，所述图像调整模块用于根据视频场景的变化动态调整替换后的人脸图像。
15.根据权利要求14所述的系统，其特征在于，所述图像替换模块包括：
基础图像提取单元，用于提取所述目标视频中待匹配人物的人脸基础图像；
目标三维人脸模型确定单元，用于根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型；
图像替换单元，用于执行图像替换过程，所述图像替换过程包括：对于待匹配人物出现的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模型，得到替换后的图像。
16.根据权利要求15所述的系统，其特征在于，所述目标三维人脸模型确定单元包括：
匹配模型构建子单元，用于根据所述待匹配人物的人脸基础图像及预先构建的人脸通用模型构建匹配替换模型；
三维模型构建子单元，用于根据所述人脸图像及所述人脸通用模型构建用户图像中人脸的三维人脸模型；
区域划分子单元，用于分别对所述匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划分；
目标模型生成子单元，用于以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型。
17.根据权利要求16所述的系统，其特征在于，所述目标三维人脸模型确定单元还包括：
平滑处理子单元，用于对所述模型生成子单元得到的目标三维人脸模型进行平滑处理；所述平滑处理子单元包括形状处理子单元和/或纹理处理子单元；所述形状处理子单元用于对所述目标三维人脸模型各区域的形状进行平滑处理；所述纹理处理子单元用于对所述目标三维人脸模型各区域的纹理进行平滑处理。
18.根据权利要求17所述的系统，其特征在于，所述形状处理子单元包括：
仿射变换子单元，用于对所述目标三维人脸模型进行仿射变换，得到仿射变换结果；
插值计算子单元，用于根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。
19.根据权利要求17所述的系统，其特征在于，所述纹理处理子单元包括：
平滑区域划分子单元，用于分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区域；
距离计算子单元，用于计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待平滑区域中心点的距离；
第一计算子单元，用于根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值；
第二计算子单元，用于计算所述目标三维人脸模型中待平滑区域的纹理均值；
均值差计算子单元，用于根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待平滑区域的纹理均值，计算纹理均值差；
叠加子单元，用于将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。
20.根据权利要求15至19任一项所述的系统，其特征在于，所述图像调整模块包括：
图像对比单元，用于对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像进行对比；
目标模型调整单元，用于在当前帧图像中待匹配人物的人脸图像与所述待匹配人物的人脸基础图像发生变化的情况下，调整替换后的图像中的目标三维人脸模型。
21.根据权利要求20所述的系统，其特征在于，所述目标模型调整单元包括以下任意一个或多个子单元：
姿态调整子单元，用于在待匹配人物的姿态发生变化时，根据当前帧图像中待匹配人物的旋转角度，将替换后的图像中的目标三维人脸模型旋转相同角度；
光照调整子单元，用于在待匹配人物的光照发生变化时，构建待匹配人物所在当前帧的人脸纹理蒙版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上；
表情调整子单元，用于在待匹配人物的表情发生变化时，调整替换后的图像中的目标三维人脸模型，所述表情调整子单元包括：
区域及表情确定子单元，用于根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域及表情；
重构模型确定子单元，用于根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对应的重构模型，所述表情库中包含不同用户不同表情的三维人脸局部模型；
区域替换子单元，用于将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模型。
22.根据权利要求21所述的系统，其特征在于，
所述重构模型确定子单元，具体用于从所述表情库中选出与所述需要变化的区域及表情对应的所有候选模型；将所有候选模型进行融合，得到所述重构模型；或者计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型作为所述重构模型。
23.根据权利要求14至19任一项所述的系统，其特征在于，所述目标视频为以下任意一种：
用户上传的视频；
应用系统从视频库中随机选择的视频；
应用系统向用户推荐的视频。
24.根据权利要求14至19任一项所述的系统，其特征在于，所述系统还包括：特征提取模块，用于提取所述用户图像的图像特征信息；
所述目标视频获取模块，具体用于根据所述特征提取模块提取的图像特征信息从视频库中获取目标视频。
25.根据权利要求24所述的系统，其特征在于，所述特征提取模块包括：
用户属性获取单元，用于获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、肤质、是否带眼镜和颜值信息；
相似度计算单元，用于计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；
拍摄时间获取单元，用于获取所述待推荐图像的拍摄时间。
26.根据权利要求24所述的系统，其特征在于，所述目标视频获取模块包括：
主要人物特征提取单元，用于提取所述视频库的各视频中主要人物的人脸特征信息；
特征距离计算单元，用于计算所述图像特征信息与所述人脸特征信息之间的距离；
目标视频选择单元，用于选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配人物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510467723.7A CN105118082B (zh) | 2015-07-30 | 2015-07-30 | 个性化视频生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510467723.7A CN105118082B (zh) | 2015-07-30 | 2015-07-30 | 个性化视频生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105118082A true CN105118082A (zh) | 2015-12-02 |
| CN105118082B CN105118082B (zh) | 2019-05-28 |
Family
ID=54666055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510467723.7A Active CN105118082B (zh) | 2015-07-30 | 2015-07-30 | 个性化视频生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105118082B (zh) |
Cited By (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894470A (zh) * | 2016-03-31 | 2016-08-24 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
| CN106454479A (zh) * | 2016-09-12 | 2017-02-22 | 深圳市九洲电器有限公司 | 一种电视节目观看方法及系统 |
| CN106507170A (zh) * | 2016-10-27 | 2017-03-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种视频处理方法及装置 |
| CN106534737A (zh) * | 2016-11-22 | 2017-03-22 | 李嵩 | 配备有框架的电视 |
| CN106603949A (zh) * | 2016-11-22 | 2017-04-26 | 李嵩 | 多功能电视 |
| CN106604084A (zh) * | 2016-11-22 | 2017-04-26 | 李嵩 | 具有人脸替换功能的电视 |
| CN106686454A (zh) * | 2016-11-22 | 2017-05-17 | 李嵩 | 仰角可调的电视 |
| CN106791528A (zh) * | 2016-11-22 | 2017-05-31 | 李嵩 | 具有换脸功能的电视 |
| CN106791527A (zh) * | 2016-11-22 | 2017-05-31 | 李嵩 | 具有清灰功能的电视 |
| CN106792147A (zh) * | 2016-12-08 | 2017-05-31 | 天脉聚源(北京)传媒科技有限公司 | 一种图像替换方法及装置 |
| CN106815557A (zh) * | 2016-12-20 | 2017-06-09 | 北京奇虎科技有限公司 | 一种人脸面部特征的评价方法、装置以及移动终端 |
| CN106920212A (zh) * | 2015-12-24 | 2017-07-04 | 掌赢信息科技（上海）有限公司 | 一种发送风格化视频的方法及电子设备 |
| CN107316020A (zh) * | 2017-06-26 | 2017-11-03 | 司马大大（北京）智能系统有限公司 | 人脸替换方法、装置及电子设备 |
| CN107333071A (zh) * | 2017-06-30 | 2017-11-07 | 北京金山安全软件有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN107330408A (zh) * | 2017-06-30 | 2017-11-07 | 北京金山安全软件有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN107481318A (zh) * | 2017-08-09 | 2017-12-15 | 广东欧珀移动通信有限公司 | 用户头像的替换方法、装置和终端设备 |
| CN107507216A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 图像中局部区域的替换方法、装置及存储介质 |
| CN107705240A (zh) * | 2016-08-08 | 2018-02-16 | 阿里巴巴集团控股有限公司 | 虚拟试妆方法、装置和电子设备 |
| CN107734384A (zh) * | 2016-08-10 | 2018-02-23 | 北京光子互动科技有限公司 | 图像处理方法及装置 |
| CN108040290A (zh) * | 2017-12-22 | 2018-05-15 | 四川长虹电器股份有限公司 | 基于ar技术的电视节目实时换脸方法 |
| WO2018095173A1 (zh) * | 2016-11-22 | 2018-05-31 | 北京金山安全软件有限公司 | 人脸交换方法、装置、主播终端及观众终端 |
| CN108200334A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
| CN108259788A (zh) * | 2018-01-29 | 2018-07-06 | 努比亚技术有限公司 | 视频编辑方法、终端和计算机可读存储介质 |
| CN108335349A (zh) * | 2017-01-18 | 2018-07-27 | 辉达公司 | 利用神经网络滤波图像数据 |
| CN108510437A (zh) * | 2018-04-04 | 2018-09-07 | 科大讯飞股份有限公司 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
| CN108629821A (zh) * | 2018-04-20 | 2018-10-09 | 北京比特智学科技有限公司 | 动画生成方法和装置 |
| CN108648142A (zh) * | 2018-05-21 | 2018-10-12 | 北京微播视界科技有限公司 | 图像处理方法及装置 |
| CN108665408A (zh) * | 2018-05-21 | 2018-10-16 | 北京微播视界科技有限公司 | 肤色调整方法、装置和电子设备 |
| CN108681719A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 视频图像处理方法及装置 |
| CN108682030A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 脸皮替换方法、装置及计算机设备 |
| CN108737891A (zh) * | 2017-04-19 | 2018-11-02 | 合信息技术（北京）有限公司 | 视频素材处理方法及装置 |
| CN108734057A (zh) * | 2017-04-18 | 2018-11-02 | 北京旷视科技有限公司 | 活体检测的方法、装置及计算机存储介质 |
| CN108765529A (zh) * | 2018-05-04 | 2018-11-06 | 北京比特智学科技有限公司 | 视频生成方法和装置 |
| CN108848419A (zh) * | 2018-06-07 | 2018-11-20 | 康佳集团股份有限公司 | 基于生物特征识别的电视互动方法、智能电视及存储介质 |
| CN108966017A (zh) * | 2018-08-24 | 2018-12-07 | 太平洋未来科技（深圳）有限公司 | 视频生成方法、装置及电子设备 |
| CN109151340A (zh) * | 2018-08-24 | 2019-01-04 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109377502A (zh) * | 2018-10-15 | 2019-02-22 | 深圳市中科明望通信软件有限公司 | 一种图像处理方法、图像处理装置及终端设备 |
| CN109559362A (zh) * | 2018-11-23 | 2019-04-02 | 广东智媒云图科技股份有限公司 | 一种图像主体脸部替换方法及装置 |
| CN109670427A (zh) * | 2018-12-07 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种图像信息的处理方法、装置及存储介质 |
| CN109788312A (zh) * | 2019-01-28 | 2019-05-21 | 北京易捷胜科技有限公司 | 一种视频中人物的替换方法 |
| CN109788311A (zh) * | 2019-01-28 | 2019-05-21 | 北京易捷胜科技有限公司 | 人物替换方法、电子设备和存储介质 |
| CN109936775A (zh) * | 2017-12-18 | 2019-06-25 | 东斓视觉科技发展（北京）有限公司 | 宣传影片的制作方法及设备 |
| CN109977739A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110047118A (zh) * | 2019-04-08 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置、计算机设备及存储介质 |
| CN110147737A (zh) * | 2019-04-25 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于生成视频的方法、装置、设备和存储介质 |
| CN110267079A (zh) * | 2018-03-30 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 待播放视频中人脸的替换方法和装置 |
| CN110266973A (zh) * | 2019-07-19 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110300275A (zh) * | 2018-03-21 | 2019-10-01 | 腾讯科技（深圳）有限公司 | 视频录制、播放方法、装置、终端及存储介质 |
| CN110399849A (zh) * | 2019-07-30 | 2019-11-01 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN110490060A (zh) * | 2019-07-10 | 2019-11-22 | 特斯联（北京）科技有限公司 | 一种基于机器学习硬件架构的安防前端视频设备 |
| CN110517187A (zh) * | 2019-08-30 | 2019-11-29 | 王�琦 | 广告生成方法、装置及系统 |
| CN110570348A (zh) * | 2019-09-10 | 2019-12-13 | 连尚（新昌）网络科技有限公司 | 一种脸部图像替换方法及设备 |
| CN110969569A (zh) * | 2018-09-28 | 2020-04-07 | 传线网络科技（上海）有限公司 | 试镜视频的生成方法及装置 |
| CN111008927A (zh) * | 2019-08-07 | 2020-04-14 | 深圳华侨城文化旅游科技集团有限公司 | 一种人脸替换方法、存储介质及终端设备 |
| CN111291218A (zh) * | 2020-01-20 | 2020-06-16 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
| CN111565292A (zh) * | 2019-02-13 | 2020-08-21 | 夏普株式会社 | 图像处理装置、图像通信系统以及图像处理方法 |
| CN111696029A (zh) * | 2020-05-22 | 2020-09-22 | 平安普惠企业管理有限公司 | 虚拟形象视频生成方法、装置、计算机设备及存储介质 |
| CN111741348A (zh) * | 2019-05-27 | 2020-10-02 | 北京京东尚科信息技术有限公司 | 网页视频播放的控制方法、系统、设备和存储介质 |
| CN112102157A (zh) * | 2020-09-09 | 2020-12-18 | 咪咕文化科技有限公司 | 视频换脸方法、电子设备和计算机可读存储介质 |
| CN112449249A (zh) * | 2020-11-23 | 2021-03-05 | 深圳市慧鲤科技有限公司 | 视频流处理方法及装置、电子设备及存储介质 |
| CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
| WO2021109678A1 (zh) * | 2019-12-04 | 2021-06-10 | 深圳追一科技有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| CN113242451A (zh) * | 2021-05-07 | 2021-08-10 | 上海哔哩哔哩科技有限公司 | 视频生成方法及装置 |
| CN113395569A (zh) * | 2021-05-29 | 2021-09-14 | 北京优幕科技有限责任公司 | 视频生成方法及装置 |
| CN113691806A (zh) * | 2017-05-26 | 2021-11-23 | Line 株式会社 | 图像压缩方法、图像恢复方法及计算机可读记录介质 |
| CN113794799A (zh) * | 2021-09-17 | 2021-12-14 | 维沃移动通信有限公司 | 视频处理方法和装置 |
| CN113965802A (zh) * | 2021-10-22 | 2022-01-21 | 深圳市兆驰股份有限公司 | 沉浸式视频交互方法、装置、设备和存储介质 |
| CN115018698A (zh) * | 2022-08-08 | 2022-09-06 | 深圳市联志光电科技有限公司 | 一种用于人机交互的图像处理方法及系统 |
| WO2022233223A1 (zh) * | 2021-05-07 | 2022-11-10 | 北京字跳网络技术有限公司 | 图像拼接方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090252435A1 (en) * | 2008-04-04 | 2009-10-08 | Microsoft Corporation | Cartoon personalization |
| WO2009148404A1 (en) * | 2008-06-03 | 2009-12-10 | Xid Technologies Pte Ltd | Method for replacing objects in images |
| CN101930618A (zh) * | 2010-08-20 | 2010-12-29 | 李浩民 | 一种个性化二维动漫的制作方法 |
| CN103365854A (zh) * | 2012-03-28 | 2013-10-23 | 鸿富锦精密工业（深圳）有限公司 | 视频文件检索系统及检索方法 |
| CN103971394A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 人脸动画合成方法 |
| CN104123749A (zh) * | 2014-07-23 | 2014-10-29 | 邢小月 | 一种图像处理方法及系统 |
| CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营（集团）有限责任公司 | 一种替换影视剧人物的方法 |
-
2015
- 2015-07-30 CN CN201510467723.7A patent/CN105118082B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090252435A1 (en) * | 2008-04-04 | 2009-10-08 | Microsoft Corporation | Cartoon personalization |
| WO2009148404A1 (en) * | 2008-06-03 | 2009-12-10 | Xid Technologies Pte Ltd | Method for replacing objects in images |
| CN101930618A (zh) * | 2010-08-20 | 2010-12-29 | 李浩民 | 一种个性化二维动漫的制作方法 |
| CN103365854A (zh) * | 2012-03-28 | 2013-10-23 | 鸿富锦精密工业（深圳）有限公司 | 视频文件检索系统及检索方法 |
| CN103971394A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 人脸动画合成方法 |
| CN104123749A (zh) * | 2014-07-23 | 2014-10-29 | 邢小月 | 一种图像处理方法及系统 |
| CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营（集团）有限责任公司 | 一种替换影视剧人物的方法 |
Cited By (93)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106920212A (zh) * | 2015-12-24 | 2017-07-04 | 掌赢信息科技（上海）有限公司 | 一种发送风格化视频的方法及电子设备 |
| CN105894470A (zh) * | 2016-03-31 | 2016-08-24 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
| CN107705240B (zh) * | 2016-08-08 | 2021-05-04 | 阿里巴巴集团控股有限公司 | 虚拟试妆方法、装置和电子设备 |
| CN107705240A (zh) * | 2016-08-08 | 2018-02-16 | 阿里巴巴集团控股有限公司 | 虚拟试妆方法、装置和电子设备 |
| CN107734384A (zh) * | 2016-08-10 | 2018-02-23 | 北京光子互动科技有限公司 | 图像处理方法及装置 |
| CN106454479A (zh) * | 2016-09-12 | 2017-02-22 | 深圳市九洲电器有限公司 | 一种电视节目观看方法及系统 |
| WO2018045818A1 (zh) * | 2016-09-12 | 2018-03-15 | 深圳市九洲电器有限公司 | 一种电视节目观看方法及系统 |
| CN106507170A (zh) * | 2016-10-27 | 2017-03-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种视频处理方法及装置 |
| WO2018095173A1 (zh) * | 2016-11-22 | 2018-05-31 | 北京金山安全软件有限公司 | 人脸交换方法、装置、主播终端及观众终端 |
| CN106791528A (zh) * | 2016-11-22 | 2017-05-31 | 李嵩 | 具有换脸功能的电视 |
| CN106791527A (zh) * | 2016-11-22 | 2017-05-31 | 李嵩 | 具有清灰功能的电视 |
| CN106534737A (zh) * | 2016-11-22 | 2017-03-22 | 李嵩 | 配备有框架的电视 |
| CN106603949A (zh) * | 2016-11-22 | 2017-04-26 | 李嵩 | 多功能电视 |
| CN106604084A (zh) * | 2016-11-22 | 2017-04-26 | 李嵩 | 具有人脸替换功能的电视 |
| CN106686454A (zh) * | 2016-11-22 | 2017-05-17 | 李嵩 | 仰角可调的电视 |
| CN106792147A (zh) * | 2016-12-08 | 2017-05-31 | 天脉聚源(北京)传媒科技有限公司 | 一种图像替换方法及装置 |
| CN106815557A (zh) * | 2016-12-20 | 2017-06-09 | 北京奇虎科技有限公司 | 一种人脸面部特征的评价方法、装置以及移动终端 |
| CN108335349A (zh) * | 2017-01-18 | 2018-07-27 | 辉达公司 | 利用神经网络滤波图像数据 |
| CN108734057A (zh) * | 2017-04-18 | 2018-11-02 | 北京旷视科技有限公司 | 活体检测的方法、装置及计算机存储介质 |
| CN108737891A (zh) * | 2017-04-19 | 2018-11-02 | 合信息技术（北京）有限公司 | 视频素材处理方法及装置 |
| CN113691806A (zh) * | 2017-05-26 | 2021-11-23 | Line 株式会社 | 图像压缩方法、图像恢复方法及计算机可读记录介质 |
| CN107316020B (zh) * | 2017-06-26 | 2020-05-08 | 司马大大（北京）智能系统有限公司 | 人脸替换方法、装置及电子设备 |
| CN107316020A (zh) * | 2017-06-26 | 2017-11-03 | 司马大大（北京）智能系统有限公司 | 人脸替换方法、装置及电子设备 |
| CN107330408B (zh) * | 2017-06-30 | 2021-04-20 | 北京乐蜜科技有限责任公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN107330408A (zh) * | 2017-06-30 | 2017-11-07 | 北京金山安全软件有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN107333071A (zh) * | 2017-06-30 | 2017-11-07 | 北京金山安全软件有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN107481318A (zh) * | 2017-08-09 | 2017-12-15 | 广东欧珀移动通信有限公司 | 用户头像的替换方法、装置和终端设备 |
| CN107507216B (zh) * | 2017-08-17 | 2020-06-09 | 北京觅己科技有限公司 | 图像中局部区域的替换方法、装置及存储介质 |
| CN107507216A (zh) * | 2017-08-17 | 2017-12-22 | 北京觅己科技有限公司 | 图像中局部区域的替换方法、装置及存储介质 |
| CN109936775A (zh) * | 2017-12-18 | 2019-06-25 | 东斓视觉科技发展（北京）有限公司 | 宣传影片的制作方法及设备 |
| CN108040290A (zh) * | 2017-12-22 | 2018-05-15 | 四川长虹电器股份有限公司 | 基于ar技术的电视节目实时换脸方法 |
| CN109977739A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108200334A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
| CN108259788A (zh) * | 2018-01-29 | 2018-07-06 | 努比亚技术有限公司 | 视频编辑方法、终端和计算机可读存储介质 |
| CN110300275B (zh) * | 2018-03-21 | 2021-09-21 | 腾讯科技（深圳）有限公司 | 视频录制、播放方法、装置、终端及存储介质 |
| CN110300275A (zh) * | 2018-03-21 | 2019-10-01 | 腾讯科技（深圳）有限公司 | 视频录制、播放方法、装置、终端及存储介质 |
| CN110267079A (zh) * | 2018-03-30 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 待播放视频中人脸的替换方法和装置 |
| CN110267079B (zh) * | 2018-03-30 | 2023-03-24 | 腾讯科技（深圳）有限公司 | 待播放视频中人脸的替换方法和装置 |
| CN108510437A (zh) * | 2018-04-04 | 2018-09-07 | 科大讯飞股份有限公司 | 一种虚拟形象生成方法、装置、设备以及可读存储介质 |
| CN108629821A (zh) * | 2018-04-20 | 2018-10-09 | 北京比特智学科技有限公司 | 动画生成方法和装置 |
| CN108765529A (zh) * | 2018-05-04 | 2018-11-06 | 北京比特智学科技有限公司 | 视频生成方法和装置 |
| CN108665408A (zh) * | 2018-05-21 | 2018-10-16 | 北京微播视界科技有限公司 | 肤色调整方法、装置和电子设备 |
| CN108682030A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 脸皮替换方法、装置及计算机设备 |
| CN108648142A (zh) * | 2018-05-21 | 2018-10-12 | 北京微播视界科技有限公司 | 图像处理方法及装置 |
| CN108681719A (zh) * | 2018-05-21 | 2018-10-19 | 北京微播视界科技有限公司 | 视频图像处理方法及装置 |
| CN108848419A (zh) * | 2018-06-07 | 2018-11-20 | 康佳集团股份有限公司 | 基于生物特征识别的电视互动方法、智能电视及存储介质 |
| CN108848419B (zh) * | 2018-06-07 | 2020-12-11 | 康佳集团股份有限公司 | 基于生物特征识别的电视互动方法、智能电视及存储介质 |
| CN109147037B (zh) * | 2018-08-16 | 2020-09-18 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN108966017A (zh) * | 2018-08-24 | 2018-12-07 | 太平洋未来科技（深圳）有限公司 | 视频生成方法、装置及电子设备 |
| CN109151340A (zh) * | 2018-08-24 | 2019-01-04 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
| CN108966017B (zh) * | 2018-08-24 | 2021-02-12 | 太平洋未来科技（深圳）有限公司 | 视频生成方法、装置及电子设备 |
| WO2020037679A1 (zh) * | 2018-08-24 | 2020-02-27 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
| CN110969569A (zh) * | 2018-09-28 | 2020-04-07 | 传线网络科技（上海）有限公司 | 试镜视频的生成方法及装置 |
| CN109377502A (zh) * | 2018-10-15 | 2019-02-22 | 深圳市中科明望通信软件有限公司 | 一种图像处理方法、图像处理装置及终端设备 |
| CN109559362A (zh) * | 2018-11-23 | 2019-04-02 | 广东智媒云图科技股份有限公司 | 一种图像主体脸部替换方法及装置 |
| CN109559362B (zh) * | 2018-11-23 | 2022-10-21 | 广东智媒云图科技股份有限公司 | 一种图像主体脸部替换方法及装置 |
| US11386933B2 (en) | 2018-12-07 | 2022-07-12 | Tencent Technology (Shenzhen) Company Limited | Image information processing method and apparatus, and storage medium |
| CN109670427A (zh) * | 2018-12-07 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种图像信息的处理方法、装置及存储介质 |
| CN109788311B (zh) * | 2019-01-28 | 2021-06-04 | 北京易捷胜科技有限公司 | 人物替换方法、电子设备和存储介质 |
| CN109788311A (zh) * | 2019-01-28 | 2019-05-21 | 北京易捷胜科技有限公司 | 人物替换方法、电子设备和存储介质 |
| CN109788312A (zh) * | 2019-01-28 | 2019-05-21 | 北京易捷胜科技有限公司 | 一种视频中人物的替换方法 |
| CN111565292A (zh) * | 2019-02-13 | 2020-08-21 | 夏普株式会社 | 图像处理装置、图像通信系统以及图像处理方法 |
| CN110047118A (zh) * | 2019-04-08 | 2019-07-23 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置、计算机设备及存储介质 |
| CN110047118B (zh) * | 2019-04-08 | 2023-06-27 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置、计算机设备及存储介质 |
| CN110147737A (zh) * | 2019-04-25 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于生成视频的方法、装置、设备和存储介质 |
| CN111741348A (zh) * | 2019-05-27 | 2020-10-02 | 北京京东尚科信息技术有限公司 | 网页视频播放的控制方法、系统、设备和存储介质 |
| CN110490060B (zh) * | 2019-07-10 | 2020-09-11 | 特斯联（北京）科技有限公司 | 一种基于机器学习硬件架构的安防前端视频设备 |
| CN110490060A (zh) * | 2019-07-10 | 2019-11-22 | 特斯联（北京）科技有限公司 | 一种基于机器学习硬件架构的安防前端视频设备 |
| CN110266973B (zh) * | 2019-07-19 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110266973A (zh) * | 2019-07-19 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110399849B (zh) * | 2019-07-30 | 2021-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN110399849A (zh) * | 2019-07-30 | 2019-11-01 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN111008927B (zh) * | 2019-08-07 | 2023-10-31 | 深圳华侨城文化旅游科技集团有限公司 | 一种人脸替换方法、存储介质及终端设备 |
| CN111008927A (zh) * | 2019-08-07 | 2020-04-14 | 深圳华侨城文化旅游科技集团有限公司 | 一种人脸替换方法、存储介质及终端设备 |
| CN110517187A (zh) * | 2019-08-30 | 2019-11-29 | 王�琦 | 广告生成方法、装置及系统 |
| CN110570348A (zh) * | 2019-09-10 | 2019-12-13 | 连尚（新昌）网络科技有限公司 | 一种脸部图像替换方法及设备 |
| CN110570348B (zh) * | 2019-09-10 | 2023-09-15 | 连尚（新昌）网络科技有限公司 | 一种脸部图像替换方法及设备 |
| WO2021109678A1 (zh) * | 2019-12-04 | 2021-06-10 | 深圳追一科技有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| CN111291218A (zh) * | 2020-01-20 | 2020-06-16 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
| CN111291218B (zh) * | 2020-01-20 | 2023-09-08 | 北京百度网讯科技有限公司 | 视频融合方法、装置、电子设备及可读存储介质 |
| CN111696029A (zh) * | 2020-05-22 | 2020-09-22 | 平安普惠企业管理有限公司 | 虚拟形象视频生成方法、装置、计算机设备及存储介质 |
| CN111696029B (zh) * | 2020-05-22 | 2023-08-01 | 北京治冶文化科技有限公司 | 虚拟形象视频生成方法、装置、计算机设备及存储介质 |
| CN112102157A (zh) * | 2020-09-09 | 2020-12-18 | 咪咕文化科技有限公司 | 视频换脸方法、电子设备和计算机可读存储介质 |
| CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
| CN112541963B (zh) * | 2020-11-09 | 2023-12-26 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
| CN112449249A (zh) * | 2020-11-23 | 2021-03-05 | 深圳市慧鲤科技有限公司 | 视频流处理方法及装置、电子设备及存储介质 |
| CN113242451A (zh) * | 2021-05-07 | 2021-08-10 | 上海哔哩哔哩科技有限公司 | 视频生成方法及装置 |
| WO2022233223A1 (zh) * | 2021-05-07 | 2022-11-10 | 北京字跳网络技术有限公司 | 图像拼接方法、装置、设备及介质 |
| CN113395569A (zh) * | 2021-05-29 | 2021-09-14 | 北京优幕科技有限责任公司 | 视频生成方法及装置 |
| CN113794799A (zh) * | 2021-09-17 | 2021-12-14 | 维沃移动通信有限公司 | 视频处理方法和装置 |
| CN113965802A (zh) * | 2021-10-22 | 2022-01-21 | 深圳市兆驰股份有限公司 | 沉浸式视频交互方法、装置、设备和存储介质 |
| CN115018698A (zh) * | 2022-08-08 | 2022-09-06 | 深圳市联志光电科技有限公司 | 一种用于人机交互的图像处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105118082B (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105118082A (zh) | 个性化视频生成方法及系统 | |
| Cheng et al. | Structure-preserving neural style transfer | |
| US10586370B2 (en) | Systems and methods for rendering avatars with deep appearance models | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN110110118A (zh) | 妆容推荐方法、装置、存储介质及移动终端 | |
| CN107194371B (zh) | 基于层次化卷积神经网络的用户专注度识别方法及系统 | |
| CN105005777A (zh) | 一种基于人脸的音视频推荐方法及系统 | |
| CN108334816A (zh) | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 | |
| WO2022143645A1 (zh) | 三维人脸重建的方法、装置、设备和存储介质 | |
| CN104637035B (zh) | 生成卡通人脸图片的方法、装置及系统 | |
| Rhee et al. | Cartoon-like avatar generation using facial component matching | |
| JP2023548921A (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| Zhang et al. | Compositional model-based sketch generator in facial entertainment | |
| CN105210110A (zh) | 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序 | |
| CN110852941B (zh) | 一种基于神经网络的二维虚拟试衣方法 | |
| KR101700818B1 (ko) | 얼굴 영상을 이용하여 나이 또는 성별을 추정하는 방법 및 장치 | |
| Shu et al. | Kinship-guided age progression | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| Xu et al. | Gait-based age progression/regression: a baseline and performance evaluation by age group classification and cross-age gait identification | |
| US20190197204A1 (en) | Age modelling method | |
| Lienhard et al. | How to predict the global instantaneous feeling induced by a facial picture? | |
| Lee et al. | Emotion-inspired painterly rendering | |
| Berisha et al. | Identifying regions that carry the best information about global facial configurations | |
| CN115018729A (zh) | 一种面向内容的白盒图像增强方法 | |
| CN115936796A (zh) | 一种虚拟换妆方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |