CN110162667A - 视频生成方法、装置及存储介质 - Google Patents

视频生成方法、装置及存储介质 Download PDF

Info

Publication number
CN110162667A
CN110162667A CN201910458625.5A CN201910458625A CN110162667A CN 110162667 A CN110162667 A CN 110162667A CN 201910458625 A CN201910458625 A CN 201910458625A CN 110162667 A CN110162667 A CN 110162667A
Authority
CN
China
Prior art keywords
virtual
scene
scenes
video
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910458625.5A
Other languages
English (en)
Inventor
姚朋宾
黄俊杰
陈娟霞
杜鹏
左佳
孙彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910458625.5A priority Critical patent/CN110162667A/zh
Publication of CN110162667A publication Critical patent/CN110162667A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种视频生成方法、装置及存储介质,属于视频技术领域。所述方法包括:获取N个虚拟场景,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,获取M个虚拟对象;基于N个虚拟场景、与N个虚拟场景中每个虚拟场景关联的剧情信息,以及M个虚拟对象,生成以N个虚拟场景为故事背景的视频。本申请能够制作出以丰富虚拟场景为故事背景的情景剧视频,并以情景剧的形式来展示想要的故事内容,比如可以以情景剧的形式展示一对结婚新人相识相知相恋的过程,丰富了视频制作方式和视频内容,能够满足用户的个性化需求。

Description

视频生成方法、装置及存储介质
技术领域
本申请涉及视频技术领域,特别涉及一种视频生成方法、装置及存储介质。
背景技术
随着视频技术和互联网技术的不断发展,用户不仅具有视频观看需求,还具有制作个性化视频的需求,而视频制作平台则可以根据用户的指令生成各种各样的视频。例如,结婚新人可以根据需要制作婚礼请柬视频等。
目前,视频生成方法一般包括两种,第一种是基于图片生成视频,第二种是提前录制视频,然后对录制的视频进行视频编辑处理。比如,用户可以在视频制作平台上传婚纱照,并选择喜欢的照片模板和背景音乐,由视频制作平台基于用户上传的婚纱照,以及选择的照片模板和背景音乐,生成婚礼请柬视频。或者,用户也可以提前录制邀请视频,然后由专业团队对邀请视频进行视频编辑处理,并增加合适的特效,得到婚礼请柬视频。
由上可知,相关技术中只能基于图片或录制的视频,来制作满足用户需求的视频,视频制作方式和视频内容较为单一,无法满足用户的个性化需求。
发明内容
本申请实施例提供了一种视频生成方法、装置及存储介质,可以用于解决相关技术中存在的视频制作方式和视频内容较为单一,无法满足用户的个性化需求的问题。所述技术方案如下:
一方面,提供了一种视频生成方法,所述方法包括:
获取N个虚拟场景,以及与所述N个虚拟场景中每个虚拟场景关联的剧情信息,所述N为正整数;
获取M个虚拟对象,所述M为正整数;
基于所述N个虚拟场景、与所述N个虚拟场景中每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频。
可选地,所述获取N个虚拟场景,包括:
显示多个可选虚拟场景,若检测到场景选择指令,则从所述多个可选虚拟场景中,获取所述场景选择指令所选择的N个虚拟场景;或者,
获取用户信息和用户图像,基于所述用户信息和所述用户图像,通过场景推荐模型,获取所述N个虚拟场景,所述场景推荐模型用于基于多个可选虚拟场景进行场景推荐。
可选地,所述基于所述用户信息和所述用户图像,通过场景推荐模型,获取所述N个虚拟场景,包括:
对所述用户信息进行分析处理,得到用户画像;
对所述用户图像中的图像元素进行提取,得到图像元素集合;
将所述用户画像和所述图像元素集合作为所述场景推荐模型的输入,通过所述场景推荐模型,获取所述N个虚拟场景。
可选地,所述场景推荐模型包括输入层、中间层和输出层;
所述通过所述场景推荐模型,获取所述N个虚拟场景,包括:
通过所述输入层获取输入的所述用户画像和所述图像元素集合;
通过所述中间层对所述用户画像和所述图像元素集合进行处理,得到所述多个可选虚拟场景的推荐概率;
通过所述输出层,基于所述多个可选虚拟场景的推荐概率,从所述多个可选虚拟场景中,获取所述N个虚拟场景。
可选地,所述通过所述输出层,基于所述多个可选虚拟场景的推荐概率,从所述多个可选虚拟场景中,获取所述N个虚拟场景,包括:
通过所述输出层,按照推荐概率从大到小的顺序,从所述多个可选虚拟场景中获取排序在前的N个虚拟场景;或者,
通过所述输出层,将所述多个可选虚拟场景中推荐概率大于或等于参考推荐概率的虚拟场景,确定为所述N个虚拟场景。
可选地,所述基于所述用户信息和所述用户图像,通过场景推荐模型,获取所述N个虚拟场景之前,还包括:
获取多组正样本数据,每组正样本数据包括样本用户信息、样本用户图像,以及所述样本用户信息和所述样本用户图像对应的虚拟场景;
基于所述多组正样本数据,对待训练场景推荐模型进行训练,得到所述场景推荐模型。
可选地,所述基于所述多组正样本数据,对待训练场景推荐模型进行训练,得到所述场景推荐模型,包括:
对所述多组正样本数据中每组正样本数据包括的样本用户信息进行分析处理,得到样本用户画像;
对所述多组正样本数据中每组正样本数据包括的样本用户图像中的图像元素进行提取,得到样本图像元素集合;
基于处理后的多组正样本数据,对待训练场景推荐模型进行训练,得到所述场景推荐模型,处理后的每组样本数据包括所述样本用户画像、所述样本图像元素集合,以及所述样本用户画像和所述样本图像元素集合对应的虚拟场景。
可选地,所述获取M个虚拟对象,包括:
接收上传的M个虚拟对象;或者,
显示多个可选虚拟对象,若检测到对象选择指令,则从所述多个可选虚拟对象中,获取所述对象选择指令所选择的M个虚拟对象;或者,
对用户图像进行人像提取,得到一个或多个不同的人物图像,基于所述一个或多个不同的人物图像,生成所述M个虚拟对象;或者,
基于对象推荐数据,通过对象推荐模型,获取所述M个虚拟对象,所述对象推荐数据包括用户信息、用户图像和所述N个虚拟场景中的至少一种,所述对象推荐模型用于基于多个可选虚拟对象进行对象推荐。
可选地,所述获取与所述N个虚拟场景中每个虚拟场景关联的剧情信息,包括:
对于所述N个虚拟场景中的任一虚拟场景,接收针对所述任一虚拟场景上传的剧情信息;或者,
显示多个可选剧情信息,若检测到针对所述N个虚拟场景中的任一虚拟场景的剧情选择指令,则从所述多个可选剧情信息中,获取所述剧情选择指令所选择的剧情信息,将选择的剧情信息确定为与所述任一虚拟场景关联的剧情信息;或者,
基于剧情推荐数据,通过剧情推荐模型,获取与所述N个虚拟场景中的任一虚拟场景关联的剧情信息,所述剧情推荐数据包括用户信息、用户图像和所述任一虚拟场景中的至少一种,所述剧情推荐模型用于基于多个可选剧情信息进行剧情推荐。
可选地,所述基于所述N个虚拟场景、与所述N个虚拟场景中每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频,包括:
基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹;
基于所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段;
将以每个虚拟场景为故事背景的视频段进行组合,得到以所述N个虚拟场景为故事背景的视频。
可选地,所述基于所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段之前,还包括:
获取所述M个虚拟对象在每个虚拟场景中的音频对话信息;
所述基于所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段,包括:
基于所述M个虚拟对象在每个虚拟场景中的动作变化、运动轨迹和音频对话信息,生成以每个虚拟场景为故事背景的视频段。
可选地,所述获取所述M个虚拟对象在每个虚拟场景中的音频对话信息,包括:
基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的对白信息,对所述M个虚拟对象在每个虚拟场景中的对白信息进行语音转换,得到所述M个虚拟对象在每个虚拟场景中的音频对话信息;或者,
录制音频对话信息,基于录制的音频对话信息,确定所述M个虚拟对象在每个虚拟场景中的音频对话信息。
可选地,与所述N个虚拟场景中每个虚拟场景关联的剧情信息包括虚拟对象控制脚本,所述虚拟对象控制脚本用于指示虚拟对象的动作变化和运动轨迹;
所述基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,包括:
调用所述N个虚拟场景中每个虚拟场景对应的虚拟对象控制脚本;
基于调用的虚拟对象控制脚本,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹。
可选地,所述基于所述N个虚拟场景、与每个虚拟场景关联的剧情信息以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频之前,还包括:
显示所述N个虚拟场景的场景信息;
若基于所述N个虚拟场景的场景信息接收到确认指令,则执行基于所述N个虚拟场景、与每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频的步骤。
可选地,所述显示所述N虚拟场景的场景信息之后,还包括:
若基于所述N个虚拟场景的场景信息接收到拒绝指令,则将所述用户信息、所述用户图像和所述N个虚拟场景作为负样本数据,对场景推荐模型进行更新。
一方面,提供了一种视频生成装置,所述装置包括:
第一获取模块,用于获取N个虚拟场景,以及与所述N个虚拟场景中每个虚拟场景关联的剧情信息,所述N为正整数;
第二获取模块,用于获取M个虚拟对象,所述M为正整数;
生成模块,用于基于所述N个虚拟场景、与所述N个虚拟场景中每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频。
可选地,所述第一获取模块包括:
第一获取单元,用于显示多个可选虚拟场景,若检测到场景选择指令,则从所述多个可选虚拟场景中,获取所述场景选择指令所选择的N个虚拟场景;或者,
第二获取单元,用于获取用户信息和用户图像,基于所述用户信息和所述用户图像,通过场景推荐模型,获取所述N个虚拟场景,所述场景推荐模型用于基于多个可选虚拟场景进行场景推荐。
可选地,所述第二获取单元用于:
对所述用户信息进行分析处理,得到用户画像;
对所述用户图像中的图像元素进行提取,得到图像元素集合;
将所述用户画像和所述图像元素集合作为所述场景推荐模型的输入,通过所述场景推荐模型,获取所述N个虚拟场景。
可选地,所述场景推荐模型包括输入层、中间层和输出层;
所述第二获取单元用于:
通过所述输入层获取输入的所述用户画像和所述图像元素集合;
通过所述中间层对所述用户画像和所述图像元素集合进行处理,得到所述多个可选虚拟场景的推荐概率;
通过所述输出层,基于所述多个可选虚拟场景的推荐概率,从所述多个可选虚拟场景中,获取所述N个虚拟场景。
可选地,所述第二获取单元用于:
通过所述输出层,按照推荐概率从大到小的顺序,从所述多个可选虚拟场景中获取排序在前的N个虚拟场景;或者,
通过所述输出层,将所述多个可选虚拟场景中推荐概率大于或等于参考推荐概率的虚拟场景,确定为所述N个虚拟场景。
可选地,所述装置还包括:
第三获取模块,用于获取多组正样本数据,每组正样本数据包括样本用户信息、样本用户图像,以及所述样本用户信息和所述样本用户图像对应的虚拟场景;
第四获取模块,用于基于所述多组正样本数据,对待训练场景推荐模型进行训练,得到所述场景推荐模型。
可选地,所述第四获取模块用于:
对所述多组正样本数据中每组正样本数据包括的样本用户信息进行分析处理,得到样本用户画像;
对所述多组正样本数据中每组正样本数据包括的样本用户图像中的图像元素进行提取,得到样本图像元素集合;
基于处理后的多组正样本数据,对待训练场景推荐模型进行训练,得到所述场景推荐模型,处理后的每组样本数据包括所述样本用户画像、所述样本图像元素集合,以及所述样本用户画像和所述样本图像元素集合对应的虚拟场景。
可选地,所述第二获取模块用于:
接收上传的M个虚拟对象;或者,
显示多个可选虚拟对象,若检测到对象选择指令,则从所述多个可选虚拟对象中,获取所述对象选择指令所选择的M个虚拟对象;或者,
对用户图像进行人像提取,得到一个或多个不同的人物图像,基于所述一个或多个不同的人物图像,生成所述M个虚拟对象;或者,
基于对象推荐数据,通过对象推荐模型,获取所述M个虚拟对象,所述对象推荐数据包括用户信息、用户图像和所述N个虚拟场景中的至少一种,所述对象推荐模型用于基于多个可选虚拟对象进行对象推荐。
可选地,所述第一获取模块用于:
对于所述N个虚拟场景中的任一虚拟场景,接收针对所述任一虚拟场景上传的剧情信息;或者,
显示多个可选剧情信息,若检测到针对所述N个虚拟场景中的任一虚拟场景的剧情选择指令,则从所述多个可选剧情信息中,获取所述剧情选择指令所选择的剧情信息,将选择的剧情信息确定为与所述任一虚拟场景关联的剧情信息;或者,
基于剧情推荐数据,通过剧情推荐模型,获取与所述N个虚拟场景中的任一虚拟场景关联的剧情信息,所述剧情推荐数据包括用户信息、用户图像和所述任一虚拟场景中的至少一种,所述剧情推荐模型用于基于多个可选剧情信息进行剧情推荐。
可选地,所述生成模块包括:
确定单元,用于基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹;
生成单元,用于基于所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段;
组合单元,用于将以每个虚拟场景为故事背景的视频段进行组合,得到以所述N个虚拟场景为故事背景的视频。
可选地,所述装置还包括:
第五获取模块,用于获取所述M个虚拟对象在每个虚拟场景中的音频对话信息;
所述生成单元用于:
基于所述M个虚拟对象在每个虚拟场景中的动作变化、运动轨迹和音频对话信息,生成以每个虚拟场景为故事背景的视频段。
可选地,所述第五获取模块用于:
基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的对白信息,对所述M个虚拟对象在每个虚拟场景中的对白信息进行语音转换,得到所述M个虚拟对象在每个虚拟场景中的音频对话信息;或者,
录制音频对话信息,基于录制的音频对话信息,确定所述M个虚拟对象在每个虚拟场景中的音频对话信息。
可选地,与所述N个虚拟场景中每个虚拟场景关联的剧情信息包括虚拟对象控制脚本,所述虚拟对象控制脚本用于指示虚拟对象的动作变化和运动轨迹;
所述确定单元用于:
调用所述N个虚拟场景中每个虚拟场景对应的虚拟对象控制脚本;
基于调用的虚拟对象控制脚本,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹。
可选地,所述装置还包括:
显示模块,用于显示所述N个虚拟场景的场景信息;
触发模块,用于若基于所述N个虚拟场景的场景信息接收到确认指令,则触发所述生成模块基于所述N个虚拟场景、与每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频。
可选地,所述装置还包括:
更新模块,用于若基于所述N个虚拟场景的场景信息接收到拒绝指令,则将所述用户信息、所述用户图像和所述N个虚拟场景作为负样本数据,对场景推荐模型进行更新。
一方面,提供了一种视频生成装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述任一种视频生成方法的步骤。
一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述任一种视频生成方法的步骤。
本申请实施例提供的技术方案带来的有益效果是:
本申请实施例中,通过获取N个虚拟场景、M个虚拟对象,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,然后基于这N个虚拟场景、M个虚拟对象,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,生成以这N个虚拟场景为故事背景的视频,从而可以制作出以丰富虚拟场景为故事背景的情景剧视频,并以情景剧的形式来展示想要的故事内容,比如可以以情景剧的形式展示一对结婚新人相识相知相恋的过程,丰富了视频制作方式和视频内容,能够满足用户的个性化需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例涉及的一种实施环境的示意图;
图2是本申请实施例涉及的另一种实施环境的示意图;
图3是本申请实施例提供的一种视频生成方法的流程图;
图4是本申请实施例提供的一种场景推荐过程的示意图;
图5是本申请实施例提供的另一种视频生成方法的流程图;
图6是本申请实施例提供的一种电子婚礼请柬的制作和播放流程图;
图7是本申请实施例提供的一种视频生成装置的框图;
图8是本申请实施例提供的一种视频生成装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前,先对本申请实施例的应用场景予以说明。
本申请实施例应用于视频制作场景中,比如,应用于电子婚礼请柬的制作场景中。电子婚礼请柬对于即将结婚的新人来说是必备的,但是目前市场绝大多数电子婚礼请柬均是基于图片或录制的视频来制作,形式过于单一,内容简单,叙事性和互动性差,无法满足用户的个性化需求。而本申请实施例提供的视频生成方法,则能够以情景剧的形式展现一对新人相识相知相恋的过程,使得受邀人能了解到新人的一些趣闻轶事,丰富了电子婚礼请柬的制作方式,提高了叙事性和互动性差,满足了用户的个性化需求。
需要说明的是,本申请实施例仅是以所提供的视频生成方法应用于电子婚礼请柬的制作场景中为例进行说明,而在其他实施例中,还可以应用于动画视频、宣传视频等其他视频制作场景中。
接下来,对本申请实施例涉及的实施环境进行介绍。
图1是本申请实施例涉及的一种实施环境的示意图,如图1所示,该实施环境包括第一终端10,第一终端10可以为手机、平板电脑或计算机等。可选地,第一终端10中安装有视频制作应用,第一终端10通过安装的视频制作应用,按照本申请实施例提供的方法生成视频。示例的,视频制作应用用于制作婚礼请柬视频或电子婚礼请柬。
图2是本申请实施例涉及的另一种实施环境的示意图,如图2所示,该实施环境包括第一终端10、服务器20和第二终端30。其中,第一终端10、服务器20和第二终端30之间均可以通过有线网络或无线网络与服务器20进行连接。
第一终端10为视频制作端,用于根据用户的操作设定制作视频所需的数据,如虚拟场景、虚拟对象和剧情信息等。服务器20用于根据视频制作端设定的数据,按照本申请实施例提供的方法生成视频。可选地,服务器20生成视频后,还可以将生成的视频返回给第一终端10。第一终端10接收到返回的视频后,可以进行播放或预览。可选地,第一终端10安装有视频制作应用,服务器20为视频制作应用的后台服务器。可选地,第一终端10可以通过用户账号登录视频制作应用。第二终端20为视频播放端,用于接收第一终端10发送的视频,并播放视频。示例的,第二终端20可以接收第一终端10发送或分享的电子婚礼请柬,并基于该电子婚礼请柬播放婚礼请柬视频。
其中,第一终端10和第二终端30可以为手机、平板电脑或计算机等,本申请实施例对此不做限定。服务器20可以为一个服务器,可以为包括多个服务器的服务器集群。
接下来,对本申请实施例提供的视频生成方法进行详细介绍。图3是本申请实施例提供的一种视频生成方法的流程图,该方法可以应用于视频生成装置中,该视频生成装置可以为终端或服务器,示例的,可以应用于视频生成装置安装的视频生成应用中。如图3所示,该方法包括如下步骤:
步骤301:获取N个虚拟场景,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,N为正整数。
本申请实施例提供的视频生成方法用于生成能够展现个性化故事内容的情景剧视频,而该N个虚拟场景即为要生成的情景剧视频的故事背景,具体为视频的故事内容中可能涉及的一些场地。
在一些示例中,若要生成的视频为婚礼请柬视频,则该虚拟场景可以为新人相识相知相恋过程中可能涉及的一些场地,如校园、电影院、办公室或求婚场地等。而且,这些场地均为虚拟的场地,可以预先基于虚拟信息制作而成,如动画形式的场地。
每个虚拟场景关联的剧情信息是指在每个虚拟场景中发生的故事内容,比如,每个虚拟场景关联的剧情信息可以包括故事主角在每个虚拟场景中的动作信息和对白等。示例的,若某个虚拟场景为校园的操场,则该虚拟场景关联的剧情信息可以为一对新人在操作中牵手散步以及互诉衷肠等。
在一些示例中,若要生成的视频为婚礼请柬视频,则这N个虚拟场景关联的剧情信息可以为一对新人相识相知相恋的过程,用于讲述一对新人的感情经历。比如,某些虚拟场景关联的剧情信息可以为一对新人相识的过程,某些虚拟场景关联的剧情信息可以为一对新人相知的过程,以及某些虚拟场景关联的剧情信息可以为一对新人相恋的过程。进一步地,某些虚拟场景关联的剧情信息还可以包括求婚过程等。
本申请实施例中,可以根据用户的获取操作,获取N个虚拟场景,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,也可以在接收到视频生成指令后,自动获取N个虚拟场景,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,本申请实施例对此不做限定。
在一些实施例中,获取N个虚拟场景的操作可以包括以下几种实现方式:
第一种实现方式:显示多个可选虚拟场景,若检测到场景选择指令,则从这多个可选虚拟场景中,获取场景选择指令所选择的N个虚拟场景。
其中,该N个虚拟场景可以由视频生成装置预先设置,以供用户根据需要进行选择。该场景选择指令可以由用户的选择操作触发,该选择操作可以为点击操作、滑动操作、手势操作或语音操作等。
比如,以婚礼请柬视频制作场景为例,视频生成装置可以显示校园、办公室、家庭、电影院、演唱会、餐厅、健身房、网络聊天、海边、夜空、草原或求婚场地等各种各样新人相识相知相恋过程中可能涉及的虚拟场景,用户可以根据自己的实际情况从这些场景中自主选择,视频生成装置可以将用户选择的场景作为该N个虚拟场景。
在一个实施例中,该视频生成装置为终端,终端安装有视频制作应用,该视频制作应用可以为用户特供多个可选虚拟场景,且这多个可选虚拟场景均为视频制作应用综合考虑用户的需求预先设置。在用户打开该视频制作应用视频制作页面后,终端可以视频制作页面中显示多个可选虚拟场景供用户进行选择。
通过显示多个可选虚拟场景,由用户自主进行选择,可以使得用户能够精确选择满足需求的虚拟场景,提高了获取虚拟场景的准确度。
第二种实现方式:获取用户信息和用户图像,基于该用户信息和用户图像,通过场景推荐模型,获取N个虚拟场景,该场景推荐模型用于基于多个可选虚拟场景进行场景推荐。
其中,用户信息用于描述用户,具体可以包括用户基本信息和行为信息中的至少一种。比如,用户基本信息可以包括用户的年龄、性别、学习历程、工作历程和家庭信息等,在一些示例中,用户基本信息可以由用户填写得到,譬如,视频生成应用可以从用户的账号注册信息中获取用户基本信息。行为信息包括用户的网络行为记录,比如在视频生成应用或在社交应用中的行为记录等。
其中,用户图像可以为用户照片或肖像,具体可以由用户上传,也可以从用户的网络活动中抓取得到。比如,在婚礼请柬视频制作场景中,用户图像为新人的婚纱照。在一些示例中,用户可以在视频生成应用中上传婚纱照,则视频生成应用可以将用户上传的婚纱照获取用户图像。
由于用户信息和用户图像可以在一定程度上指导用户的场景偏好,因此,可以获取获取用户信息和用户图像,基于该用户信息和用户图像进行场景推荐。该场景推荐模型用于基于任一用户的用户信息和用户图像,从多个可选虚拟场景自动选择虚拟场景进行推荐,从而可以自动为用户推荐合适的虚拟场景,而无需用户手段选取,简化了用户的操作,提高了视频生成效率。
在一些示例中,基于用户信息和用户图像,通过场景推荐模型,获取N个虚拟场景的操作包括:对用户信息进行分析处理,得到用户画像;对用户图像中的图像元素进行提取,得到图像元素集合;将用户画像和图像元素集合作为场景推荐模型的输入,通过该场景推荐模型,获取N个虚拟场景。
其中,用户画像用于在数据层面勾画用户,具体可以由多个用户标签组成。在大数据时代背景下,用户信息充斥在网络中,为了便于处理用户信息,可以将用户的各种具体信息抽象成标签,利用这些标签来将用户形象具体化。图像元素是指用户图像中包括的各种元素,比如,用户的婚纱照中可能包括大海、星空、钢琴、马车或鲜花等图像元素,为了对用户进行准确地场景推荐,可以将婚纱照中的各种图像元素提取处理,然后基于这些图像元素进行场景推荐。
在一些示例中,将用户画像和图像元素集合作为场景推荐模型的输入,通过该场景推荐模型,获取N个虚拟场景包括:将用户画像和图像元素集合作为场景推荐模型的输入,通过该场景推荐模型对该用户画像和图像元素集合进行处理,得到多个可选虚拟场景中每个可选虚拟场景的推荐概率,基于多个可选虚拟场景的推荐概率,从多个可选虚拟场景中,获取N个虚拟场景。其中,每个可选虚拟场景的推荐概率用于指示该可选虚拟场景与用户的匹配程度,即能够被推荐给用户的可能性,且推荐概率越大,该可选虚拟场景与用户的匹配程度越高,越有可能被推荐给用户。
示例的,该场景推荐模型包括输入层、中间层和输出层,可以通过输入层获取输入的用户画像和图像元素集合,然后通过中间层对用户画像和图像元素集合进行处理,得到多个可选虚拟场景的推荐概率,再通过输出层,基于多个可选虚拟场景的推荐概率,从多个可选虚拟场景中,获取该N个虚拟场景。
在一些示例中,基于多个可选虚拟场景的推荐概率,从多个可选虚拟场景中,获取N个虚拟场景包括:按照推荐概率从大到小的顺序,从多个可选虚拟场景中获取排序在前的N个虚拟场景;或者,将多个可选虚拟场景中推荐概率大于或等于参考推荐概率的虚拟场景,确定为N个虚拟场景。其中,参考推荐概率为预先设置的推荐概率阈值,示例的,参考推荐概率可以为80%、90%或95%等。
为了得到能够对用户进行场景推荐的场景推荐模型,需要预先基于用户样本进行模型训练,接下来对场景推荐模型的训练过程进行介绍。在一个示例中,场景推荐模型的训练过程包括:获取多组正样本数据,每组正样本数据包括样本用户信息、样本用户图像,以及样本用户信息和样本用户图像对应的虚拟场景;基于多组正样本数据,对待训练场景推荐模型进行训练,得到场景推荐模型。其中,样本用户信息和样本用户图像对应的虚拟场景为具有这些样本用户信息和样本用户图像的样本用户实际会选择的虚拟场景,可以预先标注得到。
进一步地,还可以将样本用户信息转化为用户画像,以及从样本用户图像中提取图像元素,得到图像元素集合,然后基于样本用户的用户画像和图像元素集合进行模型训练。例如,可以对多组正样本数据中每组正样本数据包括的样本用户信息进行分析处理,得到样本用户画像;对多组正样本数据中每组正样本数据包括的样本用户图像中的图像元素进行提取,得到样本图像元素集合;然后基于处理后的多组正样本数据,对待训练场景推荐模型进行训练,得到所述场景推荐模型。其中,处理后的每组样本数据包括样本用户画像、样本图像元素集合,以及样本用户画像和样本图像元素集合对应的虚拟场景。
进一步地,在通过场景推荐模型,获取N个虚拟场景之后,还可以检测用户是否采纳所推荐的这N个虚拟场景,若采纳,则将这N个虚拟场景作为生成最终视频所需的虚拟场景,若不采纳,则可以基于当前的用户信息和用户画像对场景推荐模型进行更新,以便实时调整场景推荐模型的推荐准确度。
在一些实施例中,在通过场景推荐模型,获取N个虚拟场景之后,可以显示该N个虚拟场景的场景信息,若基于该N个虚拟场景的场景信息接收到确认指令,则将这N个虚拟场景作为生成视频所需的虚拟场景。若基于该N个虚拟场景的场景信息接收到拒绝指令,则将用户信息、用户图像和这N个虚拟场景作为负样本数据,对场景推荐模型进行更新。
其中,该确认指令可以由用户的确认操作触发,用于指示用户确认采纳这N个虚拟场景。该拒绝指令可以由用户的拒绝指令触发,用于指示用于拒绝采纳这N个虚拟场景。在一个示例中,可以对场景推荐模型中用户信息和用户图像的权重进行调整,来对场景推荐模型进行更新。另外,还可以将用户画像、图像元素集合和这N个虚拟场景作为负样本数据,对场景推荐模型进行更新。这种情况下,可以通过对场景推荐模型中用户画像和图像元素集合的权重进行调整,来对场景推荐模型进行更新。
进一步地,在对场景推荐模型进行更新后,还可以利用更新后的场景推荐模型重新进行场景推荐,或者,在接收的拒绝指令后,也可以显示多个可选虚拟场景,由用户进行选择,若检测到场景选择指令,则从这多个可选虚拟场景中,获取场景选择指令所选择的虚拟场景作为最终生成视频所需的虚拟场景。
请参考图4,图4是本申请实施例提供的一种场景推荐过程的示意图,如图4所示,可以先获取用户信息和用户图像,再对用户信息进行分析处理,得到用户画像,以及对用户图像进行图片扫描,并对扫描的图像中的图像元素进行提取,得到图像元素集合,然后将用户画像和图像元素集合输入到场景推荐模型中,通过场景推荐模型获取合适的虚拟场景,之后检测用户是否采纳获取的虚拟场景,若不采纳,则基于用户画像和图像元素集合,对场景推荐模型进行更新,以实时对场景推荐模型进行调整。
接下来,对虚拟场景关联的剧情信息的获取方式进行介绍。在一些示例中,获取与N个虚拟场景中每个虚拟场景关联的剧情信息的操作可以包括以下几种实现方式:
第一种实现方式:对于N个虚拟场景中的任一虚拟场景,接收针对该任一虚拟场景上传的剧情信息。
在这种方式中,可以由用户自主设置每个虚拟场景的剧情信息,并将设置的剧情信息上传,如此,可以满足用户的多样化需求,提高了设置剧情信息的灵活性。比如,可以由用户自主编写每个虚拟场景中故事主角的动作和对白等。
第二种实现方式:显示多个可选剧情信息,若检测到针对N个虚拟场景中的任一虚拟场景的剧情选择指令,则从多个可选剧情信息中,获取剧情选择指令所选择的剧情信息,将选择的剧情信息确定为与该任一虚拟场景关联的剧情信息。
其中,该多个可选剧情信息可以由视频生成装置预先设置。剧情选择指令可以由用户通过剧情选择操作触发,该剧情选择操作可以为点击操作、滑动操作、手势操作或语音操作等,本申请实施例对此不做限定。
这种方式中,可以由视频生成装置预先设置多个可选剧情信息,以供用户根据实际需要进行选择,如此可以使得用户能够精确选择满足需求的剧情信息,提高了获取剧情信息的准确度。
第三种实现方式:基于剧情推荐数据,通过剧情推荐模型,获取与N个虚拟场景中的任一虚拟场景关联的剧情信息。其中,剧情推荐数据包括用户信息、用户图像和该任一虚拟场景中的至少一种,剧情推荐模型用于基于多个可选剧情信息进行剧情推荐。当然,剧情推荐数据也可以包括用户画像、图像元素集合和该任一虚拟场景中的至少一种。
这种方式中,视频生成装置也预先设置有多个可选剧情信息,但是无需用户进行选择,而是可以通过剧情推荐模型,从多个可选剧情信息自动选择合适的剧情信息进行推荐,从而简化了用户的操作,提高了视频生成效率。
其中,该剧情推荐模型可以预先基于用户样本数据进行训练得到。在一个示例中,剧情推荐模型的训练过程包括:获取多组正样本数据,每组正样本数据包括样本剧情推荐数据以及对应的剧情信息;基于多组正样本数据,对待训练剧情推荐模型进行训练,得到剧情推荐模型。其中,样本剧情推荐数据包括样本用户信息、样本用户图像和待关联的样本虚拟场景中的至少一种。
在一些实施例中,在通过剧情推荐模型,获取与N个虚拟场景中的任一虚拟场景关联的剧情信息之后,还可以检测用户是否采纳所推荐的剧情信息,若采纳,则将推荐的剧情信息作为对应虚拟场景关联的剧情信息,若不采纳,则还可以基于当前的剧情推荐数据对剧情推荐模型进行更新,以便实时调整剧情推荐模型的推荐准确度。
例如,在通过剧情推荐模型,获取与N个虚拟场景中的任一虚拟场景关联的剧情信息之后,显示任一虚拟场景关联的剧情信息,若基于任一虚拟场景关联的剧情信息接收到确认指令,则将该剧情信息作为该任一虚拟场景最终关联的剧情信息。若基于该任一虚拟场景关联的剧情信息息接收到拒绝指令,则将当前用户的剧情推荐数据作为负样本数据,对剧情推荐模型进行更新。其中,该确认指令可以由用户的确认操作触发,用于指示用户确认采纳所推荐的剧情信息。该拒绝指令可以由用户的拒绝指令触发,用于指示用于拒绝采纳所推荐的剧情信息。
进一步地,在对剧情推荐模型进行更新后,还可以利用更新后的剧情推荐模型重新进行剧情推荐,或者,在接收的拒绝指令后,也可以显示多个可选剧情信息,由用户进行选择,若检测到剧情选择指令,则从这多个可选剧情信息中,获取剧情选择指令所选择的剧情信息作为最终关联的剧情信息。
步骤302:获取M个虚拟对象,M为正整数。
其中,虚拟对象是指情景剧视频中演绎故事的故事角色,可以为虚拟人物、虚拟动物或虚拟物品等。示例的,虚拟对象可以为对象的动画形象,如对象的二维动画形象或三维动画形象等。比如,在婚礼请柬视频制作场景中,这M个虚拟对象是指两个新人的虚拟形象,如两个新人的卡通动画形象等。
其中,这M个虚拟对象可以由用户设置得到,可以由用户选择得到,也可以由视频生成装置自动推荐得到,本申请实施例对此不做限定。在一些实施例中,获取M个虚拟对象的操作可以包括以下几种实现方式:
第一种实现方式:接收上传的M个虚拟对象。
在这种方式中,可以由用户自主设置所需的M个虚拟对象,并将设置的M个虚拟对象上传至视频生成装置,由视频生成装置将用户上传的M个虚拟对象作为最终生成视频所需的虚拟对象。
其中,用户上传的M个虚拟对象可以从视频生成装置存储的虚拟对象或图像中选择得到,可以从网络中下载得到,也可以用用户制作得到,本申请实施例对此不做限定。
第二种实现方式:显示多个可选虚拟对象,若检测到对象选择指令,则从这多个可选虚拟对象中,获取对象选择指令所选择的M个虚拟对象。
其中,该多个可选虚拟对象可以由视频生成装置预先设置。对象选择指令可以由用户通过对象选择操作触发,该对象选择操作可以为点击操作、滑动操作、手势操作或语音操作等,本申请实施例对此不做限定。
这种方式中,可以由视频生成装置预先设置多个可选虚拟对象,以供用户根据实际需要进行选择,如此可以使得用户能够精确选择满足需求的虚拟对象,提高了获取虚拟对象的准确度。
第三种实现方式:对用户图像进行人像提取,得到一个或多个不同的人物图像,基于该一个或多个不同的人物图像,生成M个虚拟对象。
在一个实施例中,可以从用户图像中的人物头像进行提取,得到一个或多个不同的人物图像,然后将提取的一个人物图像作为头像,并在该头像下叠加身体元素,从而得到一个虚拟对象。当然,也可以采用其他方式对提取的一个或多个不同的人物图像进行处理,从而生成M个虚拟对象。
第四种实现方式:基于对象推荐数据,通过对象推荐模型,获取M个虚拟对象,该对象推荐数据包括用户信息、用户图像和N个虚拟场景中的至少一种,该对象推荐模型用于基于多个可选虚拟对象进行对象推荐。当然,对象推荐数据也可以包括用户画像、图像元素集合和N个虚拟场景中的至少一种。
这种方式中,视频生成装置也预先设置有多个可选虚拟对象,但是无需用户进行选择,而是可以通过对象推荐模型,从多个可选虚拟对象中自动选择合适的虚拟对象进行推荐,从而简化了用户的操作,提高了视频生成效率。
其中,该对象推荐模型可以预先基于用户样本数据进行训练得到。在一个示例中,对象推荐模型的训练过程包括:获取多组正样本数据,每组正样本数据包括样本对象推荐数据以及对应的虚拟对象;基于多组正样本数据,对待训练对象推荐模型进行训练,得到对象推荐模型。其中,样本对象推荐数据包括样本用户信息、样本用户图像和N个虚拟场景中的至少一种。
在一些实施例中,在通过对象推荐模型,获取M个虚拟对象之后,还可以检测用户是否采纳推荐的虚拟对象,若采纳,则将推荐的虚拟对象作为最终生成视频所需的虚拟对象,若不采纳,则还可以基于当前的对象推荐数据对对象推荐模型进行更新,以便实时调整对象推荐模型的推荐准确度。
例如,在通过对象推荐模型,获取M个虚拟对象之后,还可以显示M个虚拟对象,若基于该M个虚拟对象接收到确认指令,则将该M个虚拟对象作为最终生成视频所需的虚拟对象。若基于该M个虚拟对象接收到拒绝指令,则将当前用户的对象推荐数据作为负样本数据,对对象推荐模型进行更新。其中,该确认指令可以由用户的确认操作触发,用于指示用户确认采纳所推荐的虚拟对象。该拒绝指令可以由用户的拒绝指令触发,用于指示用于拒绝采纳所推荐的虚拟对象。
进一步地,在对对象推荐模型进行更新后,还可以利用更新后的对象推荐模型重新进行对象推荐,或者,在接收的拒绝指令后,也可以显示多个可选虚拟对象,由用户进行选择,若检测到对象选择指令,则从这多个可选虚拟对象中,获取对象选择指令所选择的虚拟对象作为最终所需的虚拟对象。
需要说明的是,本申请实施例对于N个虚拟场景、与N个虚拟场景中每个虚拟场景关联的剧情信息,以及M个虚拟对象的获取顺序不做限定,这些3种数据可以按照任意顺序先后获取,也可以并行获取。
步骤303:基于N个虚拟场景、与N个虚拟场景中每个虚拟场景关联的剧情信息,以及M个虚拟对象,生成以该N个虚拟场景为故事背景的视频。
其中,以该N个虚拟场景为故事背景的视频可以为情景剧视频,用于展示该M个虚拟对象在该N个虚拟场景中演绎的故事。通过基于N个虚拟场景、关联的剧情信息和M个虚拟对象,生成以该N个虚拟场景为故事背景的视频,能够实现根据用户的个性化需求,生成展示丰富场景和剧情故事的视频,使得观看视频的人能够了解用户想要表达的各种趣闻轶事,比如能够以情景剧的形式展示一对新人相识相知相恋的过程,丰富了视频制作形式,提高了视频的叙事性和互动性。
具体地,可以基于每个虚拟场景、与每个虚拟场景关联的剧情信息以及该M个虚拟对象,生成以每个虚拟场景为故事背景的视频段,然后将以每个虚拟场景为故事背景的视频段进行组合,得到以N个虚拟场景为故事背景的视频。
在一些示例中,可以基于与N个虚拟场景中每个虚拟场景关联的剧情信息,确定M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,然后基于M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段,再将以每个虚拟场景为故事背景的视频段进行组合,得到以N个虚拟场景为故事背景的视频。
另外,在M个虚拟对象根据剧情信息在N个虚拟场景中演绎故事的过程中,还可以为演绎的故事进行配音,以形成完善的视频资源。比如,在基于M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段之前,还可以获取M个虚拟对象在每个虚拟场景中的音频对话信息,然后基于M个虚拟对象在每个虚拟场景中的动作变化、运动轨迹和音频对话信息,生成以每个虚拟场景为故事背景的视频段。
其中,M个虚拟对象在每个虚拟场景中的音频对话信息可以由用户配音得到,也可以由视频生成装置对文字对白进行语音转换得到,本申请实施例对此不做限定。在一些示例中,获取M个虚拟对象在每个虚拟场景中的音频对话信息的操作可以包括以下两种实现方式:
第一种实现方式:基于与N个虚拟场景中每个虚拟场景关联的剧情信息,确定M个虚拟对象在每个虚拟场景中的对白信息,对M个虚拟对象在每个虚拟场景中的对白信息进行语音转换,得到M个虚拟对象在每个虚拟场景中的音频对话信息。
也即是,剧情信息中存在M个虚拟对象的对白信息,通过对对白信息进行语音转换,即可得到所需音频对话信息,即视频的配音信息。如此,进一步简化了用户的操作,提高了视频生成效率。
进一步地,针对每个虚拟对象,还可以为每个虚拟对象设置对应的声音,然后根据每个虚拟对象对应的声音,对每个虚拟对象的对白信息进行语音转换。其中,每个虚拟对象对应的声音可以由用户选择得到,也可以由视频生成装置根据用户信息推荐得到,本申请实施例对此不做限定。
第二种实现方式:录制音频对话信息,基于录制的音频对话信息,确定M个虚拟对象在每个虚拟场景中的音频对话信息。
也即是,可以由用户主动为虚拟对象进行配音,在用户配音的过程中,基于录制的音频对话信息,确定M个虚拟对象在每个虚拟场景中的音频对话信息。
在一些示例中,可以先基于M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段,再由用户对每个视频段进行配音,得到每个视频段的音频对话信息,之后,将每个虚拟场景的视频段和音频对话信息进行组合,得到每个虚拟场景对应的目标视频段,再将每个虚拟场景对应的目标视频段进行组合,得到以N个虚拟场景为故事背景的视频。
在另一些示例中,还可以先基于M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段,将以每个虚拟场景为故事背景的视频段进行组合,得到以N个虚拟场景为故事背景的视频,再由用户对整个视频进行配音,得到整个视频的音频对话信息,将整个视频和音频对话信息进行组合,得到最终的视频。
在一个示例中,与N个虚拟场景中每个虚拟场景关联的剧情信息还可以包括虚拟对象控制脚本,该虚拟对象控制脚本用于指示虚拟对象的动作变化和运动轨迹。在基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹的过程中,可以调用N个虚拟场景中每个虚拟场景对应的虚拟对象控制脚本;基于调用的虚拟对象控制脚本,确定M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹。
示例的,所生成的视频可以为AR(Augmented Reality,增强现实)视频,在AR视频中,每个虚拟场景关联的剧情信息可以是虚拟对象控制脚本。在生成AR视频的过程中,可以调用每个虚拟场景对应的虚拟对象控制脚本,然后基于每个虚拟场景、M个虚拟对象以及调用的虚拟对象控制脚本,生成以每个虚拟场景为故事背景的AR视频段,再将以每个虚拟场景为故事背景的AR视频段进行组合,得到以N个虚拟场景为故事背景的AR视频。
另外,在电子婚礼请柬的制作场景中,视频生成装置还可以获取婚礼邀请信息,基于生成的以N个虚拟场景为故事背景的视频和该婚礼邀请信息,生成电子婚礼请柬。其中,婚礼邀请信息可以包括婚礼日程和婚礼地址等信息。
需要说明的是,目前AR视频的制作,要求用户具有专业的AR视频制作知识,制作过程和视觉效果也需要专业工具,制作过程要求非常专业又繁琐,对于普通用户来说难度巨大,而本申请提供的视频制作方法,内置丰富的虚拟对象、虚拟场景和剧情信息等视频资源,而且也能推荐合适的视频资源,并能够直接基于设定的视频资源制动生成AR视频,AR视频制作方式非常简单,普通用户也能操作完成。
本申请实施例中,通过获取N个虚拟场景、M个虚拟对象,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,然后基于这N个虚拟场景、M个虚拟对象,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,生成以这N个虚拟场景为故事背景的视频,从而可以制作出以丰富虚拟场景为故事背景的情景剧视频,并以情景剧的形式来展示想要的故事内容,比如可以以情景剧的形式展示一对结婚新人相识相知相恋的过程,丰富了视频制作方式和视频内容,能够满足用户的个性化需求。
在视频生成装置生成以N个虚拟场景为故事背景的视频之后,视频生成装置还可以将生成的视频发送给视频播放端,由视频播放端进行播放。其中,视频生成装置和视频播放装置可以为手机、平板电脑、计算机或服务器等,本申请实施例对此不做限定。在一个示例中,视频生成装置为图2所示的第一终端10,视频播放装置为图2所示的第二终端30。接下来,将对视频生成装置和视频播放装置的交互过程进行详细介绍。
图5是本申请实施例提供的另一种视频生成方法的流程图,如图5所示,该方法包括如下步骤:
步骤501:视频生成装置获取N个虚拟场景,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,N为正整数。
步骤502:视频生成装置获取M个虚拟对象,M为正整数。
步骤503:视频生成装置基于N个虚拟场景、与N个虚拟场景中每个虚拟场景关联的剧情信息,以及M个虚拟对象,生成以该N个虚拟场景为故事背景的视频。
需要说明的是,步骤501-503与上述步骤301-303的实现过程相同,具体实现过程可以参考上述步骤301-303的相关描述,本申请实施例在此不做赘述。
步骤504:视频生成装置将生成的视频发送给视频播放端。
视频生成装置可以通过网络,将生成的视频发送给视频播放端。比如,通过即时通信应用或分享至社交平台的方式,将生成的视频发送给视频播放端。
在一个示例中,视频生成装置可以通过将视频的链接地址发送给视频播放端的方式,将视频发送给视频播放端。视频播放端接收到视频的链接地址之后,当检测到对该链接地址的触发指令时,即可跳转至链接地址指示的网页中。
在另一示例中,视频生成装置还可以基于视频的链接地址,生成图像标识,将图像标识发送给视频播放端。该图像标识携带视频的链接地址,具体可以为二维码或图像。相应地,视频播放端可以通过扫描图像标识的方式,获取视频的链接地址,并跳转至视频的链接地址指示的网页中。
步骤505:视频播放端接收到该视频后,若检测到视频播放指令,则对该视频进行播放。
其中,视频播放指令可以由视频播放端自动触发,也可以由用户通过确认播放操作触发,该确认播放操作可以为点击播放选项的操作、点击视频播放页面的操作、手势操作或语音操作等,本申请实施例对此不做限定。
在一个示例中,视频播放端跳转至该视频的链接地址指示的网页中之后,可以自动对该视频进行播放,当然,也可以在接收到对该视频的确认播放操作后,对该视频进行播放,本申请实施例对此不做限定。
在另一示例中,若该视频为AR视频,则视频播放端播放该视频的操作可以包括:开启摄像头,在摄像头拍摄的现实画面中,叠加显示该视频的视频内容,该视频内容包括虚拟场景和虚拟对象。也即是,可以通过在显示画面中叠加显示视频中的虚拟场景和虚拟对象的方式,在显示画面中叠加播放该视频。
请参考图6,图6是本申请实施例提供的一种电子婚礼请柬的制作和播放流程图,如图6所示,电子婚礼请柬的制作和播放过程主要涉及婚礼请柬制作端61、服务器62和婚礼请柬播放端63。婚礼请柬制作端61安装有婚礼请柬制作应用,服务器62为婚礼请柬制作应用的后台服务器。
第一用户可以在婚礼请柬制作应用中设定虚拟场景、虚拟对象、剧情信息、配音和婚礼邀请信息,服务器62可以根据第一用户设定的信息,制作生成包括婚礼请柬视频和婚礼邀请信息的电子婚礼请柬,其中,婚礼请柬视频是以第一用户设定的虚拟场景为故事背景的情景剧视频。此外,服务器62在制作完成电子婚礼请柬之后,还可以基于电子婚礼请柬的链接地址生成电子婚礼请柬卡片,该电子婚礼请柬卡片包括二维码和第一用户的婚纱照,该二维码携带电子婚礼请柬的链接地址。第一用户可以将电子婚礼请柬卡片发送给婚礼请柬播放端63,婚礼请柬播放端63接收到该电子婚礼请柬卡片之后,可以通过扫描电子婚礼请柬卡片中的二维码,跳转至电子婚礼请柬的链接地址指示的网页中,并在网页中播放婚礼请柬视频和婚礼邀请信息。
图7是本申请实施例提供的一种视频生成装置的结构框图,该装置可以集成于终端或服务器中,如图7所示,该装置包括:第一获取模块701、第二获取模块702和生成模块703。
第一获取模块701,用于获取N个虚拟场景,以及与该N个虚拟场景中每个虚拟场景关联的剧情信息,该N为正整数;
第二获取模块702,用于获取M个虚拟对象,该M为正整数;
生成模块703,用于基于该N个虚拟场景、与该N个虚拟场景中每个虚拟场景关联的剧情信息,以及该M个虚拟对象,生成以该N个虚拟场景为故事背景的视频。
可选地,该第一获取模块701包括:
第一获取单元,用于显示多个可选虚拟场景,若检测到场景选择指令,则从该多个可选虚拟场景中,获取该场景选择指令所选择的N个虚拟场景;或者,
第二获取单元,用于获取用户信息和用户图像,基于该用户信息和该用户图像,通过场景推荐模型,获取该N个虚拟场景,该场景推荐模型用于基于多个可选虚拟场景进行场景推荐。
可选地,该第二获取单元用于:
对该用户信息进行分析处理,得到用户画像;
对该用户图像中的图像元素进行提取,得到图像元素集合;
将该用户画像和该图像元素集合作为该场景推荐模型的输入,通过该场景推荐模型,获取该N个虚拟场景。
可选地,该场景推荐模型包括输入层、中间层和输出层;
该第二获取单元用于:
通过该输入层获取输入的该用户画像和该图像元素集合;
通过该中间层对该用户画像和该图像元素集合进行处理,得到该多个可选虚拟场景的推荐概率;
通过该输出层,基于该多个可选虚拟场景的推荐概率,从该多个可选虚拟场景中,获取该N个虚拟场景。
可选地,该第二获取单元用于:
通过该输出层,按照推荐概率从大到小的顺序,从该多个可选虚拟场景中获取排序在前的N个虚拟场景;或者,
通过该输出层,将该多个可选虚拟场景中推荐概率大于或等于参考推荐概率的虚拟场景,确定为该N个虚拟场景。
可选地,该装置还包括:
第三获取模块,用于获取多组正样本数据,每组正样本数据包括样本用户信息、样本用户图像,以及该样本用户信息和该样本用户图像对应的虚拟场景;
第四获取模块,用于基于该多组正样本数据,对待训练场景推荐模型进行训练,得到该场景推荐模型。
可选地,该第四获取模块用于:
对该多组正样本数据中每组正样本数据包括的样本用户信息进行分析处理,得到样本用户画像;
对该多组正样本数据中每组正样本数据包括的样本用户图像中的图像元素进行提取,得到样本图像元素集合;
基于处理后的多组正样本数据,对待训练场景推荐模型进行训练,得到该场景推荐模型,处理后的每组样本数据包括该样本用户画像、该样本图像元素集合,以及该样本用户画像和该样本图像元素集合对应的虚拟场景。
可选地,该第二获取模块702用于:
接收上传的M个虚拟对象;或者,
显示多个可选虚拟对象,若检测到对象选择指令,则从该多个可选虚拟对象中,获取该对象选择指令所选择的M个虚拟对象;或者,
对用户图像进行人像提取,得到一个或多个不同的人物图像,基于该一个或多个不同的人物图像,生成该M个虚拟对象;或者,
基于对象推荐数据,通过对象推荐模型,获取该M个虚拟对象,该对象推荐数据包括用户信息、用户图像和该N个虚拟场景中的至少一种,该对象推荐模型用于基于多个可选虚拟对象进行对象推荐。
可选地,该第一获取模块701用于:
对于该N个虚拟场景中的任一虚拟场景,接收针对该任一虚拟场景上传的剧情信息;或者,
显示多个可选剧情信息,若检测到针对该N个虚拟场景中的任一虚拟场景的剧情选择指令,则从该多个可选剧情信息中,获取该剧情选择指令所选择的剧情信息,将选择的剧情信息确定为与该任一虚拟场景关联的剧情信息;或者,
基于剧情推荐数据,通过剧情推荐模型,获取与该N个虚拟场景中的任一虚拟场景关联的剧情信息,该剧情推荐数据包括用户信息、用户图像和该任一虚拟场景中的至少一种,该剧情推荐模型用于基于多个可选剧情信息进行剧情推荐。
可选地,该生成模块703包括:
确定单元,用于基于与该N个虚拟场景中每个虚拟场景关联的剧情信息,确定该M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹;
生成单元,用于基于该M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段;
组合单元,用于将以每个虚拟场景为故事背景的视频段进行组合,得到以该N个虚拟场景为故事背景的视频。
可选地,该装置还包括:
第五获取模块,用于获取该M个虚拟对象在每个虚拟场景中的音频对话信息;
该生成单元用于:
基于该M个虚拟对象在每个虚拟场景中的动作变化、运动轨迹和音频对话信息,生成以每个虚拟场景为故事背景的视频段。
可选地,该第五获取模块用于:
基于与该N个虚拟场景中每个虚拟场景关联的剧情信息,确定该M个虚拟对象在每个虚拟场景中的对白信息,对该M个虚拟对象在每个虚拟场景中的对白信息进行语音转换,得到该M个虚拟对象在每个虚拟场景中的音频对话信息;或者,
录制音频对话信息,基于录制的音频对话信息,确定该M个虚拟对象在每个虚拟场景中的音频对话信息。
可选地,与该N个虚拟场景中每个虚拟场景关联的剧情信息包括虚拟对象控制脚本,该虚拟对象控制脚本用于指示虚拟对象的动作变化和运动轨迹;
该确定单元用于:
调用该N个虚拟场景中每个虚拟场景对应的虚拟对象控制脚本;
基于调用的虚拟对象控制脚本,确定该M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹。
可选地,该装置还包括:
显示模块,用于显示该N个虚拟场景的场景信息;
触发模块,用于若基于该N个虚拟场景的场景信息接收到确认指令,则触发该生成模块基于该N个虚拟场景、与每个虚拟场景关联的剧情信息,以及该M个虚拟对象,生成以该N个虚拟场景为故事背景的视频。
可选地,该装置还包括:
更新模块,用于若基于该N个虚拟场景的场景信息接收到拒绝指令,则将该用户信息、该用户图像和该N个虚拟场景作为负样本数据,对场景推荐模型进行更新。
本申请实施例中,通过获取N个虚拟场景、M个虚拟对象,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,然后基于这N个虚拟场景、M个虚拟对象,以及与N个虚拟场景中每个虚拟场景关联的剧情信息,生成以这N个虚拟场景为故事背景的视频,从而可以制作出以丰富虚拟场景为故事背景的情景剧视频,并以情景剧的形式来展示想要的故事内容,比如可以以情景剧的形式展示一对结婚新人相识相知相恋的过程,丰富了视频制作方式和视频内容,能够满足用户的个性化需求。
需要说明的是:上述实施例提供的视频生成装置在生成视频时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频生成装置与视频生成方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8是本申请实施例提供的一种视频生成装置800的结构示意图,装置800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)801和一个或一个以上的存储器802,其中,所述存储器802中存储有至少一条指令,所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的视频生成方法。当然,装置800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,装置800还可以包括其他用于实现设备功能的部件,在此不做赘述。所述视频生成装置可以为终端或服务器。
在另一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述实施例所述的视频生成方法的步骤。
在另一实施例中,还提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例所述的视频生成方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种视频生成方法,其特征在于,所述方法包括:
获取N个虚拟场景,以及与所述N个虚拟场景中每个虚拟场景关联的剧情信息,所述N为正整数;
获取M个虚拟对象,所述M为正整数;
基于所述N个虚拟场景、与所述N个虚拟场景中每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频。
2.如权利要求1所述的方法,其特征在于,所述获取N个虚拟场景,包括:
显示多个可选虚拟场景,若检测到场景选择指令,则从所述多个可选虚拟场景中,获取所述场景选择指令所选择的N个虚拟场景;或者,
获取用户信息和用户图像,基于所述用户信息和所述用户图像,通过场景推荐模型,获取所述N个虚拟场景,所述场景推荐模型用于基于多个可选虚拟场景进行场景推荐。
3.如权利要求2所述的方法,其特征在于,所述基于所述用户信息和所述用户图像,通过场景推荐模型,获取所述N个虚拟场景,包括:
对所述用户信息进行分析处理,得到用户画像;
对所述用户图像中的图像元素进行提取,得到图像元素集合;
将所述用户画像和所述图像元素集合作为所述场景推荐模型的输入,通过所述场景推荐模型,获取所述N个虚拟场景。
4.如权利要求2所述的方法,其特征在于,所述基于所述用户信息和所述用户图像,通过场景推荐模型,获取所述N个虚拟场景之前,还包括:
获取多组正样本数据,每组正样本数据包括样本用户信息、样本用户图像,以及所述样本用户信息和所述样本用户图像对应的虚拟场景;
基于所述多组正样本数据,对待训练场景推荐模型进行训练,得到所述场景推荐模型。
5.如权利要求1所述的方法,其特征在于,所述获取M个虚拟对象,包括:
接收上传的M个虚拟对象;或者,
显示多个可选虚拟对象,若检测到对象选择指令,则从所述多个可选虚拟对象中,获取所述对象选择指令所选择的M个虚拟对象;或者,
对用户图像进行人像提取,得到一个或多个不同的人物图像,基于所述一个或多个不同的人物图像,生成所述M个虚拟对象;或者,
基于对象推荐数据,通过对象推荐模型,获取所述M个虚拟对象,所述对象推荐数据包括用户信息、用户图像和所述N个虚拟场景中的至少一种,所述对象推荐模型用于基于多个可选虚拟对象进行对象推荐。
6.如权利要求1所述的方法,其特征在于,所述获取与所述N个虚拟场景中每个虚拟场景关联的剧情信息,包括:
对于所述N个虚拟场景中的任一虚拟场景,接收针对所述任一虚拟场景上传的剧情信息;或者,
显示多个可选剧情信息,若检测到针对所述N个虚拟场景中的任一虚拟场景的剧情选择指令,则从所述多个可选剧情信息中,获取所述剧情选择指令所选择的剧情信息,将选择的剧情信息确定为与所述任一虚拟场景关联的剧情信息;或者,
基于剧情推荐数据,通过剧情推荐模型,获取与所述N个虚拟场景中的任一虚拟场景关联的剧情信息,所述剧情推荐数据包括用户信息、用户图像和所述任一虚拟场景中的至少一种,所述剧情推荐模型用于基于多个可选剧情信息进行剧情推荐。
7.如权利要求1所述的方法,其特征在于,所述基于所述N个虚拟场景、与所述N个虚拟场景中每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频,包括:
基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹;
基于所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段;
将以每个虚拟场景为故事背景的视频段进行组合,得到以所述N个虚拟场景为故事背景的视频。
8.如权利要求7所述的方法,其特征在于,所述基于所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段之前,还包括:
获取所述M个虚拟对象在每个虚拟场景中的音频对话信息;
所述基于所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,生成以每个虚拟场景为故事背景的视频段,包括:
基于所述M个虚拟对象在每个虚拟场景中的动作变化、运动轨迹和音频对话信息,生成以每个虚拟场景为故事背景的视频段。
9.如权利要求8所述的方法,其特征在于,所述获取所述M个虚拟对象在每个虚拟场景中的音频对话信息,包括:
基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的对白信息,对所述M个虚拟对象在每个虚拟场景中的对白信息进行语音转换,得到所述M个虚拟对象在每个虚拟场景中的音频对话信息;或者,
录制音频对话信息,基于录制的音频对话信息,确定所述M个虚拟对象在每个虚拟场景中的音频对话信息。
10.如权利要求7所述的方法,其特征在于,与所述N个虚拟场景中每个虚拟场景关联的剧情信息包括虚拟对象控制脚本,所述虚拟对象控制脚本用于指示虚拟对象的动作变化和运动轨迹;
所述基于与所述N个虚拟场景中每个虚拟场景关联的剧情信息,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹,包括:
调用所述N个虚拟场景中每个虚拟场景对应的虚拟对象控制脚本;
基于调用的虚拟对象控制脚本,确定所述M个虚拟对象在每个虚拟场景中的动作变化和运动轨迹。
11.如权利要求2所述的方法,其特征在于,所述获取N个虚拟场景之后,还包括:
显示所述N个虚拟场景的场景信息;
若基于所述N个虚拟场景的场景信息接收到确认指令,则执行基于所述N个虚拟场景、与每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频的步骤;
若基于所述N个虚拟场景的场景信息接收到拒绝指令,则将所述用户信息、所述用户图像和所述N个虚拟场景作为负样本数据,对所述场景推荐模型进行更新。
12.一种视频生成装置,其特征在于,所述装置包括:
第一获取模块,用于获取N个虚拟场景,以及与所述N个虚拟场景中每个虚拟场景关联的剧情信息,所述N为正整数;
第二获取模块,用于获取M个虚拟对象,所述M为正整数;
生成模块,用于基于所述N个虚拟场景、与所述N个虚拟场景中每个虚拟场景关联的剧情信息,以及所述M个虚拟对象,生成以所述N个虚拟场景为故事背景的视频。
13.一种视频生成装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-11所述的任一项视频生成方法的步骤。
14.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-11所述的任一项视频生成方法的步骤。
CN201910458625.5A 2019-05-29 2019-05-29 视频生成方法、装置及存储介质 Pending CN110162667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910458625.5A CN110162667A (zh) 2019-05-29 2019-05-29 视频生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910458625.5A CN110162667A (zh) 2019-05-29 2019-05-29 视频生成方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110162667A true CN110162667A (zh) 2019-08-23

Family

ID=67629783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910458625.5A Pending CN110162667A (zh) 2019-05-29 2019-05-29 视频生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110162667A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110465097A (zh) * 2019-09-09 2019-11-19 网易(杭州)网络有限公司 游戏中的角色立绘显示方法及装置、电子设备、存储介质
CN111177542A (zh) * 2019-12-20 2020-05-19 贝壳技术有限公司 介绍信息的生成方法和装置、电子设备和存储介质
CN112099713A (zh) * 2020-09-18 2020-12-18 腾讯科技(深圳)有限公司 一种虚拟元素的展示方法以及相关装置
CN112188117A (zh) * 2020-08-29 2021-01-05 上海量明科技发展有限公司 视频合成方法、客户端及系统
CN113778419A (zh) * 2021-08-09 2021-12-10 北京有竹居网络技术有限公司 多媒体数据的生成方法、装置、可读介质及电子设备
CN113821690A (zh) * 2021-11-23 2021-12-21 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质
CN116389853A (zh) * 2023-03-29 2023-07-04 阿里巴巴(中国)有限公司 视频生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140293026A1 (en) * 2012-02-26 2014-10-02 Antonio Rossi Streaming video navigation systems and methods
CN104978758A (zh) * 2015-06-29 2015-10-14 世优(北京)科技有限公司 基于用户创作的图像的动画视频生成方法和装置
CN106303289A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN106331436A (zh) * 2016-08-26 2017-01-11 杭州奥点科技股份有限公司 一种云导播系统和音视频在线节目制作方法
CN106558087A (zh) * 2015-09-30 2017-04-05 捷荣科技集团有限公司 一种基于人体模型的虚拟旅游方法和系统
CN106846442A (zh) * 2017-03-06 2017-06-13 西安电子科技大学 基于Unity3D的三维虚拟人群场景生成方法
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置
CN108320331A (zh) * 2017-01-17 2018-07-24 上海掌门科技有限公司 一种生成用户场景的增强现实视频信息的方法与设备
CN108650523A (zh) * 2018-05-22 2018-10-12 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140293026A1 (en) * 2012-02-26 2014-10-02 Antonio Rossi Streaming video navigation systems and methods
CN106303289A (zh) * 2015-06-05 2017-01-04 福建凯米网络科技有限公司 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN104978758A (zh) * 2015-06-29 2015-10-14 世优(北京)科技有限公司 基于用户创作的图像的动画视频生成方法和装置
CN106558087A (zh) * 2015-09-30 2017-04-05 捷荣科技集团有限公司 一种基于人体模型的虚拟旅游方法和系统
CN106331436A (zh) * 2016-08-26 2017-01-11 杭州奥点科技股份有限公司 一种云导播系统和音视频在线节目制作方法
CN108320331A (zh) * 2017-01-17 2018-07-24 上海掌门科技有限公司 一种生成用户场景的增强现实视频信息的方法与设备
CN106846442A (zh) * 2017-03-06 2017-06-13 西安电子科技大学 基于Unity3D的三维虚拟人群场景生成方法
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置
CN108650523A (zh) * 2018-05-22 2018-10-12 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110465097B (zh) * 2019-09-09 2023-06-27 网易(杭州)网络有限公司 游戏中的角色立绘显示方法及装置、电子设备、存储介质
CN110465097A (zh) * 2019-09-09 2019-11-19 网易(杭州)网络有限公司 游戏中的角色立绘显示方法及装置、电子设备、存储介质
CN111177542A (zh) * 2019-12-20 2020-05-19 贝壳技术有限公司 介绍信息的生成方法和装置、电子设备和存储介质
CN111177542B (zh) * 2019-12-20 2021-07-20 贝壳找房(北京)科技有限公司 介绍信息的生成方法和装置、电子设备和存储介质
CN112188117A (zh) * 2020-08-29 2021-01-05 上海量明科技发展有限公司 视频合成方法、客户端及系统
CN112188117B (zh) * 2020-08-29 2021-11-16 上海量明科技发展有限公司 视频合成方法、客户端及系统
CN112099713A (zh) * 2020-09-18 2020-12-18 腾讯科技(深圳)有限公司 一种虚拟元素的展示方法以及相关装置
CN113778419A (zh) * 2021-08-09 2021-12-10 北京有竹居网络技术有限公司 多媒体数据的生成方法、装置、可读介质及电子设备
CN113778419B (zh) * 2021-08-09 2023-06-02 北京有竹居网络技术有限公司 多媒体数据的生成方法、装置、可读介质及电子设备
CN113821690B (zh) * 2021-11-23 2022-03-08 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质
CN113821690A (zh) * 2021-11-23 2021-12-21 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备和存储介质
CN116389853A (zh) * 2023-03-29 2023-07-04 阿里巴巴(中国)有限公司 视频生成方法
CN116389853B (zh) * 2023-03-29 2024-02-06 阿里巴巴(中国)有限公司 视频生成方法

Similar Documents

Publication Publication Date Title
CN110162667A (zh) 视频生成方法、装置及存储介质
US10828570B2 (en) System and method for visualizing synthetic objects within real-world video clip
CN111294663B (zh) 弹幕处理方法、装置、电子设备及计算机可读存储介质
CN108986192B (zh) 用于直播的数据处理方法及装置
EP3889912B1 (en) Method and apparatus for generating video
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
CN107257338B (zh) 媒体数据处理方法、装置及存储介质
CN110536725A (zh) 基于应用程序内行为的个性化用户界面
US20110225519A1 (en) Social media platform for simulating a live experience
US20110244954A1 (en) Online social media game
CN114071180A (zh) 直播间展示方法及装置
US10864447B1 (en) Highlight presentation interface in a game spectating system
CN116474378A (zh) 人工智能(ai)控制的相机视角生成器和ai广播员
CN113301358B (zh) 内容提供及展示方法、装置、电子设备、存储介质
CN112188223B (zh) 直播视频播放方法、装置、设备及介质
CN114430494B (zh) 界面显示方法、装置、设备及存储介质
US11845012B2 (en) Selection of video widgets based on computer simulation metadata
WO2022006118A1 (en) Modifying computer simulation video template based on feedback
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
CN114846808B (zh) 内容发布系统、内容发布方法以及存储介质
WO2022006124A1 (en) Generating video clip of computer simulation from multiple views
WO2023130715A1 (zh) 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
JP7544873B2 (ja) コンピュータシミュレーションメタデータに基づくビデオテンプレートの選択
WO2017205354A1 (en) Augmented content system and method
CN111659114B (zh) 互动游戏生成方法和装置、处理方法和装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190823

RJ01 Rejection of invention patent application after publication