CN110012237B - 基于交互引导及云端增强渲染的视频生成方法及系统 - Google Patents
基于交互引导及云端增强渲染的视频生成方法及系统 Download PDFInfo
- Publication number
- CN110012237B CN110012237B CN201910274605.2A CN201910274605A CN110012237B CN 110012237 B CN110012237 B CN 110012237B CN 201910274605 A CN201910274605 A CN 201910274605A CN 110012237 B CN110012237 B CN 110012237B
- Authority
- CN
- China
- Prior art keywords
- video
- user
- shooting
- videos
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 91
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000000463 material Substances 0.000 claims abstract description 121
- 238000004519 manufacturing process Methods 0.000 claims abstract description 39
- 238000013515 script Methods 0.000 claims description 67
- 230000000007 visual effect Effects 0.000 claims description 42
- 238000013473 artificial intelligence Methods 0.000 claims description 29
- 230000000694 effects Effects 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000003014 reinforcing effect Effects 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供一种基于交互引导及云端增强渲染的视频生成方法，包括步骤S1、在客户端构建前端引导的多模式交互内容，根据多模式交互内容动态地引导用户进行视频拍摄；步骤S2、在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染，从而生成完整的客制化视频。本发明还提供一种基于交互引导及云端增强渲染的视频生成系统，通过本发明的技术方案可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题。
Description
技术领域
本发明涉及视频制作处理领域，特别涉及一种基于交互引导及云端增强渲染的视频生成方法及系统。
背景技术
在与视频制作相关的技术领域中，基于人工智能的创新应用目前还处于空缺状态，也没有一套可智能指导视频制作的方法。而以往的视频制作流程存在有以下缺陷：1、当用户产生拍摄某种主题视频的需求时，没有一种简便快捷的方式来指导用户进行拍摄，而需要请专业团队进行全案策划；2、用户需要花费大量的时间或财力对拍摄的视频进行后期处理，譬如剪辑、合成、调色等才能达到一定的专业水平；3、在视频制作过程中，除了用户拍摄的内容以外，往往还需要多种多样的视频素材来完善用户所需的表达效果，而这些视频素材对于用户而言有着难以逾越的专业门槛，主要存在难获取、种类少、价格高昂等问题。
发明内容
本发明要解决的技术问题之一，在于提供一种基于交互引导及云端增强渲染的视频生成方法，通过该方法可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题。
本发明是这样实现技术问题之一的：基于交互引导及云端增强渲染的视频生成方法，所述方法包括如下步骤：
步骤S1、在客户端构建前端引导的多模式交互内容，根据多模式交互内容动态地引导用户进行视频拍摄；
步骤S2、在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染，从而生成完整的客制化视频。
进一步地，所述步骤S1具体包括如下步骤：
步骤S11、对划分的不同类型的视频进行内容分析，从视频中提取出主要的视觉元素；
步骤S12、对各个类型的视频均抽象出所属类别的通用拍摄文案，并将抽象出的通用拍摄文案以脚本的形式存储于数据库中，从而构建出脚本库；
步骤S13、对提取出的视频的视觉元素进行图形化表达，构建出前端引导素材库；
步骤S14、用户在前端界面选择好视频类型后，客户端动态匹配脚本库中对应类型的脚本，并根据脚本中基于前端引导的描述，动态推荐对应的前端引导素材，从而构成基于前端引导的多模式交互内容；
步骤S15、通过与应用界面交互的形式将基于前端引导的多模式交互内容进行动态呈现，用户根据动态呈现的基于前端引导的多模式交互内容进行视频拍摄。
进一步地，
在所述步骤S11中，所述类型的划分至少包括主题以及风格两个指标，所述视觉元素至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；
在所述步骤S12中，所述对各个类型的视频均抽象出所属类别的通用拍摄文案具体为：按照规定的标定方式对视频的视觉元素进行标定，并通过人工智能技术学习视频的制作模式，从而实现对各个类型的视频均抽象出所属类别的通用拍摄文案；
在所述步骤S13中，所述图形化表达至少包括显著性对象的抽象轮廓图、镜头景别的线框表示图、镜头移动的方向动图以及事件描述的文本；
在所述步骤S14中，所述基于前端引导的描述规定了视频剪辑思路，即确定了视频的宫格模板，且在每一拍摄宫格中均对应有拍摄指导，所述拍摄指导至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；
所述多模式交互内容包含文字、图片、线框图、动图或者拍摄宫格。
进一步地，所述步骤S2具体包括如下步骤：
步骤S21、对用户所拍摄的视频进行风格化渲染；
步骤S22、构建图谱式素材库，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且将选择的视频素材与风格化渲染的视频进行合成渲染；
步骤S23、对合成渲染后的视频进行画面特效以及定制化文字内容的动态生成，从而生成完整的客制化视频。
进一步地，
所述步骤S21具体为：通过人工智能技术对海量不同风格的视频进行学习，从而获取不同风格模型所对应的风格处理参数；基于获取的风格处理参数的指标，根据用户选择的视频类型来对用户所拍摄的视频进行风格参数调整，并将调整的风格参数记录到脚本中，以实现对用户所拍摄的视频进行风格化渲染；
所述步骤S22具体为：通过对不同类型的视频的分析和归纳，构建出视频主要对象与从属关联对象之间的关联模型，所述关联模型描述了主要对象与从属对象之间的语义关联程度，并根据不同类型的视频需求，以图的形式将素材进行相关联，以此来构建图谱式素材库；构建出的图谱式素材库至少包括具有复数个标签的关联性素材视频；
在完成风格化渲染后，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且按照用户的宫格排序偏好将风格化渲染的视频与选择的素材视频进行合成渲染，所述合成渲染的流程包括添加字幕、添加视频画面特效、生成相邻视频间的过渡视频片段、添加视频开头片段、添加视频结束片段、视频合成、添加水印或者添加背景音乐；
所述步骤S23具体为：在前端界面中，根据用户的视频制作需求及偏好，调整视频中呈现的字幕文本内容、字幕颜色或者字幕位置信息；在合成渲染中，基于用户选择的视频类型进行视频画面的特效渲染，基于用户输入字幕的偏好进行定制化文字内容的动态生成，从而生成完整的客制化视频。
本发明要解决的技术问题之二，在于提供一种基于交互引导及云端增强渲染的视频生成系统，通过该系统可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题。
本发明是这样实现技术问题之二的：基于交互引导及云端增强渲染的视频生成系统，所述系统包括引导拍摄模块以及增强渲染模块；
所述引导拍摄模块，用于在客户端构建前端引导的多模式交互内容，根据多模式交互内容动态地引导用户进行视频拍摄；
所述增强渲染模块，用于在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染，从而生成完整的客制化视频。
进一步地，所述引导拍摄模块具体包括元素提取单元、脚本库单元、素材库单元、脚本匹配单元以及引导拍摄单元；
所述元素提取单元，用于对划分的不同类型的视频进行内容分析，从视频中提取出主要的视觉元素；
所述脚本库单元，用于对各个类型的视频均抽象出所属类别的通用拍摄文案，并将抽象出的通用拍摄文案以脚本的形式存储于数据库中，从而构建出脚本库；
所述素材库单元，用于对提取出的视频的视觉元素进行图形化表达，构建出前端引导素材库；
所述脚本匹配单元，用于用户在前端界面选择好视频类型后，客户端动态匹配脚本库中对应类型的脚本，并根据脚本中基于前端引导的描述，动态推荐对应的前端引导素材，从而构成基于前端引导的多模式交互内容；
所述引导拍摄单元，用于通过与应用界面交互的形式将基于前端引导的多模式交互内容进行动态呈现，用户根据动态呈现的基于前端引导的多模式交互内容进行视频拍摄。
进一步地，
在所述元素提取单元中，所述类型的划分至少包括主题以及风格两个指标，所述视觉元素至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；
在所述脚本库单元中，所述对各个类型的视频均抽象出所属类别的通用拍摄文案具体为：按照规定的标定方式对视频的视觉元素进行标定，并通过人工智能技术学习视频的制作模式，从而实现对各个类型的视频均抽象出所属类别的通用拍摄文案；
在所述素材库单元中，所述图形化表达至少包括显著性对象的抽象轮廓图、镜头景别的线框表示图、镜头移动的方向动图以及事件描述的文本；
在所述脚本匹配单元中，所述基于前端引导的描述规定了视频剪辑思路，即确定了视频的宫格模板，且在每一拍摄宫格中均对应有拍摄指导，所述拍摄指导至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；
所述多模式交互内容包含文字、图片、线框图、动图或者拍摄宫格。
进一步地，所述增强渲染模块具体包括风格化渲染单元、合成渲染单元以及动态生成单元；
所述风格化渲染单元，用于对用户所拍摄的视频进行风格化渲染；
所述合成渲染单元，用于构建图谱式素材库，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且将选择的视频素材与风格化渲染的视频进行合成渲染；
所述动态生成单元，用于对合成渲染后的视频进行画面特效以及定制化文字内容的动态生成，从而生成完整的客制化视频。
进一步地，所述风格化渲染单元具体为：通过人工智能技术对海量不同风格的视频进行学习，从而获取不同风格模型所对应的风格处理参数；基于获取的风格处理参数的指标，根据用户选择的视频类型来对用户所拍摄的视频进行风格参数调整，并将调整的风格参数记录到脚本中，以实现对用户所拍摄的视频进行风格化渲染；
所述合成渲染单元具体为：通过对不同类型的视频的分析和归纳，构建出视频主要对象与从属关联对象之间的关联模型，所述关联模型描述了主要对象与从属对象之间的语义关联程度，并根据不同类型的视频需求，以图的形式将素材进行相关联，以此来构建图谱式素材库；构建出的图谱式素材库至少包括具有复数个标签的关联性素材视频；
在完成风格化渲染后，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且按照用户的宫格排序偏好将风格化渲染的视频与选择的素材视频进行合成渲染，所述合成渲染的流程包括添加字幕、添加视频画面特效、生成相邻视频间的过渡视频片段、添加视频开头片段、添加视频结束片段、视频合成、添加水印或者添加背景音乐；
所述动态生成单元具体为：在前端界面中，根据用户的视频制作需求及偏好，调整视频中呈现的字幕文本内容、字幕颜色或者字幕位置信息；在合成渲染中，基于用户选择的视频类型进行视频画面的特效渲染，基于用户输入字幕的偏好进行定制化文字内容的动态生成，从而生成完整的客制化视频。
本发明具有如下优点：本发明通过将传统复杂的视频制作过程使用智能程序化的模式进行处理，可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题，具体包括：
1、通过人工智能学习了与视频制作相关的剪辑模式和制作指标，并将它们转换为人工智能创意模型；同时，基于人工智能创意模型，通过多模式交互引导的方式，包括文字、图片、线框图、动图、拍摄宫格等引导性元素，智能的引导用户进行客制化拍摄；通过与应用界面交互的形式将多模式交互内容进行动态呈现，从而实现将视频拍摄专业领域的知识以可视化的形式呈现给用户。
2、基于人工智能创意模型，在云端对用户拍摄的视频以及关联的素材视频进行智能的增强合成渲染，不需要用户花费大量的时间或财力去对拍摄的视频进行后期处理，因此，可大大减少用户后期视频处理的成本。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明交互引导及云端增强渲染的视频生成方法的执行流程图。
图2为本发明中实现多模式引导视频拍摄和多层次增强渲染拍摄的视频的示意图。
具体实施方式
请参阅图1至图2所示，本发明基于交互引导及云端增强渲染的视频生成方法的较佳实施例，所述方法包括如下步骤：
步骤S1、在客户端构建前端引导的多模式交互内容，根据多模式交互内容动态地引导用户进行视频拍摄；
步骤S2、在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染，从而生成完整的客制化视频。
由上述可知，本发明通过将传统复杂的视频制作过程使用智能程序化的模式进行处理，可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题。
其中，所述步骤S1具体包括如下步骤：
步骤S11、对划分的不同类型的视频(一般都是选择优质视频)进行内容分析，从视频中提取出主要的视觉元素；
在所述步骤S11中，所述类型的划分至少包括主题以及风格两个指标，当然，在具体实施时还可以根据需要再设置其它的划分指标；所述视觉元素至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别，当然，在具体实施时还可以根据需要再设置其它的视觉元素；
步骤S12、对各个类型的视频均抽象出所属类别的通用拍摄文案，并将抽象出的通用拍摄文案以脚本的形式存储于数据库中，从而构建出脚本库；
在所述步骤S12中，所述对各个类型的视频均抽象出所属类别的通用拍摄文案具体为：按照规定的标定方式对视频的视觉元素进行标定，并通过人工智能技术学习视频的制作模式，从而实现对各个类型的视频均抽象出所属类别的通用拍摄文案；
步骤S13、对提取出的视频的视觉元素进行图形化表达，构建出前端引导素材库；
在所述步骤S13中，所述图形化表达至少包括显著性对象的抽象轮廓图、镜头景别的线框表示图、镜头移动的方向动图以及事件描述的文本，当然，在具体实施时还可以根据实际提取的视觉元素来进行图形化表达。同时，在构建出的前端引导素材库中，对每一前端引导素材均标记有对应的标签，以方便后续的标签推荐；
步骤S14、用户在前端界面选择好视频类型后(即在前端界面选择好视频主题和风格后)，客户端动态匹配脚本库中对应类型的脚本，并根据脚本中基于前端引导的描述，动态推荐对应的前端引导素材，从而构成基于前端引导的多模式交互内容；
在所述步骤S14中，所述基于前端引导的描述规定了视频剪辑思路，即确定了视频的宫格模板，且在每一拍摄宫格中均对应有拍摄指导，所述拍摄指导至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别，当然，在具体实施时还可以根据实际需要来设置其它的拍摄指导；所述多模式交互内容包含文字、图片、线框图、动图或者拍摄宫格，当然，在具体实施时还可以根据实际需要来添加其它的引导性元素；
步骤S15、通过与应用界面交互的形式将基于前端引导的多模式交互内容进行动态呈现，用户根据动态呈现的基于前端引导的多模式交互内容进行视频拍摄。
由上述可知，本发明通过人工智能学习了与视频制作相关的剪辑模式和制作指标，并将它们转换为人工智能创意模型；同时，基于人工智能创意模型，通过多模式交互引导的方式，包括文字、图片、线框图、动图、拍摄宫格等引导性元素，智能的引导用户进行客制化拍摄。通过与应用界面交互的形式将多模式交互内容进行动态呈现，从而实现将视频拍摄专业领域的知识以可视化的形式呈现给用户；用户通过呈现的内容即可理解当前拍摄宫格所需要的专业领域的拍摄要求，并能够快速确定拍摄主体、确定事件描述、确定镜头运动控制、确定画面景别等。
所述步骤S2具体包括如下步骤：
步骤S21、对用户所拍摄的视频进行风格化渲染，即根据用户在前端界面选择的主题和风格，对用户拍摄的原始视频的风格参数进行调整，以实现视频风格化渲染；
在本发明中，所述步骤S21具体为：通过人工智能技术对海量不同风格的视频进行学习，从而获取不同风格模型所对应的风格处理参数；基于获取的风格处理参数的指标，根据用户选择的视频类型来对用户所拍摄的视频进行风格参数调整，并将调整的风格参数记录到脚本中(通过脚本中的描述，即可对应的调整风格参数)，以实现对用户所拍摄的视频进行风格化渲染；
步骤S22、构建图谱式素材库，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且将选择的视频素材与风格化渲染的视频进行合成渲染；
在本发明中，所述步骤S22具体为：通过对不同类型的视频的分析和归纳，构建出视频主要对象与从属关联对象之间的关联模型，所述关联模型描述了主要对象与从属对象之间的语义关联程度(包括从属对象的视觉属性，如是气氛营造还是实用性展示等)，并根据不同类型的视频需求，以图的形式将素材进行相关联，以此来构建图谱式素材库；构建出的图谱式素材库至少包括具有复数个(即一系列)标签的关联性素材视频，在具体实施时，素材视频所定义的标签可以包括但不局限于风格标签、画面主体对象标签等等；
在完成风格化渲染后，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且按照用户的宫格排序偏好将风格化渲染的视频与选择的素材视频进行合成渲染，所述合成渲染的流程包括添加字幕、添加视频画面特效、生成相邻视频间的过渡视频片段、添加视频开头片段、添加视频结束片段、视频合成、添加水印或者添加背景音乐，当然，并发明并不仅限于此，在具体实施时还可以根据实际需要来增加其它的流程；
由于在脚本中具有对视频剪辑思路的描述，该描述确定了视频的宫格模板，具体包括但不局限于拍摄宫格的拍摄引导以及素材视频的动态推荐。因此，根据用户在前端界面的主题以及风格的选择，系统就会从图谱式素材库中动态地推荐较为适用的素材视频。
步骤S23、对合成渲染后的视频进行画面特效以及定制化文字内容的动态生成，从而生成完整的客制化视频；其中，画面特效以及定制化文字内容的动态生成是基于用户在前端界面的选择以及输入；
在本发明中，所述步骤S23具体为：在前端界面中，根据用户的视频制作需求及偏好，调整视频中呈现的字幕文本内容、字幕颜色或者字幕位置信息；在合成渲染中，基于用户选择的视频类型进行视频画面的特效渲染，基于用户输入字幕的偏好进行定制化文字内容的动态生成，从而生成完整的客制化视频。其中，文字的动态生成体现在：文字的字体以及基于主题的文本颜色推荐都在对应主题以及风格的视频脚本中进行相关描述，原因在于，视频主要视觉元素彼此间具有交互特性，即每个元素都会影响着其他元素会被怎样的感知，因此，需要考虑基于主题以及风格的视觉元素的整体性，而不是对视觉元素个体的考量。
请参阅图1至图2所示，本发明基于交互引导及云端增强渲染的视频生成系统的较佳实施例，所述系统包括引导拍摄模块以及增强渲染模块；
所述引导拍摄模块，用于在客户端构建前端引导的多模式交互内容，根据多模式交互内容动态地引导用户进行视频拍摄；
所述增强渲染模块，用于在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染，从而生成完整的客制化视频。
由上述可知，本发明通过将传统复杂的视频制作过程使用智能程序化的模式进行处理，可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题。
其中，所述引导拍摄模块具体包括元素提取单元、脚本库单元、素材库单元、脚本匹配单元以及引导拍摄单元；
所述元素提取单元，用于对划分的不同类型的视频(一般都是选择优质视频)进行内容分析，从视频中提取出主要的视觉元素；
在所述元素提取单元中，所述类型的划分至少包括主题以及风格两个指标，当然，在具体实施时还可以根据需要再设置其它的划分指标；所述视觉元素至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别，当然，在具体实施时还可以根据需要再设置其它的视觉元素；
所述脚本库单元，用于对各个类型的视频均抽象出所属类别的通用拍摄文案，并将抽象出的通用拍摄文案以脚本的形式存储于数据库中，从而构建出脚本库；
在所述脚本库单元中，所述对各个类型的视频均抽象出所属类别的通用拍摄文案具体为：按照规定的标定方式对视频的视觉元素进行标定，并通过人工智能技术学习视频的制作模式，从而实现对各个类型的视频均抽象出所属类别的通用拍摄文案；
所述素材库单元，用于对提取出的视频的视觉元素进行图形化表达，构建出前端引导素材库；
在所述素材库单元中，所述图形化表达至少包括显著性对象的抽象轮廓图、镜头景别的线框表示图、镜头移动的方向动图以及事件描述的文本，当然，在具体实施时还可以根据实际提取的视觉元素来进行图形化表达。同时，在构建出的前端引导素材库中，对每一前端引导素材均标记有对应的标签，以方便后续的标签推荐；
所述脚本匹配单元，用于用户在前端界面选择好视频类型后(即在前端界面选择好视频主题和风格后)，客户端动态匹配脚本库中对应类型的脚本，并根据脚本中基于前端引导的描述，动态推荐对应的前端引导素材，从而构成基于前端引导的多模式交互内容；
在所述脚本匹配单元中，所述基于前端引导的描述规定了视频剪辑思路，即确定了视频的宫格模板，且在每一拍摄宫格中均对应有拍摄指导，所述拍摄指导至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别，当然，在具体实施时还可以根据实际需要来设置其它的拍摄指导；所述多模式交互内容包含文字、图片、线框图、动图或者拍摄宫格，当然，在具体实施时还可以根据实际需要来添加其它的引导性元素；
所述引导拍摄单元，用于通过与应用界面交互的形式将基于前端引导的多模式交互内容进行动态呈现，用户根据动态呈现的基于前端引导的多模式交互内容进行视频拍摄。
由上述可知，本发明通过人工智能学习了与视频制作相关的剪辑模式和制作指标，并将它们转换为人工智能创意模型；同时，基于人工智能创意模型，通过多模式交互引导的方式，包括文字、图片、线框图、动图、拍摄宫格等引导性元素，智能的引导用户进行客制化拍摄。通过与应用界面交互的形式将多模式交互内容进行动态呈现，从而实现将视频拍摄专业领域的知识以可视化的形式呈现给用户；用户通过呈现的内容即可理解当前拍摄宫格所需要的专业领域的拍摄要求，并能够快速确定拍摄主体、确定事件描述、确定镜头运动控制、确定画面景别等。
所述增强渲染模块具体包括风格化渲染单元、合成渲染单元以及动态生成单元；
所述风格化渲染单元，用于对用户所拍摄的视频进行风格化渲染，即根据用户在前端界面选择的主题和风格，对用户拍摄的原始视频的风格参数进行调整，以实现视频风格化渲染；
在本发明中，所述风格化渲染单元具体为：通过人工智能技术对海量不同风格的视频进行学习，从而获取不同风格模型所对应的风格处理参数；基于获取的风格处理参数的指标，根据用户选择的视频类型来对用户所拍摄的视频进行风格参数调整，并将调整的风格参数记录到脚本中(通过脚本中的描述，即可对应的调整风格参数)，以实现对用户所拍摄的视频进行风格化渲染；
所述合成渲染单元，用于构建图谱式素材库，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且将选择的视频素材与风格化渲染的视频进行合成渲染；
在本发明中，所述合成渲染单元具体为：通过对不同类型的视频的分析和归纳，构建出视频主要对象与从属关联对象之间的关联模型，所述关联模型描述了主要对象与从属对象之间的语义关联程度(包括从属对象的视觉属性，如是气氛营造还是实用性展示等)，并根据不同类型的视频需求，以图的形式将素材进行相关联，以此来构建图谱式素材库；构建出的图谱式素材库至少包括具有复数个(即一系列)标签的关联性素材视频，在具体实施时，素材视频所定义的标签可以包括但不局限于风格标签、画面主体对象标签等等；
在完成风格化渲染后，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的视频素材，且按照用户的宫格排序偏好将风格化渲染的视频与选择的素材视频进行合成渲染，所述合成渲染的流程包括添加字幕、添加视频画面特效、生成相邻视频间的过渡视频片段、添加视频开头片段、添加视频结束片段、视频合成、添加水印或者添加背景音乐，当然，并发明并不仅限于此，在具体实施时还可以根据实际需要来增加其它的流程；
由于在脚本中具有对视频剪辑思路的描述，该描述确定了视频的宫格模板，具体包括但不局限于拍摄宫格的拍摄引导以及素材视频的动态推荐。因此，根据用户在前端界面的主题以及风格的选择，系统就会从图谱式素材库中动态地推荐较为适用的素材视频。
所述动态生成单元，用于对合成渲染后的视频进行画面特效以及定制化文字内容的动态生成，从而生成完整的客制化视频；其中，画面特效以及定制化文字内容的动态生成是基于用户在前端界面的选择以及输入；
在本发明中，所述动态生成单元具体为：在前端界面中，根据用户的视频制作需求及偏好，调整视频中呈现的字幕文本内容、字幕颜色或者字幕位置信息；在合成渲染中，基于用户选择的视频类型进行视频画面的特效渲染，基于用户输入字幕的偏好进行定制化文字内容的动态生成，从而生成完整的客制化视频。其中，文字的动态生成体现在：文字的字体以及基于主题的文本颜色推荐都在对应主题以及风格的视频脚本中进行相关描述，原因在于，视频主要视觉元素彼此间具有交互特性，即每个元素都会影响着其他元素会被怎样的感知，因此，需要考虑基于主题以及风格的视觉元素的整体性，而不是对视觉元素个体的考量。
综上所述，本发明具有如下优点：
本发明通过将传统复杂的视频制作过程使用智能程序化的模式进行处理，可有效解决现有用户在视频制作过程中存在的高门槛、高成本等问题，具体包括：
1、通过人工智能学习了与视频制作相关的剪辑模式和制作指标，并将它们转换为人工智能创意模型；同时，基于人工智能创意模型，通过多模式交互引导的方式，包括文字、图片、线框图、动图、拍摄宫格等引导性元素，智能的引导用户进行客制化拍摄；通过与应用界面交互的形式将多模式交互内容进行动态呈现，从而实现将视频拍摄专业领域的知识以可视化的形式呈现给用户。
2、基于人工智能创意模型，在云端对用户拍摄的视频以及关联的素材视频进行智能的增强合成渲染，不需要用户花费大量的时间或财力去对拍摄的视频进行后期处理，因此，可大大减少用户后期视频处理的成本。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (2)
1.一种基于交互引导及云端增强渲染的视频生成方法，其特征在于：通过人工智能学习了与视频制作相关的剪辑模式和制作指标，并将它们转换为人工智能创意模型；同时，基于人工智能创意模型，通过多模式交互引导的方式，包括文字、图片、线框图、动图或拍摄宫格的引导性元素，智能地引导用户进行客制化拍摄，通过与应用界面交互的形式将多模式交互内容进行动态呈现，从而实现将视频拍摄专业领域的知识以可视化的形式呈现给用户，用户通过呈现的内容即可理解当前拍摄宫格所需要的专业领域的拍摄要求，并能够快速确定拍摄主体、确定事件描述、确定镜头运动控制和确定画面景别，最后，基于人工智能创意模型，在云端对用户拍摄的视频以及关联的素材视频进行智能的增强合成渲染，所述方法包括如下步骤：
步骤S1、在客户端构建前端引导的多模式交互内容，根据多模式交互内容动态地引导用户进行视频拍摄：
步骤S11、对划分的不同类型的视频进行内容分析，从视频中提取出主要的视觉元素；所述类型的划分至少包括主题以及风格两个指标，所述视觉元素至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；
步骤S12、按照规定的标定方式对视频的视觉元素进行标定，并通过人工智能技术学习视频的制作模式，对各个类型的视频均抽象出所属类别的通用拍摄文案，并将抽象出的通用拍摄文案以脚本的形式存储于数据库中，从而构建出脚本库，在脚本中具有对视频剪辑思路的描述，该描述确定了视频的宫格模板，包括拍摄宫格的拍摄引导以及素材视频的动态推荐，且在每一拍摄宫格中均对应有拍摄指导，所述拍摄指导至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；
步骤S13、对提取出的视频的视觉元素进行图形化表达，构建出前端引导素材库，在构建出的前端引导素材库中，对每一前端引导素材均标记有对应的标签，以方便后续的标签推荐；所述图形化表达至少包括显著性对象的抽象轮廓图、镜头景别的线框表示图、镜头移动的方向动图以及事件描述的文本；
步骤S14、用户在前端界面选择好视频类型后，客户端动态匹配脚本库中对应类型的脚本，并根据脚本中基于前端引导的描述，动态推荐对应的前端引导素材，从而构成基于前端引导的多模式交互内容；所述多模式交互内容包含文字、图片、线框图、动图或者拍摄宫格；
步骤S15、通过与应用界面交互的形式将基于前端引导的多模式交互内容进行动态呈现，用户根据动态呈现的基于前端引导的多模式交互内容进行视频拍摄；
步骤S2、在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染，从而生成完整的客制化视频：
步骤S21、通过人工智能技术对海量不同风格的视频进行学习，从而获取不同风格模型所对应的风格处理参数；基于获取的风格处理参数的指标，根据用户选择的视频类型来对用户所拍摄的视频进行风格参数调整，并将调整的风格参数记录到脚本中，以实现对用户所拍摄的视频进行风格化渲染；
步骤S22、通过对不同类型的视频的分析和归纳，构建出视频主要对象与从属关联对象之间的关联模型，所述关联模型描述了主要对象与从属对象之间的语义关联程度，包括从属对象的视觉属性，并根据不同类型的视频需求，以图的形式将素材进行相关联，以此构建图谱式素材库，构建出的图谱式素材库至少包括具有复数个标签的关联性素材视频，素材视频所定义的标签包括风格标签或画面主体对象标签；
在完成风格化渲染后，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的素材视频，且按照用户的宫格排序偏好将风格化渲染的视频与选择的素材视频进行合成渲染，所述合成渲染的流程包括添加字幕、添加视频画面特效、生成相邻视频间的过渡视频片段、添加视频开头片段、添加视频结束片段、视频合成、添加水印或者添加背景音乐；
由于在脚本中具有对视频剪辑思路的描述，该描述确定了视频的宫格模板，包括拍摄宫格的拍摄引导以及素材视频的动态推荐，根据用户在前端界面的主题以及风格的选择，系统就会从图谱式素材库中动态地推荐较为适用的素材视频；
步骤S23、在前端界面中，根据用户的视频制作需求及偏好，调整视频中呈现的字幕文本内容、字幕颜色或者字幕位置信息；在合成渲染中，基于用户选择的视频类型进行视频画面的特效渲染，基于用户输入字幕的偏好进行定制化文字内容的动态生成，从而生成完整的客制化视频。
2.一种基于交互引导及云端增强渲染的视频生成系统，其特征在于：所述系统包括引导拍摄模块以及增强渲染模块；
所述引导拍摄模块，用于在客户端构建前端引导的多模式交互内容，根据多模式交互内容动态地引导用户进行视频拍摄；所述引导拍摄模块具体包括元素提取单元、脚本库单元、素材库单元、脚本匹配单元以及引导拍摄单元；
所述元素提取单元，用于对划分的不同类型的视频进行内容分析，从视频中提取出主要的视觉元素；所述类型的划分至少包括主题以及风格两个指标，所述视觉元素至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；所述脚本库单元，按照规定的标定方式对视频的视觉元素进行标定，并通过人工智能技术学习视频的制作模式，从而实现对各个类型的视频均抽象出所属类别的通用拍摄文案；并将抽象出的通用拍摄文案以脚本的形式存储于数据库中，从而构建出脚本库，在脚本中具有对视频剪辑思路的描述，该描述确定了视频的宫格模板，包括拍摄宫格的拍摄引导以及素材视频的动态推荐，且在每一拍摄宫格中均对应有拍摄指导，所述拍摄指导至少包括视频画面的显著性对象、视频画面中的事件描述、视频画面中所运用的镜头移动方式以及视频画面中所呈现的镜头景别；
所述素材库单元，用于对提取出的视频的视觉元素进行图形化表达，构建出前端引导素材库，所述图形化表达至少包括显著性对象的抽象轮廓图、镜头景别的线框表示图、镜头移动的方向动图以及事件描述的文本；同时，在构建出的前端引导素材库中，对每一前端引导素材均标记有对应的标签，以方便后续的标签推荐；
所述脚本匹配单元，用于用户在前端界面选择好视频类型后，客户端动态匹配脚本库中对应类型的脚本，并根据脚本中基于前端引导的描述，动态推荐对应的前端引导素材，从而构成基于前端引导的多模式交互内容，所述多模式交互内容包含文字、图片、线框图、动图或者拍摄宫格；
所述引导拍摄单元，用于通过与应用界面交互的形式将基于前端引导的多模式交互内容进行动态呈现，用户根据动态呈现的基于前端引导的多模式交互内容进行视频拍摄；
所述增强渲染模块，具体包括风格化渲染单元、合成渲染单元以及动态生成单元，用于在云端对用户所拍摄的视频以及与视频相关联的素材进行增强渲染，从而生成完整的客制化视频；
所述风格化渲染单元，通过人工智能技术对海量不同风格的视频进行学习，从而获取不同风格模型所对应的风格处理参数；基于获取的风格处理参数的指标，根据用户选择的视频类型来对用户所拍摄的视频进行风格参数调整，并将调整的风格参数记录到脚本中，通过脚本中的描述，即可对应的调整风格参数，以实现对用户所拍摄的视频进行风格化渲染；
所述合成渲染单元，用于构建图谱式素材库，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的素材视频，且将选择的素材视频与风格化渲染的视频进行合成渲染：通过对不同类型的视频的分析和归纳，构建出视频主要对象与从属关联对象之间的关联模型，所述关联模型描述了主要对象与从属对象之间的语义关联程度，包括从属对象的视觉属性，并根据不同类型的视频需求，以图的形式将素材进行相关联，以此来构建图谱式素材库；构建出的图谱式素材库至少包括具有复数个标签的关联性素材视频，素材视频所定义的标签包括风格标签或画面主体对象标签；在完成风格化渲染后，基于用户选择的视频类型自动关联图谱式素材库，并动态推荐图谱式素材库中的素材视频，且按照用户的宫格排序偏好将风格化渲染的视频与选择的素材视频进行合成渲染，所述合成渲染的流程包括添加字幕、添加视频画面特效、生成相邻视频间的过渡视频片段、添加视频开头片段、添加视频结束片段、视频合成、添加水印或者添加背景音乐；由于在脚本中具有对视频剪辑思路的描述，该描述确定了视频的宫格模板，包括拍摄宫格的拍摄引导以及素材视频的动态推荐，因此，根据用户在前端界面的主题以及风格的选择，系统就会从图谱式素材库中动态地推荐较为适用的素材视频；
所述动态生成单元，用于对合成渲染后的视频进行画面特效以及定制化文字内容的动态生成，从而生成完整的客制化视频，其中，画面特效以及定制化文字内容的动态生成是基于用户在前端界面的选择以及输入：在前端界面中，根据用户的视频制作需求及偏好，调整视频中呈现的字幕文本内容、字幕颜色或者字幕位置信息；在合成渲染中，基于用户选择的视频类型进行视频画面的特效渲染，基于用户输入字幕的偏好进行定制化文字内容的动态生成，从而生成完整的客制化视频，其中，文字的动态生成体现在：文字的字体以及基于主题的文本颜色推荐都在对应主题以及风格的视频脚本中进行相关描述，视频主要视觉元素彼此间具有交互特性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910274605.2A CN110012237B (zh) | 2019-04-08 | 2019-04-08 | 基于交互引导及云端增强渲染的视频生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910274605.2A CN110012237B (zh) | 2019-04-08 | 2019-04-08 | 基于交互引导及云端增强渲染的视频生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110012237A CN110012237A (zh) | 2019-07-12 |
| CN110012237B true CN110012237B (zh) | 2020-08-07 |
Family
ID=67170190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910274605.2A Active CN110012237B (zh) | 2019-04-08 | 2019-04-08 | 基于交互引导及云端增强渲染的视频生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110012237B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110855893A (zh) * | 2019-11-28 | 2020-02-28 | 维沃移动通信有限公司 | 一种视频拍摄的方法及电子设备 |
| CN111541946A (zh) * | 2020-07-10 | 2020-08-14 | 成都品果科技有限公司 | 一种基于素材进行资源匹配的视频自动生成方法及系统 |
| CN112035702A (zh) * | 2020-08-31 | 2020-12-04 | 西安君悦网络科技有限公司 | 一种快速选择短视频脚本的方法及系统 |
| CN112702650A (zh) * | 2021-01-27 | 2021-04-23 | 成都数字博览科技有限公司 | 一种献血推广方法和献血车 |
| CN112906553B (zh) * | 2021-02-09 | 2022-05-17 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
| CN113392268B (zh) * | 2021-03-31 | 2024-07-23 | 百果园技术(新加坡)有限公司 | 一种特效文本渲染方法、装置、电子设备及存储介质 |
| CN116762355A (zh) * | 2021-03-31 | 2023-09-15 | 深圳市大疆创新科技有限公司 | 视频拍摄方法、装置及系统 |
| CN113190712B (zh) * | 2021-04-02 | 2024-05-03 | 深圳市福田区吨吨文化工作室 | 一种基于大数据和机器学习算法创作短视频的系统和方法 |
| CN115701093B (zh) * | 2021-07-15 | 2024-11-05 | 上海幻电信息科技有限公司 | 视频拍摄信息获取方法，及视频拍摄和处理指示方法 |
| CN113596283B (zh) * | 2021-07-28 | 2024-08-09 | 杭州更火数字科技有限公司 | 一种视频定制方法、系统及电子设备 |
| CN113627994B (zh) * | 2021-08-27 | 2024-09-06 | 京东方科技集团股份有限公司 | 信息发布的素材处理方法、装置、电子设备及存储介质 |
| CN113641859B (zh) * | 2021-10-18 | 2022-04-19 | 阿里巴巴达摩院(杭州)科技有限公司 | 脚本生成方法、系统、计算机存储介质及计算机程序产品 |
| CN113886727A (zh) * | 2021-10-29 | 2022-01-04 | 北京达佳互联信息技术有限公司 | 推荐展示内容的方法及装置 |
| CN114928753A (zh) * | 2022-04-12 | 2022-08-19 | 广州阿凡提电子科技有限公司 | 一种视频拆分处理方法、系统及装置 |
| CN115134662A (zh) * | 2022-06-28 | 2022-09-30 | 广州阿凡提电子科技有限公司 | 一种基于人工智能的多样片处理方法及系统 |
| CN119729150A (zh) * | 2023-09-28 | 2025-03-28 | 北京字跳网络技术有限公司 | 一种视频生成方法、装置、设备及介质 |
| CN120640088A (zh) * | 2024-03-12 | 2025-09-12 | 北京字跳网络技术有限公司 | 具有边贴图片的视频生成方法及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3721938B2 (ja) * | 2000-05-11 | 2005-11-30 | 日本ビクター株式会社 | データ送受信システム |
| CN107277394A (zh) * | 2017-06-15 | 2017-10-20 | 上海大兮软件科技有限公司 | 一种基于混合现实技术的自拍系统 |
| CN108391062A (zh) * | 2018-02-11 | 2018-08-10 | 北京秀眼科技有限公司 | 视频制作方法及系统 |
| CN109002857B (zh) * | 2018-07-23 | 2020-12-29 | 厦门大学 | 一种基于深度学习的视频风格变换与自动生成方法及系统 |
-
2019
- 2019-04-08 CN CN201910274605.2A patent/CN110012237B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110012237A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110012237A (zh) | 基于交互引导及云端增强渲染的视频生成方法及系统 | |
| KR102148392B1 (ko) | 동영상 메타데이터 태깅 시스템 및 그 방법 | |
| US10319409B2 (en) | System and method for generating videos | |
| US10846336B2 (en) | Authoring tools for synthesizing hybrid slide-canvas presentations | |
| CN109002857B (zh) | 一种基于深度学习的视频风格变换与自动生成方法及系统 | |
| JP5432617B2 (ja) | アニメーション製作方法及び装置 | |
| CN114363712A (zh) | 基于模板化编辑的ai数字人视频生成方法、装置及设备 | |
| CN118748738A (zh) | 视频生成方法、电子设备、存储介质以及计算机程序产品 | |
| KR20090093904A (ko) | 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템 | |
| WO2023056835A1 (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
| US12211279B2 (en) | System and method for artificial intelligence-based media matching for automating downstream media workflows | |
| CN117177005A (zh) | 基于多模态与动态视角调整的花絮视频生成方法 | |
| US20250037335A1 (en) | Video processing method, apparatus, electronic device and storage medium | |
| JP7578209B1 (ja) | 映像生成システム、映像生成方法及び映像生成プログラム | |
| CN119763017A (zh) | 基于ai图像的短视频智能创作系统及方法 | |
| CN118695044A (zh) | 宣发视频的生成方法、装置、计算机设备、可读存储介质和程序产品 | |
| KR102859139B1 (ko) | Ai 3d 아바타 영상의 창작 및 운영 시스템 | |
| JP2007336106A (ja) | 映像編集支援装置 | |
| WO2025260926A1 (zh) | 视频处理方法及装置、体育视频处理方法及装置 | |
| CN115619901A (zh) | 一种素材剪辑方法、装置、电子设备和存储介质 | |
| CN115082595A (zh) | 视频制作方法、模板生成方法、装置及设备 | |
| CN116634192A (zh) | 一种视频自动编辑方法 | |
| CN113891079A (zh) | 自动化教学视频生成方法、装置、计算机设备及存储介质 | |
| WO2016203469A1 (en) | A digital media reviewing system and methods thereof | |
| CN120897100B (zh) | 视频混剪系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |