CN115396595A - 视频生成方法、装置、电子设备及存储介质 - Google Patents
视频生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115396595A CN115396595A CN202210934720.XA CN202210934720A CN115396595A CN 115396595 A CN115396595 A CN 115396595A CN 202210934720 A CN202210934720 A CN 202210934720A CN 115396595 A CN115396595 A CN 115396595A
- Authority
- CN
- China
- Prior art keywords
- shot
- lens
- video
- keyword
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 134
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000009471 action Effects 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种视频生成方法、装置、电子设备和存储介质，该方法涉及计算机技术领域，包括：获取目标信息；目标信息包括至少一个关键词和一个动态虚拟场景；关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；基于至少一个关键词、动态虚拟场景和原子镜头控制库，确定镜头组合描述；镜头组合描述用于表示镜头动作序列；基于镜头组合描述，生成目标视频。本发明提供的方法，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频生成方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的不断发展，用户根据各自的需求，能够实现对各种视频的拍摄。但是目前针对动态虚拟场景，如开放游戏虚拟世界，尚无完善的解决方案来实现符合特定偏好设置的视频自动拍摄。
相关技术中，输入拍摄的视频，根据自动取景镜头，连续获取视频中的一段视频。然而，相关技术中，需要预先拍摄视频，且拍摄视频的应用场景有限，导致对用户自定义选择的支持较差，同时，没有成熟的技术管线来支撑特定虚拟场景中的动画视频的自动生成。
发明内容
本发明提供一种视频生成方法、装置、电子设备及存储介质，用以解决现有技术中拍摄视频的应用场景有限，导致对用户自定义选择的支持较差的缺陷，实现可以根据用户的实际需求，生成任意应用场景的动画视频，从而使得用户的选择性比较多。
本发明提供一种视频生成方法，包括：
获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；
调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；
基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；
基于所述镜头组合描述，生成目标视频。
根据本发明提供的一种视频生成方法，所述基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述，包括：
将所述至少一个关键词中的所述风格关键词与所述原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合；
将所述至少一个关键词中的所述内容关键词与所述动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合；
基于所述镜头集合和所述对象集合，确定镜头组合描述。
根据本发明提供的一种视频生成方法，所述将所述至少一个关键词中的所述风格关键词与所述原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合，包括：
将所述风格关键词与各所述叙事手法进行相似度计算，得到第一相似度值；
将所述第一相似度值大于第一预设阈值的叙事手法对应的镜头确定为目标镜头；
基于所述目标镜头，确定所述风格关键词对应的所述镜头集合。
根据本发明提供的一种视频生成方法，所述将所述至少一个关键词中的所述内容关键词与所述动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合，包括：
对所述内容关键词与各所述对象进行相似度计算，得到第二相似度值；
将所述第二相似度值大于第二预设阈值的对象，确定为目标对象；
基于所述目标对象，确定所述内容关键词对应的所述对象集合。
根据本发明提供的一种视频生成方法，所述基于所述镜头集合和所述对象集合，确定镜头组合描述，包括：
将所述镜头集合中的至少一个目标镜头和所述对象集合中的至少一个目标对象进行匹配，得到所述镜头组合描述。
根据本发明提供的一种视频生成方法，所述基于所述镜头组合描述，生成目标视频，包括：
基于所述镜头组合描述，生成多个原始视频；
基于个性化参数，对各所述原始视频进行筛选，得到至少一个筛选视频，所述个性化参数包括如下至少一项：时长、分辨率、镜头数、转场速率和文字；
对各所述筛选视频进行渲染，得到至少一个渲染视频；
将各所述渲染视频依次输出，生成所述目标视频。
本发明还提供一种视频生成装置，包括：
获取模块，用于获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；
调用模块，用于调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；
第一确定模块，用于基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；
生成模块，用于基于所述镜头组合描述，生成目标视频。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频生成方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频生成方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视频生成方法。
本发明提供的视频生成方法、装置、电子设备和存储介质，通过获取目标信息；目标信息包括至少一个关键词和一个动态虚拟场景；关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；再根据至少一个关键词、动态虚拟场景和原子镜头控制库，确定镜头组合描述；镜头组合描述用于表示镜头动作序列；再根据镜头组合描述，生成目标视频，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的视频生成方法的流程示意图之一；
图2是本发明提供的控制面板的示意图；
图3是本发明提供的原子镜头控制库的示意图；
图4是本发明提供的视频生成方法的流程示意图之二；
图5是本发明提供的剧本生成器的流程示意图；
图6是本发明提供的基于镜头组合描述生成目标视频的过程示意图；
图7是本发明提供的目标视频生成方法的流程示意图之三，
图8是本发明提供的视频生成装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，通过一些实施例及其应用场景对本发明提供的视频生成方法进行详细地说明。
本发明提供一种视频生成方法，该视频生成方法适用于虚拟场景中，例如，虚拟游戏场景、虚拟社区场景、虚拟城镇场景，通过获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；基于所述镜头组合描述，生成目标视频。本发明提供的方法，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
下面结合图1-图7描述本发明的视频生成方法。
图1是本发明提供的视频生成方法的流程示意图之一，如图1所示，该方法包括步骤101-步骤104，其中：
步骤101，获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词。
需要说明的是，本发明提供的视频生成方法可适用于虚拟场景中，该虚拟场景可以为虚拟游戏场景、虚拟社区场景、虚拟城镇场景，也可以为其他虚拟场景。该方法的执行主体可以为视频生成装置，例如电子设备、或者该视频生成装置中的用于执行视频生成方法的控制模块。
具体地，需要预先建立一个虚拟场景，该虚拟场景中可以包括虚拟人物、虚拟车辆、树木、河流、建筑物等多个行为对象，虚拟场景中的虚拟对象可以根据实际需求进行设计。
实际中，用户通过控制面板选择至少一个关键词和动态虚拟场景；其中，控制面板可以是电脑桌面、平板电脑和手机应用程序(Application，APP)，控制面板上包括多个风格关键词、多个内容关键词和多个动态虚拟场景，用户可以根据实际需求进行选择；动态虚拟场景对应一个预定义的场景库，即虚拟场景的素材来源，例如，一个游戏世界内容或者一个持续运行的虚拟社区。
可选地，用户还可以通过控制面板指定个性化参数，例如，视频时长、画面比例、画面分割等参数。
用户可以根据实际需要的视频类型，在控制面板上选择对应的风格关键词、内容关键词和动态虚拟场景，用户选择的至少一个关键词可以组成关键词集合，因此，该关键词集合中包括风格关键词和内容关键词。
需要说明的是，通过控制面板选择的关键词和动态虚拟场景均来自预定义好的数据库，通过用户选择可以产生被选择数据集合，例如，关键词集合和动态虚拟场景。
图2是本发明提供的控制面板的示意图，如图2所示，控制面板包括视频预览区、关键词候选区、动态场景候选区和个性化参数设置区，其中，视频预览区用于用户预览生成的视频，关键词候选区包括多个风格关键词和多个内容关键词，动态场景候选区包括多个动态虚拟场景，个性化参数设置区包括时长、分辨率、镜头数、转场速率和文字等参数，用户可以根据实际需求，在控制面板上选择对应的关键词和动态虚拟场景，也可以设置一些个性化参数，使得生成的视频更加符合用户要求。
例如，用户需要推广某款游戏产品，则用户可以在控制面板上选择风格关键词“动感”，内容关键词“太阳”，动态虚拟场景“游戏虚拟场景1”，用户还可以设置个性化参数，或者用户不设置个性化参数，而以默认的参数为基准，实现“游戏虚拟场景1”对应的视频生成，从而可以用于某款游戏产品的推广和应用。
步骤102，调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系。
需要说明的是，预先构建了一个原子镜头控制库，通过建立基本故事叙事手法和镜头运镜方式之间的对应关系，从而可以形成叙事风格特征为组织模式的原子镜头控制库，以备调用，该原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系。采用图模型建立叙事手法和镜头运镜方式之间的对应关系，具体涉及到的镜头有固定、推、拉、摇、移、升、降、俯、仰、跟、甩。
图3是本发明提供的原子镜头控制库的示意图，如图3所示，常用基本镜头有固定、推、拉、摇、移、升、降、俯、仰、跟、甩，固定镜头对应的叙事手法为无情感特征，推镜头对应的叙事手法为逐渐拉近，拉镜头对应的叙事手法为疏远和渺小，摇镜头对应的叙事手法为展现空间和运动趋势，移镜头对应的叙事手法为现场感和真实感，升镜头对应的叙事手法为情感递进，降镜头对应的叙事手法为强化细节，俯镜头对应的叙事手法为宏观展示，仰镜头对应的叙事手法为突出高大，跟镜头对应的叙事手法为纪实，甩镜头对应的叙事手法为快速切换。
具体地，在用户选择至少一个关键词和动态虚拟场景之后，可以调用预先构建的原子镜头控制库。
步骤103，基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列。
具体地，根据用户选择的至少一个关键词和动态虚拟场景，以及调用的原子镜头控制库，可以确定镜头组合描述，其中，镜头组合描述用于表示镜头动作序列，例如，以某物体为中心，快速平推镜头，旋转一圈等。
需要说明的是，镜头组合描述表示的镜头动作序列来自于预先构建的原子镜头控制库，原子镜头控制库存储了叙事手法和镜头运镜方式之间的对应关系，即存储了经典的镜头运镜方式，例如，推、拉、摇、动等动作。
步骤104，基于所述镜头组合描述，生成目标视频。
具体地，根据镜头组合描述，可以生成目标视频。
本发明提供的视频生成方法，通过获取目标信息；目标信息包括至少一个关键词和一个动态虚拟场景；关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；再根据至少一个关键词、动态虚拟场景和原子镜头控制库，确定镜头组合描述；镜头组合描述用于表示镜头动作序列；再根据镜头组合描述，生成目标视频，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
图4是本发明提供的视频生成方法的流程示意图之二，如图4所示，该方法包括步骤401-步骤406，其中：
步骤401，获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词。
步骤402，调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系。
可选地，关于步骤401-402的说明和解释，可以参照上述针对步骤101-102的说明和解释，且能达到相同的技术效果，为避免重复，这里不再赘述。
步骤403，将所述至少一个关键词中的所述风格关键词与所述原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合。
具体地，将用户选择的至少一个关键词和虚拟动态场景输入至剧本生成器，剧本生成器对输入的至少一个关键词和虚拟动态场景进行综合处理；其中，剧本生成器采用主流的深度神经网络，例如，视觉几何组网络(Visual Geometry Group Network，VGG)、残差网络(ResNet)等深度网络模型。
实际中，剧本生成器将至少一个关键词中的风格关键词与原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，可以确定出镜头集合。
步骤404，将所述至少一个关键词中的所述内容关键词与所述动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合。
具体地，剧本生成器将至少一个关键词中的内容关键词与动态虚拟场景中的至少一个对象进行内容匹配，可以确定出对象集合。
步骤405，基于所述镜头集合和所述对象集合，确定镜头组合描述。
具体地，根据确定的镜头集合和对象集合，可以确定镜头组合描述。
步骤406，基于所述镜头组合描述，生成目标视频。
本发明提供的视频生成方法，通过将至少一个关键词中的风格关键词与原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合；以及将至少一个关键词中的所述内容关键词与所述动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合；再根据镜头集合和对象集合，确定镜头组合描述，从而可以根据镜头组合描述，生成目标视频，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
可选地，上述步骤403的具体实现方式包括以下步骤：
1)对所述风格关键词与各所述叙事手法进行相似度计算，得到第一相似度值。
具体地，根据至少一个关键词中的风格关键词，计算风格关键词与原子镜头控制库中的各叙事手法之间的第一相似度值。
2)将所述第一相似度值大于第一预设阈值的叙事手法对应的镜头确定为目标镜头。
具体地，将计算的第一相似度值与第一预设阈值进行比较，在第一相似度值大于第一预设阈值的情况下，说明原子镜头控制库中的叙事手法与风格关键词匹配，则将该叙事手法对应的镜头确定为目标镜头。
例如，选择的风格关键词为“悠扬”，则计算“悠扬”与原子镜头控制库中的叙事手法“情感递进”之间的第一相似度值为0.8，第一预设阈值为0.6，第一相似度值0.8大于第一预设阈值0.6，则将叙事手法“情感递进”对应的镜头“升”确定为目标镜头。
3)基于所述目标镜头，确定所述风格关键词对应的所述镜头集合。
具体地，根据目标镜头，可以确定至少一个关键词中的风格关键词对应的镜头集合，其中，镜头集合中包括多个目标镜头，例如，升、拉、推、仰等。
本发明提供的视频生成方法，通过对风格关键词与各叙事手法进行相似度计算，得到第一相似度值；再将第一相似度值大于第一预设阈值的叙事手法对应的镜头确定为目标镜头，根据目标镜头，确定风格关键词对应的镜头集合，进而可以根据镜头集合和对象集合，确定镜头组合描述，从而生成目标视频，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
可选地，上述步骤404的具体实现方式包括以下步骤：
1)对所述内容关键词与各所述对象进行相似度计算，得到第二相似度值。
具体地，根据至少一个关键词中的内容关键词，计算内容关键词与虚拟场景中的各对象之间的第二相似度值。
2)将所述第二相似度值大于第二预设阈值的对象，确定为目标对象。
具体地，将计算的第二相似度值与第二预设阈值进行比较，在第二相似度值大于第二预设阈值的情况下，说明虚拟场景中的对象与内容关键词匹配，则将该对象确定为目标对象。
例如，选择的内容关键词为“太阳”，则计算“太阳”与虚拟场景中的对象“夕阳”之间的第二相似度值为0.6，第二预设阈值为0.4，第二相似度值0.6大于第二预设阈值0.4，则将对象“夕阳”确定为目标对象。
3)基于所述目标对象，确定所述内容关键词对应的所述对象集合。
具体地，根据目标对象，可以确定至少一个关键词中的内容关键词对应的对象集合，其中，镜头集合中包括多个目标对象，例如，夕阳、早晨的太阳等。
本发明提供的视频生成方法，通过对内容关键词与各对象进行相似度计算，得到第二相似度值；再将第二相似度值大于第二预设阈值的对象，确定为目标对象；根据目标对象，确定内容关键词对应的对象集合，进而可以根据镜头集合和对象集合，确定镜头组合描述，从而生成目标视频，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
可选地，上述步骤405的具体实现方式为：
将所述镜头集合中的至少一个目标镜头和所述对象集合中的至少一个目标对象进行匹配，得到所述镜头组合描述。
具体地，镜头集合中的至少一个目标镜头和对象集合中的至少一个目标对象进行匹配也可以采用VGG和ResNet等网络模型，通过计算目标镜头与目标对象之间的相似度，实现至少一个目标镜头和至少一个目标对象之间的匹配，可以得到镜头组合描述，即对至少一个目标对象匹配出对应的目标镜头。
例如，镜头集合的目标镜头分别为升、拉、推、仰、移，对象集合中的目标对象分别为树木、河流，则通过分别对每个目标镜头和每个目标对象进行匹配，可以得到镜头组合描述，其中，镜头组合描述可以为对树木进行升、拉、推等三个目标镜头，对河流进行推、移等两个目标镜头。
本发明提供的视频生成方法，通过将镜头集合中的至少一个目标镜头和对象集合中的至少一个目标对象进行匹配，得到镜头组合描述，即对至少一个目标对象匹配出对应的目标镜头，从而提升了目标对象的真实性和节奏感。
图5是本发明提供的剧本生成器的流程示意图，如图5所示，将关键词集合包括的至少一个关键词中的风格关键词与原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，得到镜头集合；将关键词集合包括的至少一个关键词中的内容关键词与动态虚拟场景中的至少一个对象进行内容对象相似度匹配，得到对象集合；再将镜头集合中的目标镜头和对象集合中的目标对象进行匹配，得到镜头组合描述。
可选地，上述步骤406的具体实现方式包括以下步骤：
步骤1)基于所述镜头组合描述，生成多个原始视频。
具体地，根据镜头组合描述，镜头组合描述会对应生成多个原始视频，即多个快速的简易缩略版本，以备选择。
步骤2)基于个性化参数，对各所述原始视频进行筛选，得到至少一个筛选视频，所述个性化参数包括如下至少一项：时长、分辨率、镜头数、转场速率和文字。
具体地，根据用户在控制面板中选择的个性化参数或者默认的个性化参数，筛选器对各原始视频进行筛选，得到至少一个筛选视频；其中，筛选视频为生成的多个原始视频中的至少一个，个性化参数包括至少一项：时长、分辨率、镜头数、转场速率和文字。
实际中，根据个性化参数，选择符合用户偏好和个性化参数数据的至少一个原始视频，从而得到至少一个筛选视频。
步骤3)对各所述筛选视频进行渲染，得到至少一个渲染视频。
具体地，对筛选的符合用户偏好和个性化参数的多个筛选视频，对每个筛选视频进行高保真渲染，得到各筛选视频经过渲染之后的具有个性化特点的渲染视频。
步骤4)将各所述渲染视频依次输出，生成所述目标视频。
具体地，将各渲染视频按照渲染的顺序，依次连接输出，生成目标视频。
本发明提供的视频生成方法，通过镜头组合描述生成多个原始视频，再将多个原始视频进行筛选和渲染之后，生成目标视频，得到了具有个性化特点的目标视频，解决了再虚拟游戏场景或者虚拟社区场景的有特定意义的视频素材的生产，可以用于推广对应的虚拟产品，维护生态链，也可以满足用户个人对某类动画视频的需求，同时，在游戏或者虚拟社区的宣传推广素材生产方面具有重要意义。
图6是本发明提供的基于镜头组合描述生成目标视频的过程示意图，如图6所示，镜头组合描述中的目标镜头为俯拍、拉远和推近，则对目标对象分别进行俯拍、拉远和推近拍摄，生成俯拍对应的原始视频、拉远对应的原始视频、推近对应的原始视频，假设拍摄顺序为俯拍、拉远和推近，且俯拍对应的原始视频、拉远对应的原始视频和推近对应的原始视频符合用户需求，则不需要进行筛选，可以直接进行逐镜头渲染每个原始视频，分别得到一个渲染视频，再将渲染视频按照俯拍、拉远和推近的顺序依次输出，生成目标视频。
图7是本发明提供的目标视频生成方法的流程示意图之三，如图7所示，用户通过在控制面板上选择关键词(至少一个风格关键词和至少一个内容关键词)、来自场景库的虚拟动态场景、个性化参数，选择的至少一个风格关键词和至少一个内容关键词组成关键词集合；调用预先构建的原子镜头控制库，将关键词集合中的至少一个风格关键词、至少一个内容关键词和原子镜头控制库输入至剧本生成器，剧本生成器将至少一个关键词中的风格关键词与原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合，再将至少一个关键词中的内容关键词与动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合，再根据镜头集合和对象集合，剧本生成器输出镜头组合描述；镜头组合描述会对应生成多个原始视频，基于用户选择的个性化参数，筛选器对多个原始视频进行筛选，得到的多个筛选视频作为备选视频，场景渲染器对多个筛选视频进行渲染之后依次输出，生成目标视频。
下面对本发明提供的视频生成装置进行描述，下文描述的视频生成装置与上文描述的视频生成方法可相互对应参照。
图8是本发明提供的视频生成装置的结构示意图，如图8所示，该视频生成装置800包括：获取模块801、调用模块802、确定模块803和生成模块804；其中，
获取模块801，用于获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；
调用模块802，用于调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；
确定模块803，用于基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；
生成模块804，用于基于所述镜头组合描述，生成目标视频。
本发明提供的视频生成方法、装置、电子设备和存储介质，通过获取目标信息；目标信息包括至少一个关键词和一个动态虚拟场景；关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；再根据至少一个关键词、动态虚拟场景和原子镜头控制库，确定镜头组合描述；镜头组合描述用于表示镜头动作序列；再根据镜头组合描述，生成目标视频，实现了动态虚拟场景下与风格关键词和内容关键词相关的动画视频的自动生成，能够根据用户的需求生成任意虚拟场景下的动画视频，从而使得用户的选择性比较多。
可选地，所述确定模块803，具体用于：
将所述至少一个关键词中的所述风格关键词与所述原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合；
将所述至少一个关键词中的所述内容关键词与所述动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合；
基于所述镜头集合和所述对象集合，确定镜头组合描述。
可选地，所述确定模块803，具体用于：
对所述风格关键词与各所述叙事手法进行相似度计算，得到第一相似度值；
将所述第一相似度值大于第一预设阈值的叙事手法对应的镜头确定为目标镜头；
基于所述目标镜头，确定所述风格关键词对应的所述镜头集合。
可选地，所述确定模块803，具体用于：
对所述内容关键词与各所述对象进行相似度计算，得到第二相似度值；
将所述第二相似度值大于第二预设阈值的对象，确定为目标对象；
基于所述目标对象，确定所述内容关键词对应的所述对象集合。
可选地，所述确定模块803，具体用于：
将所述镜头集合中的至少一个目标镜头和所述对象集合中的至少一个目标对象进行匹配，得到所述镜头组合描述。
可选地，所述生成模块804，具体用于：
基于所述镜头组合描述，生成多个原始视频；
基于个性化参数，对各所述原始视频进行筛选，得到至少一个筛选视频，所述个性化参数包括如下至少一项：时长、分辨率、镜头数、转场速率和文字；
对各所述筛选视频进行渲染，得到至少一个渲染视频；
将各所述渲染视频依次输出，生成所述目标视频。
图9是本发明提供的一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行视频生成方法，该方法包括：获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；基于所述镜头组合描述，生成目标视频。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的视频生成方法，该方法包括：获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；基于所述镜头组合描述，生成目标视频。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的视频生成方法，该方法包括：获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；基于所述镜头组合描述，生成目标视频。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种视频生成方法，其特征在于，包括：
获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；
调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；
基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；
基于所述镜头组合描述，生成目标视频。
2.根据权利要求1所述的视频生成方法，其特征在于，所述基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述，包括：
将所述至少一个关键词中的所述风格关键词与所述原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合；
将所述至少一个关键词中的所述内容关键词与所述动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合；
基于所述镜头集合和所述对象集合，确定镜头组合描述。
3.根据权利要求2所述的视频生成方法，其特征在于，所述将所述至少一个关键词中的所述风格关键词与所述原子镜头控制库中的至少一个叙事手法进行镜头风格属性匹配，确定镜头集合，包括：
对所述风格关键词与各所述叙事手法进行相似度计算，得到第一相似度值；
将所述第一相似度值大于第一预设阈值的叙事手法对应的镜头确定为目标镜头；
基于所述目标镜头，确定所述风格关键词对应的所述镜头集合。
4.根据权利要求2所述的视频生成方法，其特征在于，所述将所述至少一个关键词中的所述内容关键词与所述动态虚拟场景中的至少一个对象进行内容匹配，确定对象集合，包括：
对所述内容关键词与各所述对象进行相似度计算，得到第二相似度值；
将所述第二相似度值大于第二预设阈值的对象，确定为目标对象；
基于所述目标对象，确定所述内容关键词对应的所述对象集合。
5.根据权利要求3或4所述的视频生成方法，其特征在于，所述基于所述镜头集合和所述对象集合，确定镜头组合描述，包括：
将所述镜头集合中的至少一个目标镜头和所述对象集合中的至少一个目标对象进行匹配，得到所述镜头组合描述。
6.根据权利要求1-5任一项所述的视频生成方法，其特征在于，所述基于所述镜头组合描述，生成目标视频，包括：
基于所述镜头组合描述，生成多个原始视频；
基于个性化参数，对各所述原始视频进行筛选，得到至少一个筛选视频，所述个性化参数包括如下至少一项：时长、分辨率、镜头数、转场速率和文字；
对各所述筛选视频进行渲染，得到至少一个渲染视频；
将各所述渲染视频依次输出，生成所述目标视频。
7.一种视频生成装置，其特征在于，包括：
获取模块，用于获取目标信息；所述目标信息包括至少一个关键词和一个动态虚拟场景；所述关键词为内容关键词或者风格关键词；
调用模块，用于调用预先构建的原子镜头控制库；所述原子镜头控制库中存储有叙事手法和镜头运镜方式之间的对应关系；
第一确定模块，用于基于所述至少一个关键词、所述动态虚拟场景和所述原子镜头控制库，确定镜头组合描述；所述镜头组合描述用于表示镜头动作序列；
生成模块，用于基于所述镜头组合描述，生成目标视频。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述视频生成方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视频生成方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视频生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210934720.XA CN115396595B (zh) | 2022-08-04 | 2022-08-04 | 视频生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210934720.XA CN115396595B (zh) | 2022-08-04 | 2022-08-04 | 视频生成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115396595A true CN115396595A (zh) | 2022-11-25 |
| CN115396595B CN115396595B (zh) | 2023-08-22 |
Family
ID=84118951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210934720.XA Active CN115396595B (zh) | 2022-08-04 | 2022-08-04 | 视频生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115396595B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118413717A (zh) * | 2024-03-14 | 2024-07-30 | 北京字跳网络技术有限公司 | 视频生成方法、装置、设备、计算机可读存储介质及产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006047610A2 (en) * | 2004-10-27 | 2006-05-04 | Cinital | Method and apparatus for a virtual scene previewing system |
| CN1949832A (zh) * | 2005-10-14 | 2007-04-18 | 文化传信科技（澳门）有限公司 | 动画运镜设定系统以及方法 |
| CN111369648A (zh) * | 2018-12-25 | 2020-07-03 | 上海简影数码科技有限公司 | 一种基于3d技术的模型与动画交互的方法 |
| CN112004163A (zh) * | 2020-08-31 | 2020-11-27 | 北京市商汤科技开发有限公司 | 视频生成方法及装置、电子设备和存储介质 |
| CN113473207A (zh) * | 2021-07-02 | 2021-10-01 | 广州博冠信息科技有限公司 | 直播方法、装置、存储介质及电子设备 |
| CN113691836A (zh) * | 2021-10-26 | 2021-11-23 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频模板生成方法、视频生成方法、装置和电子设备 |
| CN113747138A (zh) * | 2021-07-30 | 2021-12-03 | 杭州群核信息技术有限公司 | 虚拟场景的视频生成方法和装置、存储介质及电子设备 |
| CN114363689A (zh) * | 2022-01-11 | 2022-04-15 | 广州博冠信息科技有限公司 | 直播控制方法、装置、存储介质及电子设备 |
| CN114546227A (zh) * | 2022-02-18 | 2022-05-27 | 北京达佳互联信息技术有限公司 | 虚拟镜头控制方法、装置、计算机设备及介质 |
| CN114567819A (zh) * | 2022-02-23 | 2022-05-31 | 中国平安人寿保险股份有限公司 | 视频生成方法、装置、电子设备及存储介质 |
-
2022
- 2022-08-04 CN CN202210934720.XA patent/CN115396595B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006047610A2 (en) * | 2004-10-27 | 2006-05-04 | Cinital | Method and apparatus for a virtual scene previewing system |
| CN1949832A (zh) * | 2005-10-14 | 2007-04-18 | 文化传信科技（澳门）有限公司 | 动画运镜设定系统以及方法 |
| CN111369648A (zh) * | 2018-12-25 | 2020-07-03 | 上海简影数码科技有限公司 | 一种基于3d技术的模型与动画交互的方法 |
| CN112004163A (zh) * | 2020-08-31 | 2020-11-27 | 北京市商汤科技开发有限公司 | 视频生成方法及装置、电子设备和存储介质 |
| CN113473207A (zh) * | 2021-07-02 | 2021-10-01 | 广州博冠信息科技有限公司 | 直播方法、装置、存储介质及电子设备 |
| CN113747138A (zh) * | 2021-07-30 | 2021-12-03 | 杭州群核信息技术有限公司 | 虚拟场景的视频生成方法和装置、存储介质及电子设备 |
| CN113691836A (zh) * | 2021-10-26 | 2021-11-23 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频模板生成方法、视频生成方法、装置和电子设备 |
| CN114363689A (zh) * | 2022-01-11 | 2022-04-15 | 广州博冠信息科技有限公司 | 直播控制方法、装置、存储介质及电子设备 |
| CN114546227A (zh) * | 2022-02-18 | 2022-05-27 | 北京达佳互联信息技术有限公司 | 虚拟镜头控制方法、装置、计算机设备及介质 |
| CN114567819A (zh) * | 2022-02-23 | 2022-05-31 | 中国平安人寿保险股份有限公司 | 视频生成方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118413717A (zh) * | 2024-03-14 | 2024-07-30 | 北京字跳网络技术有限公司 | 视频生成方法、装置、设备、计算机可读存储介质及产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115396595B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10198839B2 (en) | Style transfer-based image content correction | |
| US10147459B2 (en) | Artistic style transfer for videos | |
| CN109670558B (zh) | 使用深度学习的数字图像完成 | |
| CN110533097A (zh) | 一种图像清晰度识别方法、装置、电子设备及存储介质 | |
| CN101076166B (zh) | 具有显示按钮的装置及用于所述装置的显示方法和介质 | |
| US10986145B2 (en) | Method for recording a shared screen based on actions and apparatus for the same | |
| KR20210040882A (ko) | 동영상을 생성하기 위한 방법 및 장치 | |
| US20230146181A1 (en) | Integrated machine learning algorithms for image filters | |
| US10649618B2 (en) | System and method for creating visual representation of data based on generated glyphs | |
| CN108958857A (zh) | 一种界面生成方法及装置 | |
| JP2022538702A (ja) | 音声パケット推薦方法、装置、電子機器およびプログラム | |
| US20150130816A1 (en) | Computer-implemented methods and systems for creating multimedia animation presentations | |
| CN105025378A (zh) | 字幕添加系统和方法 | |
| CN111145318A (zh) | 一种基于ngui的渲染方法及装置 | |
| CN110798737A (zh) | 视音频合成方法、终端和存储介质 | |
| CN115396595B (zh) | 视频生成方法、装置、电子设备及存储介质 | |
| US11720945B2 (en) | Customization and reproduction of avatar on a physical item | |
| CN118042246A (zh) | 视频生成方法、装置、电子设备及可读存储介质 | |
| US11809688B1 (en) | Interactive prompting system for multimodal personalized content generation | |
| CN109917989A (zh) | 一种实现虚拟翻页的方法及装置、计算设备和存储介质 | |
| JP6924544B2 (ja) | 漫画データ表示システム、方法及びプログラム | |
| CN116991513A (zh) | 配置文件生成方法、装置、电子设备、介质及程序产品 | |
| US9483237B2 (en) | Method and system for providing an image effects interface | |
| CN110767201A (zh) | 一种配乐生成方法、存储介质及终端设备 | |
| CN115082821A (zh) | 过渡帧的生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |