CN116962848A - 视频生成方法、装置、终端、存储介质及产品 - Google Patents

视频生成方法、装置、终端、存储介质及产品 Download PDF

Info

Publication number
CN116962848A
CN116962848A CN202310877435.3A CN202310877435A CN116962848A CN 116962848 A CN116962848 A CN 116962848A CN 202310877435 A CN202310877435 A CN 202310877435A CN 116962848 A CN116962848 A CN 116962848A
Authority
CN
China
Prior art keywords
images
model
image
gesture
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310877435.3A
Other languages
English (en)
Inventor
王凡祎
苏婧文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202310877435.3A priority Critical patent/CN116962848A/zh
Publication of CN116962848A publication Critical patent/CN116962848A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种视频生成方法、装置、终端、存储介质及产品，属于图像处理技术领域。方法包括：确定第一主题的多个第一图像；基于多个第一图像，训练第一主题的图像生成模型，图像生成模型用于生成第一主题的图像；基于图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，图像生成模型用于生成多个第二图像，姿势确定模型用于约束多个第二图像的骨架姿势；基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。

Description

视频生成方法、装置、终端、存储介质及产品
技术领域
本申请涉及图像处理技术领域，特别涉及一种视频生成方法、装置、终端、存储介质及产品。
背景技术
目前，短视频应用很火，很多用户在碎片时间浏览短视频，并且用户还可以在短视频应用发布短视频，此时就需要制作短视频。相关技术中，是用户将拍摄的多张图像一键生成短视频。
发明内容
本申请实施例提供了一种视频生成方法、装置、终端、存储介质及产品，能够提高生成的视频的质量。所述技术方案如下：
一方面，提供了一种视频生成方法，所述方法包括：
确定第一主题的多个第一图像；
基于所述多个第一图像，训练所述第一主题的图像生成模型，所述图像生成模型用于生成所述第一主题的图像；
基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，所述图像生成模型用于生成所述多个第二图像，所述姿势确定模型用于约束所述多个第二图像的骨架姿势；
基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的所述多个第二图像生成视频。
另一方面，提供了一种视频生成装置，所述装置包括：
确定模块，用于确定第一主题的多个第一图像；
训练模块，用于基于所述多个第一图像，训练所述第一主题的图像生成模型，所述图像生成模型用于生成所述第一主题的图像；
生成模块，用于基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，所述图像生成模型用于生成所述多个第二图像，所述姿势确定模型用于约束所述多个第二图像的骨架姿势；
插帧模块，用于基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的所述多个第二图像生成视频。
另一方面，提供了一种终端，所述终端包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行，以实现上述任一实现方式所述的视频生成方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述任一实现方式所述的视频生成方法。
另一方面，提供了一种计算机程序产品，所述计算机程序产品存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述任一实现方式所述的视频生成方法。
在本申请实施例中，一方面，由于图像生成模型是基于同一主题的第一图像训练得到的，因此，图像生成模型生成的多个第二图像也是该主题的图像，从而保证了基于多个第二图像生成视频的主题一致性；另一方面，通过姿势确定模型来约束图像生成模型生成第二图像的骨架姿势，从而使得生成的多个第二图像的骨架姿势是相同的，这样能够保证多个第二图像的动作连贯性；并且，通过视频插帧模型在相邻两个第二图像之间进行插帧，能够提高基于插帧后的视频的动作连贯性。基于以上分析可知，本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。
附图说明
图1示出了本申请一个示例性实施例示出的视频生成方法的实施环境的示意图；
图2示出了本申请一个示例性实施例示出的视频生成方法的流程图；
图3示出了本申请一个示例性实施例示出的视频生成方法的流程图；
图4示出了本申请一个示例性实施例示出的视频生成方法的流程图；
图5示出了本申请一个示例性实施例示出的视频生成方法的流程图；
图6示出了本申请一个示例性实施例示出的基于参考骨架姿势生成第二图像的示意图；
图7示出了本申请一个示例性实施例示出的视频生成方法的流程图；
图8示出了本申请一个示例性实施例示出的视频生成方法的流程图；
图9示出了本申请一个示例性实施例示出的视频生成装置的框图；
图10示出了本申请一个示例性实施例示出的终端的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的姿势参考图像、第一图像和第二图像等都是在充分授权的情况下获取的。
请参考图1，其示出了本申请一个示例性实施例示出的视频生成方法的实施环境的示意图。该实施环境包括：终端101和服务器102；终端101中安装图像处理应用，终端101通过图像处理应用与服务器102实现例如数据传输、信息交互等功能，从而终端101请求服务器102来生成视频；或者，终端101离线生成视频。其中，图像处理应用可以为相册应用、美图应用或者图像处理软件(Adobe Photoshop，PS)等。
在一些实施例中，终端101可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互、车载终端等，但并不局限于此。服务器102是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
请参考图2，其示出了本申请一个示例性实施例示出的视频生成方法的流程图。本申请实施例中的执行主体为终端。参见图2，该方法包括：
步骤201：确定第一主题的多个第一图像。
第一主题可以为人物或者动物，人物可以为游戏人物、真人模特、动漫人物等。动物可以为狗、猫、兔子等。并且，多个第一图像为第一主题的多个拍摄角度的图像。在一些实施例中，直接找已有图像；相应的，确定第一主题的多个第一图像的步骤可以为：从图像库中确定第一主题的多个拍摄角度的多个第一图像，从而降低获取多个第一图像的成本。在另一些实施例中，基于三维模型来生成多个第一图像；相应的，确定第一主题的多个第一图像的步骤可以为：基于三维模型在三维软件中，通过调整视角的方式来生成多个拍摄角度的多个第一图像，从而可以根据用户的需求来生成想要角度的第一图像，降低了获取多个第一图像的难度。在另一些实施例中，直接拍摄多个第一图像；相应的，确定第一主题的多个第一图像的步骤可以为：拍摄第一主题的多个角度的图像，得到多个第一图像。例如，第一主题为真人模特，则可以直接拍摄真人模特在多个角度的图像，得到多个第一图像。在另一些实施例中，直接截图得到多个第一图像；相应的，确定第一主题的多个第一图像的步骤可以为：截取第一主题的多个角度的第一图像，得到多个第一图像。
多个第一图像为高质量图像，也即多个第一图像的图像质量大于预设质量值。第一图像的数量可以根据需要进行设置并更改；并且，第一图像的数量越多，后续训练的图像生成模型的准确性越高，但训练图像生成模型所需时间就越长；因此权衡图像生成模型的准确性和所需时间，第一图像的数量可以为15～30张。第一主题可以为人物或者动物。
步骤202：基于多个第一图像，训练第一主题的图像生成模型，图像生成模型用于生成第一主题的图像。
图像生成模型可以为任一类型的模型；然而在模型较大的情况下，训练图像生成模型所需的时间就较长；因此，在本申请实施例中的图像生成模型选用大型语言模型的低秩适应(Low-Rank Adaptation of Large Language Models，Lora)模型。由于稳定扩散模型(Stable Diffusion)本身很大，针对每一种数据集训练一个模型的话耗时和资源等都巨大；而Lora模型只对Stable Diffusion模型中的转换器(transformer)部分进行可平替化学习，所以Lora模型的存储(storage)相对小很多，Lora模型只有100多兆；因此，通过Lora模型来训练图像生成模型能够提高训练效率且降低存储资源。并且，Lora模型具有学习少量高质量同源图像(同源图像是指同一个主题的图像)，并对应得到一个激活关键词的能力，该激活关键词用于触发Lora模型生成图像，且该激活关键词可以自定义。例如，多个第一图像为人物A的图像，则Lora模型可以学习一系列人物A的图像并对应得到激活关键词“人物A”，后续用户向Lora模型输入“人物A”即可触发Lora模型生成“人物A”关联的图像。
步骤203：基于图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，图像生成模型用于生成多个第二图像，姿势确定模型用于约束多个第二图像的骨架姿势。
由于通过姿势确定模型来约束多个第二图像的骨架姿势，因此，生成的多个第二图像的动作是具有一定关联性的；例如，姿势确定模型约束多个第二图像的骨架姿势为出拳，则生成的多个第二图像均为一系列出拳的图像。
步骤204：基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。
视频插帧模型可以为基于任一插帧算法训练得到的模型；例如，视频插帧模型为基于FILM训练得到的帧插值神经网络。FILM只需要两帧图像即可实现运动幅度较大的视频插帧。因此，通过FILM进行视频插帧能够提高视频插帧的准确性。例如，多个第二图像分别为图像1、图像2、图像3和图像4，则在图像1和图像2之间插至少一帧，例如，插帧的图像为图像5；在图像2和图像3之间插至少一帧，例如，插帧的图像为图像6；在图像3和图像4之间插至少一帧，例如，插帧的图像为图像7，则将图像1、图像5、图像2、图像6、图像3、图像7和图像4依次串接形成视频。
在本申请实施例中，一方面，由于图像生成模型是基于同一主题的第一图像训练得到的，因此，图像生成模型生成的多个第二图像也是该主题的图像，从而保证了基于多个第二图像生成视频的主题一致性；另一方面，通过姿势确定模型来约束图像生成模型生成第二图像的骨架姿势，从而使得生成的多个第二图像的骨架姿势是相同的，这样能够保证多个第二图像的动作连贯性；并且，通过视频插帧模型在相邻两个第二图像之间进行插帧，能够提高基于插帧后的视频的动作连贯性。基于以上分析可知，本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。
另外，本申请结合了图像生成模型、姿势确定模型和视频插帧模型来生成视频，从而为生成式人工智能(Artificial Intelligence Generated Content，AIGC)的落地应用提供可行方案。另外，终端生成视频后，可以将该视频存储至相册中，以便于后续将该视频分享到社交应用平台；或者将该视频应用于主题商店中的动态壁纸。
请参考图3，其示出了本申请一个示例性实施例示出的视频生成方法的流程图。参见图3，该方法包括：
步骤301：终端确定第一主题的多个第一图像。
在一些实施例中，本步骤与步骤201相同，在此不再赘述。例如，请参考图4，第一主题为人物，且第一主题为“斗破苍穹”中的人物IP“萧薰儿”为例进行说明，则确定“萧薰儿”的多个角度的第一图像，图像集合A，图像集合A中包括15～30张IP人物A的图像。
步骤302：终端确定多个第一图像分别对应的第一文本信息。
对于任一第一图像，第一图像对应的第一文本信息用于描述第一图像，且第一文本信息包括第一图像的描述信息，描述信息包括第一主题的介绍信息和特征信息，还可以包括第一图像包括环境信息。例如，第一图像为人物A的图像，则第一图像对应的第一文本信息包括人物A的名称和人物A的用户特征。在本步骤中，可以借助于图文生成模型来确定第一文本信息；相应的，本步骤可以通过以下步骤(1)和(2)实现，包括：
(1)终端通过图文生成模型生成多个第一图像分别对应的第二文本信息；
终端分别将多个第一图像输入图文生成模型中输出多个第一图像分别对应的第二文本信息。图文生成模型可以为开源的图文生成模型，例如，图文生成模型可以为大型语言模型增强视觉语言理解(miniGPT4)模型，miniGPT4模型可以为CLIP、BLIP或者BLIP2等模型。例如，请继续参考图4，终端使用minGPT4(CLIP/BLIP/BLIP2)等图文生成模型批量生成数据集A中的多个第一图像的第二文本信息。
(2)终端对多个第一图像分别对应的第二文本信息进行核验，得到多个第一图像分别对应的第一文本信息。
在一些实施例中，通过人工对第二文本信息进行核验；例如，请继续参考4，人工核对第二文本信息。相应的，本步骤可以为：终端显示核验界面，核验界面包括多对图文信息，一对图文信息包括一个第一图像和第一图像对应的第二文本信息；对于任一对图文信息，在该对图文信息中的第一图像和第二文本信息匹配的情况下，用户向终端触发确认消息；终端接收到确认消息后，将该对图文信息包括的第二文本信息确定为第一图像的第一文本信息。在该对图文信息中的第一图像和第二文本信息不匹配的情况下，用户向终端触发修改请求，修改请求携带对第二文本信息修改得到的第一文本信息；终端接收修改请求，将第二文本信息修改为第一图像的第一文本信息。在本申请实施例中，通过人工核验第二文本信息是否准确，并在第二文本信息不准确的情况下，对第二文本信息进行修改，能够提高修改得到的第一文本信息的准确性。
在一些实施例中，步骤(2)是非必须的，也可以仅进行步骤(1)，则终端通过图文生成模型生成的多个第一图像对应的文本信息即为第一文本信息。在另一些实施例中，本步骤可以由终端借助于服务器进行；相应的，本步骤可以为：终端向服务器发送多个第一图像，服务器接收终端发送的多个第一图像，确定多个第一图像分别对应的第一文本信息，向终端发送多个第一图像分别对应的第一文本信息，终端接收服务器发送的多个第一图像分别对应的第一文本信息，从而节省了终端的存储资源和计算资源。
步骤303：终端基于多个第一图像和多个第一图像分别对应的第一文本信息，确定多个图文数据对，一个图文数据对包括一个第一图像和第一图像对应的第一文本信息。
步骤304：终端基于多个图文数据对，训练第一主题的图像生成模型。
终端基于Lora模型，使用多个图文数据对作为训练集进行模型训练得到图像生成模型。例如，请继续参考图4，终端基于图文数据对，训练IP人物A对应的Lora模型B。另外，终端还可以图像生成模型生成激活关键词，该激活关键词用于激活图像生成模型生成第二图像。并且，激活关键词可以由用户定义。例如，终端将第一文本信息中的人物代词为女士(woman)或者女孩(girl)确定为激活关键词，且终端确定出激活关键词后，显示激活关键词，用户可以修改激活关键词，将修改后的激活关键词触发给终端，终端存储修改后的激活关键词。例如，终端激活关键词woman或者girl修改为“人物A”，从而更准确的描述第一图像，进而更准确的向终端触发生成图像的指令。
在一些实施例中，本步骤可以由终端借助于服务器进行；相应的，本步骤可以为：终端向服务器发送多个图文数据对，服务器接收终端发送的多个图文数据对，基于多个图文数据对，训练第一主题的图像生成模型，向终端发送第一主题的图像生成模型，终端接收服务器发送的第一主题的图像生成模型，从而节省了终端的存储资源和计算资源。
步骤305：终端基于图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，图像生成模型用于生成多个第二图像，姿势确定模型用于约束多个第二图像的骨架姿势。
由于通过姿势确定模型来约束多个第二图像的骨架姿势，因此，生成的多个第二图像的动作是具有一定关联性的；例如，姿势确定模型约束多个第二图像的骨架姿势为出拳，则生成的多个第二图像均为一系列出拳的图像。
步骤306：终端基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。
在一些实施例中，本步骤与步骤204相同，在此不再赘述。
在本申请实施例中，一方面，由于图像生成模型是基于同一主题的第一图像训练得到的，因此，图像生成模型生成的多个第二图像也是该主题的图像，从而保证了基于多个第二图像生成视频的主题一致性；另一方面，通过姿势确定模型来约束图像生成模型生成第二图像的骨架姿势，从而使得生成的多个第二图像的骨架姿势是相同的，这样能够保证多个第二图像的动作连贯性；并且，通过视频插帧模型在相邻两个第二图像之间进行插帧，能够提高基于插帧后的视频的动作连贯性。基于以上分析可知，本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。
请参考图5，其示出了本申请一个示例性实施例示出的视频生成方法的流程图。参见图5，该方法包括：
步骤501：终端确定第一主题的多个第一图像。
在一些实施例中，本步骤与步骤201相同，在此不再赘述。
步骤502：终端基于多个第一图像，训练第一主题的图像生成模型，图像生成模型用于生成第一主题的图像。
在一些实施例中，本步骤可以通过步骤302-304实现，在此不再赘述。
步骤503：终端基于姿势确定模型，确定参考骨架姿势。
在一些实施例中，用户想要生成某个图像的动作时，用户可以向终端触发姿势参考图像；相应的，本步骤可以为：终端确定姿势参考图像，通过姿势确定模型确定姿势参考图像的骨架姿势，得到参考骨架姿势。在本申请实施例中，直接向姿势确定模型输入姿势参考图像的方式来指示终端生成与该姿势参考图像的骨架姿势相同的图像，这样就不需要向姿势确定模型输入很详细的提示词，从而降低了难度，提高了效率。
在另一些实施例中，可以直接从姿势确定模型中选择参考骨架姿势，也即终端显示选择界面，选择界面包括预设的多个骨架姿势，用户可以从预设的多个骨架姿势中选择骨架姿势；相应的，本步骤可以为：从姿势确定模型中预设的多个骨架姿势中确定参考骨架姿势，参考骨架姿势即为被选择的骨架姿势。在本申请实施例中，用户可以直接从姿势确定模型中选择参考骨架姿势，操作简单，降低了姿势确定模型的使用门槛。
终端确定出参考骨架姿势之后，还支持修改参考骨架姿势；相应的，终端显示参考骨架姿势，且参考骨架姿势的状态为可编辑状态，用户可以通过拖动骨架姿势来修改参考骨架姿势，终端获取修改后的参考骨架姿势。例如，参考骨架姿势为人物A的骨架姿势，用户可以拖动人物A的骨架姿势的腿，以加长人物A的腿等。在本申请实施例中，终端支持修改参考骨架姿势，提高了参考骨架姿势的灵活性。
姿势确定模型可以为基于controlnet的openpose算法训练得到的模型；例如，请继续参考图4，终端基于controlnet的openpose算法，进行姿态可控式生成，也即生成骨架姿势相同的多个第二图像。
步骤504：终端将参考骨架姿势输入图像生成模型中，输出多个第二图像，图像生成模型用于生成骨架姿势为参考骨架姿势的多个第二图像。
姿势确定模型可以作为图像生成模型的插件插入到图像生成模型中；相应的，姿势确定模型确定出参考骨架姿势之后，即可自动触发至图像生成模型中。在本步骤中，终端显示生成界面，生成界面包括输入框，用户可以在输入框中输入激活关键词；终端获取被输入的激活关键词，基于参考骨架姿势，通过图像生成模型生成激活关键词对应的多个第二图像。例如，请参考图6，终端确定的参考骨架姿势为图6左侧所示，而基于参考骨架姿势生成的第二图像如图6右侧所示。
步骤505：终端基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。
在一些实施例中，本步骤与步骤204相同，在此不再赘述。
在本申请实施例中，通过姿势确定模型能够生成参考骨架姿势，基于参考骨架姿势生成的多个第二图像的骨架姿势均与该参考骨架姿势是匹配的，从而保证了动作的可控性。
请参考图7，其示出了本申请一个示例性实施例示出的视频生成方法的流程图。参见图7，该方法包括：
步骤701：终端确定第一主题的多个第一图像。
在一些实施例中，本步骤与步骤201相同，在此不再赘述。
步骤702：终端基于多个第一图像，训练第一主题的图像生成模型，图像生成模型用于生成第一主题的图像。
在一些实施例中，本步骤可以通过步骤302-304实现，在此不再赘述。
步骤703：终端基于图像生成模型、姿势确定模型和风格控制模型，生成骨架姿势相同且风格一致的多个第二图像，风格控制模型用于约束多个第二图像的风格。
终端还支持通过风格控制模型控制生成图像的风格。在一些实施例中，风格控制模型可以为单独的一个模型，或者风格控制模型和图像生成模型同时嵌入在同一个模型中；例如，风格控制模型和图像生成模型同时嵌入在stable diffusion模型中。
步骤704：终端基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。
在一些实施例中，本步骤与步骤204相同，在此不再赘述。
在本申请实施例中，终端还支持通过风格控制模型控制生成图像的风格，从而本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，还能够控制视频的风格，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。
请参考图8，其示出了本申请一个示例性实施例示出的视频生成方法的流程图。参见图8，该方法包括：
步骤801：终端确定第一主题的多个第一图像。
在一些实施例中，本步骤与步骤201相同，在此不再赘述。
步骤802：终端基于多个第一图像，训练第一主题的图像生成模型，图像生成模型用于生成第一主题的图像。
在一些实施例中，本步骤可以通过步骤302-304实现，在此不再赘述。
步骤803：终端基于姿势确定模型，确定参考骨架姿势。
在一些实施例中，本步骤可以通过步骤503实现，在此不再赘述。
步骤804：终端基于风格控制模型，确定风格控制信息。
风格控制信息用于约束图像生成模型生成多个第二图像的风格；并且，多个第二图像的风格相同，均为风格控制信息控制的风格。在一些实施例中，风格控制模型中包括多个风格底模，不同的风格底模对应不同风格的图像，也即风格底模表现即为图像风格。相应的，终端基于风格控制模型，确定风格控制信息的步骤可以为：终端显示风格控制模型中预设的多个风格底模，用户可以从多个风格底模中选择风格底模，终端获取多个风格底模中被选择的风格底模，该被选择的风格底模即为风格控制信息。在本申请实施例中，通过选择不同的stable diffusion底模来控制生成图像的风格，底模是指一些在不同风格数据finetune的sd模型，本申请实施例选择的底模为偏真人动漫风格的底模。并且，用户可以直接从风格控制模型中选择风格底模，操作简单，降低了风格底模的使用门槛。
在另一些实施例中，用户可以向终端触发姿势参考图像的方式来触发终端确定风格控制信息。相应的，终端基于风格控制模型，确定风格控制信息的步骤可以为：终端确定风格参考图像，通过风格控制模型确定风格参考图像的风格信息，得到风格控制信息。或者，终端确定风格参考图像，从风格控制模型预设的多个风格底模中选择与该风格参考图像匹配的风格底模，选择的风格底模即为风格控制信息。在本申请实施例中，直接向风格控制模型输入风格参考图像的方式来指示终端生成与该风格参考图像的风格相同的图像，这样就不需要向风格控制模型输入很详细的提示词，从而降低了难度，提高了效率。
步骤805：终端将参考骨架姿势和风格控制信息输入图像生成模型中，输出多个第二图像，图像生成模型用于生成骨架姿势为参考骨架姿势，且风格为风格控制信息控制的风格的多个第二图像。
姿势确定模型和风格控制模型可以作为图像生成模型的插件插入到图像生成模型中；相应的，姿势确定模型确定出参考骨架姿势以及风格控制模型确定出风格控制信息之后，即可自动将参考骨架姿势和风格控制信息触发至图像生成模型中。在本步骤中，终端显示生成界面，生成界面包括输入框，用户可以在输入框中输入激活关键词；终端获取被输入的激活关键词，基于参考骨架姿势和风格控制信息，通过图像生成模型生成激活关键词对应的多个第二图像。例如，请参考图4，终端通过图像生成模型生成某组动作的IP图像集合C，并且通过改变风格底模的方式来调整生成的图像集合C中的多个第二图像的风格。
步骤806：终端基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。
在一些实施例中，本步骤与步骤204相同，在此不再赘述。例如，请继续参考图4，终端使用FILM模型，将图像集合C整合成一段视频。
在本申请实施例中，通过风格控制模型能够生成风格控制信息，基于风格控制信息生成的多个第二图像的风格均与该风格控制信息控制的风格是匹配的，从而保证了风格的可控性。
请参考图9，其示出了本申请一个示例性实施例示出的视频生成装置的框图，该装置包括：
确定模块901，用于确定第一主题的多个第一图像；
训练模块902，用于基于多个第一图像，训练第一主题的图像生成模型，图像生成模型用于生成第一主题的图像；
生成模块903，用于基于图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，图像生成模型用于生成多个第二图像，姿势确定模型用于约束多个第二图像的骨架姿势；
插帧模块904，用于基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的多个第二图像生成视频。
在一些实施例中，生成模块903，用于基于姿势确定模型，确定参考骨架姿势；将参考骨架姿势输入图像生成模型中，输出多个第二图像，图像生成模型用于生成骨架姿势为参考骨架姿势的多个第二图像。
在一些实施例中，生成模块903，用于确定姿势参考图像，通过姿势确定模型确定姿势参考图像的骨架姿势，得到参考骨架姿势；或者，
生成模块903，用于从姿势确定模型中预设的多个骨架姿势中确定参考骨架姿势。
在一些实施例中，生成模块903，用于基于图像生成模型、姿势确定模型和风格控制模型，生成骨架姿势相同且风格一致的多个第二图像，风格控制模型用于约束多个第二图像的风格。
在一些实施例中，生成模块903，用于基于姿势确定模型，确定参考骨架姿势；基于风格控制模型，确定风格控制信息；将参考骨架姿势和风格控制信息输入图像生成模型中，输出多个第二图像，图像生成模型用于生成骨架姿势为参考骨架姿势，且风格为风格控制信息控制的风格的多个第二图像。
在一些实施例中，训练模块902，用于确定多个第一图像分别对应的第一文本信息；基于多个第一图像和多个第一图像分别对应的第一文本信息，确定多个图文数据对，一个图文数据对包括一个第一图像和第一图像对应的第一文本信息；基于多个图文数据对，训练第一主题的图像生成模型。
在一些实施例中，训练模块902，用于基于大型语言模型的低秩适应Lora模型，使用多个图文数据对作为训练集进行模型训练得到图像生成模型。
在一些实施例中，训练模块902，用于通过图文生成模型生成多个第一图像分别对应的第二文本信息；对多个第一图像分别对应的第二文本信息进行核验，得到多个第一图像分别对应的第一文本信息。
在本申请实施例中，一方面，由于图像生成模型是基于同一主题的第一图像训练得到的，因此，图像生成模型生成的多个第二图像也是该主题的图像，从而保证了基于多个第二图像生成视频的主题一致性；另一方面，通过姿势确定模型来约束图像生成模型生成第二图像的骨架姿势，从而使得生成的多个第二图像的骨架姿势是相同的，这样能够保证多个第二图像的动作连贯性；并且，通过视频插帧模型在相邻两个第二图像之间进行插帧，能够提高基于插帧后的视频的动作连贯性。基于以上分析可知，本申请不仅能够控制视频的主题一致性，还能够控制视频的动作连贯性，也即能够从多个角度对视频进行控制，从而能够实现高度可控的视频生成，进而能够提高视频生成的质量。
需要说明的是，上述实施例提供的视频生成装置在进行视频生成时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频生成装置与视频生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图10，其示出了本申请一个示例性实施例示出的终端1000的框图。本申请中的终端1000可以包括一个或多个如下部件：处理器1010、存储器1020、触摸屏1030。
处理器1010可以包括一个或者多个处理核心。处理器1010利用各种接口和线路连接整个终端1000内的各个部分，通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集，以及调用存储在存储器1020内的数据，执行终端1000的各种功能和处理数据。可选地，处理器1010可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸屏1030所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1010中，单独通过一块芯片进行实现。
存储器1020可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器1020包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据终端1000的使用所创建的数据(比如音频数据、电话本)等。
触摸屏1030是用于显示用户界面的显示组件。可选的，该触摸屏1030为具有触控功能的显示屏，通过触控功能，用户可以使用手指、触摸笔等任何适合的物体在触摸屏1030上进行触控操作。
触摸屏1030通常设置在终端1000的前面板。触摸屏1030可被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。触摸屏1030还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合等，本实施例对此不加以限定。
除此之外，本领域技术人员可以理解，上述附图所示出的终端1000的结构并不构成对终端1000的限定，终端1000可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端1000中还包括音频采集器件、扬声器、射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，Wi-Fi)模块、电源、蓝牙模块等部件，在此不再赘述。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的视频生成方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现如上各个实施例示出的视频生成方法。
在一些实施例中，本申请实施例所涉及的计算机程序产品可被部署在一个终端上执行，或者在位于一个地点的多个终端上执行，又或者，在分布在多个地点且通过通信网络互连的多个终端上执行，分布在多个地点且通过通信网络互连的多个终端可以组成区块链系统。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种视频生成方法，其特征在于，所述方法包括：
确定第一主题的多个第一图像；
基于所述多个第一图像，训练所述第一主题的图像生成模型，所述图像生成模型用于生成所述第一主题的图像；
基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，所述图像生成模型用于生成所述多个第二图像，所述姿势确定模型用于约束所述多个第二图像的骨架姿势；
基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的所述多个第二图像生成视频。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，包括：
基于所述姿势确定模型，确定参考骨架姿势；
将所述参考骨架姿势输入所述图像生成模型中，输出所述多个第二图像，所述图像生成模型用于生成骨架姿势为所述参考骨架姿势的多个第二图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述姿势确定模型，确定参考骨架姿势，包括：
确定姿势参考图像，通过所述姿势确定模型确定所述姿势参考图像的骨架姿势，得到所述参考骨架姿势；或者，
从所述姿势确定模型中预设的多个骨架姿势中确定所述参考骨架姿势。
4.根据权利要求1所述的方法，其特征在于，所述基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，包括：
基于所述图像生成模型、所述姿势确定模型和风格控制模型，生成骨架姿势相同且风格一致的所述多个第二图像，所述风格控制模型用于约束所述多个第二图像的风格。
5.根据权利要求4所述的方法，其特征在于，所述基于所述图像生成模型、所述姿势确定模型和风格控制模型，生成骨架姿势相同且风格一致的所述多个第二图像，包括：
基于所述姿势确定模型，确定参考骨架姿势；
基于所述风格控制模型，确定风格控制信息；
将所述参考骨架姿势和所述风格控制信息输入所述图像生成模型中，输出所述多个第二图像，所述图像生成模型用于生成骨架姿势为所述参考骨架姿势，且风格为所述风格控制信息控制的风格的多个第二图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一图像，训练所述第一主题的图像生成模型，包括：
确定所述多个第一图像分别对应的第一文本信息；
基于所述多个第一图像和所述多个第一图像分别对应的第一文本信息，确定多个图文数据对，一个图文数据对包括一个第一图像和所述第一图像对应的第一文本信息；
基于所述多个图文数据对，训练所述第一主题的图像生成模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述多个图文数据对，训练所述第一主题的图像生成模型，包括：
基于大型语言模型的低秩适应Lora模型，使用所述多个图文数据对作为训练集进行模型训练得到所述图像生成模型。
8.根据权利要求6所述的方法，其特征在于，所述确定所述多个第一图像分别对应的第一文本信息，包括：
通过图文生成模型生成所述多个第一图像分别对应的第二文本信息；
对所述多个第一图像分别对应的第二文本信息进行核验，得到所述多个第一图像分别对应的第一文本信息。
9.一种视频生成装置，其特征在于，所述装置包括：
确定模块，用于确定第一主题的多个第一图像；
训练模块，用于基于所述多个第一图像，训练所述第一主题的图像生成模型，所述图像生成模型用于生成所述第一主题的图像；
生成模块，用于基于所述图像生成模型和姿势确定模型，生成骨架姿势相同的多个第二图像，所述图像生成模型用于生成所述多个第二图像，所述姿势确定模型用于约束所述多个第二图像的骨架姿势；
插帧模块，用于基于视频插帧模型，在相邻两个第二图像之间进行插帧，将插帧之后的所述多个第二图像生成视频。
10.一种终端，其特征在于，所述终端包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行，以实现如权利要求1至8任一项所述的视频生成方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至8任一项所述的视频生成方法。
12.一种计算机程序产品，其特征在于，所述计算机程序产品存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行，以实现如权利要求1至8任一项所述的视频生成方法。
CN202310877435.3A 2023-07-17 2023-07-17 视频生成方法、装置、终端、存储介质及产品 Pending CN116962848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310877435.3A CN116962848A (zh) 2023-07-17 2023-07-17 视频生成方法、装置、终端、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310877435.3A CN116962848A (zh) 2023-07-17 2023-07-17 视频生成方法、装置、终端、存储介质及产品

Publications (1)

Publication Number Publication Date
CN116962848A true CN116962848A (zh) 2023-10-27

Family

ID=88461367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310877435.3A Pending CN116962848A (zh) 2023-07-17 2023-07-17 视频生成方法、装置、终端、存储介质及产品

Country Status (1)

Country Link
CN (1) CN116962848A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117880446A (zh) * 2024-03-12 2024-04-12 武汉橡皮膜网络科技有限公司 一种高连贯性视频合成的稳定扩散模型方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117880446A (zh) * 2024-03-12 2024-04-12 武汉橡皮膜网络科技有限公司 一种高连贯性视频合成的稳定扩散模型方法
CN117880446B (zh) * 2024-03-12 2024-08-13 武汉橡皮膜网络科技有限公司 一种高连贯性视频合成的稳定扩散模型方法

Similar Documents

Publication Publication Date Title
CN112087655B (zh) 赠送虚拟礼物的方法、装置及电子设备
CN107085495B (zh) 一种信息展示方法、电子设备及存储介质
US20160328877A1 (en) Method and apparatus for making personalized dynamic emoticon
US20180213077A1 (en) Method and apparatus for controlling smart device, and computer storage medium
CN110071938B (zh) 虚拟形象互动方法、装置、电子设备及可读存储介质
CN108965981B (zh) 视频播放方法、装置、存储介质及电子设备
CN110288703A (zh) 图像处理方法、装置、设备以及存储介质
CN112330533A (zh) 混血人脸图像生成方法、模型训练方法、装置和设备
CN116962848A (zh) 视频生成方法、装置、终端、存储介质及产品
CN109045694A (zh) 虚拟场景显示方法、装置、终端及存储介质
CN112528266A (zh) 到访登记方法及相关装置
CN112839223A (zh) 图像压缩方法、装置、存储介质及电子设备
CN113923515A (zh) 视频制作方法、装置、电子设备及存储介质
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质
CN114237840A (zh) 资源交互方法、装置、终端及存储介质
US20240347078A1 (en) Video Generation Circuits, Video Generation Method, and Electronic Devices
CN108513090B (zh) 群组视频会话的方法及装置
CN106293658B (zh) 一种界面组件生成方法及其设备
CN117033599A (zh) 一种数字内容的生成方法及相关设备
US20240257426A1 (en) Generating image method and apparatus, device, and medium
CN115037905A (zh) 录屏文件处理方法、电子设备及相关产品
CN114140560A (zh) 动画生成方法、装置、设备和存储介质
CN110223367B (zh) 动画显示方法、装置、终端及存储介质
CN111080750A (zh) 一种机器人动画配置方法、装置及系统
CN107800618B (zh) 图片推荐方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination