CN115082301B - 定制视频生成方法、装置、设备和计算机可读介质 - Google Patents
定制视频生成方法、装置、设备和计算机可读介质 Download PDFInfo
- Publication number
- CN115082301B CN115082301B CN202211003083.0A CN202211003083A CN115082301B CN 115082301 B CN115082301 B CN 115082301B CN 202211003083 A CN202211003083 A CN 202211003083A CN 115082301 B CN115082301 B CN 115082301B
- Authority
- CN
- China
- Prior art keywords
- human body
- model
- user
- information
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000009466 transformation Effects 0.000 claims abstract description 164
- 230000004044 response Effects 0.000 claims abstract description 36
- 230000009191 jumping Effects 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 36
- 230000007774 longterm Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开的实施例公开了定制视频生成方法、装置、设备和计算机可读介质。该方法的一具体实施方式包括:响应于接收到人体整体变换模块对应区域的选择操作,拍摄针对待变换用户的用户视频;响应于用户视频拍摄结束,弹出第一信息上传框;生成人体部位预测模型集;将人体部位预测模型集进行组合,得到组合模型;针对组合模型的模型连接处,对组合模型进行美学调整,得到调整后模型,作为针对待变换用户的人体整体变换模型;响应于确定已生成人体整体变换模型,跳转至背景信息选择界面;响应于接收到针对背景信息选择界面的背景信息选择操作,生成用户定制短视频。该实施方式可以准确地生成待变换用户在第一待变换年龄时的、多样化的用户定制短视频。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及定制视频生成方法、装置、设备和计算机可读介质。
背景技术
目前,短视频已广泛出现在人们的日常生活中。对于针对年龄变换的短视频的生成,通常采用的方式为:首先,通过年龄变换算法,针对待变换用户的脸部图像进行图像变换,得到年龄变换正脸图像。然后,生成针对年龄变换正脸图像的定制短视频。
然而,发明人发现,当采用上述方式来生成针对年龄变换的短视频,经常会存在如下技术问题:
第一,针对待变换用户的年龄变换仅仅是脸部年龄变换正脸图像,不能展示针对人体整体的年龄变换,导致生成的定制短视频较为单一;
第二,生成针对人体部位的人体部位预测图像的准确率较低,以致展示效果不佳。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了定制视频生成方法、装置、设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种定制视频生成方法,包括:响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频,其中,上述用户视频为包含有上述待变换用户执行预设动作集中各个预设动作的视频,上述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的,上述人体整体变换模块为上述各个人体变换模块中的人体变换模块;响应于上述用户视频拍摄结束,弹出第一信息上传框,其中,上述第一信息上传框待输入的信息包括:待变换年龄,针对各个历史时间的用户照片集,工作信息和长期居住区域信息;根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集;将上述人体部位预测模型集进行组合,得到组合模型;针对上述组合模型的模型连接处,对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型;响应于确定已生成人体整体变换模型,跳转至背景信息选择界面;响应于接收到针对上述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和上述人体整体变换模型,生成用户定制短视频。
第二方面,本公开的一些实施例提供了一种定制视频生成装置,包括:调用单元,被配置成响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频,其中,上述用户视频为包含有上述待变换用户执行预设动作集中各个预设动作的视频,上述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的,上述人体整体变换模块为上述各个人体变换模块中的人体变换模块;弹出单元,被配置成响应于上述用户视频拍摄结束,弹出第一信息上传框,其中,上述第一信息上传框待输入的信息包括:待变换年龄,针对各个历史时间的用户照片集,工作信息和长期居住区域信息;第一生成单元,被配置成根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集;组合单元,被配置成将上述人体部位预测模型集进行组合,得到组合模型;美学调整单元,被配置成针对上述组合模型的模型连接处,对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型;跳转单元,被配置成响应于确定已生成人体整体变换模型,跳转至背景信息选择界面;第二生成单元,被配置成响应于接收到针对上述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和上述人体整体变换模型,生成用户定制短视频。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的定制视频生成方法可以准确地生成待变换用户在第一待变换年龄时的、多样化的用户定制短视频。具体来说,造成针对待变换用户的年龄变换的用户定制短视频较为单一的原因在于:针对待变换用户的年龄变换仅仅是脸部年龄变换正脸图像,不能展示针对人体整体的年龄变换,导致生成的定制短视频较为单一。基于此,本公开的一些实施例的定制视频生成方法,首先,响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频。其中,上述用户视频为包含有上述待变换用户执行预设动作集中各个预设动作的视频。上述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的。上述人体整体变换模块为上述各个人体变换模块中的人体变换模块。在这里,所拍摄的用户视频用于后续各个人体部位的人体部位预测模型集的生成。然后,响应于上述用户视频拍摄结束,弹出第一信息上传框。其中,上述第一信息上传框待输入的信息包括:待变换年龄,针对各个历史时间的用户照片集,工作信息和长期居住区域信息。在这里,通过第一信息上传框,以获取待变换年龄、用户照片集、工作信息。所获取的信息用于后续人体部位预测模型集的生成。接着,根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,可以准确地生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集。再接着,通过对人体部位预测模型集进行组合,可以得到初步组合后的组合模型。进一步的,由于组合模型各个模型连接处可能存在不匹配的问题,需要对对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型。进而,响应于确定已生成人体整体变换模型,跳转至背景信息选择界面,以获取用户定制短视频的背景情况。最后,响应于接收到针对上述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和上述人体整体变换模型,可以生成针对人体整体年龄变换的、多样的用户定制短视频。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的定制视频生成方法的一些实施例的流程图;
图2是根据本公开的定制视频生成装置的一些实施例的结构示意图;
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
参考图1,示出了根据本公开的定制视频生成方法的一些实施例的流程100。该定制视频生成方法,包括以下步骤:
步骤101,响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频。
在一些实施例中,响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,上述定制视频生成方法的执行主体(例如,电子设备)可以调用预先配置的摄像装置拍摄针对待变换用户的用户视频。其中,上述用户视频为包含有上述待变换用户执行预设动作集中各个预设动作的视频。上述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的。上述人体整体变换模块为上述各个人体变换模块中的人体变换模块。人体模型变换界面为展示各个人体变换模块的界面。其中,人体变换模块可以是生成人体变换模型的功能模块。上述人体变换模型可以是目标用户在待变换年龄时的人体3D模型。目标用户是人体变换模型的模型变换对象。例如,当前目标用户的年龄为20岁,人体变换模型可以是目标用户在25岁时的人体3D模型。实践中,各个人体变换模块可以包括:头部变换模块、人体整体变换模块、腿部变换模块、胳膊部变换模块,胸部变换模块。头部变换模块可以是目标用户在待变换年龄时的头部3D模型。人体整体变换模块可以是目标用户在待变换年龄时的人体整体3D模型。腿部变换模块可以是目标用户在待变换年龄时的腿部3D模型。胳膊部变换模块可以是目标用户在待变换年龄时的胳膊部3D模型。胸部变换模块可以是目标用户在待变换年龄时的胸部3D模型。每个人体变换模块在人体模型变换界面都存在唯一对应的页面可选择操作区域。在这里,通过点击对应的页面可选择操作区域,可以选择对应的人体变换模块,以执行对应人体变换功能。实践中,预设动作集可以包括:行走动作、跑步动作、蹲起动作。图形化项目管理工具可以是通过图形化形式和界面化形式来对各个项目进行管理的工具。其中,图形化项目管理工具可以是预先集成git功能的工具。具体功能包括但不限于以下至少一项:树遍历,索引文件(临时区域)操作,引用管理(包括包引用),配置文件管理,高级仓库管理,线程安全和可重入,错误信息描述。
在一些实施例的一些可选的实现方式中,上述人体模型变换界面中的每个人体变换模块对应的项目文件是通过以下步骤生成的:
第一步,利用针对预置框架的源文件,在上述图形化项目管理工具中新建针对上述人体变换模块的项目。
其中,上述预置框架可以包括:Vue框架,React框架,Angular框架。预置框架的源文件可以是预置框架的源码。
作为示例,首先,获取目标网站所公布的预置框架的源码。然后,结合预先开发的Git功能来下载代码,来在上述图形化项目管理工具中新建针对上述人体变换模块的项目。
第二步,获取针对上述人体变换模块的模型插件列表。
其中,模型插件列表中的各个模型插件为上述人体变换模型对应项目所需的插件。
第三步,在上述项目中安装上述模型插件列表所涉及的各个模型插件,得到插入插件后的项目。
其中,模型插件可以人体变换模型所需的插件。例如,模型插件可以是算法调用插件。
作为示例,结合Nodejs软件,利用操作系统内置的cmd命令行工具,执行模型插件安装。其中,模型插件的安装日志会展示在日志界面中。
第四步,根据上述图形化项目管理工具所包括的项目启动按键、项目重启按键、项目停止按键,对上述插入插件后的项目进行项目试运行。
第五步,响应于确定上述插入插件后的项目试运行成功,将上述插入插件后的项目对应的项目文件进行上传。
步骤102,响应于上述用户视频拍摄结束,弹出第一信息上传框。
在一些实施例中,响应于上述用户视频拍摄结束,上述执行主体可以弹出第一信息上传框。其中,上述第一信息上传框待输入的信息包括:待变换年龄,针对各个历史时间的用户照片集,工作信息和长期居住区域信息。其中,第一信息上传框可以是弹窗形式。待变换年龄可以是待变换用户所要变换的年龄。针对各个历史时间的用户照片集可以是待变换用户在各个历史时间时的用户照片。例如,各个历史时间为:去年3月份,前年3月份,大前年3月份。工作信息可以是待变换用户的工作性质信息。长期居住区域信息可以是待变换用户未来计划长期居住城市信息。
步骤103,根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集。
在一些实施例中,上述执行主体可以根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,通过各种方式来生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集。其中,人体部位图像预测算法模型集中的人体部位图像预测算法模型与各个人体部位中的人体部位存在一一对应关系。人体部位图像预测算法模型可以预测待变换用户在待变换年龄时、对应人体部位的未来图像状况的算法模型。人体部位图像预测算法模型可以是深度神经网络模型。
在一些实施例的一些可选的实现方式中,上述根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集,可以包括以下步骤:
第一步,对于上述各个人体部位中的每个人体部位,执行以下人体部位预测模型生成步骤:
子步骤1,从上述第一用户照片集中筛选出与上述人体部位相关联的用户照片,作为第一目标用户照片,得到第一目标用户照片集。
其中,上述人体部位相关联的用户照片可以是照片内容包括上述人体部位的照片。
作为示例,首先,上述执行主体可以将第一用户照片集中的每个用户照片输入至人体部位识别模型,以生成第一识别结果,得到第一识别结果集。其中,第一识别结果可以是用户照片中是否存在人体部位识别模型对应人体部位信息的结果。然后,根据第一识别结果集,从上述第一用户照片集中筛选出与上述人体部位相关联的用户照片,作为第一目标用户照片,得到第一目标用户照片集。其中,人体部位识别模型可以是识别照片中是否存在人体部位的模型。例如,人体部位识别模型可以是卷积神经网络(Convolutional NeuralNetworks,CNN)。
子步骤2,从上述用户视频中抽出与上述人体部位相关联的多帧图像,作为人体部位图像,得到人体部位图像集。
其中,人体部位相关联的多帧图像中的每帧图像可以是照片内容包括人体部位的图像。
作为示例,首先,上述执行主体可以将用户视频中的各帧图像输入至人体部位识别模型,以生成第二识别结果,得到第二识别结果集。其中,第二识别结果可以是图像中是否存在人体部位识别模型对应人体部位信息的结果。然后,根据第二识别结果集,从上述用户视频中抽出与上述人体部位相关联的多帧图像,作为人体部位图像,得到人体部位图像集。
子步骤3,将上述第一目标用户照片集、上述人体部位图像集、上述第一待变换年龄、上述第一工作信息和上述第一长期居住区域信息输入至上述人体部位对应的人体部位图像预测算法模型,生成针对上述人体部位的人体部位预测图像。
可选地,人体部位图像预测算法模型可以包括:第一特征提取模型,第二特征提取模型、特征词信息生成模型和生成式与对抗式神经网络模型。其中,上述特征词信息生成模型可以是基于年龄、工作信息和居住信息来生成多个针对人体部位的形容词的模型。第一特征提取模型和第二特征提取模型都可以是提取图像特征信息的模型。第一特征提取模型可以是提取第一目标用户图片集中的每个图片的特征信息的模型。第二特征提取模型可以是提取人体部位图像集中的每个人体部位图像的特征信息的模型。上述特征词信息生成模型可以存在注意力机制的网络模型。例如,特征词信息生成模型可以是Seq2Seq(Sequenceto Sequence)模型,还可以是Transformer模型。上述第一特征提取模型可以多层卷积神经网络。上述第二特征提取模型同样可以多层卷积神经网络。其中,第一特征提取模型对应的多层卷积神经网络的网络层数可以与上述第二特征提取模型对应的多层卷积神经网络的网络层数不相同。例如,第一特征提取模型对应的多层卷积神经网络的网络层数为6层。第二特征提取模型对应的多层卷积神经网络的网络层数为5层。
可选地,将上述第一目标用户照片集、上述人体部位图像集、上述第一待变换年龄、上述第一工作信息和上述第一长期居住区域信息输入至上述人体部位对应的人体部位图像预测算法模型,生成针对上述人体部位的人体部位预测图像,可以包括以下步骤:
第一步,将第一目标用户照片集中的每张第一目标用户照片输入至第一特征提取模型,以输出照片特征信息,得到照片特征信息集。
第二步,将人体部位图像集中的每张人体部位图像输入至第二特征提取模型,以输出图像特征信息,得到图像特征信息集。
第三步,将上述第一待变换年龄、上述第一工作信息和上述第一长期居住区域信息输入至特征词信息生成模型,以生成多个形容词。
第四步,对上述多个形容词进行词编码,得到多个编码向量。
第五步,将上述照片特征信息集、图像特征信息集和多个编码向量输入至生成式与对抗式神经网络模型,以输出针对上述人体部位的人体部位预测图像。
子步骤4,根据上述待变换用户的用户信息,生成针对上述待变换用户的初始人体部位模型。实践中,用户信息可以包括:用户年龄,用户身高,用户体重,用户三围。
作为示例,上述执行主体可以利用3D编辑器,来根据上述待变换用户的用户信息,生成针对上述待变换用户的初始人体部位模型。
子步骤5,根据上述初始人体部位模型和人体部位预测图像,生成针对上述人体部位的人体部位预测模型。
作为示例,上述执行主体可以将人体部位预测图像渲染至初始人体部位模型,得到渲染后的初始人体部位模型,作为人体部位预测模型。
子步骤3中的可选内容作为本公开的实施例的一个发明点,解决了背景技术提及的技术问题二“生成针对人体部位的人体部位预测图像的准确率较低,以致展示效果不佳”。导致准确率较低的因素往往如下:利用常规时序神经网络(例如,循环神经网络),仅基于第一目标用户照片集来生成人体部位。如果解决了上述因素,就能提高准确率的效果。为了达到这一效果,本公开说明了人体部位图像预测算法模型所包括的各个子模型。通过第一特征提取模型和第二特征提取模型可以准确地提取第一目标用户图片集和人体部位图像集中各个图像的图像特征信息(即,照片特征信息集、图像特征信息集)。通过特征词信息生成模型可以依据第一待变换年龄、上述第一工作信息和上述第一长期居住区域信息,来准确地生成第一待变换年龄下、待变换用户对应的、描述人体部位的各个形容词。生成式与对抗式神经网络模型可以通过多个形容词、各个图像的图像特征信息来生成准确的人体部位预测图像。由此,利用人体部位图像预测算法模型包括的第一特征提取模型,第二特征提取模型、特征词信息生成模型和生成式与对抗式神经网络模型,可以生成更为准确的人体部位预测图像。
步骤104,将上述人体部位预测模型集进行组合,得到组合模型。
在一些实施例中,上述执行主体可以将上述人体部位预测模型集进行组合,得到组合模型。
作为示例,上述执行主体可以利用3D编辑器,来将上述人体部位预测模型集进行组合,得到组合模型。
步骤105,针对上述组合模型的模型连接处,对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型。
在一些实施例中,上述执行主体可以针对上述组合模型的模型连接处,对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型。
作为示例,上述执行主体可以利用3D编辑器,针对上述组合模型的模型连接处,对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型。
步骤106,响应于确定已生成人体整体变换模型,跳转至背景信息选择界面。
在一些实施例中,响应于确定已生成人体整体变换模型,上述执行主体可以跳转至背景信息选择界面。其中,背景信息选择界面可以是选择背景信息的界面。
步骤107,响应于接收到针对上述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和上述人体整体变换模型,生成用户定制短视频。
在一些实施例中,响应于接收到针对上述背景信息选择界面的背景信息选择操作,上述执行主体可以根据所选择的背景信息和上述人体整体变换模型,生成用户定制短视频。其中,背景信息可以是背景图像。例如,背景信息可以是动态图像。
作为示例,首先,上述执行主体可以生成针对人体整体变换模型某一角度下的短视频。然后,将短视频中的每帧图像的背景替换为所选择的背景信息对应的背景图像,以得到替换后图像,得到替换后短视频,作为用户定制短视频。
在一些实施例的一些可选的实现方式中,在步骤107之后,步骤还包括:
第一步,响应于接收到针对上述人体模型变换界面中目标人体部位变换模块对应区域的选择操作,调用上述摄像装置拍摄针对上述待变换用户的用户部位视频。
第二步,响应于上述用户部位视频拍摄结束,弹出第二信息上传框。
其中,上述第二信息上传框待输入的信息包括:待变换年龄,工作信息和长期居住区域信息。
第三步,根据所输入的第二待变换年龄、所输入的第二工作信息、所输入的第二长期居住区域信息和上述用户部位视频,利用与目标人体部位变换模型相对应的人体部位图像预测算法模型,生成表征上述待变换用户在上述第二待变换年龄时的、针对目标人体部位的人体部位预测模型,作为目标人体部位预测模型。
第四步,对上述目标人体部位预测模型进行展示。
在一些实施例的一些可选的实现方式中,上述根据所选择的背景信息和上述人体整体变换模型,生成用户定制短视频,可以包括以下步骤:
第一步,弹出第三信息上传框。
其中,上述第三信息上传框待输入的信息包括:模型动作,模型展示角度和视频风格信息。其中,上述模型动作可以是人体整体变换模型的模型执行动作。实践中,模型执行动作可以是但不限于以下之一:模型行走动作、模型跑步动作。模型展示角度可以模型展示的角度信息。其中,模型展示角度可以是以人体整体变换模型的正面人体为标准而确定的。例如,模型展示角度为15°。视频风格信息可以是视频的风格信息。实践中,视频风格信息可以是但不限于以下之一:故事型视频风格、反差型视频风格。
第二步,确定上述人体整体变换模型处于所输入的模型展示角度下的、执行所输入的模型动作时的动作视频。
第三步,对上述动作视频中的每帧图像添加背景信息,以生成添加背景信息后的图像,得到各帧添加背景信息后的图像。
第四步,将上述各帧添加背景信息后的图像中的每帧添加背景信息后的图像输入至风格转化模型,得到风格转化后的图像,得到风格转化后的图像集。
其中,上述风格转化模型可以是转化图像风格的模型。例如,风格转化模型可以是多个卷积神经网络模型组成的组合模型。例如,风格转化模型可以是残差网络(ResidualNetwork,ResNet)。
第五步,根据上述风格转化后的图像集,生成上述用户定制短视频。其中,上述用户定制短视频对应视频风格信息与所输入的视频风格信息相同。
作为示例,上述执行主体可以利用视频编辑器,来根据上述风格转化后的图像集,生成上述用户定制短视频。
在一些实施例的一些可选的实现方式中,在步骤107之后,步骤还包括:
第一步,响应于接收到针对上述用户定制短视频的视频转发请求,跳转至用户定制短视频编辑界面。
其中,上述用户定制短视频编辑界面为所选择的短视频发布端的编辑界面。用户定制短视频编辑界面可以支持针对用户定制视频进行音乐定制和文字定制。
第二步,响应于在上述用户定制短视频编辑界面完成针对上述用户定制短视频的编辑,将编辑后的用户定制短视频在所选择的短视频端发布。其中,短视频端可以是发布短视频的视频平台。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的定制视频生成方法可以准确地生成待变换用户在第一待变换年龄时的、多样化的用户定制短视频。具体来说,造成针对待变换用户的年龄变换的用户定制短视频较为单一的原因在于:针对待变换用户的年龄变换仅仅是脸部年龄变换正脸图像,不能展示针对人体整体的年龄变换,导致生成的定制短视频较为单一。基于此,本公开的一些实施例的定制视频生成方法,首先,响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频。其中,上述用户视频为包含有上述待变换用户执行预设动作集中各个预设动作的视频。上述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的。上述人体整体变换模块为上述各个人体变换模块中的人体变换模块。在这里,所拍摄的用户视频用于后续各个人体部位的人体部位预测模型集的生成。然后,响应于上述用户视频拍摄结束,弹出第一信息上传框。其中,上述第一信息上传框待输入的信息包括:待变换年龄,针对各个历史时间的用户照片集,工作信息和长期居住区域信息。在这里,通过第一信息上传框,以获取待变换年龄、用户照片集、工作信息。所获取的信息用于后续人体部位预测模型集的生成。接着,根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,可以准确地生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集。再接着,通过对人体部位预测模型集进行组合,可以得到初步组合后的组合模型。进一步的,由于组合模型各个模型连接处可能存在不匹配的问题,需要对对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型。进而,响应于确定已生成人体整体变换模型,跳转至背景信息选择界面,以获取用户定制短视频的背景情况。最后,响应于接收到针对上述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和上述人体整体变换模型,可以生成针对人体整体年龄变换的、多样的用户定制短视频。
进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种定制视频生成装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图2所示,一种定制视频生成装置200包括:调用单元201、弹出单元202、第一生成单元203、组合单元204、美学调整单元205、跳转单元206和第二生成单元207。其中,调用单元201,被配置成响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频,其中,上述用户视频为包含有上述待变换用户执行预设动作集中各个预设动作的视频,上述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的,上述人体整体变换模块为上述各个人体变换模块中的人体变换模块;弹出单元202,被配置成响应于上述用户视频拍摄结束,弹出第一信息上传框,其中,上述第一信息上传框待输入的信息包括:待变换年龄,针对各个历史时间的用户照片集,工作信息和长期居住区域信息;第一生成单元203,被配置成根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集;组合单元204,被配置成将上述人体部位预测模型集进行组合,得到组合模型;美学调整单元205,被配置成针对上述组合模型的模型连接处,对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型;跳转单元206,被配置成响应于确定已生成人体整体变换模型,跳转至背景信息选择界面;第二生成单元207,被配置成响应于接收到针对上述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和上述人体整体变换模型,生成用户定制短视频。
可以理解的是,该装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置200及其中包含的单元,在此不再赘述。
下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备(例如,电子设备)300的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频,其中,上述用户视频为包含有上述待变换用户执行预设动作集中各个预设动作的视频,上述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的,上述人体整体变换模块为上述各个人体变换模块中的人体变换模块;响应于上述用户视频拍摄结束,弹出第一信息上传框,其中,上述第一信息上传框待输入的信息包括:待变换年龄,针对各个历史时间的用户照片集,工作信息和长期居住区域信息;根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和上述用户视频,利用人体部位图像预测算法模型集,生成表征上述待变换用户在上述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集;将上述人体部位预测模型集进行组合,得到组合模型;针对上述组合模型的模型连接处,对上述组合模型进行美学调整,得到调整后模型,作为针对上述待变换用户的人体整体变换模型;响应于确定已生成人体整体变换模型,跳转至背景信息选择界面;响应于接收到针对上述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和上述人体整体变换模型,生成用户定制短视频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括调用单元、弹出单元、第一生成单元、组合单元、美学调整单元、跳转单元和第二生成单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,跳转单元还可以被描述为“响应于确定已生成人体整体变换模型,跳转至背景信息选择界面的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (9)
1.一种定制视频生成方法,包括:
响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频,其中,所述用户视频为包含有所述待变换用户执行预设动作集中各个预设动作的视频,所述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的,所述人体整体变换模块为所述各个人体变换模块中的人体变换模块;
响应于所述用户视频拍摄结束,弹出第一信息上传框,其中,所述第一信息上传框待输入的信息包括:第一待变换年龄,针对各个历史时间的第一用户照片集,第一工作信息和第一长期居住区域信息;
根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和所述用户视频,利用人体部位图像预测算法模型集,生成表征所述待变换用户在所述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集;
将所述人体部位预测模型集进行组合,得到组合模型;
针对所述组合模型的模型连接处,对所述组合模型进行美学调整,得到调整后模型,作为针对所述待变换用户的人体整体变换模型;
响应于确定已生成人体整体变换模型,跳转至背景信息选择界面;
响应于接收到针对所述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和所述人体整体变换模型,生成用户定制短视频。
2.根据权利要求1所述的方法,其中,所述方法还包括:
响应于接收到针对所述人体模型变换界面中目标人体部位变换模块对应区域的选择操作,调用所述摄像装置拍摄针对所述待变换用户的用户部位视频;
响应于所述用户部位视频拍摄结束,弹出第二信息上传框,其中,所述第二信息上传框待输入的信息包括:第二待变换年龄,第二工作信息和第二长期居住区域信息;
根据所输入的第二待变换年龄、所输入的第二工作信息、所输入的第二长期居住区域信息和所述用户部位视频,利用与目标人体部位变换模型相对应的人体部位图像预测算法模型,生成表征所述待变换用户在所述第二待变换年龄时的、针对目标人体部位的人体部位预测模型,作为目标人体部位预测模型;
对所述目标人体部位预测模型进行展示。
3.根据权利要求1所述的方法,其中,所述根据所选择的背景信息和所述人体整体变换模型,生成用户定制短视频,包括:
弹出第三信息上传框,其中,所述第三信息上传框待输入的信息包括:模型动作,模型展示角度和视频风格信息;
确定所述人体整体变换模型处于所输入的模型展示角度下的、执行所输入的模型动作时的动作视频;
对所述动作视频中的每帧图像添加背景信息,以生成添加背景信息后的图像,得到各帧添加背景信息后的图像;
将所述各帧添加背景信息后的图像中的每帧添加背景信息后的图像输入至风格转化模型,得到风格转化后的图像,得到风格转化后的图像集;
根据所述风格转化后的图像集,生成所述用户定制短视频,其中,所述用户定制短视频对应视频风格信息与所输入的视频风格信息相同。
4.根据权利要求1所述的方法,其中,所述人体模型变换界面中的每个人体变换模块对应的项目文件是通过以下步骤生成的:
利用针对预置框架的源文件,在所述图形化项目管理工具中新建针对所述人体变换模块的项目;
获取针对所述人体变换模块的模型插件列表;
在所述项目中安装所述模型插件列表所涉及的各个模型插件,得到插入插件后的项目;
根据所述图形化项目管理工具所包括的项目启动按键、项目重启按键、项目停止按键,对所述插入插件后的项目进行项目试运行;
响应于确定所述插入插件后的项目试运行成功,将所述插入插件后的项目对应的项目文件进行上传。
5.根据权利要求1所述的方法,其中,所述根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和所述用户视频,利用人体部位图像预测算法模型集,生成表征所述待变换用户在所述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集,包括:
对于所述各个人体部位中的每个人体部位,执行以下人体部位预测模型生成步骤:
从所述第一用户照片集中筛选出与所述人体部位相关联的用户照片,作为第一目标用户照片,得到第一目标用户照片集;
从所述用户视频中抽出与所述人体部位相关联的多帧图像,作为人体部位图像,得到人体部位图像集;
将所述第一目标用户照片集、所述人体部位图像集、所述第一待变换年龄、所述第一工作信息和所述第一长期居住区域信息输入至所述人体部位对应的人体部位图像预测算法模型,生成针对所述人体部位的人体部位预测图像;
根据所述待变换用户的用户信息,生成针对所述待变换用户的初始人体部位模型;
根据所述初始人体部位模型和人体部位预测图像,生成针对所述人体部位的人体部位预测模型。
6.根据权利要求1所述的方法,其中,所述方法还包括:
响应于接收到针对所述用户定制短视频的视频转发请求,跳转至用户定制短视频编辑界面,其中,所述用户定制短视频编辑界面为所选择的短视频发布端的编辑界面;
响应于在所述用户定制短视频编辑界面完成针对所述用户定制短视频的编辑,将编辑后的用户定制短视频在所选择的短视频端发布。
7.一种定制视频生成装置,包括:
调用单元,被配置成响应于接收到针对人体模型变换界面中人体整体变换模块对应区域的选择操作,调用预先配置的摄像装置拍摄针对待变换用户的用户视频,其中,所述用户视频为包含有所述待变换用户执行预设动作集中各个预设动作的视频,所述人体模型变换界面对应的各个人体变换模块的项目文件是基于预先配置的图形化项目管理工具生成的,所述人体整体变换模块为所述各个人体变换模块中的人体变换模块;
弹出单元,被配置成响应于所述用户视频拍摄结束,弹出第一信息上传框,其中,所述第一信息上传框待输入的信息包括:第一待变换年龄,针对各个历史时间的第一用户照片集,第一工作信息和第一长期居住区域信息;
第一生成单元,被配置成根据所输入的第一待变换年龄、所输入的第一用户照片集、所输入的第一工作信息、所输入的第一长期居住区域信息和所述用户视频,利用人体部位图像预测算法模型集,生成表征所述待变换用户在所述第一待变换年龄时的、针对各个人体部位的人体部位预测模型集;
组合单元,被配置成将所述人体部位预测模型集进行组合,得到组合模型;
美学调整单元,被配置成针对所述组合模型的模型连接处,对所述组合模型进行美学调整,得到调整后模型,作为针对所述待变换用户的人体整体变换模型;
跳转单元,被配置成响应于确定已生成人体整体变换模型,跳转至背景信息选择界面;
第二生成单元,被配置成响应于接收到针对所述背景信息选择界面的背景信息选择操作,根据所选择的背景信息和所述人体整体变换模型,生成用户定制短视频。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211003083.0A CN115082301B (zh) | 2022-08-22 | 2022-08-22 | 定制视频生成方法、装置、设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211003083.0A CN115082301B (zh) | 2022-08-22 | 2022-08-22 | 定制视频生成方法、装置、设备和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082301A CN115082301A (zh) | 2022-09-20 |
CN115082301B true CN115082301B (zh) | 2022-12-02 |
Family
ID=83244730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211003083.0A Active CN115082301B (zh) | 2022-08-22 | 2022-08-22 | 定制视频生成方法、装置、设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082301B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108989692A (zh) * | 2018-10-19 | 2018-12-11 | 北京微播视界科技有限公司 | 视频拍摄方法、装置、电子设备及计算机可读存储介质 |
CN109089059A (zh) * | 2018-10-19 | 2018-12-25 | 北京微播视界科技有限公司 | 视频生成的方法、装置、电子设备及计算机存储介质 |
CN110688528A (zh) * | 2019-09-26 | 2020-01-14 | 北京字节跳动网络技术有限公司 | 生成视频的分类信息的方法、装置、电子设备和介质 |
CN110704674A (zh) * | 2019-09-05 | 2020-01-17 | 苏宁云计算有限公司 | 一种视频播放完整度预测方法及装置 |
CN114155570A (zh) * | 2021-10-15 | 2022-03-08 | 深圳市智此一游科技服务有限公司 | 一种视频生成方法 |
CN114630057A (zh) * | 2022-03-11 | 2022-06-14 | 北京字跳网络技术有限公司 | 确定特效视频的方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3944242A1 (en) * | 2020-07-22 | 2022-01-26 | Idomoo Ltd | A system and method to customizing video |
-
2022
- 2022-08-22 CN CN202211003083.0A patent/CN115082301B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108989692A (zh) * | 2018-10-19 | 2018-12-11 | 北京微播视界科技有限公司 | 视频拍摄方法、装置、电子设备及计算机可读存储介质 |
CN109089059A (zh) * | 2018-10-19 | 2018-12-25 | 北京微播视界科技有限公司 | 视频生成的方法、装置、电子设备及计算机存储介质 |
CN110704674A (zh) * | 2019-09-05 | 2020-01-17 | 苏宁云计算有限公司 | 一种视频播放完整度预测方法及装置 |
CN110688528A (zh) * | 2019-09-26 | 2020-01-14 | 北京字节跳动网络技术有限公司 | 生成视频的分类信息的方法、装置、电子设备和介质 |
CN114155570A (zh) * | 2021-10-15 | 2022-03-08 | 深圳市智此一游科技服务有限公司 | 一种视频生成方法 |
CN114630057A (zh) * | 2022-03-11 | 2022-06-14 | 北京字跳网络技术有限公司 | 确定特效视频的方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115082301A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107770626B (zh) | 视频素材的处理方法、视频合成方法、装置及存储介质 | |
US11670015B2 (en) | Method and apparatus for generating video | |
US11758088B2 (en) | Method and apparatus for aligning paragraph and video | |
JP7112537B2 (ja) | 情報処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにプログラム | |
KR20120028491A (ko) | 이미지 데이터 관리장치 및 방법 | |
US10674183B2 (en) | System and method for perspective switching during video access | |
WO2019227429A1 (zh) | 多媒体内容生成方法、装置和设备/终端/服务器 | |
CN113778419B (zh) | 多媒体数据的生成方法、装置、可读介质及电子设备 | |
CN113395538B (zh) | 音效渲染方法、装置、计算机可读介质和电子设备 | |
CN111970536A (zh) | 一种基于音频生成视频的方法和装置 | |
CN104184791A (zh) | 图像效果提取 | |
CN113849575B (zh) | 数据处理方法、装置和系统 | |
CN115082301B (zh) | 定制视频生成方法、装置、设备和计算机可读介质 | |
CN113628097A (zh) | 图像特效配置方法、图像识别方法、装置及电子设备 | |
CN113282770A (zh) | 一种多媒体推荐系统及方法 | |
CN115686408A (zh) | 用于远程应用程序共享的内容外观转换 | |
US10910014B2 (en) | Method and apparatus for generating video | |
WO2021108130A1 (en) | Speech to project framework | |
CN115278306B (zh) | 视频剪辑方法及装置 | |
CN113114955B (zh) | 一种视频的生成方法、装置及电子设备 | |
EP4072148A1 (en) | A system and method to adapting video size | |
CN110674624B (zh) | 一种用于图文编辑的方法和系统 | |
CN109446349B (zh) | 多媒体内容的审核方法及装置 | |
CN117097933A (zh) | 用于生成视频的方法、装置、设备及计算机可读介质 | |
CN115278306A (zh) | 视频剪辑方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |