CN117376655A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117376655A
CN117376655A CN202311477507.1A CN202311477507A CN117376655A CN 117376655 A CN117376655 A CN 117376655A CN 202311477507 A CN202311477507 A CN 202311477507A CN 117376655 A CN117376655 A CN 117376655A
Authority
CN
China
Prior art keywords
target
video
data
triggering operation
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311477507.1A
Other languages
English (en)
Inventor
徐力有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202311477507.1A priority Critical patent/CN117376655A/zh
Publication of CN117376655A publication Critical patent/CN117376655A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供了一种视频处理方法、装置、电子设备及存储介质。其中，该方法包括：响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。本公开实施例的技术方案，实现了与虚拟对象的灵活互动，使得视频的展示方式更具有趣味性，从而提升用户体验。

Description

视频处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及计算机技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，视频已成为备受用户青睐的信息展示形式之一。为了丰富视频的展示内容，虚拟对象悄然出现在视频中。
相关技术中，包含虚拟对象的视频主要有以下两种：一种是通过图形渲染将三维资源(如，模型网格、纹理贴图、材质光照以及动画等)以模拟人眼的方式投影到二维平面上，得到虚拟对象，进而生成展示视频，但是在这种方式下，虚拟对象的形象往往为自定义形象，真实感较差，而且虚拟对象的制作成本较高，导致视频的渲染成本也较高；另一种是视频中包含仿真真实对象生成虚拟对象，但这类视频中的虚拟对象的展示信息往往依赖于真实对象，用户对视频仅有观看权限，无法干预其展示内容，导致视频展示过程缺乏趣味性，从而影响视频的展示效果。
发明内容
本公开提供了一种视频处理方法、装置、电子设备及存储介质，以实现与虚拟对象的灵活互动，使得增加视频的趣味性，从而提升用户体验。
第一方面，本公开实施例提供了一种视频处理方法，该方法包括：
响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；
在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
第二方面，本公开实施例还提供了一种视频处理装置，该装置包括：
视频显示触发模块，用于响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；
视频显示更新模块，用于在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例中任一所述的视频处理方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例中任一所述的视频处理方法。
本公开实施例的技术方案，通过响应于视频显示触发操作，在目标显示区域中显示目标视频，由于显示的目标视频中包括的虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应，因此，提升了目标视频的真实感。在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作，解决了相关技术生成的视频存在制作成本高、真实感较差以及无法干预视频展示内容等的技术问题，实现了与视频中的虚拟对象进行互动，增加视频展示的趣味性，提供了更加丰富、智能以及有趣的视频展示形式的有益效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种视频处理方法的流程示意图；
图2为本公开实施例所提供的另一种视频处理方法的流程示意图；
图3为本公开实施例所提供的一种适用于本公开实施例提供的视频处理方法的视频帧处理的示意图；
图4为本公开实施例所提供的另一种视频处理方法的流程示意图；
图5为本公开实施例所提供的一种视频处理装置的结构示意图；
图6为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所互动的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
图1为本公开实施例所提供的一种视频处理方法的流程示意图，本公开实施例适用于对视频进行处理的情形，该方法可以由视频处理装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。
如图1所示，本实施例的方法具体可包括：
S110、响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应。
其中，视频显示触发操作可以理解为用于将目标视频显示在目标显示区域的触发操作。目标显示区域可以理解为用于显示目标视频的区域。目标显示区域可以根据实际需求设置，其在此不做具体限定。可选地，可以基于针对显示设备的显示屏幕确定目标显示区域。示例性，可以基于针对终端设备的显示屏幕设置宽高比，确定目标显示区域。具体的，基于针对显示设备的显示屏幕设置宽高比，在所述显示屏幕上绘制目标显示区域。其中，所述宽高比可以根据实际需求设置，其在此不做具体限定。
在公开实施例中，目标视频可以理解为用于进行交互的视频。目标视频中可以包括虚拟对象。虚拟对象可以理解为目标视频中用于进行交互的虚拟对象。可选地，虚拟对象可以为数字人。在本公开实施例中，虚拟对象可以是基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应。目标形象源数据可以理解为用于包含虚拟对象对应的真实对象的形象数据的源数据。其中，形象数据可以包括外表面数据和行为数据。换言之，目标形象源数据中可以包括真实对象。真实对象可以理解为在目标形象源数据中与虚拟对象的形象相同或相似的对象。
示例性的，目标形象源数据可以为视频数据，目标形象源数据中的真实对象可以为视频数据中的真实人物。目标视频中的虚拟对象可以为数字人，示例性的，二维虚拟仿真人。在本公开实施例中，以二维虚拟仿真人作为目标视频中的虚拟对象，不仅制作成本降低，而且还形象较为逼真，从而可提供较高的画面质量。
作为本公开实施例的一种可选的实施方法，响应于视频显示触发操作，在目标显示区域中显示目标视频，可以包括：在接收到视频显示触发操作后，可以确定目标显示区域以及获取目标视频。进而可以将目标视频渲染在目标显示区域中。其中，目标视频中包括基于目标形象源数据中的真实对象生成虚拟对象，且所述虚拟对象的形象与所述真实对象的形象相对应。具体地，所述虚拟对象与所述真实对象中的至少形象数据相匹配。进一步地，形象数据是否相匹配可以通过形象数据的相似度来确定。示例性地，在所述虚拟对象与所述真实对象中的预设部位的形象数据的相似度大于或等于预设的相似度阈值的情况下，所述虚拟对象与所述真实对象相匹配。
作为本公开实施例的另一种可选的实施方法，响应于视频显示触发操作，在目标显示区域中显示目标视频，可以包括：在接收到视频显示触发操作后，可以获取目标形象源数据。进而可以根据所述目标形象源数据中的真实对象，生成目标视频中的虚拟对象。在得到虚拟对象后，可以控制虚拟对象播报视频输出内容，即得到目标视频。在得到目标视频后，可以将目标视频显示在目标显示区域。其中，视频输出内容可以理解为需要通过虚拟对象在视频中播报的内容。在本公开实施例中，在将目标视频显示在目标显示区域之前，还可以包括：确定目标显示区域。
在本公开实施例中，获取目标形象源数据的方式有多种。在一个实施例中，可以为接收用户上传的目标形象源数据。在另一个实施例中，可以为在接收到真实对象的选择操作后，可以确定选中的真实对象；进而可以随机获取一个包含所述选中的真实对象的源数据，作为目标形象源数据。
在本公开实施例中，根据所述目标形象源数据中的真实对象，生成虚拟对象，具体可以为，对所述目标形象源数据中真实对象进行特征提取，从而可以得到所述真实对象的形象数据，即外表面数据和行为数据。进而可以基于所述外表面数据构建虚拟对象，并将所述行为数据赋予给所述虚拟对象。
S120、在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
其中，互动触发操作可以理解为针对虚拟对象输入的用于与虚拟对象进行互动的触发操作。目标触发操作可以理解为能够与虚拟对象进行互动的触发操作。目标触发操作可以根据实际需求进行设置，其在此不做具体限定，例如，单点触控操作、滑动操作或多点触控操作等。目标触发操作的数量可以为一个、两个或两个以上。在实际应用中，目标触发操作的数量可以为一个或多个。响应动作可以理解为虚拟对象针对输入的互动触发操作反馈的动作(例如，微笑、点头以及眨眼等)。需要说明的是，不同的目标触发操作对应不同的响应动作。不同互动触发操作对应的响应动作的执行时长可以根据实际需求设置。可以理解的是，不同的响应动作的执行时长可以相同，也可以不相同。
具体的，在接收到针对所述虚拟对象输入的互动触发操作后，可以将所述互动触发操作和目标触发操作进行匹配，从而得到匹配结果。在根据匹配结果为所述互动触发操作为目标触发操作的情况下，可以更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
在本公开实施例中，更新所述目标视频，具体可以为，基于互动触发操作和响应动作之间的对应关系，可以确定与所述互动触发操作对应的响应动作；进而可以将所述响应动作赋予目标视频中的所述虚拟对象，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作，即更新目标视频。
示例性的，目标触发操作可以为点击操作，在用户针对虚拟对象输入点击操作后，可以根据点击操作和微笑行为之间的对应关系，将所述微笑行为赋予给目标视频中的虚拟对象，以使所述目标视频中虚拟对象微笑播报视频输出内容。
本公开实施例的技术方案，通过响应于视频显示触发操作，在目标显示区域中显示目标视频，由于显示的目标视频中包括的虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应，因此，提升了目标视频的真实感。在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作，解决了相关技术生成的视频存在制作成本高、真实感较差以及无法干预视频展示内容等的技术问题，实现了与视频中的虚拟对象进行互动，增加视频展示的趣味性，提供了更加丰富、智能以及有趣的视频展示形式的有益效果。
图2为本公开实施例所提供的另一种视频处理方法的流程示意图。本实施例的技术方案在上述实施例的基础上，对在目标显示区域中显示目标视频进行进一步细化。可选地，所述在目标显示区域中显示目标视频，包括：在未检测到针对目标视频中的虚拟对象输入的互动触发操作或者检测到的互动触发操作不为所述目标触发操作的情况下，获取目标形象源数据和控制源数据，基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，其中，所述基础控制数据包括骨骼控制数据和表情基控制数据；将所述基础控制数据作为对象控制数据，基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频。具体实施方式可以参见本实施例的说明。其中，与前述实施例相同或相似的技术特征在此不再赘述。
如图2所示，本实施例的方法具体可包括：
S210、响应于视频显示触发操作，在未检测到针对目标视频中的虚拟对象输入的互动触发操作或者检测到的互动触发操作不为所述目标触发操作的情况下，获取目标形象源数据和控制源数据，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应。
其中，控制源数据可以理解为用于对目标视频中虚拟对象进行控制的源数据。控制源数据可以为语音数据或视频数据。在本公开实施例中，所述获取控制源数据，可以包括：响应于第一数据输入触发操作，获取输入的数据作为控制源数据。其中，第一数据输入触发操作可以理解为用于获取控制源数据的触发操作。具体的，在接收到第一数据输入触发操作后，可以根据所述第一数据输入触发操作调用视频采集装置或音频采集装置，从而获取视频数据或音频数据，即得到输入的数据。进而可以将输入的数据作为控制源数据。本公开实施例，采用第一数据输入触发操作的方式获取控制源数据，不仅实现了从可视化角度获取控制源数据，而且还使得控制源数据可根据实际需求灵活选择。
在本公开实施例中，所述获取目标形象源数据，可以包括：响应于第二数据输入触发操作，获取目标形象源数据。这样设置的好处在于，不仅能够较为灵活且便捷的选择目标形象源数据，还能够满足针对虚拟对象的差异化设置，从而丰富了视频中虚拟对象的形象。
其中，第二数据输入触发操作可以理解为用于获取目标形象源数据的触发操作。目标形象源数据可以理解为用于展示真实对象的形象数据的视频数据，可选地，所述形象数据可以包括外表面数据和行为数据。其中，此外，外表面数据可以理解为可直观观察到的外在表现数据，具体包括真实对象本体的外在形态数据及其佩戴物数据。例如，外表面数据可以包括部位形态数据、颜色数据以及佩戴物数据等数据中的至少一项。
需要说明的是，在本公开实施中，控制源数据中包含的内容可以和目标形象源数据中包含内容是相同，也可以不相同。
S220、基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，其中，所述基础控制数据包括骨骼控制数据和表情基控制数据。
其中，基础控制数据可以理解为来源于控制源数据的用于控制虚拟对象的执行动作的动画数据。具体地，基础控制数据可以包括骨骼控制数据和表情基控制数据。骨骼控制数据可以理解用于对虚拟对象的骨骼进行控制的动画数据。在本公开实施例中，采用骨骼控制数据的好处在于：能够实现虚拟对象的精细控制，大大丰富了虚拟对象的呈现效果。表情基控制数据可以理解为用于对虚拟对象的面部呈现状态进行控制的动画数据。具体地，表情基控制数据可以是控制虚拟对象展示出预设面部呈现状态所涉及的顶点的偏移值数据。其中，顶点的偏移值数据可以是顶点位置偏移值或者顶点的法线偏移值等。
在本公开实施例中，参见图3，所述基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，可以包括：可以将所述控制源数据输入至特征提取模型中，得到与所述虚拟对象对应的基础控制数据。采用本技术方案，能够实现对控制源数据的自动分析以及特征提取，节省了特征提取所需的人力资源以及时间成本，而且，由于提取出的基础控制数据包括骨骼控制数据和表情基控制数据，能够实现对虚拟形象的局部精准控制，从而保证虚拟形象的展示效果。
其中，特征提取模型可以理解为预先训练的用于提取网络输入数据中的骨骼控制数据和表情基控制数据的深度学习模型。
在上述实施例的基础上，所述方法还可以包括：对特征提取模型进行训练。具体的，获取样本数据和与所述样本数据对应的期望输出结果，其中，样本数据可为样本控制源数据。期望输出结果可以为期望控制数据，可以包括骨骼控制数据和表情基控制数据。在得到所述样本数据和所述期望输出结果后，可以基于所述样本数据和所述期望输出结果对预先建立的第一初始网络模型进行训练，以得到特征提取模型。具体地，可以将样本数据输入至第一初始网络模型中，得到实际输出结果。进而可以基于所述期望输出结果和所述实际输出结果，对所述第一初始网络模型的网络参数进行参数调整，以得到特征提取模型。
S230、将所述基础控制数据作为对象控制数据，基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频。
在本公开实施例中，参见图3，所述基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，可以包括：可以将所述对象控制数据和所述目标形象源数据输入至图像渲染模型中，以基于所述目标形象源数据中的真实对象和所述对象控制数据生成包括与所述真实对象对应的虚拟对象且控制所述虚拟对象以与所述互动触发操作对应的响应动作进行展示的待渲染视频帧。采用本技术方案，相比较于传统的图像处理算法，能够自动地、智能化且快捷地生成视待渲染频帧。
其中，所述图像渲染模型可以理解为基于样本控制数据、样本形象源数据以及期望视频训练得到的深度学习模型。样本控制数据可以理解为用于对虚拟对象控制的样本控制数据。样本形象源数据可以理解为用于生成虚拟对象的样本形象源数据。期望视频可以理解为在将样本控制数据和样本形象源数据输入至图像渲染模型后，期望模型输出的视频。
在将所述对象控制数据和所述目标形象源数据输入至图像渲染模型中之前，可对图像渲染模型进行训练。具体的，可以将样本控制数据和样本形象源数据输入至预先建立的第二初始网络模型中，得到模型的实际输出结果；可以将期望视频作为第二初始网络模型的期望输出结果；进而可以基于所述实际输出结果和所述期望输出结果，对所述第二初始网络模型的网络参数进行调整，以得到图像渲染模型。
在公开实施例中，所述控制源数据可以包括语音数据；所述基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，可以包括：基于目标形象源数据和所述对象控制数据生成待渲染视频帧，以使所述待渲染视频帧中与所述目标形象源数据中的真实对象对应的虚拟对象展示所述语音数据。采用本技术方案，能够为虚拟对象增加语音特征，通过虚拟形象将控制源数据中的语音数据展示在目标视频中，进一步丰富目标视频的展示内容。本技术方案尤其适用于对话类或访谈类视频。
具体的，可以将所述对象控制数据和所述目标形象源数据输入至图像渲染模型中，从而得到包含有与所述目标形象源数据中的真实对象对应的虚拟对象展示所述语音数据的待渲染视频帧。
S240、在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
本公开实施例的技术方案，通过在未检测到针对目标视频中的虚拟对象输入的互动触发操作或者检测到的互动触发操作不为所述目标触发操作的情况下，获取目标形象源数据和控制源数据，基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，其中，所述基础控制数据包括骨骼控制数据和表情基控制数据；将所述基础控制数据作为对象控制数据，基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频，实现了基于控制源数据控制虚拟对象的功能。
图4为本公开实施例所提供的另一种视频处理方法的流程示意图。本实施例的技术方案在上述实施例的基础上，对更新所述目标视频进行进一步细化。可选地，所述更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作，包括：基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据，其中，所述互动关联关系用于指示目标触发操作与预置控制数据之间的对应关系；确定与所述虚拟对象对应的基础控制数据，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合，得到对象控制数据；基于目标形象源数据和所述对象控制数据生成待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频，其中，所述待渲染视频帧包括与所述真实对象对应的虚拟对象且所述虚拟对象以与所述互动触发操作对应的响应动作进行展示。具体实施方式可以参见本实施例的说明。其中，与前述实施例相同或相似的技术特征在此不再赘述。
如图4所示，本实施例的方法具体可包括：
S310、响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应。
S320、在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据。
其中，预置控制数据可以用于控制虚拟对象执行与目标触发操作对应的反馈动作数据。在本公开实施中，获取预置控制数据的方式有多种，其获取方式在此不做具体限定。例如，预置控制数据可以源自已有面部表情工具里提供了52种非常具体的面部表情形变参数；或者，获取包含有所述真实对象的参考视频数据，并对视频数据中真实对象的表情以及动作进行分析，从而得到预置控制数据。在实际应用中，参考视频数据的数量可以为一个或多个。
在公开实施例中，互动关联关系可以用于指示目标触发操作与预置控制数据之间的对应关系。在本公开实施例中，目标触发操作和预设控制数据之间的对应关系可以为一对一或一对多。需要说明的是，互动关联关系可根据实际需求进行调整，例如，修改目标触发操作与预置控制数据之间的对应关系；或者，针对目标触发操作新增或删除预置控制数据。本公开实施例中，设定互动关联关系可针对虚拟对象的互动触发操作，个性化定制预置控制数据，满足用户互动需求。
具体的，在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，可以获取基于所述互动触发操作和预先建立的互动关联关系。进而可以基于所述互动关联关系，确定与所述互动触发操作对应的预置控制数据。
在本公开实施中，基于所述互动关联关系确定与所述互动触发操作对应的预置控制数据，具体可以为，将所述互动触发操作与所述互动关联关系中目标触发操作进行匹配。从而可以确定互动关联关系中与所述互动触发操作匹配的目标触发操作。进而可以确定互动关联关系中所述匹配的目标触发操作对应的预置控制数据，即与所述互动触发操作对应的预置控制数据。
在本公开实施例中，在所述基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据之前，还可以包括：响应于互动设置触发操作，获取设置的目标触发操作和预置控制数据，并建立所述目标触发操作与所述预置控制数据之间的对应关系，得到互动关联关系，其中，所述预置控制数据用于控制所述虚拟对象执行与所述目标触发操作对应的反馈动作数据。采用本技术方案，可以自定义互动触发操作与反馈动作数据之间的对应关系，满足用户对互动方式的差异化设置需求。
其中，互动设置触发操作可以理解为用于建立所述目标触发操作与所述预置控制数据之间的对应关系的触发操作。在本公开实施中，建立所述目标触发操作与所述预置控制数据之间的对应关系的方式有多种，其方式在此不做具体限定。
作为本公开实施例中的一个可选的实施方式，在接收到互动设置触发操作后，可以获取设置的目标触发操作和预置控制数据。在实际应用中，设置的目标触发操作的数量可以为一个或多个，预置控制数据的数量可以为一个或多个。可以从多个设置的目标触发操作中选择目标触发操作以及从多个预置控制数据选择预置控制数据。进而可以建立选中的目标触发操作和选中的预置控制数据之间的对应关系。
示例性的，在接收作用于互动配置界面上互动配置控件的控件触发操作后，可以在互动配置界面展示第一区域和第二区域；其中，所述第一区域可以显示有至少一个设置的目标触发操作。所述第二区域可以显示有至少一个预置控制数据。在接收到作用于第一区域中设置的目标触发操作的选择操作，且在接收到作用于第二区域中预置控制数据的选择操作后，可以确定选中的目标触发操作和选中的预置控制数据。进而可以建立选中的目标触发操作和选中的预置控制数据之间的对应关系。
其中，互动配置界面可以理解为用于建立所述目标触发操作与所述预置控制数据之间的对应关系的界面。互动配置控件可以理解为用于配置所述目标触发操作与所述预置控制数据之间的对应关系的控件。
作为本公开实施例中的另一个可选的实施方式，在接收到互动设置触发操作后，可以获取设置的目标触发操作和预置控制数据。在实际应用中，设置的目标触发操作的数量可以为一个或多个，预置控制数据的数量可以为一个或多个。在设置的目标触发操作的数量为多个的情况下，针对单个目标触发操作，可以从多个预置控制数据选出至少一个预置控制数据。进而可以建立所述设置的目标触发操作和选出的预置控制数据之间的对应关系，即互动关联关系。
沿用上例，在接收作用于互动配置界面上互动配置控件的控件触发操作后，可以在互动配置界面展示第一区域；其中，所述第一区域可以显示有至少一个设置的目标触发操作。在接收到作用于第一区域中设置的目标触发操作的选择操作后，可以确定选中的目标互动触发操作，并在互动配置界面展示第二区域；其中，所述第二区域可以显示有至少一个预置控制数据。在接收到作用于所述第二区域中预置控制数据的选择操作后，可以确定针对选中的目标触发操作配置的预置控制数据。从而可以建立目标触发操作与预置控制数据之间的对应关系。
作为本公开实施例中的又一个可选的实施方式，在接收到互动设置触发操作后，可以获取设置的目标触发操作和预置控制数据。在实际应用中，设置的目标触发操作的数量可以为一个或多个，预置控制数据的数量可以为一个或多个。在预置控制数据的数量为多个的情况下，针对单个预置控制数据，可以从多个目标触发操作选出至少一个目标触发操作。进而可以建立所述预置控制数据和选出至少一个目标触发操作之间的对应关系，即互动关联关系。
沿用上例，在接收作用于互动配置界面上互动配置控件的控件触发操作后，可以在互动配置界面展示第二区域；其中，所述第二区域可以显示有至少一个预置控制数据。在接收到作用于所述第二区域中预置控制数据的选择操作后，可以确定选中的预置控制数据，并在互动配置界面展示第一区域；其中，所述第一区域可以显示有至少一个设置的目标触发操作。在接收到作用于第一区域中设置的目标触发操作的选择操作后，可以确定针对选中的预置控制数据配置的目标触发操作。进而可以建立目标触发操作与预置控制数据之间的对应关系。
S330、确定与所述虚拟对象对应的基础控制数据，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合，得到对象控制数据。
在本公开实施中，基础控制数据至少可以包括表情基控制数据。可选地，基础控制数据可以包括口型控制数据。口型控制数据可以理解为用于对虚拟对象的口型进行控制的动画数据。对象控制数据可以是通过将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合后得到控制数据。
在一个实施例中，确定与所述虚拟对象对应的基础控制数据。进而可以基于预设数据融合比例，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合。从而可以得到融合结果，即对象控制数据。需要说明的是，预设数据融合比例可以根据实际需求设置，其在此不做具体限定。可选地，在互动触发操作为目标触发操作的情况下，预置控制数据的比例需要高于基础控制数据的比例，这样设置的好处在于可在视频中突显出与虚拟对象进行互动的效果。
在另一个实施中，可以预先设置在目标触发操作发生时基础控制数据和与所述预设触发操作对应的所述预置控制数据的融合权重。进而可以基于基础控制数据和预置控制数据的融合权重，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行加权融合(如，加权求和)，得到对象控制数据。
沿用图3，确定与所述虚拟对象对应的基础控制数据，具体可以为，获取控制源数据，即视频数据或语音数据。进而可以将所述控制源数据输入至特征提取网络中，从而得到与所述虚拟对象对应的基础控制数据。
S340、基于目标形象源数据和所述对象控制数据生成待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频，其中，所述待渲染视频帧包括与所述真实对象对应的虚拟对象且所述虚拟对象以与所述互动触发操作对应的响应动作进行展示。
其中，待渲染视频帧可以理解为基于目标形象源数据和所述对象控制数据生成的需要进行渲染的视频帧。
具体的，可以基于所述目标形象源数据中的真实对象和所述对象控制数据，生成包括与所述真实对象对应的虚拟对象且控制所述虚拟对象以与所述互动触发操作对应的响应动作进行展示的待渲染视频帧。进而可以将所述待渲染视频帧渲染至目标显示区域，从而对目标视频进行更新。
如图3所示，在与针对所述虚拟对象输入的互动触发操作对应的预置控制数据为预置控制数据A或预置控制数据B的情况下，可以基于基础控制数据和预置控制数据A生成对象控制数据；或者，在与针对所述虚拟对象输入的互动触发操作对应的预置控制数据为预置控制数据A和预置控制数据B的情况下，可以基于基础控制数据、预置控制数据A和预置控制数据B生成对象控制数据。在得到对象控制数据后，可以将对象控制数据输入至神经渲染网络中，从而可以生成包括与所述真实对象对应的虚拟对象且控制所述虚拟对象以与所述互动触发操作对应的响应动作进行展示的待渲染视频帧，即合成图像。
本公开实施例的技术方案，通过基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据，其中，所述互动关联关系用于指示目标触发操作与预置控制数据之间的对应关系。本技术方案中，通过互动关联关系可针对虚拟对象的互动触发操作，个性化定制预置控制数据。确定与所述虚拟对象对应的基础控制数据，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合，得到对象控制数据，以丰富虚拟对象的控制数据。基于目标形象源数据和所述对象控制数据生成待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频，其中，所述待渲染视频帧包括与所述真实对象对应的虚拟对象且所述虚拟对象以与所述互动触发操作对应的响应动作进行展示，实现了在以虚拟对象进行视频直播的过程中，可个性化的与虚拟对象进行灵活互动。
图5为本公开实施例所提供的一种视频处理装置的结构示意图，如图5所示，所述装置包括：视频显示触发模块410和视频显示更新模块420；
其中，视频显示触发模块410，用于响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；视频显示更新模块420，用于在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
本公开实施例的技术方案，通过视频显示触发模块响应于视频显示触发操作，在目标显示区域中显示目标视频，由于显示的目标视频中包括的虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应，因此，提升了目标视频的真实感。通过视频显示更新模块在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作，解决了相关技术生成的视频存在制作成本高、真实感较差以及无法干预视频展示内容等的技术问题，实现了与视频中的虚拟对象进行互动，增加视频展示的趣味性，提供了更加丰富、智能以及有趣的视频展示形式的有益效果。
在上述各可选技术方案的基础上，可选地，视频显示更新模块420，用于：基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据，其中，所述互动关联关系用于指示目标触发操作与预置控制数据之间的对应关系；
确定与所述虚拟对象对应的基础控制数据，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合，得到对象控制数据；
基于目标形象源数据和所述对象控制数据生成待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频，其中，所述待渲染视频帧包括与所述真实对象对应的虚拟对象且所述虚拟对象以与所述互动触发操作对应的响应动作进行展示。
在上述各可选技术方案的基础上，可选地，在所述基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据之前，该装置还包括互动关联关系得到模块；其中，互动关联关系得到模块，用于：
响应于互动设置触发操作，获取设置的目标触发操作和预置控制数据，并建立所述目标触发操作与所述预置控制数据之间的对应关系，得到互动关联关系，其中，所述预置控制数据用于控制所述虚拟对象执行与所述目标触发操作对应的反馈动作数据。
在上述各可选技术方案的基础上，可选地，视频显示触发模块410，用于：
在未检测到针对目标视频中的虚拟对象输入的互动触发操作或者检测到的互动触发操作不为所述目标触发操作的情况下，获取目标形象源数据和控制源数据，基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，其中，所述基础控制数据包括骨骼控制数据和表情基控制数据；
将所述基础控制数据作为对象控制数据，基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频。
在上述各可选技术方案的基础上，可选地，视频显示触发模块410包括基础控制数据获取单元；其中，基础控制数据获取单元，用于：
将所述控制源数据输入至特征提取模型中，得到与所述虚拟对象对应的基础控制数据，其中，所述特征提取模型为预先训练的用于提取网络输入数据中的骨骼控制数据和表情基控制数据的深度学习模型。
在上述各可选技术方案的基础上，可选地，视频显示触发模块410包括控制源数据获取单元；其中，控制源数据单元，用于：
响应于第一数据输入触发操作，获取输入的数据作为控制源数据，其中，所述控制源数据为语音数据或视频数据。
在上述各可选技术方案的基础上，可选地，视频显示触发模块410包括目标形象源数据获取单元；其中，目标形象源数据获取单元，用于：
响应于第二数据输入触发操作，获取目标形象源数据，其中，所述目标形象源数据为用于展示真实对象的形象数据的视频数据，所述形象数据包括外表面数据和行为数据。
在上述各可选技术方案的基础上，可选地，视频显示触发模块410包括第一视频帧生成单元；其中，第一视频帧生成单元，用于：
将所述对象控制数据和所述目标形象源数据输入至图像渲染模型中，以基于所述目标形象源数据中的真实对象和所述对象控制数据生成包括与所述真实对象对应的虚拟对象且控制所述虚拟对象以与所述互动触发操作对应的响应动作进行展示的待渲染视频帧，其中，所述图像渲染模型为基于样本控制数据、样本形象源数据以及期望视频训练得到的深度学习模型。
在上述各可选技术方案的基础上，可选地，所述控制源数据包括语音数据；视频显示触发模块410包括第二视频帧生成单元；其中，第二视频帧生成单元，用于：
基于目标形象源数据和所述对象控制数据生成待渲染视频帧，以使所述待渲染视频帧中与所述目标形象源数据中的真实对象对应的虚拟对象展示所述语音数据。
本公开实施例所提供的视频处理装置可执行本公开任意实施例所提供的视频处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图6为本公开实施例所提供的一种电子设备的结构示意图。下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如图6中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。编辑/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所互动的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的视频处理方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的视频处理方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种视频处理方法，包括：
响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；
在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
根据本公开的一个或多个实施例，【示例二】提供了示例一的方法，还包括：
可选地，所述更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作，包括：
基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据，其中，所述互动关联关系用于指示目标触发操作与预置控制数据之间的对应关系；
确定与所述虚拟对象对应的基础控制数据，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合，得到对象控制数据；
基于目标形象源数据和所述对象控制数据生成待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频，其中，所述待渲染视频帧包括与所述真实对象对应的虚拟对象且所述虚拟对象以与所述互动触发操作对应的响应动作进行展示。
根据本公开的一个或多个实施例，【示例三】提供了示例一的方法，还包括：
可选地，在所述基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据之前，还包括：
响应于互动设置触发操作，获取设置的目标触发操作和预置控制数据，并建立所述目标触发操作与所述预置控制数据之间的对应关系，得到互动关联关系，其中，所述预置控制数据用于控制所述虚拟对象执行与所述目标触发操作对应的反馈动作数据。
根据本公开的一个或多个实施例，【示例四】提供了示例一的方法，还包括：
可选地，所述在目标显示区域中显示目标视频，包括：
在未检测到针对目标视频中的虚拟对象输入的互动触发操作或者检测到的互动触发操作不为所述目标触发操作的情况下，获取目标形象源数据和控制源数据，基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，其中，所述基础控制数据包括骨骼控制数据和表情基控制数据；
将所述基础控制数据作为对象控制数据，基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频。
根据本公开的一个或多个实施例，【示例五】提供了示例一的方法，还包括：
可选地，所述基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，包括：
将所述控制源数据输入至特征提取模型中，得到与所述虚拟对象对应的基础控制数据，其中，所述特征提取模型为预先训练的用于提取网络输入数据中的骨骼控制数据和表情基控制数据的深度学习模型。
根据本公开的一个或多个实施例，【示例六】提供了示例一的方法，还包括：
可选地，所述获取控制源数据，包括：
响应于第一数据输入触发操作，获取输入的数据作为控制源数据，其中，所述控制源数据为语音数据或视频数据。
根据本公开的一个或多个实施例，【示例七】提供了示例一的方法，还包括：
可选地，所述获取目标形象源数据，包括：
响应于第二数据输入触发操作，获取目标形象源数据，其中，所述目标形象源数据为用于展示真实对象的形象数据的视频数据，所述形象数据包括外表面数据和行为数据。
根据本公开的一个或多个实施例，【示例八】提供了示例一的方法，还包括：
可选地，所述基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，包括：
将所述对象控制数据和所述目标形象源数据输入至图像渲染模型中，以基于所述目标形象源数据中的真实对象和所述对象控制数据生成包括与所述真实对象对应的虚拟对象且控制所述虚拟对象以与所述互动触发操作对应的响应动作进行展示的待渲染视频帧，其中，所述图像渲染模型为基于样本控制数据、样本形象源数据以及期望视频训练得到的深度学习模型。
根据本公开的一个或多个实施例，【示例九】提供了示例一的方法，还包括：
可选地，所述控制源数据包括语音数据；所述基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，包括：
基于目标形象源数据和所述对象控制数据生成待渲染视频帧，以使所述待渲染视频帧中与所述目标形象源数据中的真实对象对应的虚拟对象展示所述语音数据。
根据本公开的一个或多个实施例，【示例十】提供了一种视频处理装置，包括：
视频显示触发模块，用于响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；
视频显示更新模块，用于在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种视频处理方法，其特征在于，包括：
响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；
在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
2.根据权利要求1所述的视频处理方法，其特征在于，所述更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作，包括：
基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据，其中，所述互动关联关系用于指示目标触发操作与预置控制数据之间的对应关系；
确定与所述虚拟对象对应的基础控制数据，将所述基础控制数据和与所述互动触发操作对应的所述预置控制数据进行融合，得到对象控制数据；
基于目标形象源数据和所述对象控制数据生成待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频，其中，所述待渲染视频帧包括与所述真实对象对应的虚拟对象且所述虚拟对象以与所述互动触发操作对应的响应动作进行展示。
3.根据权利要求2所述的视频处理方法，其特征在于，在所述基于所述互动触发操作和预先建立的互动关联关系确定与所述互动触发操作对应的预置控制数据之前，还包括：
响应于互动设置触发操作，获取设置的目标触发操作和预置控制数据，并建立所述目标触发操作与所述预置控制数据之间的对应关系，得到互动关联关系，其中，所述预置控制数据用于控制所述虚拟对象执行与所述目标触发操作对应的反馈动作数据。
4.根据权利要求1所述的视频处理方法，其特征在于，所述在目标显示区域中显示目标视频，包括：
在未检测到针对目标视频中的虚拟对象输入的互动触发操作或者检测到的互动触发操作不为所述目标触发操作的情况下，获取目标形象源数据和控制源数据，基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，其中，所述基础控制数据包括骨骼控制数据和表情基控制数据；
将所述基础控制数据作为对象控制数据，基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，将所述待渲染视频帧渲染至目标显示区域，以更新所述目标视频。
5.根据权利要求4所述的视频处理方法，其特征在于，所述基于所述控制源数据确定与所述虚拟对象对应的基础控制数据，包括：
将所述控制源数据输入至特征提取模型中，得到与所述虚拟对象对应的基础控制数据，其中，所述特征提取模型为预先训练的用于提取网络输入数据中的骨骼控制数据和表情基控制数据的深度学习模型。
6.根据权利要求4所述的视频处理方法，其特征在于，所述获取控制源数据，包括：
响应于第一数据输入触发操作，获取输入的数据作为控制源数据，其中，所述控制源数据为语音数据或视频数据。
7.根据权利要求4所述的视频处理方法，其特征在于，所述获取目标形象源数据，包括：
响应于第二数据输入触发操作，获取目标形象源数据，其中，所述目标形象源数据为用于展示真实对象的形象数据的视频数据，所述形象数据包括外表面数据和行为数据。
8.根据权利要求4所述的视频处理方法，其特征在于，所述基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，包括：
将所述对象控制数据和所述目标形象源数据输入至图像渲染模型中，以基于所述目标形象源数据中的真实对象和所述对象控制数据生成包括与所述真实对象对应的虚拟对象且控制所述虚拟对象以与所述互动触发操作对应的响应动作进行展示的待渲染视频帧，其中，所述图像渲染模型为基于样本控制数据、样本形象源数据以及期望视频训练得到的深度学习模型。
9.根据权利要求4所述的视频处理方法，其特征在于，所述控制源数据包括语音数据；所述基于目标形象源数据和所述对象控制数据生成包括与所述真实对象对应的虚拟对象的待渲染视频帧，包括：
基于目标形象源数据和所述对象控制数据生成待渲染视频帧，以使所述待渲染视频帧中与所述目标形象源数据中的真实对象对应的虚拟对象展示所述语音数据。
10.一种视频处理装置，其特征在于，包括：
视频显示触发模块，用于响应于视频显示触发操作，在目标显示区域中显示目标视频，其中，所述目标视频中包括虚拟对象，所述虚拟对象基于目标形象源数据中的真实对象生成，且所述虚拟对象的形象与所述真实对象的形象相对应；
视频显示更新模块，用于在检测到针对所述虚拟对象输入的互动触发操作且所述互动触发操作为目标触发操作的情况下，更新所述目标视频，以使所述目标视频中的所述虚拟对象展示与所述互动触发操作对应的响应动作。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的视频处理方法。
12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的视频处理方法。
CN202311477507.1A 2023-11-07 2023-11-07 视频处理方法、装置、电子设备及存储介质 Pending CN117376655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311477507.1A CN117376655A (zh) 2023-11-07 2023-11-07 视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311477507.1A CN117376655A (zh) 2023-11-07 2023-11-07 视频处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117376655A true CN117376655A (zh) 2024-01-09

Family

ID=89396510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311477507.1A Pending CN117376655A (zh) 2023-11-07 2023-11-07 视频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117376655A (zh)

Similar Documents

Publication Publication Date Title
CN111476871B (zh) 用于生成视频的方法和装置
CN112423022A (zh) 视频生成及显示方法、装置、设备、介质
CN113806306B (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
CN114598823B (zh) 特效视频生成方法、装置、电子设备及存储介质
CN116934577A (zh) 一种风格图像生成方法、装置、设备及介质
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质
CN114842120B (zh) 一种图像渲染处理方法、装置、设备及介质
CN114693876B (zh) 数字人生成方法、装置、存储介质和电子设备
CN116301530A (zh) 虚拟场景处理方法、装置、电子设备及存储介质
WO2024051540A1 (zh) 特效处理方法、装置、电子设备及存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN115272564B (zh) 动作视频发送方法、装置、设备和介质
CN116188251A (zh) 模型构建方法、虚拟形象生成方法、装置、设备、介质
CN116360661A (zh) 特效处理方法、装置、电子设备及存储介质
CN116170398A (zh) 基于虚拟对象的互动方法、装置、设备、存储介质及产品
CN115499672B (zh) 图像显示方法、装置、设备及存储介质
CN115760553A (zh) 特效处理方法、装置、设备及存储介质
CN116527993A (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN117376655A (zh) 视频处理方法、装置、电子设备及存储介质
CN114723890B (zh) 虚拟对象的生成方法、装置、可读介质和电子设备
CN110188712B (zh) 用于处理图像的方法和装置
CN111429585A (zh) 图像生成方法、装置、电子设备及计算机可读存储介质
CN118135090A (zh) 网格对齐方法、装置和电子设备
CN117710611A (zh) 基于虚拟现实空间的显示处理方法、装置、设备及介质
CN118012314A (zh) 一种页面显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination