CN112734883A - 一种数据处理方法、装置、电子设备和存储介质 - Google Patents

一种数据处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112734883A
CN112734883A CN202110098243.3A CN202110098243A CN112734883A CN 112734883 A CN112734883 A CN 112734883A CN 202110098243 A CN202110098243 A CN 202110098243A CN 112734883 A CN112734883 A CN 112734883A
Authority
CN
China
Prior art keywords
script
data
target
user
scenario
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110098243.3A
Other languages
English (en)
Inventor
黄智豪
吴泽贤
陈新铭
肖辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110098243.3A priority Critical patent/CN112734883A/zh
Publication of CN112734883A publication Critical patent/CN112734883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种数据处理方法、装置、电子设备和存储介质;本申请实施例可以当获取到用户在目标应用中的用户数据时,展示剧本选择页面,剧本选择页面包括至少一个剧情对应的剧本;响应于对剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,剧本视频包括所述目标剧情对应的至少一个剧本模板画面,剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。本申请实施例可以生成用于动态展示用户数据的剧本视频,丰富了用户数据的展示形式。

Description

一种数据处理方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域,具体涉及一种数据处理方法、装置、电子设备和存储介质。
背景技术
随着计算机技术的发展,多媒体的应用也越来越广泛。在系统平台的使用过程中,用户会生成自己的专属内容,内容类型可以包括文本和图像等等。如用户会在社交平台上发布一些帖子,这些帖子的内容即用户的专属内容。系统平台可以将用户专属内容作为素材,进而利用这些素材进行创作。
在目前的相关技术中,通常是对用户专属内容中的文本数据和图像数据进行简单的合成处理,以图片媒体的形式对用户专属内容进行展示,信息呈现形式较为单一。
发明内容
本申请实施例提供一种数据处理方法、装置、电子设备和存储介质,可以生成用于动态展示用户数据的剧本视频,丰富了用户数据的展示形式。
本申请实施例提供一种数据处理方法,包括:
当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;
响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;
根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
相应的,本申请实施例提供一种数据处理装置,包括:
展示单元,用于当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;
确定单元,用于响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;
生成单元,用于根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
可选的,在本申请的一些实施例中,所述用户数据包括用户动作数据,所述剧本内容包括虚拟剧本角色,所述虚拟剧本角色承载所述用户动作数据。
可选的,在本申请的一些实施例中,所述用户数据包括针对所述目标应用的用户分析数据,所述剧本内容包括数据分析工具图形,所述数据分析工具图形用于动态展示所述用户分析数据。
可选的,在本申请的一些实施例中,所述生成单元可以包括识别子单元和第一生成子单元,如下:
所述识别子单元,用于对动作视频中的动作进行识别,得到用户动作数据;
第一生成子单元,用于基于所述用户动作数据和所述目标剧本下的参考剧本模板画面,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述虚拟剧本角色的至少一个动作图像,所述动作图像中的动作与识别到的用户动作数据相对应。
可选的,在本申请的一些实施例中,所述第一生成子单元具体可以用于基于所述虚拟剧本角色的骨骼数据和所述用户动作数据,生成所述虚拟剧本角色的至少一个动作图像;对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面;对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
可选的,在本申请的一些实施例中,步骤“对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面”,可以包括:
获取所述动作图像的透明通道参数;
基于所述动作图像的透明通道参数,在所述目标剧本下的参考剧本模板画面上覆盖所述动作图像,得到所述目标剧情对应的剧本模板画面。
可选的,在本申请的一些实施例中,所述用户数据还包括用户音频数据;步骤“对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频”,可以包括:
对所述剧本模板画面进行合成处理,得到合成后视频;
将所述用户音频数据添加至所述合成后视频的预设位置,得到用于动态展示所述用户数据的剧本视频。
可选的,在本申请的一些实施例中,所述剧本视频还包括对抗虚拟剧本角色对应的动作图像、以及转场信息;
所述虚拟剧本角色对应的动作图像、以及所述对抗虚拟剧本角色对应的动作图像之间通过所述转场信息进行切换。
可选的,在本申请的一些实施例中,所述生成单元可以包括第二生成子单元、融合子单元和第三生成子单元,如下:
所述第二生成子单元,用于基于所述数据分析工具图形和所述用户分析数据,生成所述用户分析数据的至少一个数据分析图像;
融合子单元,用于对所述数据分析图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧本对应的剧本模板画面;
第三生成子单元,用于对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
可选的,在本申请的一些实施例中,所述数据处理装置还可以包括上传页面展示单元和上传单元,如下:
所述上传页面展示单元,用于展示所述目标应用的数据上传页面;
上传单元,用于当检测到针对所述数据上传页面中上传控件的操作时,上传所述用户在目标应用中的用户数据。
本申请实施例提供的一种电子设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令,以执行本申请实施例提供的数据处理方法中的步骤。
此外,本申请实施例还提供一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本申请实施例提供的数据处理方法中的步骤。
本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质,可以当获取到用户在目标应用中的用户数据时,展示剧本选择页面,剧本选择页面包括至少一个剧情对应的剧本;响应于对剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,剧本视频包括所述目标剧情对应的至少一个剧本模板画面,剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。本申请实施例可以生成用于动态展示用户数据的剧本视频,丰富了用户数据的展示形式。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的数据处理方法的场景示意图;
图1b是本申请实施例提供的数据处理方法的流程图;
图1c是本申请实施例提供的数据处理方法的说明图;
图1d是本申请实施例提供的数据处理方法的页面示意图;
图1e是现有技术的页面示意图;
图1f是本申请实施例提供的数据处理方法的页面示意图;
图1g是本申请实施例提供的数据处理方法的页面示意图;
图1h是本申请实施例提供的数据处理方法的页面示意图;
图2a是本申请实施例提供的数据处理方法的流程图;
图2b是本申请实施例提供的数据处理方法的页面示意图;
图2c是本申请实施例提供的数据处理方法的页面示意图;
图2d是本申请实施例提供的数据处理方法的页面示意图;
图2e是本申请实施例提供的数据处理方法的页面示意图;
图2f是本申请实施例提供的数据处理方法的另一流程图;
图2g是本申请实施例提供的数据处理方法的架构图;
图3a是本申请实施例提供的数据处理装置的结构示意图;
图3b是本申请实施例提供的数据处理装置的另一结构示意图;
图3c是本申请实施例提供的数据处理装置的另一结构示意图;
图3d是本申请实施例提供的数据处理装置的另一结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种数据处理方法、装置、电子设备和存储介质。该数据处理装置具体可以集成在电子设备中,该电子设备可以是终端或服务器等设备。
可以理解的是,本实施例的数据处理方法可以是在终端上执行的,也可以是在服务器上执行,还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
如图1a所示,以终端和服务器共同执行数据处理方法为例。本申请实施例提供的数据处理系统包括终端10和服务器11等;终端10与服务器11之间通过网络连接,比如,通过有线或无线网络连接等,其中,数据处理装置可以集成在终端中。
其中,终端10,可以用于:展示所述目标应用的数据上传页面;当检测到针对所述数据上传页面中上传控件的操作时,向服务器11上传所述用户在目标应用中的用户数据。当服务器接收到用户在目标应用中的用户数据时,终端10展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;并将目标剧本发送给服务器11。其中,终端10可以包括手机、智能电视、平板电脑、笔记本电脑、或个人计算机(PC,Personal Computer)等。终端10上还可以设置客户端,该客户端可以是应用程序客户端或者浏览器客户端等等。
其中,服务器11可以接收终端10发送的用户在目标应用中的用户数据、以及目标剧本,并根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容;将所述剧本视频发送给终端10,终端10在接收服务器11发送的剧本视频后,可以通过剧本视频的目标剧本动态展示所述用户数据。其中,服务器11可以是单台服务器,也可以是由多个服务器组成的服务器集群或云服务器。
上述服务器11生成剧本视频的步骤,也可以由终端10执行。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从数据处理装置的角度进行描述,该数据处理装置具体可以集成在电子设备中,该电子设备可以是服务器或终端等设备。
本申请实施例的数据处理方法可以应用于各种数据展示的场景中。例如,某电竞平台需要以用户数据为导向,生成并展示用户分析报告,可以通过本实施例提供的数据处理方法,将用户数据与目标剧本下的参考剧本模板画面进行融合,得到目标剧本对应的剧本模板画面,进而生成剧本视频,通过该剧本视频可以更丰富地呈现用户分析报告。
如图1b所示,该数据处理方法的具体流程可以如下:
101、当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本。
在系统平台的使用过程中,或者在营销系统中,用户会产生并积累具备专属特色的用户数据。本申请可以将这些用户数据作为素材,为这些素材开发应用场景、订制专有的剧本,通过剧本视频的目标剧本动态展示用户数据。其中,剧本视频具体可以为数字视频,即在营销系统中,通过数据所驱动的、包含用户专有内容的UGC多媒体视频。剧本视频的视频内容可以包括用户在该营销系统中所积累的数据,如文本、图片、音视频等。
其中,UGC,即用户原创内容,全称为User Generated Content。UGC的概念起源于互联网领域,即用户将自己原创的内容通过互联网平台进行展示或者提供给其他用户。
其中,用户数据可以包括各种类型,如视频、图像、音频和文本等等,本实施例对此不作限制。目标应用具体可以是用于产生用户数据的系统平台。
其中,剧本选择页面可以用于选择用户数据所要融合的剧本,剧本选择页面包括至少一个剧本对应的选择控件,用户可以基于对选择控件的选择操作,来确定目标剧本,其中,选择操作具体可以是滑动操作、点击操作等,本实施例对此不作限制。
本实施例中,获取用户数据的方式有很多种。
例如,可以从电子设备本地的数据库中获取用户数据,比如,用户数据存储在电子设备本地的数据库中,则在接收到获取用户数据的指令时,可以基于指令中包含的用户标识,直接从该电子设备本地的数据库中获取用户数据,其中,本地指该电子设备。
例如,还可以通过其他设备来获取用户数据,进而提供给该数据处理装置,即,数据处理装置具体可以接收其他设备如其他终端发送的用户数据。
对于电子设备为服务器的场景,获取用户数据,可以包括:接收终端发送的用户数据。
在一具体场景中,用户可以自行选择所要展示的用户数据,并将其进行上传到该数据处理装置。
可选地,一些实施例中,该数据处理方法还可以包括:
展示所述目标应用的数据上传页面;
当检测到针对所述数据上传页面中上传控件的操作时,上传所述用户在目标应用中的用户数据。
其中,数据上传页面可以包括用户数据对应的上传控件,针对上传控件的操作具体可以是点击操作、滑动操作等等,本实施例对此不作限制。通过对该上传控件的操作,可以将终端本地的用户数据传送给服务器;当服务器获取到用户数据时,服务器可以触发终端展示剧本选择页面。
102、响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面。
其中,剧本可以视作融合用户数据的载体,它可以包含有一定的剧情逻辑,一个剧本包括有其对应剧情下的多个参考剧本模板,也即参考剧本模板画面。通过用户数据与目标剧本对应的参考剧本模板画面融合,可以生成用于动态展示用户数据的剧本视频。
103、根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
其中,剧本视频可以是通过用户数据和参考剧本模板画面融合得到的具有动态效果的视频,参考剧本模板画面可以是预先设置的,它具体可以包括场景画面、转场信息以及其他剧本元素等等,本实施例对此不作限制。其中,剧本模板画面融合有用户数据,它可以包括用于在目标剧本下动态呈现用户数据的剧本内容。
具体地,剧本视频为按照预设的目标剧本,动态展示用户数据的视频,目标剧本中包括多个参考剧本模板画面,用户数据可以和参考剧本模板画面相融合,得到剧本模板画面,进而组成剧本视频。
其中,目标剧本是针对整个剧本视频的,它可以包含一定的剧本流程的,或者说剧本逻辑。目标剧本具体可以包括至少一个呈现数据动态变化阶段的子剧本流程,子剧本流程对应的剧本模板画面集包括至少一个剧本模板画面,子剧本流程对应的剧本模板画面包括用于展示数据动态变化阶段的剧本元素,剧本元素的变化与数据的变化是相对应的。
其中,剧本内容可以包括呈现用户数据动态变化的剧本元素,剧本元素为构成剧本的虚拟对象。
可选的,在一些实施例中,所述用户数据可以包括用户动作数据,所述剧本内容可以包括虚拟剧本角色,所述虚拟剧本角色承载所述用户动作数据。
其中,用户数据可以是从用户动作视频中获取到的,具体地,可以对动作视频中的动作进行识别,得到用户动作数据。
其中,目标剧本可以包括至少一个采用剧本方式呈现目标动作变化阶段的子剧本流程,子剧本流程对应的剧本模板画面包括用于展示目标动作变化阶段的剧本内容,剧本内容可以包括虚拟剧本角色,所述虚拟剧本角色承载所述子剧本流程对应的目标动作变化。虚拟剧本角色可以视为该剧本视频中的剧本元素。例如,子剧本流程需要呈现拉取对应的动作变化,虚拟剧本角色则需要展现拉取的动作。
其中,在动作变化过程中,可以包括多个动作变化阶段。比如,对于一段舞蹈,它可以分解为多个舞蹈动作,每个舞蹈动作对应一个动作变化阶段。具体地,踢腿的舞蹈动作包括腿踢出去的变化过程,这个变化过程即是一个动作变化阶段。
其中,虚拟剧本角色可以是三维虚拟角色模型,也可以是二维虚拟角色模型,本实施例对此不作限制。虚拟剧本角色的动作与动作视频中的动作相关联。本实施例中,虚拟剧本角色可以是预先设置,也可以是用户从多个候选虚拟剧本角色中确定的。
可选的,在一些实施例中,步骤“根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频”,可以包括:
对动作视频中的动作进行识别,得到用户动作数据;
基于所述用户动作数据和所述目标剧本下的参考剧本模板画面,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述虚拟剧本角色的至少一个动作图像,所述动作图像中的动作与识别到的用户动作数据相对应。
其中,动作具体可以是舞蹈动作,也可以是武术动作等。
在一些实施例中,可以基于预设动作模板,对动作视频中的动作进行识别,预设动作模板具体可以为肢体特征模板。在另一些实施例中,还可以通过神经网络对动作视频中对象的动作进行识别;该神经网络可以是视觉几何组网络(VGGNet,Visual GeometryGroup Network)、残差网络(ResNet,Residual Network)和密集连接卷积网络(DenseNet,Dense Convolutional Network)等等,但是应当理解的是,本实施例的神经网络并不仅限于上述列举的几种类型。
可选的,在一些实施例中,步骤“基于所述用户动作数据和所述目标剧本下的参考剧本模板画面,生成用于动态展示所述用户数据的剧本视频”,可以包括:
基于所述虚拟剧本角色的骨骼数据和所述用户动作数据,生成所述虚拟剧本角色的至少一个动作图像;
对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面;
对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
一些实施例中,若该虚拟剧本角色为人物模型,其关节点分布可以如图1c所示,图1c是对人物骨骼的细分,该关节点分布图展示了虚拟剧本角色的骨骼数据。
其中,可以基于用户动作数据和虚拟剧本角色的骨骼数据,驱动虚拟剧本角色的肢体做出用户动作数据中相应的动作,得到虚拟剧本角色的动作图像。
其中,对动作图像和目标剧本下的参考剧本模板画面进行融合时,由于参考剧本模板画面有多个,首先需要确定动作图像所要融合的参考剧本模板画面,再确定在该参考剧本模板画面中所述动作图像需要呈现的位置,然后基于该位置,对动作图像和该参考剧本模板画面进行融合。具体地,动作图像和参考剧本模板画面的融合方式可以是在参考剧本模板画面上覆盖该动作图像。
在一些实施例中,可以先确定所要融合的参考剧本模板画面中的融合区域,将该融合区域从参考剧本模板画面中抠取出来,对动作图像与该融合区域进行融合,得到混合图像区域,将该混合图像区域与抠取后的参考剧本模板画面进行合成处理,得到剧本模板画面。
可选的,在一些实施例中,步骤“对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面”,可以包括:
获取所述动作图像的透明通道参数;
基于所述动作图像的透明通道参数,在所述目标剧本下的参考剧本模板画面上覆盖所述动作图像,得到所述目标剧情对应的剧本模板画面。
其中,透明通道即阿尔法通道(αChannel或Alpha Channel),阿尔法通道是指一张图片的透明和半透明度,阿尔法通道值可以用于设置图片透明度。在视频图像的处理过程中,经常需要利用阿尔法通道制作各种特技效果。阿尔法通道数据可以用八位二进制数字表示,存储图像文件中代表各像素点透明度的附加信息。利用阿尔法通道的透明特性能够创作出十分丰富的图像效果,不仅在多媒体作品,而且在电影、电视、动画等方面都有大量应用。比如可以利用阿尔法透明通道来完成特殊画面的叠加与合成,使图像中某一部分依据不同原理透明,将所选颜色或者亮度从图像中去除,从而使去掉颜色的图像部分透出背景,没有去掉颜色的部分依旧保持原来的图像。
在一些实施例中,若动作图像不具备透明通道,可以先建立动作图像的透明通道,确定其各个像素的透明通道参数。对于每个像素,可以通过调整其透明通道参数,来改变该像素的透明度。透明通道参数越大,透明度越小,反之,透明通道参数越小,透明度越高。
其中,动作图像的像素颜色可以视为前景色,参考剧本模板画面的像素颜色可以视为背景色。对于256阶亮度的红绿蓝颜色通道,当动作图像的像素的透明通道参数为255时就是不透明,即全为前景色;当动作图像的像素的透明通道参数为0时就是全透明,即全为背景色。对于需要呈现的动作图像的像素,可以将其透明通道参数设置得大些;对于不需要呈现的动作图像的像素,可以将其透明通道参数设置得小一些。
其中,在动作图像和参考剧本模板画面进行融合前,一般需要将二者的图像格式统一后再进行处理。
可选的,在一些实施例中,所述用户数据还包括用户音频数据;步骤“对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频”,可以包括:
对所述剧本模板画面进行合成处理,得到合成后视频;
将所述用户音频数据添加至所述合成后视频的预设位置,得到用于动态展示所述用户数据的剧本视频。
其中,可以按照动作视频中动作的时间顺序,对各剧本模板画面进行合成,得到合成后视频。
其中,该预设位置可以根据实际情况进行设置,本实施例对此不作限制。比如,可以基于虚拟剧本角色的动作来设置。
在一些实施例中,对剧本模板画面进行合成处理,得到合成后视频后,还可以对合成后视频进行视频后期处理,比如,为视频添加音轨、图像(如二维码等),以及对视频中的模型添加材质数据,还可以对虚拟剧本角色的模型和虚拟场景的模型进行修改,再将后期处理得到的视频作为剧本视频。
可选的,在一些实施例中,所述剧本视频还包括对抗虚拟剧本角色对应的动作图像、以及转场信息;
所述虚拟剧本角色对应的动作图像、以及所述对抗虚拟剧本角色对应的动作图像之间通过所述转场信息进行切换。
其中,对抗虚拟剧本角色为虚拟剧本角色的对抗方。
具体地,虚拟剧本角色对应的各动作图像可以合成为一个虚拟角色视频,对抗虚拟剧本角色对应的各动作图像可以合成为一个对抗虚拟角色视频,通过转场信息对虚拟角色视频和对抗虚拟角色视频进行拼接,即可得到剧本视频。
其中,对抗虚拟剧本角色对应的动作图像可以是该数据处理装置预先设置的,也可以是该数据处理装置从另一动作视频中识别到的,本实施例对此不作限制。对抗虚拟剧本角色的动作图像的识别获取过程可以参考虚拟剧本角色的动作图像的识别获取过程,此处不再赘述。
可选的,在一些实施例中,所述剧本内容还可以包括虚拟剧本角色对应的动作图像的动作评价参数,以及对抗虚拟剧本角色对应的动作图像的动作评价参数。
其中,可以基于预设标准动作,与所述虚拟剧本角色对应的动作图像中动作的相似度,确定所述虚拟剧本角色对应的动作图像的动作评价参数;
基于预设标准动作,与所述对抗虚拟剧本角色对应的动作图像中动作的相似度,确定所述对抗虚拟剧本角色对应的动作图像的动作评价参数。
具体地,可以获取预设标准动作的第一特征向量,以及动作图像中动作的第二特征向量,计算第一特征向量和第二特征向量之间的向量距离。根据所述向量距离,确定动作图像的动作评价参数。向量距离越小,相似度越大,动作评价参数越高;反之,向量距离越大,相似度越小,动作评价参数越低。
其中,还可以通过确定动作图像的动作难度,来确定动作图像的动作评价参数。动作图像的动作难度可以基于不同动作难度的参考动作来确定。通过计算动作图像与各个不同动作难度的参考动作的相似度,确定出与动作图像相似度最高的参考动作,将相似度最高的参考动作的动作难度确定为该动作图像的动作难度。
在一些实施例中,也可以通过神经网络来获取动作图像的动作评价参数。该神经网络可以是通过带有动作评价参数的样本动作图像训练得到的,该样本动作图像的动作评价参数可以是由运营人员进行人为打分得到的。本实施例对神经网络的类型不作限制。
可选的,在一些实施例中,所述用户数据可以包括针对所述目标应用的用户分析数据,所述剧本内容可以包括数据分析工具图形,所述数据分析工具图形用于动态展示所述用户分析数据。
其中,用户分析数据具体可以是对初始用户数据分析得到的,本实施例对此不作限制,初始用户数据可以是用户在目标应用中产生的数据。比如,初始用户数据可以包括用户各项测试数据,用户分析数据可以包括用户的综合评价参数以及各项测试数据的评价参数等。
其中,目标剧本可以包括至少一个采用剧本方式呈现目标用户分析数据变化阶段的子剧本流程,子剧本流程对应的剧本模板画面包括用于展示目标用户分析数据变化阶段的剧本内容,剧本内容可以包括数据分析工具图形,所述数据分析工具图形承载所述子剧本流程对应的目标用户分析数据变化。数据分析工具图形可以视为该剧本视频中的剧本元素。数据分析工具图形的变化可以和目标用户分析数据变化相关联。
在一具体实施例中,目标应用为一电竞平台,用户参与电竞项目测试,其中,各项目可以包括专注力、抗压力、即战力、调度力、成就动机、多线加工以及手眼协调等,则用户分析数据包括各项目的测试分数以及通过对各项目测试分数的加权运算得到的综合测试分数。在目标剧本中,如何动态地展现测试分数可以视为一个子剧本流程,子剧本流程对应的剧本模板画面包括用于展示测试分数(即用户分析数据)变化阶段的数据分析工具图形,目标用户分析数据变化阶段具体可以是展现从综合测试分数到项目测试分数的变化过程。具体地,该数据分析工具图形可以如图1d所示,为一个正七边形,数据分析工具图形可以与测试分数融合,如综合测试分数可以展示在数据分析工具图形的正中间,各项目测试分数展示在数据分析工具图形的七个顶点周围。该子剧本流程可以是先展示测试分数中的综合测试分数,再展示各项目测试分数;可以基于子剧本流程,将数据分析工具图形与测试分数融合,生成测试分数的多个数据分析图像,其中,各数据分析图像动态地展示了测试分数,不同数据分析图像的透明通道参数不同,比如,有的数据分析图像中间的透明度较小、周围的透明度较大(如图1d所示),以突出综合测试分数,有的数据分析图像整体的透明度都比较小,以展示用户各项目测试分数和综合测试分数,通过数据分析图像体现目标用户分析数据变化阶段。可以基于预设的展示效果,确定这些数据分析图像的展示顺序,该预设展示效果可以是先展示综合测试分数,再展示各项目测试分数,其在剧本视频中表现为子剧本流程对应的剧本模板画面的数据分析图像从正中心到边缘逐渐展现的过程。
可选的,在一些实施例中,步骤“根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频”,可以包括:
基于所述数据分析工具图形和所述用户分析数据,生成所述用户分析数据的至少一个数据分析图像;
对所述数据分析图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧本对应的剧本模板画面;
对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
其中,可以将用户分析数据覆盖在数据分析工具图形的预设位置上,得到参考数据分析图像,该预设位置可以根据实际情况进行设置,本实施例对此不作限制;再基于子剧本流程,对参考数据分析图像的透明通道参数进行调整,得到数据分析图像。
其中,各数据分析图像的透明通道参数可以不同,以呈现动态变化的效果。基于各数据分析图像的透明通道参数,将各数据分析图像与目标剧本下的参考剧本模板画面进行融合,具体可以是在参考剧本模板画面上覆盖数据分析图像,得到目标剧本的各剧本模板画面,通过各剧本模板画面,可以动态地展示用户分析数据变化过程。
可选地,在一些实施例中,所述用户数据可以包括图像数据,所述目标剧本包括至少一个采用剧本方式呈现目标图像变化阶段的子剧本流程,所述子剧本流程对应的剧本模板画面包括用于展示目标图像变化阶段的剧本内容,所述剧本内容承载所述子剧本流程对应的目标图像变化。
其中,用户数据中的图像数据也可以是通过对视频进行视频帧抽取得到的。目标图像变化阶段具体可以是目标图像的透明度变化的过程,本实施例对此不作限制。
其中,将图像数据与剧本模板画面进行融合,具体可以是先确定图像数据所要融合的剧本模板画面,将该剧本模板画面作为目标剧本模板画面,再确定目标剧本模板画面中具体的融合位置,基于该图像数据的透明通道参数,在目标剧本模板画面上的融合位置上覆盖该图像数据对应的图像,得到融合有该图像数据的目标剧本模板画面。
可选地,该数据处理装置预设的图像数据也可以融合到剧本视频中,可以根据该图像数据在剧本视频中需要呈现的位置,来进行融合。比如,数据处理装置预设的图像数据可以是用于营销的二维码图片等。
在一具体实施例中,用户参与电竞项目,其导师对其的评价视频可以融合到剧本视频中。具体地,对导师评价视频进行视频帧抽取,得到至少一个导师评价图像,再将导师评价图像融合到剧本视频中。
可选地,在一些实施例中,所述用户数据包括用户文本数据,所述目标剧本包括至少一个采用剧本方式呈现目标文本变化阶段的子剧本流程,所述子剧本流程对应的剧本模板画面包括用于展示目标文本变化阶段的剧本内容,所述剧本内容承载所述子剧本流程对应的目标文本变化。
其中,目标文本变化阶段具体可以是目标文本从无到有的展现过程,本实施例对此不作限制。
其中,将用户文本数据与剧本模板画面进行融合,具体可以是先确定用户文本数据所要融合的剧本模板画面,将该剧本模板画面作为目标剧本模板画面,再确定目标剧本模板画面中具体的融合位置,基于用户文本数据的透明通道参数,在目标剧本模板画面上的融合位置上覆盖用户文本数据,得到融合有用户文本数据的目标剧本模板画面。
可选地,一些实施例中,该数据处理装置还可以在剧本视频中添加预设文本,比如,可以添加营销专题宣传语等等。
可选地,本实施例中,上述生成剧本视频的过程可以通过WebGL来渲染完成,基于webGL的特性,视频渲染生成的过程中可以完整融合透明通道的视频素材。
其中,WebGL(全写Web Graphics Library,网络图形库)是一种绘图协议,这种绘图技术标准可以基于openGL的web端图形库,在任何兼容的web浏览器中渲染高性能的交互式三维和二维图形。WebGL可以通过HTML脚本本身实现Web交互式三维动画的制作,无需任何浏览器插件支持;第二,它利用底层的图形硬件加速功能进行的图形渲染,是通过统一的、标准的、跨平台的OpenGL接口实现的。
其中,web(World Wide Web)即全球广域网,也称为万维网,它是一种基于超文本和HTTP(HyperText Transfer Protocol,超文本传输协议)的、全球性的、动态交互的、跨平台的分布式图形信息系统。
其中,openGL(Open Graphics Library)即开放式图形库,是用于渲染二维、三维矢量图形的跨语言、跨平台的应用程序编程接口。
其中,HTML(Hyper Text Markup Language)即超文本标记语言,超文本是一种组织信息的方式,它通过超级链接方法将文本中的文字、图表与其他信息媒体相关联。
在目前的相关技术中,一般通过图片媒体的形式静态展示用户在目标应用中产生的用户数据,即对用户文本、图片数据等进行拼接合成,来得到传统的图片格式报告,如图1e所示。与视频相比,图片无法表达出视频剧本的多样性,内容较为单薄,信息量少且传播力差。
目前,UGC内容二次创作展示还依赖于特定的系统平台上实现,由于系统面向用户,还需要考虑市场各种用户的硬件水平,作出对应的适配、性能兼容和效果降级,工作量大,效果也无法保证理想,在系统平台上实现的动画效果并不具备普适性,无法保证在所有用户平台上完美运行。另外,用户只能在对应平台进行浏览,浏览时界面存在大量冗余元素,无法获得脱离于平台的高质量视频媒体,该方案也不具备跨平台的分享能力。其中,系统平台可以指web端、应用程序(APP,Application)等。
本申请能够为用户的个人数据提供定制化的剧本视频生成,该剧本视频具备剧本效果、转场效果。具体地,可以在服务器端生成该剧本视频,从服务器端可以获得更高清晰度、更稳定、同时内容更安全可靠的UGC剧本视频。由于视频生成在服务端完成,视频渲染的质量由服务器决定,也能最大程度确保最终的视频成品效果,无需考虑大量用户客户端的兼容工作。此外,借助于视频播放的高兼容性,剧本视频的跨平台效果大大提升,能够投放于当前各大主流互联网渠道,没有平台的限制,如常见的聊天应用。
在一具体实施例中,目标应用为电竞应用平台,可以基于本实施例提供的方法生成电竞剧本视频报告。用户参与项目分数测试,获得专项能力得分和导师指导评语(如导师讲解视频)后,将激活系统的webGL渲染流水线,在服务端生成能够对用户测试情况进行整体分析的剧本视频报告。剧本视频报告可以包含报告介绍说明、用户各维度的数据展示、转场、导师互动指导、结束语等。
其中,可以将导师讲解视频流处理为透明通道的mov视频,导师讲解视频可以如图1f所示,同时,在webGL渲染运行时,需要将mov视频文件处理为兼容的webm格式。其中,mov是一种音频、视频文件格式,用于存储常用数字媒体类型。
在服务端,可以使用canvas开发剧本流程和转场动画。web标准下,webm的透明通道可以得到完美支持,能够在剧场渲染过程中,灵活调整透明通道的阿尔法通道值,实现透明度的自由编辑。在canvas中,通过将webm素材视频(即导师素材视频)进行逐帧拆解,转化为材质数据,来融合渲染到已有的剧场canvas中。其中,Webm是一个开放、免费的媒体文件格式。
完成canvas的剧场渲染开发后,可以基于vp8/vp9多媒体格式和Media StreamRecording API(媒体录制的应用程序编程接口),对canvas渲染数据进行处理,得到webm剧本视频。Canvas剧场渲染的整个过程,都发生在服务端的puppeteer进程中。当服务端监听到puppeteer完成渲染,并得到最终webm结果视频后,流程进入视频后期处理阶段。在后期处理阶段,使用Fluent-ffmpeg对视频进行二次处理,包括h264格式转化,音视频补充等,并在完成处理后,可以将结果mp4视频上传到云端存储,供用户访问和下载传播。
其中,Canvas即“画布”,它是游戏中所有UI(User Interface,用户界面)组件的“容器”。h264是一种数字视频压缩格式。puppeteer(操纵)是一个Node(节点)库,它提供了一个高级应用程序编程接口来模拟浏览器的运行。
其中,vp8是一种开放的图像压缩格式,vp9是一种开放格式、无使用授权费的视频压缩标准。mp4(Moving Picture Experts Group 4,动态图像专家组)是一套用于音频、视频信息的压缩编码标准。
具体地,剧本视频呈现的用户数据变化可以参考图1g和图1h,用户数据可以包括图像数据(如人物图像)和文字数据(如导师寄语),可以基于目标剧本,以剧本视频的形式动态展示用户数据,比如,该目标剧本可以为将导师寄语逐字展现、以及通过透明度逐渐展现人物图像;如图1g所示,视频播放到11秒时视频画面中人物图像的透明度较高,文字数据也只显示一部分,随着剧本视频的播放,文字数据和人物图像逐渐显示出来(如图1h所示)。
本申请可以基于用户自定义的文本、图片、音视频数据,融合透明通道进行多媒体融合与视频合成,得到基于目标剧本动态展示用户数据的剧本视频。
由上可知,本实施例电子设备可以当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。本申请实施例可以以剧本视频的方式动态展示用户数据,丰富了用户数据的展示形式。
根据前面实施例所描述的方法,以下将以该数据处理装置具体集成在服务器举例作进一步详细说明。
本申请实施例提供一种数据处理方法,如图2a所示,该数据处理方法的具体流程可以如下:
201、终端展示所述目标应用的数据上传页面。
202、当检测到针对所述数据上传页面中上传控件的操作时,终端向服务器上传所述用户在目标应用中的用户数据。
其中,数据上传页面可以包括用户数据对应的上传控件,针对上传控件的操作具体可以是点击操作、滑动操作等等,本实施例对此不作限制。通过对该上传控件的操作,可以将终端本地的用户数据传送给服务器;当服务器获取到用户数据时,服务器可以触发终端展示剧本选择页面。
其中,用户数据可以是用户自行选择上传到服务器的,也可以是服务器向终端发送获取用户数据的指令,终端基于该指令向服务器发送用户数据。可选的,在一些实施例中,目标应用下的用户数据存储在服务器的数据库中,服务器可以从该数据库中获取目标应用中的用户数据,并基于该用户数据,生成剧本视频。
在提交用户数据后,用户还可以选择对用户数据进行调整筛选,将调整筛选后的用户数据作为制作剧本视频的素材。服务器也可以对提交的用户数据进一步筛选。
203、当服务器接收到用户在目标应用中的用户数据时,服务器触发终端展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本。
204、服务器响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面。
其中,参考剧本模板画面具体可以是场景模板画面,它可以通过对三维场景模型渲染得到的。
具体地,在一实施例中,目标应用为街舞应用,如图2b所示,用户可以基于对动作上传页面(即上述实施例的数据上传页面)中的上传新动作的控件的触发操作,上传新的动作视频。该数据处理装置可以从上传的所有动作视频中提取用户动作数据;用户也可以从上传的所有动作视频中选取目标视频,该数据处理装置从该目标视频中提取用户动作数据。在确定所要提取用户动作数据的视频后,服务器将对动作视频进行识别分析,得到用户动作数据。
其中,服务器可以使用Tensorflow(张量流)处理分析动作视频,转化为动作数据。TensorFlow是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现。
在上传动作视频之后,用户可以选择从多个候选虚拟剧本角色中选取虚拟剧本角色作为承载用户动作数据的对象;或者,服务器也可以自行确定虚拟剧本角色。
可选地,在该街舞应用中的剧本视频有两种不同的模式,分别是个人模式和斗舞模式。对于斗舞模式,用户还可以选取斗舞对象,即对抗虚拟剧本角色,其中,斗舞交互页面可以参考图2c,在该斗舞交互页面中,用户可以基于对斗舞对象的选择控件(即“这里是用户名、区服信息”对应的图标)的操作,选取对抗虚拟剧本角色。在另一些实施例中,服务器也可以自行确定对抗虚拟剧本角色。
可选地,剧本视频的生成可以通过WebGL渲染技术实现。首先需要在web端实现或设置好webGL参考剧本模板画面和目标剧本,比如场景动画、转场信息、以及其他剧本元素等等。在webGL渲染管线中,程序进行场景模型、3D模型动作的导入和动画特效实现,期间融合用户数据,在webGL环境中进行渲染,最后可以按vp8/vp9协议转化渲染数据为视频文件,合成通用的mp4视频。
本实施例中,可以采用Three.js引擎进行场景模型搭建。Three.js是一款运行在浏览器中的三维引擎,可以用于创建各种三维场景,它包括了摄影机、光影、材质等各种对象。具体地,可以基于Three.js的MMDLoader(mikumikudance loader,模型加载)模块,让Web端加载三维模型(即虚拟剧本角色对应的三维人物模型)和骨骼数据,并能匹配动作帧数据、驱动虚拟剧本角色做出对应动作。
其中,Three.js为Javascript 3D library(三维库,three-dimensional),它对WebGL进行了封装,让前端开发人员在不需要掌握很多数学知识和绘图知识的情况下,也能够轻松进行web 3D开发,降低了门槛,同时大大提升了效率。
其中,参见图2d和图2e,虚拟剧本角色的动作与动作视频中的动作相对应。可选地,如图2d和图2e所示,剧本视频的剧本模板画面还可以融合有动作视频中对应的画面(具体可以是真人动作画面),针对同一剧本模板画面,剧本模板画面中的虚拟剧本角色的动作和剧本模板画面中的动作视频画面的动作是对应的。
205、服务器根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
在生成用户数据对应的剧本视频后,服务端可以上传剧本视频到云端进行存储。用户可直接访问该剧本视频,或自行将剧本视频进行下载,并在其他社交平台上分享。
在一具体实施例中,目标应用为舞蹈应用,参见图2f,为生成剧本视频的流程,具体如下所述:
2001、用户进入目标应用的应用界面;
2002、当用户需要基于用户动作数据生成剧本视频时,检测目标应用对应的数据库是否存在该用户的个人动作数据,若否,则需要用户上传舞蹈视频,并对该舞蹈视频中的动作进行识别,得到三维人物动作数据;若是,执行步骤2003;
2003、当用户选择的是斗舞模式时,确定斗舞对象,若用户选择的是个人模式,可以跳过本步骤;
2004、对待融合的三维场景和人物模型(虚拟剧本角色对应的模型)等数据进行修改;
2005、在修改完毕后,对所有待融合的数据进行提交,即提交待生成的剧本视频(斗舞视频)所需要的多方斗舞数据;
2006、提交数据后,进入服务端渲染队列;
2007、当队列进程到达该斗舞视频时,服务器可以基于多方斗舞数据,通过webGL渲染三维场景和斗舞过程,得到动画流数据;
2008、将动画流数据转化为webm视频;
2009、将webm视频转化为h264mp4视频;
20010、通过Fluent-ffmpeg(流畅的ffmpeg)模块进行音视频的处理,得到剧本视频;
20011、对剧本视频进行分享和传播。
其中,Webm是一个开放、免费的媒体文件格式。h264是一种数字视频压缩格式。Ffmpeg(Fast Forward Mpeg,快进mpeg)是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序,它提供了录制、转换以及流化音视频的完整解决方案。mpeg(Moving Picture Experts Group,动态图像专家组),是一种针对运动图像和语音压缩的标准。
其中,服务端主要可以划分为http服务和视频渲染两个部分。http服务与客户端联通,提供用户数据提交,结果反馈等功能。视频渲染时单独的队列进程,监听由http服务所产生的新进队列变化,拆解用户数据以驱动视频渲染,具体为开启puppeteer完成webGL的渲染,并监听视频文件的生成。完成后,进行视频的二次开发,添加音轨,材质数据和视频融合,完成后将文件上传到云端供用户访问或下载,并标记任务完成,准备开启下一个视频渲染任务。
服务端可以使用PM2作进程管理,并对视频的渲染流程进行监控和日志记录。用户每次发起互动操作,都将重复上述视频渲染过程。项目架构可以参见图2g。其中,pm2是一个进程管理工具,可以用它来管理node进程,并查看node进程的状态,当然也支持性能监控,进程守护,负载均衡等功能。进程管理工具可以包括对服务端和webGL(网络图形库)页面的管理。其中,服务端可以包括http接口服务模块、动作数据分析模块、渲染进程模块;webGL页面可以包括三维渲染/模型加载引擎模块(Three.js/MMD Loader)、动画驱动模块、webGL渲染模块和流媒体数据转webm视频模块。
由上可知,本实施例可以通过终端展示所述目标应用的数据上传页面;当检测到针对所述数据上传页面中上传控件的操作时,终端向服务器上传所述用户在目标应用中的用户数据;当服务器接收到用户在目标应用中的用户数据时,服务器触发终端展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;服务器响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。本申请实施例可以以剧本视频的方式动态展示用户数据,丰富了用户数据的展示形式。
为了更好地实施以上方法,本申请实施例还提供一种数据处理装置,如图3a所示,该数据处理装置可以包括展示单元301、确定单元302和生成单元303,如下:
(1)展示单元301;
展示单元301,用于当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本。
(2)确定单元302;
确定单元302,用于响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面。
(3)生成单元303;
生成单元303,用于根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
可选的,在本申请的一些实施例中,所述用户数据包括用户动作数据,所述剧本内容包括虚拟剧本角色,所述虚拟剧本角色承载所述用户动作数据。
可选的,在本申请的一些实施例中,所述用户数据包括针对所述目标应用的用户分析数据,所述剧本内容包括数据分析工具图形,所述数据分析工具图形用于动态展示所述用户分析数据。
可选的,在本申请的一些实施例中,所述生成单元303可以包括识别子单元3031和第一生成子单元3032,参见图3b,如下:
所述识别子单元3031,用于对动作视频中的动作进行识别,得到用户动作数据;
第一生成子单元3032,用于基于所述用户动作数据和所述目标剧本下的参考剧本模板画面,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述虚拟剧本角色的至少一个动作图像,所述动作图像中的动作与识别到的用户动作数据相对应。
可选的,在本申请的一些实施例中,所述第一生成子单元3032具体可以用于基于所述虚拟剧本角色的骨骼数据和所述用户动作数据,生成所述虚拟剧本角色的至少一个动作图像;对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面;对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
可选的,在本申请的一些实施例中,步骤“对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面”,可以包括:
获取所述动作图像的透明通道参数;
基于所述动作图像的透明通道参数,在所述目标剧本下的参考剧本模板画面上覆盖所述动作图像,得到所述目标剧情对应的剧本模板画面。
可选的,在本申请的一些实施例中,所述用户数据还包括用户音频数据;步骤“对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频”,可以包括:
对所述剧本模板画面进行合成处理,得到合成后视频;
将所述用户音频数据添加至所述合成后视频的预设位置,得到用于动态展示所述用户数据的剧本视频。
可选的,在本申请的一些实施例中,所述剧本视频还包括对抗虚拟剧本角色对应的动作图像、以及转场信息;
所述虚拟剧本角色对应的动作图像、以及所述对抗虚拟剧本角色对应的动作图像之间通过所述转场信息进行切换。
可选的,在本申请的一些实施例中,所述生成单元303可以包括第二生成子单元3033、融合子单元3034和第三生成子单元3035,参见图3c,如下:
所述第二生成子单元3033,用于基于所述数据分析工具图形和所述用户分析数据,生成所述用户分析数据的至少一个数据分析图像;
融合子单元3034,用于对所述数据分析图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧本对应的剧本模板画面;
第三生成子单元3035,用于对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
可选的,在本申请的一些实施例中,所述数据处理装置还可以包括上传页面展示单元304和上传单元305,参见图3d,如下:
所述上传页面展示单元304,用于展示所述目标应用的数据上传页面;
上传单元305,用于当检测到针对所述数据上传页面中上传控件的操作时,上传所述用户在目标应用中的用户数据。
由上可知,本实施例可以当获取到用户在目标应用中的用户数据时,由展示单元301展示剧本选择页面,剧本选择页面包括至少一个剧情对应的剧本;通过确定单元302响应于对剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;由生成单元303根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,剧本视频包括所述目标剧情对应的至少一个剧本模板画面,剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。本申请实施例可以生成用于动态展示用户数据的剧本视频,丰富了用户数据的展示形式。
本申请实施例还提供一种电子设备,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,该电子设备可以是终端或者服务器等,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,若该电子设备为终端,其还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例可以当获取到用户在目标应用中的用户数据时,展示剧本选择页面,剧本选择页面包括至少一个剧情对应的剧本;响应于对剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,剧本视频包括所述目标剧情对应的至少一个剧本模板画面,剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。本申请实施例可以生成用于动态展示用户数据的剧本视频,丰富了用户数据的展示形式。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法中的步骤。例如,该指令可以执行如下步骤:
当获取到用户在目标应用中的用户数据时,展示剧本选择页面,剧本选择页面包括至少一个剧情对应的剧本;响应于对剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,剧本视频包括所述目标剧情对应的至少一个剧本模板画面,剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种数据处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述数据处理方面的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种数据处理方法、装置、电子设备和存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种数据处理方法,其特征在于,包括:
当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;
响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;
根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
2.根据权利要求1所述的方法,其特征在于,所述用户数据包括用户动作数据,所述剧本内容包括虚拟剧本角色,所述虚拟剧本角色承载所述用户动作数据。
3.根据权利要求1所述的方法,其特征在于,所述用户数据包括针对所述目标应用的用户分析数据,所述剧本内容包括数据分析工具图形,所述数据分析工具图形用于动态展示所述用户分析数据。
4.根据权利要求2所述的方法,其特征在于,所述根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,包括:
对动作视频中的动作进行识别,得到用户动作数据;
基于所述用户动作数据和所述目标剧本下的参考剧本模板画面,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述虚拟剧本角色的至少一个动作图像,所述动作图像中的动作与识别到的用户动作数据相对应。
5.根据权利要求4所述的方法,其特征在于,所述基于所述用户动作数据和所述目标剧本下的参考剧本模板画面,生成用于动态展示所述用户数据的剧本视频,包括:
基于所述虚拟剧本角色的骨骼数据和所述用户动作数据,生成所述虚拟剧本角色的至少一个动作图像;
对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面;
对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
6.根据权利要求5所述的方法,其特征在于,所述对所述动作图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧情对应的剧本模板画面,包括:
获取所述动作图像的透明通道参数;
基于所述动作图像的透明通道参数,在所述目标剧本下的参考剧本模板画面上覆盖所述动作图像,得到所述目标剧情对应的剧本模板画面。
7.根据权利要求5所述的方法,其特征在于,所述用户数据还包括用户音频数据;所述对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频,包括:
对所述剧本模板画面进行合成处理,得到合成后视频;
将所述用户音频数据添加至所述合成后视频的预设位置,得到用于动态展示所述用户数据的剧本视频。
8.根据权利要求4所述的方法,其特征在于,所述剧本视频还包括对抗虚拟剧本角色对应的动作图像、以及转场信息;
所述虚拟剧本角色对应的动作图像、以及所述对抗虚拟剧本角色对应的动作图像之间通过所述转场信息进行切换。
9.根据权利要求3所述的方法,其特征在于,所述根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,包括:
基于所述数据分析工具图形和所述用户分析数据,生成所述用户分析数据的至少一个数据分析图像;
对所述数据分析图像和所述目标剧本下的参考剧本模板画面进行融合,得到所述目标剧本对应的剧本模板画面;
对所述剧本模板画面进行合成处理,生成用于动态展示所述用户数据的剧本视频。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
展示所述目标应用的数据上传页面;
当检测到针对所述数据上传页面中上传控件的操作时,上传所述用户在目标应用中的用户数据。
11.一种数据处理装置,其特征在于,包括:
展示单元,用于当获取到用户在目标应用中的用户数据时,展示剧本选择页面,所述剧本选择页面包括至少一个剧情对应的剧本;
确定单元,用于响应于对所述剧本选择页面中剧本的选择操作,确定目标剧本,所述目标剧本包括目标剧情对应的参考剧本模板画面;
生成单元,用于根据所述目标剧本,生成用于动态展示所述用户数据的剧本视频,所述剧本视频包括所述目标剧情对应的至少一个剧本模板画面,所述剧本模板画面是通过所述用户数据和所述参考剧本模板画面融合得到的,所述剧本模板画面包括用于在所述目标剧本下动态呈现所述用户数据的剧本内容。
12.一种电子设备,其特征在于,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至10任一项所述的数据处理方法中的步骤。
13.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至10任一项所述的数据处理方法中的步骤。
CN202110098243.3A 2021-01-25 2021-01-25 一种数据处理方法、装置、电子设备和存储介质 Pending CN112734883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110098243.3A CN112734883A (zh) 2021-01-25 2021-01-25 一种数据处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110098243.3A CN112734883A (zh) 2021-01-25 2021-01-25 一种数据处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112734883A true CN112734883A (zh) 2021-04-30

Family

ID=75595314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110098243.3A Pending CN112734883A (zh) 2021-01-25 2021-01-25 一种数据处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112734883A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727039A (zh) * 2021-07-29 2021-11-30 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN113946210A (zh) * 2021-09-16 2022-01-18 武汉灏存科技有限公司 动作交互展示系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727039A (zh) * 2021-07-29 2021-11-30 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN113946210A (zh) * 2021-09-16 2022-01-18 武汉灏存科技有限公司 动作交互展示系统及方法
CN113946210B (zh) * 2021-09-16 2024-01-23 武汉灏存科技有限公司 动作交互展示系统及方法

Similar Documents

Publication Publication Date Title
CN111294663B (zh) 弹幕处理方法、装置、电子设备及计算机可读存储介质
US20200185006A1 (en) System and method for presenting a visual instructional video sequence according to features of the video sequence
CN112734883A (zh) 一种数据处理方法、装置、电子设备和存储介质
JP2022500795A (ja) アバターアニメーション
CN112287848A (zh) 基于直播的图像处理方法、装置、电子设备和存储介质
US20230027035A1 (en) Automated narrative production system and script production method with real-time interactive characters
CN115713877A (zh) 适用于船舶机电装备故障信息模拟的故障排除引导方法
TWI575457B (zh) 線上互動式三維多媒體編輯交流架構、編輯交流方法及其電腦可讀取媒體
EP2620933A1 (en) Method and system for automated production of audiovisual animations
Prado et al. 360RAT: a tool for annotating regions of interest in 360-degree videos
Bennett et al. Teaching visual storytelling for virtual production pipelines incorporating motion capture and visual effects
Bodini et al. Using immersive technologies to facilitate location scouting in audiovisual media production: a user requirements study and proposed framework
CN115379278B (zh) 基于扩展现实(xr)技术沉浸式微课的录制方法及系统
US20130182183A1 (en) Hardware-Based, Client-Side, Video Compositing System
Rodrigues et al. A field, tracking and video editor tool for a football resource planner
Wang et al. Augmented Reality and Quick Response Code Technology in Engineering Drawing Course
Meixner et al. Creating and presenting interactive non-linear video stories with the SIVA Suite
Jin et al. Volumivive: An Authoring System for Adding Interactivity to Volumetric Video
Al Hashimi Building 360-degree VR video for AquaFlux and Epsilon research instruments
Zhenrui Study on multi-media physical education based on computer platform
Li et al. A system design to create mixed 360 video and 3d content for virtual field trip
Mendes et al. Exploring an AR-based user interface for authoring multimedia presentations
US20230326161A1 (en) Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
Michael Animating with Flash 8: creative animation techniques
Butterworth Emerging Technology and Interactive Feedback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042023

Country of ref document: HK