CN108876866B - 一种媒体数据处理方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种媒体数据处理方法，包括：获取已配置的每一转场模板的每一转场帧上每个像素点的色值数据；确定每个像素点对应的第一效果的色值占比；确定选择的转场模板；接收待转场的第一素材及第二素材；从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像；从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像；将第一素材中的第一帧图像与对应的第二素材中的第二帧图像通过转场模块生成合成图像，根据生成的各合成图像，获得第一素材与第二素材之间的合成素材。本申请还提出了相应的媒体数据处理装置及存储介质。

Description

一种媒体数据处理方法、装置及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种媒体数据处理方法、装置及存储介质。

背景技术

转场，是指段落与段落、场景与场景之间的过渡或转换。转场的方法很多，从连接方式上可分为技巧转场与无技巧转场。技巧转场常用于电影、电视剧的后期制作阶段，为其添加特定的效果，又称转场特效。使用转场特效，能够增强作品的艺术感染力，给观众带来一种逻辑上连贯、视觉上流畅的艺术效果。对于视频而言，转场特效是应用在播放序列中两个片段之间的编辑点上的特殊过渡效果，主要是为了避免一个片段剪辑后唐突地切换到另一个片段上，因此在中间加入一个转场特效，在前一个片段结束后与后一个片段开始的过渡期间形成一种随时间渐变的视频场景转换。利用转场特效手法，能够实现两个视频之间自然、具有美感的衔接。

发明内容

本申请实例提供了一种媒体数据处理方法，包括：

获取已配置的每一转场模板的每一转场帧上每个像素点的色值数据；其中，一个转场模板对应一个转场效果并包括至少一个转场帧；

根据所述色值数据，确定每个像素点对应的第一效果的色值占比；

确定选择的转场模板；

接收待转场的第一素材及第二素材；

从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像；

从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像；

针对任一所述第二帧图像，执行如下处理：

确定与该第二帧图像对应的所述选择的转场模板中的转场帧；

获取该第二帧图像中每个像素点的色值数据以及与该第二帧图像对应的第一帧图像中每个像素点的色值数据；及

根据该第二帧图像中每个像素点的色值数据、该第一帧图像中每个像素点的色值数据、所确定的转场帧上每一像素点对应的所述第一效果的色值占比，确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据，并根据所确定的每一个像素点的色值数据生成所述合成图像；及

根据针对各第二帧图像生成的各合成图像，获得第一素材与第二素材之间的合成素材。

本申请实例还提供了一种媒体数据处理装置，包括：

色值占比确定单元，用于获取已配置的每一转场模板的每一转场帧上每个像素点的色值数据；其中，一个转场模板对应一个转场效果并包括至少一个转场帧；根据所述色值数据，确定每个像素点对应的第一效果的色值占比；

转场模板确定单元，用于确定选择的转场模板；

素材接收单元，用于接收待转场的第一素材及第二素材；

转场帧图像确定单元，用于从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像；从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像；

合成图像确定单元，用于针对任一所述第二帧图像，执行如下处理：

确定与该第二帧图像对应的所述选择的转场模板中的转场帧；

获取该第二帧图像中每个像素点的色值数据以及与该第二帧图像对应的第一帧图像中每个像素点的色值数据；及

根据该第二帧图像中每个像素点的色值数据、该第一帧图像中每个像素点的色值数据、所确定的转场帧上每一像素点对应的所述第一效果的色值占比，确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据，并根据所确定的每一个像素点的色值数据生成所述合成图像；及

合成素材获取单元，用于根据针对各第二帧图像生成的各合成图像，获得第一素材与第二素材之间的合成素材。

本申请实例还提供了一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行上述所述媒体数据处理方法中的操作。

采用本申请提供的上述方案，能够利用转场模板对媒体素材进行转场处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请实例涉及的系统架构图；

图1B是本申请一实例媒体数据处理方法的流程图；

图2是本申请一实例转场模板结构示意图；

图3是本申请一实例选取第一帧图像及第二帧图像的结构示意图；

图4是本申请一实例使用模板转场处理的效果图；

图5是本申请一实例用户自己创建的转场模板中的一个转场帧及对应的合成图片的效果图；

图6是本申请一实例媒体数据处理装置的结构示意图；以及

图7为本申请实例中的计算设备组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提出了一种媒体数据处理方法，其可以应用在终端侧的视频编辑工具，也可以应用在服务器侧的视频编辑工具。采用本申请的媒体数据处理方法可以将要生成视频的素材之间进行转场处理。当本申请的媒体数据处理方法应用在终端侧的视频编辑工具时，采用本申请的媒体数据处理方法可以对用于生成视频的素材进行转场处理。终端可响应于用户的选择操作确定用户选择的转场模板，根据该转场模板对待转场的素材进行转场处理，进而生成合成视频。当本申请的媒体数据处理方法应用在服务器侧的视频编辑工具时，终端响应于用户的选择操作确定用户选择的转场模板，并将确定的转场模板发送给服务器。终端同时将用于生成视频的素材发送给服务器，服务器将这些素材按照所述转场模板进行转场处理，最终将转场处理后得到的合成视频或者该合成视频的链接发送给终端，以使终端可以播放此合成视频。该终端可以为诸如手机、平板、掌上电脑、可穿戴设备等便携式终端设备，也可以为台式机、笔记本电脑等PC，也可以为智能电视等各种智能设备。

本申请提供的媒体数据处理方法可应用于图1A所示的系统构架中。如图1A所示，该系统构架包括：客户端111、服务112，客户端111与服务器112之间通过互联网113进行通信。客户端111可以根据用户选择的转场模板以及用户选择的素材，将所述素材根据所述转场模板进行转场处理，生成视频。客户端111进而可以将生成的视频发送给服务器112，例如该服务器112为视频服务器，客户端111将生成的视频发送给视频服务器112，以用于视频发布等。此外客户端111还可以向服务器112发送视频生成请求，由服务器112生成视频，进而将生成的视频或生成视频的链接发送给客户端111。该客户端为终端中的用于视频编辑的客户端，该服务器可以为各种能够向用户提供数据处理服务的服务器，例如为用于视频合成、视频处理的服务器。具体地，终端中的客户端111响应于用户的选择操作确定用户选择的转场模板的标识，并将确定的转场模板的标识发送给服务器112，服务器112根据转场模板的标识确定转场模板。终端中的客户端111同时将用于生成视频的素材发送给服务器112，服务器112将这些素材按照所述转场模板进行转场处理，最终将转场处理后得到的合成视频或者该合成视频的链接发送给终端中的客户端111，以使终端中的客户端111可以播放此合成视频。该终端可以为诸如手机、平板、掌上电脑、可穿戴设备等便携式终端设备，也可以为台式机、笔记本电脑等PC，也可以为智能电视等各种智能设备。

在一些实例中，本申请提出的一种媒体数据处理方法，如图1B所示，包括以下步骤

步骤101：获取已配置的每一转场模板的每一转场帧上每个像素点的色值数据；其中，一个转场模板对应一个转场效果并包括至少一个转场帧；根据所述色值数据，确定每个像素点对应的第一效果的色值占比。

转场模板是在终端或者服务器存储的转场模板，一个转场模板对应一个转场效果，对于待合成的素材A及素材B，所述转场效果包括合成图像中与素材A相对应的第一效果及与素材B相对应的第二效果。转场模板中包括多个转场帧。模板中的转场帧的个数与媒体的帧频及转场时间间隔有关，帧频(frame rate)是指每秒钟放映或显示的帧或图像的数量，帧频用于电影、电视或视频的同步音频和图像中，24、25和30帧每秒的SMPTE时间代码帧频是通用的，每种用于行业中不同部分，电影的专业帧频是24帧每秒，电视的专业帧频在美国是30帧每秒。转场模板的开发者根据具体素材的帧频及转场时间确定转场模板中转场帧的个数，例如对于电影来说，电影的帧频为24帧每秒，当转场时间为1秒时，则应用在电影的转场模板中包括24帧转场帧。

这里，转场模板可以包括一个转场帧图像序列，也可以包括一个视频文件，从该视频文件中可以进一步提取出转场帧图像序列，这样，就可以从转场帧图像序列中获取到转场模板中的每一转场帧的每个像素点的色值数据。

在一些实例中，转场帧图像为灰度图像，转场帧的色彩模式采用RGB色彩模式，每一个的像素点的色值数据采用RGB值，RGB色彩模式是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。转场帧为灰度图像，其RGB值中红、绿、蓝三个通道的值是一样的，根据转场帧上每个像素点的RGB值确定每个像素点的灰度值，根据该像素点的灰度值确定第一效果的色值占比。

这里，第一效果对应图像逐渐退出的效果(如淡出效果)，第二效果对应图像逐渐进入的效果(如淡入效果)，第一效果的色值占比对应逐渐退出的图像的色值占比，第二效果的色值占比对应逐渐进入的图像的色值占比。

在一些实例中，转场帧图像为灰度图像，转场帧的色彩模式采用灰度模式，该灰度图像显示从最暗黑色到最亮白色的灰度。在一些实例中，该灰度图像采用256色灰度图像，即在黑色与白色之间还有256级的颜色深度。如图2所示为包括6帧转场帧的转场模板，该转场模板包括转场帧M1、M2、M3、M4、M5、M6、，每一帧转场帧为256色灰度图像。转场模板还可以有其他的形式，可以包括任意数量的转场帧，每一转场帧可以为任意形式的灰度图像。针对一转场模板中的一转场帧，遍历该转场帧的每个像素点的灰度值数据，根据该灰度值数据，确定每个像素点对应的第一效果的色值占比。还如图2所示的转场模板，图4为两帧图像，帧图像A及帧图像B采用该图2所示的转场模板进行转场的效果图。当帧图像A及帧图像B采用该转场模板中的转场帧C1进行转场时，转场帧C1中的像素点为全黑色，代表合成图像的每个像素点上采用帧图像A在对应像素点的色彩，效果如图4中的M1所示。转场帧C6中像素点为全白色，代表合成图像的每个像素点上采用帧图像B在对应像素点的色彩，效果如图4中的M6所示。当转场帧中一像素点为灰色时，如转场帧M2中黑色与白色之间过渡区域的色彩为灰色的像素点，代表合成图像的该像素点上采用帧图像A在该像素点的色彩以及帧图像B在该像素点的色彩的合成色彩，根据转场帧中该像素点的灰度值确定帧图像A中该像素点的色彩占比，帧图像A中该像素点的色彩占比即为第一效果的色值占比。转场帧上一个像素点对应的第一效果的色值占比可以根据转场帧上该像素点的灰度值与转场模板中的预设最大灰度值的比值来确定。在后续处理中，对于一个像素点，可以根据帧图像A中该像素点的色彩占比确定帧图像B中该像素点的色彩占比，即根据第一效果的色彩占比可以确定第二效果的色彩占比。第一效果的色值占比可以对应播放时间靠前的素材对应的色值占比，也可以对应播放时间靠后的素材对应的色值占比，反之也可以，开发者在生成模板时对第一效果的色值占比进行定义。

步骤102：确定选择的转场模板，接收待转场的第一素材及第二素材。

这里，可以响应于用户操作而确定用户选择的转场模板，也可利用预先配置的规则或算法自动选择转场模板。

当本申请的媒体数据处理方法应用在终端侧的视频编辑工具时，采用本申请的媒体数据处理方法可以对用于生成视频的素材进行转场处理。终端响应于用户的选择操作确定用户选择的转场模板，根据该转场模板对素材进行转场处理。当本申请的媒体数据处理方法应用在服务器侧的视频编辑工具时，终端响应于用户的选择操作确定用户选择的转场模板，并将确定的转场模板发送给服务器。服务器将素材按照所述转场模板进行转场处理，最终将转场处理后的合成视频发送给终端。终端或者服务器同时确定待转场的第一素材及第二素材，该待转场的第一素材及第二素材可以是用户输入的待合成素材，也可以是通过其他应用程序抓取的素材，例如抓取的互联网络上的视频或图片素材。该第一素材可以为播放时间靠前的素材，该第二素材可以为播放时间靠后的素材。

步骤103：从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像；从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像。

确定第一素材的待合成的第一帧图像及第二素材的待合成的第二针图像时，同样根据具体素材的帧频及转场时间确定第一帧图像、第二帧图像的个数。例如对于电影来说，电影的帧频为25HZ，当转场时间为1秒时，则第一帧图像的个数为25，第二帧图像的个数为25。第一帧图像的个数与第二帧图像的个数相同，同时与所述选择的转场模板中的转场帧的个数相同。

针对任一所述第二帧图像，执行如下处理：

步骤104：确定与该第二帧图像对应的所述选择的转场模板中的转场帧。

当第二帧图像包括帧图像序列：B1、B2、B3，第一帧图像包括帧图像序列：A1、A2、A3，所述帧图像序列按照时间顺序进行编号及排序。所选择的转场模板包括转场帧序列：C1、C2、C3，当第一素材为播放时间靠前的素材，第二素材为播放时间靠后的素材时。对于第二帧图像B1，则选择第一帧图像A1及转场帧C1进行图像合成；对于第二帧图像B2，则选择第一帧图像A2及转场帧C2进行图像合成；对于第二帧图像B3，则选择第一帧图像A3及转场帧C3进行图像合成。

步骤105：获取该第二帧图像中每个像素点的色值数据以及与该第二帧图像对应的第一帧图像中每个像素点的色值数据。

在终端或者服务器确定待转场的第一素材及第二素材后，分别对第一素材及第二素材进行预处理，将第一素材及第二素材输出为时间长度相等的序列帧图像，同时第一素材的序列帧图像中的帧图像的大小与第二素材的序列帧图像中的帧图像的大小相等，帧图像的长、宽、高相等，同时与所述选择的转场模板的转场帧的图像大小一致。对于所述第二帧图像中的每个像素点，在对应的第一帧图像及转场中确定与其对应的像素点。

获取第二帧图像中每个像素点的色值数据以及第一帧图像中每个像素点的色值数据。在一些实例中，第一素材及第二素材的色彩采用RGB色彩模式，RGB色彩模式是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。例如粉色的RGB值为(255、192、203)，即粉色的红、绿、蓝三个通道的值分别为255、192、203。获取第二帧图像中每个像素点的RGB值，同时获取与第二帧图像相对应的第一帧图像中每个像素点的RGB值。

步骤106：根据该第二帧图像中每个像素点的色值数据、该第一帧图像中每个像素点的色值数据、所确定的转场帧上每一像素点对应的所述第一效果的色值占比，确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据，并根据所确定的每一个像素点的色值数据生成所述合成图像。

对于第二帧图像上的一个像素点，确定第一帧图像上、转场帧上与该像素点对应的像素点，根据第二帧图像上该像素点的RGB值、第一帧图像上对应像素点的RGB值、以及转场帧对应像素点的第一效果的色值占比，确定合成图像上该像素点的RGB值，根据合成图像上每个像素点的色彩，从而生成合成图像。

步骤107：根据所生成的各合成图像，获得第一素材与第二素材之间的合成素材。

例如素材A包括帧图像序列：A1、A2、A3、A4、A5、A6、A7，素材B包括帧图像序列：B1、B2、B3、B4、B5，根据转场时间及素材的帧频条件，确定将素材A中的帧图像A5、A6、A7与素材B中的帧图像B1、B2、B3进行合成，以实现过渡转场，选择的转场模板包括转场帧序列C1、C2、C3，则A5与B1通过C1合成图像M1；A6与B2通过C2合成图像M2；A7与B3通过C3合成图像M3；则得到合成素材A1、A2、A3、A4、M1、M2、M3、B4、B5。

采用本申请提供的媒体数据处理方法，采用模板合成第一帧图像与第二帧图像，多个合成图像形成合成图像序列帧，从而来实现两段不同素材的转场过渡。采用模板进行转场处理可以简化媒体自动化产品的开发流程，实现设计和程序分离。转场模板可由设计师独立设计完成，在增加新的转场模板时，只要读取该新的转场模板的转场帧上的像素点的灰度值就可以实现转场处理，对程序块不需要改动，扩展性强。

在一些实例中，本申请提出的媒体数据处理方法，进一步包括以下步骤：

步骤S201：将所述确定的每个像素点对应的第一效果的色值占比保存在所述模板数据库中。

在进行素材转场处理之前，将每一个转场模板的每个转场帧上每个像素点对应的第一效果的色值占比保存在模板数据库中，便于后续对素材进行转场处理时，在模板数据库中查找每个像素点对应的第一效果的色值占比。

步骤S202：在确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据包括：从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比。

在将第二帧图像与第一帧图像进行合成时，对于确定的与第二帧图像对应的转场帧，在模板数据库中查找该转场帧上每个像素点对应的第一效果的色值占比。

针对所述合成图像上任一个像素点，执行以下操作：

步骤S203：根据查找到的所述像素点对应的所述第一效果的色值占比，确定第二效果的色值占比。

其中第一效果的色值占比与第二效果的色值占比加和为1，根据第一效果的色值占比，可以确定第二效果的色值占比。在保存时只包括第一效果的色值占比，在具体转场处理时再根据第一效果的色值占比计算第二效果的色值占比，这样可以节省存储空间。

步骤S204：根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

在一些实例中，本申请提出的媒体数据处理方法，进一步包括以下步骤：

步骤301：根据所述确定的每个像素点对应的第一效果的色值占比，确定每个像素点对应的第二效果的色值占比；将所述确定的每个像素点对应的所述第一效果的色值占比和所述第二效果的色值占比，保存在所述模板数据库中。

在上一实例中，只保存第一效果的色值占比，在本实例中，根据第一效果的色值占比确定第二效果的色值占比，将第一效果的色值占比与第二效果的色值占比都保存在模板数据库中。

步骤302：所述确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据包括：

从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比和第二效果的色值占比；

在进行第二帧图像与对应的第一帧图像进行合成处理时，对于选取的转场模板中确定的转场帧，在模板数据库中查找该转场帧上每个像素点对应的第一效果的色值占比及第二效果的色值占比。进而进行后续的图像合成。

步骤303：针对所述合成图像上任一个像素点，执行以下操作：

根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、查找到的所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

在一些实例中，所述确定每个像素点对应的第一效果的色值占比包括：

将该像素点上的灰度值与其所属转场模板中预设的最大灰度值的比值作为所述第一效果的色值占比。

转场帧的每个像素点的色彩为灰色，当转场帧的色彩模式采用灰度模式，使用256级灰度来表现图像。所述预设的最大灰度值为：255，对应白色，所述灰度值的最小值为0，对应黑色。将一个像素点的灰度值与255的比值作为所述第一效果的色值占比。当一个像素点为白色，所述第一效果的色值占比为1，当一个像素点为黑色时，所述第一效果的色值占比为0。当转场帧的色彩模式采用RGB色彩模式时，因为转场帧的每个像素点的色彩为灰色，对应的RGB三个通道的值相同。RGB的每个通道各有256级亮度，RGB值：(255、255、255)对应最大灰度值：255，所述预设的最大灰度值为：255，根据一个像素点的RGB值确定该像素点的灰度值，将该灰度值与255的比值作为所述第一效果的色值占比。例如，一个像素点的RGB值为(50、50、50)，则该像素点的第一效果的色值占比为：50/255。

其中，所述第二效果的色值占比为1与所述第一效果的色值占比的差值第一效果的色值占比与第二效果的色值占比的加和为1，根据第一效果的色值占比可以确定第二效果的色值占比。

所述确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据包括：

将所述第一帧图像上所述像素点上的色值数据与所述第一效果的色值占比做乘积处理，得到第一乘积。

对于要合成的第一帧图像：帧图像A，以及二帧图像：帧图像B，帧图像A的色彩占比对应第一效果的色值占比，帧图像B的色彩占比对应第二效果的色值占比。第一效果的色值占比可以对应播放时间靠前的素材对应的色值占比，第二效果的色值占比可以对应播放时间靠后的素材对应的色值占比，反之也可以。将帧图像A的像素点的RGB值与第一效果的色值占比进行乘处理，得到第一乘积。

将所述第二帧图像上所述像素点上的色值数据与所述第二效果的色值占比做乘积处理，得到第二乘积。

还如上例所示，将帧图像B的像素点的RGB值与第二效果的色值占比进行乘处理，得到第二乘积。

将所述第一乘积与所述第二乘积的加和作为所述合成图像上所述像素点的色值数据。

将得到的两个乘积结果进行加和，得到合成图像上该像素点的RGB值，根据该RGB值确定合成图像上该像素点的色彩。

在一些实例中，所述确定所述合成图像上所述像素点的色值数据包括：当所述转场帧上所述像素点为彩色时，将所述转场帧上所述像素点的色值确定为所述合成图像上所述像素点的色值数据。

在转场帧上设置一些彩色的logo，在对第一帧图像及第二帧图像通过所述转场帧进行合成时，希望在合成图像上显示转场帧上的logo，在转场帧上与所述logo对应的像素点色彩为彩色，其余部分为灰色，彩色部分的RGB值中三个通道的值不一样。在进行图像合成时，当识别转场帧上一个像素点为彩色图像时，第一效果的色值占比及第二效果的色值占比都为0，合成图像上对应的像素点色值为转场帧上对应像素点的色值。

在一些实例中，所述确定每个像素点对应的第一效果的色值占比包括：

针对每一像素点，将该像素点上的灰度值与其所属转场模板中预设的最大灰度值的比值作为所述第一效果的色值占比。

所述转场帧为灰度图像，在一些实例中，转场帧的色彩模式采用RGB色彩模式时，每一个像素点的三个通道的值相同，即RGB值中三个通道的值相同，根据RGB可以得到每个像素点的灰度值，将该灰度值与预设的最大灰度值的比值作为所述第一效果的色值占比。

在一些实例中，转场帧的色彩模式采用灰度模式，使用256级灰度来表现图像。所述预定色值为灰度的最大值：255，对应白色，所述灰度值的最小值为0，对应黑色。将一个像素点的灰度值与255的比值作为所述第一效果的色值占比。当一个像素点为白色，所述第一效果的色值占比为1，当一个像素点为黑色时，所述第一效果的色值占比为0。

在一些实例中，所述从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像包括：

根据转场的时间间隔及第一素材的帧频，确定所述第一帧图像的帧数M；

在所述第一素材的帧图像序列的尾部选取M个帧图像作为所述第一帧图像；

所述从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像包括：

在所述第二素材的帧图像序列的头部选取M个帧图像作为所述第二帧图像。

例如对于电影来说，电影的帧频为25HZ，当转场时间为1秒时，则第一帧图像、第二帧图像的个数为25。当第一素材的播放时间靠前、第二素材的播放时间靠后时，在第一素材的帧图像序列中的尾部选择25帧图像做转场处理，在第二素材的帧图像序列中头部选择25帧图像做转场处理。在具体的图像合成时，如图3所示，以第一素材及第二素材都选出6帧处理来做转场处理为例说明，在第一素材的尾部选取6帧图像做转场处理，第二素材头部选取6帧图像做转场处理。在图像合成时，图3中的虚线内的帧图像及转场帧上下相应对应。

在一些实例中，当所述第一素材为单帧图像，所述第二素材为单帧图像，所述选择的转场模板中的转场帧的个数为N时。即对单帧图像A及单帧图像B做转场过渡，选择的模板的转场帧个数为N。

所述从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像包括：

将所述第一素材中的单帧图像复制N次，将获得的N个帧图像作为所述第一帧图像；

所述从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像包括：

将所述第二素材中的单帧图像复制N次，将获得的N个帧图像作为所述第二帧图像。

将单帧图像B复制N此，将复制后的N帧图像作为所述第一帧图像。当将单帧图像A及单帧图像B采用图2所示的转场模板做转场处理时，将单帧图像A复制6次，单帧图像B复制6次，利用图2所示的转场模板转场后的效果如图4所示。

在一些实例中，本申请提出的媒体数据处理方法，进一步包括：接收用户创建或选择的转场模板；将接收到的所述转场模板配置在本地。

本申请提出的媒体数据处理方法还可在用户的客户端提供可视化用户界面(GUI)，用户可通过操作GUI来配置对应目标转场效果的转场模板的相关参数，进而能够根据自身想要的转场效果来设计转场模板，并在线添加自己设计的转场模板，该转场模板包括多个灰度图像组成的转场帧序列或者一个黑白视频文件。用户配置的转场模板的相关参数可包括：转场时间间隔(如转场持续三秒、转场持续四秒等)、媒体数据的帧频等参数，在配置转场模板的过程中，客户端可以根据转场时间间隔及帧频确定当前创建的转场模板所需的转场帧的个数，并可在GUI中提示用户需要上传的转场帧个数，或者提示用户上传时间长度与所述转场时间间隔相同、帧频与所述媒体数据的帧频相同的黑白视频文件。例如，媒体数据的帧频为25帧每秒，转场持续三秒，则在GUI中可提示需要上传75张序列图片或者提示用户上传时长为三秒、帧频为25帧每秒的黑白视频文件。对于转场模板为时长3秒的黑白视频文件，在后续的转场处理时，在转场模板的黑白视频文件中获取75张序列图片进行转场处理，同时根据该序列图片的色彩模式确定该转场模板的最大灰度值，用来计算前述色值占比。同时，当用户在转场模板中加入转场帧之后，客户端也可根据转场帧图像的色彩模式自动确定该转场模板对应的最大灰度值，该最大灰度值可用来计算前述的色值占比。此外，用户也可通过操作GUI来选择本地或者网络中提供的其它用户创建好的转场模板，该转场模板中可包含转场帧序列，也可包含转场时间间隔、帧频、最大灰度值等参数，转场模板也可以为同等时间长度的黑白视频文件。当用户创建或者选择好一转场模板后，可将转场模板上传到用于做转场处理的服务器或者保存在本地，进而可以将所创建或者选择的转场模板配置在用于做转场处理的终端或服务器中。转场形成的合成图像的视觉效果完全由用户自由创作的模板内容决定，形式和表现力都更为丰富多样化。如图5所示，图5(b)为用户自己设计的一转场模板中的转场帧，图5(a)为将两帧图像通过图5(b)所示的转场帧处理后的合成图像。该合成图像的视觉效果与转场帧的形式相对应。从而用户可以根据自己设计的转场模板对素材做转场处理，转场处理后得到的合成图像的视觉效果更加丰富多样。

在一些实例中，所述获得第一素材与第二素材之间的合成素材包括：

根据各合成图像，确定合成图像序列帧；

根据所述第一素材中除所述第一帧图像之外的图像，确定第一素材图像序列帧；

根据所述第二素材中除所述第二帧图像之外的图像，确定第二素材图像序列帧；

将所述第一素材图像序列帧、合成图像序列帧、第二素材图像序列帧按顺序组成的序列帧作为所述合成素材。

例如素材A包括帧图像序列：A1、A2、A3、A4、A5、A6、A7，素材B包括帧图像序列：B1、B2、B3、B4、B5，根据转场时间及素材的帧频条件，确定将素材A中的帧图像A5、A6、A7与素材B中的帧图像B1、B2、B3进行合成，以实现过渡转场，选择的转场模板包括转场帧序列C1、C2、C3，则A5与B1通过C1合成图像M1；A6与B2通过C2合成图像M2；A7与B3通过C3合成图像M3；则得到合成素材A1、A2、A3、A4、M1、M2、M3、B4、B5。

本申请还提供一种媒体数据处理装置600，如图6所示，包括：

色值占比确定单元601，用于获取已配置的每一转场模板的每一转场帧上每个像素点的色值数据；其中，一个转场模板对应一个转场效果并包括至少一个转场帧；根据所述色值数据，确定每个像素点对应的第一效果的色值占比。

转场模板确定单元602，用于确定选择的转场模板。

素材接收单元603，用于接收待转场的第一素材及第二素材。

转场帧图像确定单元604，用于从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像；从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像。

合成图像确定单元605，用于针对任一所述第二帧图像，执行如下处理：

确定与该第二帧图像对应的所述选择的转场模板中的转场帧；

获取该第二帧图像中每个像素点的色值数据以及与该第二帧图像对应的第一帧图像中每个像素点的色值数据；及

根据该第二帧图像中每个像素点的色值数据、该第一帧图像中每个像素点的色值数据、所确定的转场帧上每一像素点对应的所述第一效果的色值占比，确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据，并根据所确定的每一个像素点的色值数据生成所述合成图像。及

合成素材获取单元606，用于根据针对各第二帧图像生成的各合成图像，获得第一素材与第二素材之间的合成素材。

采用本申请提供的媒体数据处理装置，采用模板合成合成第一帧图像与第二帧图像，多个合成图像形成合成图像序列帧，从而来实现两段不同素材的转场过渡。采用模板进行转场处理可以简化媒体自动化产品的开发流程，实现设计和程序分离。转场模板可由设计师独立设计完成，在增加新的转场模板时，只要读取该新的转场模板的转场帧上的像素点的灰度值就可以实现转场处理，对程序块不需要改动，扩展性强。

在一些实例中，所述装置进一步包括：

保存单元607，用于将所述确定的每个像素点对应的第一效果的色值占比保存在所述模板数据库中。

其中，所述合成图像确定单元605，用于：

从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比；

针对所述合成图像上任一个像素点，执行以下操作：

根据查找到的所述像素点对应的所述第一效果的色值占比，确定第二效果的色值占比；

根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

在一些实例中，所述色值占比确定单元601，用于根据所述确定的每个像素点对应的第一效果的色值占比，确定每个像素点对应的第二效果的色值占比。

所述装置进一步包括保存单元607，用于将所述确定的每个像素点对应的所述第一效果的色值占比和所述第二效果的色值占比，保存在所述模板数据库中。

其中，所述合成图像确定单元605，用于：

从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比和第二效果的色值占比；

针对所述合成图像上任一个像素点，执行以下操作：

根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、查找到的所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

在一些实例中，所述装置，进一步包括：

转场模板接收单元608，用于从客户端接收用户创建或选择的转场模板；将接收到的所述转场模板配置在本地。

本申请还提供一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行上述媒体数据处理方法中的操作。

图7示出了媒体数据处理装置600所在的计算设备的组成结构图。如图7所示，该计算设备包括一个或者多个处理器(CPU)702、通信模块704、存储器706、用户接口710，以及用于互联这些组件的通信总线708。

处理器702可通过通信模块704接收和发送数据以实现网络通信和/或本地通信。

用户接口710包括一个或多个输出设备712，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口710也包括一个或多个输入设备714，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器706可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器706存储处理器702可执行的指令集，包括：

操作系统716，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用718，包括用于内容投放数据的分析的各种应用程序，这种应用程序能够实现上述各实例中的处理流程，比如可以包括内容投放数据的分析装置600中的部分或全部单元或者模块。内容投放数据的分析装置600中的各单元中的至少一个单元可以存储有机器可执行指令。处理器702通过执行存储器706中各单元中至少一个单元中的机器可执行指令，进而能够实现上述各单元或模块中的至少一个模块的功能。

需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。

各实施例中的硬件模块可以以硬件方式或硬件平台加软件的方式实现。上述软件包括机器可读指令，存储在非易失性存储介质中。因此，各实施例也可以体现为软件产品。

各例中，硬件可以由专门的硬件或执行机器可读指令的硬件实现。例如，硬件可以为专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。

另外，本申请的每个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请，本申请还提供了一种非易失性存储介质，其中存储有数据处理程序，这种数据处理程序可用于执行本申请上述方法实例中的任何一种实例。

图6模块对应的机器可读指令可以使计算机上操作的操作系统等来完成这里描述的部分或者全部操作。非易失性计算机可读存储介质可以是插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器。安装在扩展板或者扩展单元上的CPU等可以根据指令执行部分和全部实际操作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种媒体数据处理方法，其特征在于，包括：

获取已配置的每一转场模板的每一转场帧上每个像素点的色值数据；其中，一个转场模板对应一个转场效果并包括至少一个转场帧；

根据所述色值数据，确定每个像素点对应的第一效果的色值占比；

确定选择的转场模板；

接收待转场的第一素材及第二素材；

从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像；

从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像；

针对任一所述第二帧图像，执行如下处理：

确定与该第二帧图像对应的所述选择的转场模板中的转场帧；

获取该第二帧图像中每个像素点的色值数据以及与该第二帧图像对应的第一帧图像中每个像素点的色值数据；及

根据该第二帧图像中每个像素点的色值数据、该第一帧图像中每个像素点的色值数据、所确定的转场帧上每一像素点对应的所述第一效果的色值占比，确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据，并根据所确定的每一个像素点的色值数据生成所述合成图像；及

根据针对各第二帧图像生成的各合成图像，获得第一素材与第二素材之间的合成素材。

2.根据权利要求1所述的方法，进一步包括：

将所述确定的每个像素点对应的第一效果的色值占比保存在模板数据库中；

其中，所述确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据包括：

从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比；

针对所述合成图像上任一个像素点，执行以下操作：

根据查找到的所述像素点对应的所述第一效果的色值占比，确定第二效果的色值占比；

根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

3.根据权利要求1所述的方法，进一步包括：

根据所述确定的每个像素点对应的第一效果的色值占比，确定每个像素点对应的第二效果的色值占比；

将所述确定的每个像素点对应的所述第一效果的色值占比和所述第二效果的色值占比，保存在模板数据库中；

其中，所述确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据包括：

从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比和第二效果的色值占比；

针对所述合成图像上任一个像素点，执行以下操作：

根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、查找到的所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

4.根据权利要求2或3所述的方法，其中，所述确定每个像素点对应的第一效果的色值占比包括：

将该像素点上的灰度值与其所属转场模板中预设的最大灰度值的比值作为所述第一效果的色值占比；

其中，所述第二效果的色值占比为1与所述第一效果的色值占比的差值；

所述确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据包括：

将所述第一帧图像上所述像素点上的色值数据与所述第一效果的色值占比做乘积处理，得到第一乘积；

将所述第二帧图像上所述像素点上的色值数据与所述第二效果的色值占比做乘积处理，得到第二乘积；

将所述第一乘积与所述第二乘积的加和作为所述合成图像上所述像素点的色值数据。

5.根据权利要求1所述的方法，其中，所述确定每个像素点对应的第一效果的色值占比包括：

针对每一像素点，将该像素点上的灰度值与其所属转场模板中预设的最大灰度值的比值作为所述第一效果的色值占比。

6.根据权利要求1所述的方法，其中，所述从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像包括：

根据转场的时间间隔及第一素材的帧频，确定所述第一帧图像的帧数M；

在所述第一素材的帧图像序列的尾部选取M个帧图像作为所述第一帧图像；

所述从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像包括：

在所述第二素材的帧图像序列的头部选取M个帧图像作为所述第二帧图像。

7.根据权利要求1所述的方法，其中，所述第一素材包括单帧图像，所述第二素材包括单帧图像，所述选择的转场模板中的转场帧的个数为N；

所述从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像包括：

将所述第一素材中的单帧图像复制N次，将获得的N个帧图像作为所述第一帧图像；

所述从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像包括：

将所述第二素材中的单帧图像复制N次，将获得的N个帧图像作为所述第二帧图像。

8.根据权利要求1所述的方法，进一步包括：

接收用户创建或选择的转场模板；

将接收到的所述转场模板配置在本地。

9.根据权利要求1所述的方法，其中，所述获得第一素材与第二素材之间的合成素材包括：

根据各合成图像，确定合成图像序列帧；

根据所述第一素材中除所述第一帧图像之外的图像，确定第一素材图像序列帧；

根据所述第二素材中除所述第二帧图像之外的图像，确定第二素材图像序列帧；

将所述第一素材图像序列帧、合成图像序列帧、第二素材图像序列帧按顺序组成的序列帧作为所述合成素材。

10.一种媒体数据处理装置，其特征在于，包括：

色值占比确定单元，用于获取已配置的每一转场模板的每一转场帧上每个像素点的色值数据；其中，一个转场模板对应一个转场效果并包括至少一个转场帧；根据所述色值数据，确定每个像素点对应的第一效果的色值占比；

转场模板确定单元，用于确定选择的转场模板；

素材接收单元，用于接收待转场的第一素材及第二素材；

转场帧图像确定单元，用于从所述第一素材中确定对应所述第一效果的一个或多个第一帧图像；从所述第二素材中确定分别对应所述一个或多个第一帧图像的一个或多个第二帧图像；

合成图像确定单元，用于针对任一所述第二帧图像，执行如下处理：

确定与该第二帧图像对应的所述选择的转场模板中的转场帧；

获取该第二帧图像中每个像素点的色值数据以及与该第二帧图像对应的第一帧图像中每个像素点的色值数据；及

根据该第二帧图像中每个像素点的色值数据、该第一帧图像中每个像素点的色值数据、所确定的转场帧上每一像素点对应的所述第一效果的色值占比，确定该第二帧图像和该第一帧图像的合成图像上每一个像素点的色值数据，并根据所确定的每一个像素点的色值数据生成所述合成图像；及

合成素材获取单元，用于根据针对各第二帧图像生成的各合成图像，获得第一素材与第二素材之间的合成素材。

11.根据权利要求10所述的装置，进一步包括：

保存单元，用于将所述确定的每个像素点对应的第一效果的色值占比保存在模板数据库中；

其中，所述合成图像确定单元，用于：

从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比；

针对所述合成图像上任一个像素点，执行以下操作：

根据查找到的所述像素点对应的所述第一效果的色值占比，确定第二效果的色值占比；

根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

12.根据权利要求10所述的装置，其中，所述色值占比确定单元，用于根据所述确定的每个像素点对应的第一效果的色值占比，确定每个像素点对应的第二效果的色值占比；

所述装置进一步包括保存单元，用于将所述确定的每个像素点对应的所述第一效果的色值占比和所述第二效果的色值占比，保存在模板数据库中；

其中，所述合成图像确定单元，用于：

从所述模板数据库中查找所述选择的转场模板中所确定的转场帧上每个像素点对应的第一效果的色值占比和第二效果的色值占比；

针对所述合成图像上任一个像素点，执行以下操作：

根据所述第一帧图像上所述像素点上的色值数据、所述第二帧图像上所述像素点上的色值数据、查找到的所述像素点对应的所述第一效果的色值占比及所述第二效果的色值占比，确定所述合成图像上所述像素点的色值数据。

13.根据权利要求10所述的装置，进一步包括：

转场模板接收单元，用于从客户端接收用户创建或选择的转场模板；将接收到的所述转场模板配置在本地。

14.一种计算机可读存储介质，其特征在于，存储有计算机可读指令，可以使至少一个处理器执行如权利要求1-3和5-9中任一项所述方法中的操作。

Images