CN105491396A - 一种多媒体信息处理方法及服务器 - Google Patents
一种多媒体信息处理方法及服务器 Download PDFInfo
- Publication number
- CN105491396A CN105491396A CN201510651162.6A CN201510651162A CN105491396A CN 105491396 A CN105491396 A CN 105491396A CN 201510651162 A CN201510651162 A CN 201510651162A CN 105491396 A CN105491396 A CN 105491396A
- Authority
- CN
- China
- Prior art keywords
- information
- multimedia messages
- live
- pixel data
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title abstract description 3
- 238000003672 processing method Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 238000003860 storage Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
Landscapes
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供一种多媒体信息处理方法及服务器，其中，所述方法包括：获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
Description
技术领域
本发明涉及信息处理技术，具体涉及一种多媒体信息处理方法及服务器。
背景技术
目前，动态多媒体信息(如动态广告)的实现成本较高，在前端信号采集后进入导播切换台前需要引入硬件字幕机处理，必须人为干预，无法做到智能控制动态多媒体信息的出现频率以及按照列表顺序播放动态多媒体信息，在机器和人力成本都花费较大，假如前端不具备硬件字幕机等处理设备，动态多媒体信息的效果就无法实现。
动态多媒体信息作为一个视频短片加入到直播流画面中，由于视频格式的制约(视频压缩编码后经解码播放出来的像素格式通常是YUV420P，不具备任何透明度)，动态多媒体信息画面区域的全部内容包括背景及文字图案也不带透明度，因此与主体的直播流叠加时就会出现两种问题：一、动态多媒体信息中携带有关键信息，但是当动态多媒体信息与直播流信息进行叠加时，二者的画面会部分或全部叠加，而导致部分或全部挡住直播流的背景，从而导致在直播流画面中无法显示出关键信息；二、若直接将动态多媒体信息与直播流信息进行透明度(alpha通道)混合叠加就会出现直播流或动态多媒体信息其中一个整块叠加区域产生透明而使直播流或动态多媒体信息的关键信息丢失，达不到动态多媒体信息的预计效果，降低了用户的观看直播视频的体验。
发明内容
有鉴于此，本发明实施例提供了一种多媒体信息处理方法及服务器，至少解决了现有技术存在的问题，确保关键信息能在直播流画面中进行显示，不丢失。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种多媒体信息处理方法，所述方法应用于服务器，所述方法包括：
获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；
将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；
加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
本发明实施例还提供一种多媒体信息处理方法，所述方法应用于服务器，所述方法包括：
获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息；
将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信息；
加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
本发明实施例还提供一种服务器，所述服务器包括：
第一获取单元，用于获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；
第一生成单元，用于将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；
第一叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
本发明实施例还提供一种服务器，所述服务器包括：
第二获取单元，用于获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
拆分单元，用于将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息；
第二生成单元，用于将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信息；
第二叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
本发明实施例提供的多媒体信息处理方法及服务器，服务器获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放；如此，采用本发明实施例所述技术方案可以智能控制动态多媒体信息的播放，使动态多媒体信息的关键信息得以展现而非关键信息得以透明隐藏，尽最大概率还原动态多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放中，降低了对终端设备的要求，在达到动态多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验。
附图说明
图1为本发明提供的一种多媒体信息处理方法的实现流程示意图；
图2为本发明提供的一种生成第一多媒体信息的实现流程示意图；
图3-1为本发明提供的部分图片的排列示意图，图3-2为本发明提供的一张图片的素材示意图；
图4为本发明提供的一种将第一多媒体信息与直播流信息进行混合叠加的实现流程示意图；
图5为本发明提供的另一种多媒体信息处理方法的实现流程示意图；
图6为本发明提供的一种服务器的组成结构示意图；
图7为本发明提供的另一种服务器的组成结构示意图；
图8为本发明提供的一种多媒体信息处理系统的交互示意图；
图9-1至9-3为本发明提供的应用图1所述多媒体信息处理方法对应终端的用户界面的显示效果图；
图10-1至10-2为本发明提供的图5所述多媒体信息处理方法对应终端的用户界面的显示效果图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
需要说明是，以下各个实施例均是以直播流信息为例进行说明的，所述直播流信息还可以是录播流信息等其他的第二多媒体信息。
实施例一
本发明实施例提供了一种多媒体信息处理方法，所述多媒体信息处理方法应用于服务器侧；图1为本发明提供的一种多媒体信息处理方法的实现流程示意图；如图1所示，所述方法包括：
步骤S101：获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；
具体地，所述第一信息可以是指图片，但不限于图片，例如，所述第一信息还可以是演示文稿、文件等。
下面以第一信息为图片为例，来说明如何确定N的个数。
假设每秒传输帧数(FPS，FramesPerSecond)即帧率为25，而动态多媒体信息提供商需要一次性播放时长为10秒的动态多媒体信息，那么，该提供商需要提供N＝250张图片。
步骤S102：将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；
优选地，所述将所述N个第一信息按照所述第一预设策略生成第一多媒体信息之前，可以包括：
判断所述第一信息是否为预设图片格式；
若所述第一信息为非图片格式，解析所述第一信息；
基于解析结果获取符合预设图片格式的第一信息；
若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换为预设图片格式。
这里，所述预设图片格式可以是带有alpha通道的图片格式，如png格式、tga格式、bmp格式等。
优选地，将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，可以包括：
读取所述N个第一信息中的第1个第一信息；
对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预设视频图像像素数据格式；
分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存；
根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文件；
依此类推，共获取N个子文件；
根据所述N个子文件生成第一多媒体信息。
具体地，所述第一多媒体信息可以是跑马灯广告。
具体地，所述对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据，可以包括：
解析所述第1个第一信息，以获取所述第1个第一信息的像素数据；
获取所述第1个第一信息的背景信息；
判断所述背景信息所对应的透明度像素值是否为预设值；
如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
这里，所述预设值可以根据实际情况进行设定，优选地，所述预设值可以为大于等于50％。
具体地，所述获取所述第1个第一信息的背景信息，可以包括：
分析所述第1个第一信息的特征信息；
基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
将除所述第一对象之外的部分确定为背景信息。
优选地，所述第一对象可以是文字、图案等关键信息。
步骤S103：加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
这里，所述转换成标准数字视频压缩格式，以供终端设备播放，可以指：转换成标准数字视频压缩格式的数字信号，将所述数字信号以直播形式传输至终端设备进行播放。
具体地，所述加载直播流信息进行播放，可以包括：
获取以流式传输方式得到的所述直播流信息，所述直播流信息为经网络传输至所述终端设备，支持在所述终端设备本地实时回放的媒体内容编码数据流；
解析所述直播流信息，以得到实时的视频信号进行播放。
优选地，判断是否需要在所述直播流信息中叠加所述第一多媒体信息的方法，可以包括：
获取所述第一多媒体信息的预定播放次数以及单次播放时长；
获取直播流信息的预计时长；
基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播流信息中叠加所述第一多媒体信息的开始时间点。
例如，步骤S102中生成的第一多媒体信息的时长为10秒，已承诺动态多媒体信息提供商在直播流信息中播放5次第一多媒体信息，而直播流信息的预计时长大于等于60分钟，因此，叠加所述第一多媒体信息的开始时间点可以分别在直播直播流信息时的第10分钟、第20分钟、第30分钟、第40分钟以及第50分钟。
需要说明的是，可以对设置第一多媒体信息播放列表，所述播放列表中包括预设时间段内的各个第一多媒体信息的播放顺序、单次播放时长以及开始播放时间；如此，根据所述播放列表自动控制第一多媒体信息的出现顺序以及出现次数。
例如，所述播放列表中包括第一多媒体信息a、第一多媒体信息b；每一个第一多媒体信息的播放次数均为5，且每一个第一多媒体信息的单次播放时长均为10s；那么，在预计播放时长为60分钟的直播流信息中，可以分别在第5分钟、第15分钟、第25分钟、第35分钟、第45分钟播放第一多媒体信息a；分别在第10分钟、第20分钟、第30分钟、第40分钟、第50分钟播放第一多媒体信息b。
优选地，所述按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，可以包括：
采集所述直播流信息中当前帧的视频像素数据；其中，所述当前帧为第M帧；
读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的透明度像素值以及预设视频图像像素数据格式的像素数据；
根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混合叠加；
以此类推，将所述直播流信息中第M+n帧与所述第一多媒体信息的第n+1帧进行混合叠加，直至所述直播流信息中第M+N-1帧与所述第一多媒体信息的第N帧进行混合叠加；其中，1≤n≤N-1。
优选地，所述方法还可以包括：
将采集到的视频像素数据进行缓存；
将获取到的透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存。
优选地，混合叠加公式为：
Y＝Y1*A+Y2*(1-A)；
U＝U1*A+U2*(1-A)；
V＝V1*A+V2*(1-A)；
其中，Y为叠加后的亮度像素值，U为叠加后的色度像素值，V为叠加后的饱和度像素值；Y1为叠加前第一文件的当前帧像素数据的亮度像素值，U1为叠加前第一文件的当前帧像素数据的色度像素值，V1为叠加前第一文件的当前帧像素数据的饱和度像素值；Y2为叠加前直播视频文件的当前帧像素数据的亮度像素值，U2为叠加前直播视频文件的当前帧像素数据的色度像素值，V2为叠加前直播视频文件的当前帧像素数据的饱和度像素值；A表示第一文件的当前帧的透明度像素值。
优选地，所述标准数字视频压缩格式可以是待接收终端设备能够解码的数字视频压缩格式，如H264视频编码。
通过本发明实施例一所述多媒体信息处理方法，服务器获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放；如此，可以智能控制动态多媒体信息的播放，使动态多媒体信息的关键信息得以展现而非关键信息得以透明隐藏，尽最大概率还原动态多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放中，降低了对终端设备的要求。
实施例二
本发明实施例提供了一种生成第一多媒体信息的方法，所述方法应用于服务器，图2为本发明提供的一种生成第一多媒体信息的实现流程示意图；如图2所示，本实施例中，假设第一信息为png格式的图片，所述方法包括：
步骤S201：读取N个图片中的第1个图片；
假设提供商要求制作一时长为10秒的第一多媒体信息，本实施例中，所述第一多媒体信息可以理解为跑马灯广告，由于帧率FPS＝25，所以提供商提供了250张PNG序列图片文件，编号可以为00001.png、00002.png、…、00249.png、00250.png。
图3-1为本发明提供的部分图片的排列示意图，编号从00037.png至00060.png，共计24张；图3-2为本发明提供的一张图片的素材示意图，从该图中可以看出，该图片中的关键信息包括“三金西瓜霜”、“三金西瓜霜”的图标、“音乐现场High不停”以及“LiveMusic”图标；需要说明的是，该图片中，背景信息的透明度设置为50％。
步骤S202：对所述第1个图片进行解码，获取并缓存关于第1个图片的像素数据；
本实施例中，假设所述像素数据为ARGB32格式的像素数据，该像素数据通过ARGB32_Buffer存储。
步骤S203：从所述像素数据中提取透明度(Alpha)像素值，并将除透明度像素值之外的像素数据转换为预设视频图像像素数据格式；
本实施例中，所述预设视频图像像素数据格式为YUV420P；其中，YUV420P是视频图像像素数据的一种规格，Y表示亮度，U表示色度，V表示饱和度，而YUV的排布规格按4：2：0采用方式描述，每个像素占内存1.5个字节大小。
步骤S204：分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存；
本实施例中，通过Alpha_Buffer存储透明度像素值；通过YUV_Buffer存储除透明度像素值之外的像素数据。
步骤S205：根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文件；
这里，所述子文件可以是.tc格式文件，本实施例最终生成的第一多媒体信息可以命名为Adv.tc文件。
本实施例中，将Alpha_Buffer中所存储的透明度像素值先写入第1个子文件，将YUV_Buffer中所存储的除透明度像素值之外的像素数据后写入第1个子文件中；那么，当执行图4所示的叠加流程图时，在读取Adv.tc文件时，需要先读取透明度像素值，再读取除透明度像素值之外的像素数据。同理，如果写入顺序调换，那么，在将第一多媒体信息叠加到直播流信息时，读取Adv.tc文件时，需要先读取除透明度像素值之外的像素数据，再读取透明度像素值。
步骤S206：判断n是否小于等于N，如果是，继续执行步骤S201。
也就是说，最终共获取N个子文件，根据所述N个子文件生成第一多媒体信息。
实施例三
本发明实施例提供了一种将第一多媒体信息与直播流信息进行混合叠加方法，所述方法应用于服务器，图4为本发明提供的一种将第一多媒体信息与直播流信息进行混合叠加的实现流程示意图；如图4所示，所述方法包括：
步骤S301：判断是否需要在直播流信息中叠加第一多媒体信息；如果是，执行步骤S302；如果否，执行步骤S305；
本实施例中，假设第一多媒体信息为跑马灯广告、直播流信息为直播流信息。
步骤S302：采集所述直播流信息中当前帧的视频像素数据；其中，所述当前帧为第S帧；
这里，可以通过YUVSrc_Buffer缓存所述当前帧视频像素数据。
步骤S303：读取所述第一多媒体信息的第M帧数据，从所述第M帧数据获取所述第M帧数据中的透明度像素值以及预设视频图像像素数据格式的像素数据；1≤M≤N；
具体地，可以按照先后顺序从Adv.tc文件中读取第M帧所对应的透明度像素值以及除透明度像素值之外的像素数据；并按照先后顺序分别将透明度像素值缓存至Alpha_Buffer、将除透明度像素值之外的像素数据缓存至YUV_Buffer中。
这里，读取顺序与生成Adv.tc文件时的写入顺序一致。
步骤S304：根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混合叠加；
步骤S305：采集所述直播流信息中当前帧的视频像素数据；其中，所述当前帧为第S帧，然后执行步骤S306；
步骤S306：将叠加后的像素数据进行编码，转换为标准数字视频压缩格式；然后执行步骤S307；
优选地，所述标准数字视频压缩格式可以是待接收终端设备能够解码的数字视频压缩格式，如H264视频编码。
本实施例中，将叠加后的像素数据进行H264视频编码。
S307：将当前帧加1，并继续执行步骤S301。
下面，就YUVSrc_Buffer数据与YUV_Buffer数据根据Alpha_Buffer透明度像素值的叠加实现细节给出说明，YUVSrc_Buffer与YUV_Buffer所存储的像素数据的像素格式均为YUV420P，叠加以一帧实现作为参考。
现假设跑马灯广告叠加位置坐标为x，y，广告画面宽高分别为width，height，则有下面数据逻辑关系：
跑马灯广告一帧的数据YUV_Buffer大小为：
intnYUVBufferSize＝width*height*1.5；
跑马灯广告一帧的像素数据是：
BYTEYUV_Buffer[nYUVBufferSize]；
YUV_Buffer中，Y，U，V像素内存指针分别是：BYTE*pYBuffer＝&YUVBuffer[0]，pUBuffer＝pYBuffer+width*height，pVBuffer＝pUBuffer+width*height/4；
该帧的Alpha数据大小是：intnAlphaBufferSize＝width*height；
该帧的Alpha像素数据是：BYTEAlphaBuffer[nAlphaBuffer]；
假设直播视频采集数据帧的图像宽高分别为SrcWidth，SrcHeight,则有下面的数据逻辑关系：直播视频采集数据帧的数据YUVSrcData大小为：intnYUVSrcDataSize＝SrcWidth*SrcHeight*1.5；
直播视频采集数据帧的数据：BYTEYUVSrcData[nYUVSrcDataSize]；
YUVSrcData中，Y，U，V像素内存指针分别是：BYTE*pYSrcData＝&YUVSrcData[0]，*pUSrcData＝pYSrcData+SrcWidth*SrcHeight，*pVSrcData＝pUSrcData+SrcWidth*SrcHeight/4；
根据Alpha叠加公式：
Y＝Y1*A+Y2*(1-A)；
U＝U1*A+U2*(1-A)；
V＝V1*A+V2*(1-A)；
其中，Y为叠加后的亮度像素值，U为叠加后的色度像素值，V为叠加后的饱和度像素值；Y1为叠加前第一文件的当前帧像素数据的亮度像素值，U1为叠加前第一文件的当前帧像素数据的色度像素值，V1为叠加前第一文件的当前帧像素数据的饱和度像素值；Y2为叠加前直播视频文件的当前帧像素数据的亮度像素值，U2为叠加前直播视频文件的当前帧像素数据的色度像素值，V2为叠加前直播视频文件的当前帧像素数据的饱和度像素值；A表示第一文件的当前帧的透明度像素值。
依次把YUV_Buffer、YUVSrc_Buffer、以及对应像素的Alpha_Buffer代入公式求解，以下是用C语言程序实现。
实施例四
本发明实施例提供了另一种多媒体信息处理方法，所述多媒体信息处理方法应用于服务器；图5为本发明提供的另一种多媒体信息处理方法的实现流程示意图；如图5所示，所述方法包括：
步骤S501：获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
这里，所述第二信息是指视频，如视频形式的广告或动画片等。
优选地，所述第二信息是指Y420P格式的短视频。
这里，所述第一多媒体信息是背景信息以及除关键信息之外的前景信息符合第一目标格式的短视频。
步骤S502：将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息；
优选地，可以将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，包括：
解析所述第二信息；
基于解析结果获取符合第三预设策略的S帧图片；其中，S为正整数；
利用图像分割技术将每一帧所对应的图片拆分为前景信息和背景信息。
这里，所述图像分割技术可以是现有技术中的图像分割方法，如基于图像边缘特征的前景背景分割方法、结合强度和边界信息的非参数前景背景分割方法等等，在此不再赘述。
步骤S503：将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信息；
优选地，将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，可以包括：
对于每一帧图片，判断所述背景信息以及除关键信息之外的前景信息所对应的像素点的颜色是否全为预定颜色；
如果是，不对所述背景信息以及除关键信息之外的前景信息所对应的像素点进行处理；如果否，将所述背景信息以及除关键信息之外的前景信息中非预定颜色的像素点转换为预定颜色。
这里，所述预定颜色可以是单色，如白色、黑色、绿色等。
步骤S504：加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
优选地，所述按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，可以包括：
检测是否需要进行异或处理；
如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对应的像素点进行叠加处理；对于所述第一多媒体信息中的背景信息与除关键信息之外的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
优选地，所述检测是否要进行异或处理，可以包括：
判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判定需要进行异或处理。
举例来说，如果预定颜色为白色，那么，在将所述第一多媒体信息与所述直播流信息进行叠加时，对于所述第一多媒体信息中白色的像素点，将不与直播流信息进行叠加。
本实施例所述多媒体信息处理方法，服务器侧能智能控制动态多媒体信息的播放，使动态多媒体信息的关键信息得以展现而非关键信息不进行展现，尽最大概率呈现动态多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放中，降低了对终端设备的要求。此外，本实施例所述多媒体信息处理方法还能节省存储空间。
实施例五
本发明实施例提供了一种服务器；图6为本发明提供的一种服务器的组成结构示意图；如图6所示，所述服务器包括第一获取单元61、第一生成单元62、第一叠加单元63；其中，
所述第一获取单元61，用于获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；
所述第一生成单元62，用于将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；
所述第一叠加单元63，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
优选地，所述第一获取单元61，还用于：
判断所述第一信息是否为预设图片格式；
若所述第一信息为非图片格式，解析所述第一信息；
基于解析结果获取符合预设图片格式的第一信息；
若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换为预设图片格式。
优选地，所述第一生成单元62，还用于：
读取所述N个第一信息中的第1个第一信息；
对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预设视频图像像素数据格式；
分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存；
根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文件；
依此类推，共获取N个子文件；
根据所述N个子文件生成第一多媒体信息。
优选地，所述第一生成单元62，还用于：
解析所述第1个第一信息，以获取所述第1个第一信息的像素数据；
获取所述第1个第一信息的背景信息；
判断所述背景信息所对应的透明度像素值是否为预设值；
如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
优选地，所述第一生成单元62，还用于：
分析所述第1个第一信息的特征信息；
基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
将除所述第一对象之外的部分确定为背景信息。
优选地，所述第一叠加单元63，还用于：获取所述第一文件的预定播放次数以及单次播放时长；
获取所述第一多媒体信息的预定播放次数以及单次播放时长；
获取直播流信息的预计时长；
基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播流信息中叠加所述第一多媒体信息的开始时间点。
优选地，所述第一叠加单元63，还用于：
采集所述直播流信息中当前帧的视频像素数据；其中，所述当前帧为第M帧；
读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的透明度像素值以及预设视频图像像素数据格式的像素数据；
根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混合叠加；
以此类推，将所述直播流信息中第M+n帧与所述第一多媒体信息的第n+1帧进行混合叠加，直至所述直播流信息中第M+N-1帧与所述第一多媒体信息的第N帧进行混合叠加；其中，1≤n≤N-1。
在实际应用中，所述获第一获取单元61、第一生成单元62、第一叠加单元63的具体结构均可对应于处理器。所述处理器具体的结构可以为中央处理器(CPU，CentralProcessingUnit)、微处理器(MCU，MicroControllerUnit)、数字信号处理器(DSP，DigitalSignalProcessing)或可编程逻辑器件(PLC，ProgrammableLogicController)等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可执行代码存储在存储介质中，所述处理器可以通过总线等通信接口与所述存储介质中相连，在执行具体的各模块的对应功能时，从所述存储介质中读取并运行所述可执行代码。所述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。
所述第一获取单元61、第一生成单元62、第一叠加单元63可以集成对应于同一处理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用时分处理所述第一获取单元61、第一生成单元62、第一叠加单元63对应的功能。
本实施例所述服务器，为实施例一至四所述的方法提供了具体实现的硬件，能用于实现实施例一至四中任意所述的技术方案，同样的，能智能控制动态多媒体信息的播放，使动态多媒体信息的关键信息得以展现而非关键信息得以透明隐藏，尽最大概率还原动态多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放中，降低了对终端设备的要求。
实施例六
本发明实施例提供了另一种服务器；图7为本发明提供的另一种服务器的组成结构示意图；如图7所示，所述服务器包括第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74；其中，
所述第二获取单元71，用于获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
所述拆分单元72，用于将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息；
所述第二生成单元73，用于将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信息；
所述第二叠加单元74，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
优选地，所述第二叠加单元74，还用于：
检测是否需要进行异或处理；
如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对应的像素点进行叠加处理；对于所述第一多媒体信息中的背景信息与除关键信息之外的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
优选地，所述第二叠加单元74，还用于：
判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判定需要进行异或处理。
在实际应用中，所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74的具体结构均可对应于处理器。所述处理器具体的结构可以为CPU、MCU、DSP或PLC等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可执行代码存储在存储介质中，所述处理器可以通过总线等通信接口与所述存储介质中相连，在执行具体的各模块的对应功能时，从所述存储介质中读取并运行所述可执行代码。所述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。
所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74可以集成对应于同一处理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用时分处理所述第二获取单元71、拆分单元72、第二生成单元73、第二叠加单元74对应的功能。
本实施例所述多媒体信息处理方法，为实施例四所述的方法提供了具体实现的硬件，能用于实现实施例四中所述的技术方案，同样的，能智能控制动态多媒体信息的播放，使动态多媒体信息的关键信息得以展现而非关键信息不进行展现，尽最大概率呈现动态多媒体信息非关键区域中的主体直播流的信息，在达到动态多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验，维护在线视频的形象；另外，由于动态多媒体信息在源端编码流中进行处理，因此在服务器后台分发及转码后都会同步在移动设备播放中，降低了对终端设备的要求。此外，本实施例所述多媒体信息处理方法还能节省存储空间。
实施例七
本实施例提供一种多媒体信息处理系统，图8为本发明提供的一种多媒体信息处理系统的交互示意图，如图8所示，所述系统包括服务器81和至少一个终端82；所述服务器81和至少一个终端82通过网络连接；所述网络可以为有线网、无线网或有线与无线的混合网络。
所述服务器81中的具体组成结构可以如图6或图7所示。
具体地，所述服务器81，用于获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放；
或者，
用于获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息；将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信息；加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放；
所述至少一个终端82，用于接收经服务器81转换后的标准数字视频压缩格式的多媒体数据，并对所述标准数字视频压缩格式的多媒体数据进行解码，呈现视频画面。
具体地，所述终端包括但不限于台式机、手机、笔记本电脑、电视。
由于服务器81侧输出的标准数字视频压缩格式的多媒体数据，因此，终端82侧只需能够解码对所述多媒体数据进行解码，即能呈现视频画面，该视频画面在达到动态多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验。
第一具体应用场景：
在本发明应用示例中，提供商将第一信息素材上传至服务器，用于投放第一多媒体信息(跑马灯广告)；之后，服务器对第一信息进行相应的处理，将生成第一多媒体信息，并按照第二预设策略将所述第一多媒体信息与直播流信息(直播视频流)进行混合叠加，以使得到的叠加画面中关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。下面结合如图9-1至9-3所示的应用图1所述多媒体信息处理方法对应终端的用户界面的显示效果图，图9-1中，在视频直播画面中呈现有第一多媒体信息中的关键信息，包括：“三金西瓜霜”文字及图标、“三金西瓜霜”药盒、“音乐现场High不停”文字及图标；第一多媒体信息中的背景信息的透明度不为0，用户依然可以透过第一多媒体信息所占区域中的非关键信息部分看到演唱者的腿部。图9-2中，在视频直播画面中呈现有第一多媒体信息中的关键信息，包括：“三金西瓜霜”文字及图标、“300亿活的活力C菌、帮助肠道常活动”文字；第一多媒体信息中的背景信息的透明度不为0，使第一多媒体信息的关键信息得以展现而非关键信息得以透明隐藏，尽最大概率还原第一多媒体信息非关键区域中的主体直播流的信息，在达到第一多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验。图9-3中，在视频直播画面中呈现有第一多媒体信息中的关键信息，包括：“见TA浪漫一刻，尽享好味道”文字、以及奶特图标、《带你去见TA》图标；第一多媒体信息中的背景信息的透明度较大，用户依然可以透过第一多媒体信息所占区域中的非关键信息部分看到小男孩的下巴，在达到第一多媒体信息提供商的需求和目的的同时，又不损害用户观看直播视频的体验。
第二具体应用场景：
在本发明应用示例中，提供商将第二信息素材上传至服务器，用于投放第一多媒体信息(短视频广告)；之后，服务器对第二信息进行相应的处理，将生成第一多媒体信息，并按照第四预设策略将所述第一多媒体信息与直播流信息(直播视频流)进行混合叠加，以使得到的叠加画面中关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。下面结合如图10-1至10-2所示的应用图5所述多媒体信息处理方法对应终端的用户界面的显示效果图，图10-1为短视频的一帧所对应的画面，可见，该画面中的关键信息为“三金西瓜霜”及其图标、“特约呈现”，其背景信息为明暗交替的图案；经过服务器处理后，在图10-2所示的视频直播画面中仅呈现有第一多媒体信息中的关键信息，而第一多媒体信息的背景信息并未呈现，既达到了提供商的需求和目的，又不损害用户观看直播视频的体验。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (21)
1.一种多媒体信息处理方法，其特征在于，所述方法包括：
获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；
将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；
加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式的数字信号，将所述数字信号以直播形式传输至终端设备进行播放。
2.根据权利要求1所述的方法，其特征在于，所述加载直播流信息进行播放，包括：
获取以流式传输方式得到的所述直播流信息，所述直播流信息为经网络传输至所述终端设备，支持在所述终端设备本地实时回放的媒体内容编码数据流；
解析所述直播流信息，以得到实时的视频信号进行播放。
3.根据权利要求1所述的方法，其特征在于，所述将所述N个第一信息按照所述第一预设策略生成第一多媒体信息之前，包括：
判断所述第一信息是否为预设图片格式；
若所述第一信息为非图片格式，解析所述第一信息；
基于解析结果获取符合预设图片格式的第一信息；
若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换为预设图片格式。
4.根据权利要求1所述的方法，其特征在于，将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，包括：
读取所述N个第一信息中的第1个第一信息；
对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预设视频图像像素数据格式；
分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存；
根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文件；
依此类推，共获取N个子文件；
根据所述N个子文件生成第一多媒体信息。
5.根据权利要求4所述的方法，其特征在于，所述对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据，包括：
解析所述第1个第一信息，以获取所述第1个第一信息的像素数据；
获取所述第1个第一信息的背景信息；
判断所述背景信息所对应的透明度像素值是否为预设值；
如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
6.根据权利要求5所述的方法，其特征在于，所述获取所述第1个第一信息的背景信息，包括：
分析所述第1个第一信息的特征信息；
基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
将除所述第一对象之外的部分确定为背景信息。
7.根据权利要求1所述的方法，其特征在于，判断是否需要在所述直播流信息中叠加所述第一多媒体信息的方法，包括：
获取所述第一多媒体信息的预定播放次数以及单次播放时长；
获取直播流信息的预计时长；
基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播流信息中叠加所述第一多媒体信息的开始时间点。
8.根据权利要求4所述的方法，其特征在于，所述按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，包括：
采集所述直播流信息中当前帧的视频像素数据；其中，所述当前帧为第M帧；
读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的透明度像素值以及预设视频图像像素数据格式的像素数据；
根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混合叠加；
以此类推，将所述直播流信息中第M+n帧与所述第一多媒体信息的第n+1帧进行混合叠加，直至所述直播流信息中第M+N-1帧与所述第一多媒体信息的第N帧进行混合叠加；其中，1≤n≤N-1。
9.一种多媒体信息处理方法，其特征在于，所述方法包括：
获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息；
将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信息；
加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
10.根据权利要求9所述的方法，其特征在于，所述按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，包括：
检测是否需要进行异或处理；
如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对应的像素点进行叠加处理；对于所述第一多媒体信息中的背景信息与除关键信息之外的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
11.根据权利要求10所述的方法，其特征在于，所述检测是否要进行异或处理，包括：
判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判定需要进行异或处理。
12.一种服务器，其特征在于，所述服务器包括：
第一获取单元，用于获取N个第一信息，N为正整数，所述第一信息的类型与第一预设策略相匹配，以支持合成第一多媒体信息；
第一生成单元，用于将所述N个第一信息按照所述第一预设策略生成第一多媒体信息，所述第一多媒体信息携带关键信息；
第一叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第二预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
13.根据权利要求12所述的服务器，其特征在于，所述第一获取单元，还用于：
判断所述第一信息是否为预设图片格式；
若所述第一信息为非图片格式，解析所述第一信息；
基于解析结果获取符合预设图片格式的第一信息；
若所述第一信息为图片格式但非预设图片格式，将所述第一信息由原有图片格式转换为预设图片格式。
14.根据权利要求12所述的服务器，其特征在于，所述第一生成单元，还用于：
读取所述N个第一信息中的第1个第一信息；
对所述第1个第一信息进行解码，获取并缓存关于第1个第一信息的像素数据；
从所述像素数据中提取透明度像素值，并将除透明度像素值之外的像素数据转换为预设视频图像像素数据格式；
分别对透明度像素值以及预设视频图像像素数据格式的像素数据进行缓存；
根据所述透明度像素值以及预设视频图像像素数据格式的像素数据合成第1个子文件；
依此类推，共获取N个子文件；
根据所述N个子文件生成第一多媒体信息。
15.根据权利要求14所述的服务器，其特征在于，所述第一生成单元，还用于：
解析所述第1个第一信息，以获取所述第1个第一信息的像素数据；
获取所述第1个第一信息的背景信息；
判断所述背景信息所对应的透明度像素值是否为预设值；
如果不为预设值，将所述背景信息所对应的透明度像素值调整为预设值。
16.根据权利要求15所述的服务器，其特征在于，所述第一生成单元，还用于：
分析所述第1个第一信息的特征信息；
基于所述特征信息判断所述第1个第一信息中是否包括第一对象；
将除所述第一对象之外的部分确定为背景信息。
17.根据权利要求12所述的服务器，其特征在于，所述第一叠加单元，还用于：获取所述第一文件的预定播放次数以及单次播放时长；
获取所述第一多媒体信息的预定播放次数以及单次播放时长；
获取直播流信息的预计时长；
基于所述预定播放次数以及所述单次播放时长，并结合所述预计时长确定需要在直播流信息中叠加所述第一多媒体信息的开始时间点。
18.根据权利要求14所述的服务器，其特征在于，所述第一叠加单元，还用于：
采集所述直播流信息中当前帧的视频像素数据；其中，所述当前帧为第M帧；
读取所述第一多媒体信息的第一帧数据，从所述第一帧数据获取所述第一帧数据中的透明度像素值以及预设视频图像像素数据格式的像素数据；
根据透明度像素值将视频像素数据与预设视频图像像素数据格式的像素数据进行混合叠加；
以此类推，将所述直播流信息中第M+n帧与所述第一多媒体信息的第n+1帧进行混合叠加，直至所述直播流信息中第M+N-1帧与所述第一多媒体信息的第N帧进行混合叠加；其中，1≤n≤N-1。
19.一种服务器，其特征在于，所述服务器包括：
第二获取单元，用于获取第二信息，所述第二信息的类型与第三预设策略相匹配，以支持拆分后得到的前景信息和背景信息能合成第一多媒体信息；
拆分单元，用于将所述第二信息按照所述第三预设策略拆分为所述前景信息和所述背景信息，所述前景信息包含关键信息；
第二生成单元，用于将所述背景信息以及除关键信息之外的前景信息转换为第一目标格式，并将已经转换为第一目标格式的背景信息以及除关键信息之外的前景信息与前景信息中的关键信息合成为所述第一多媒体信息；
第二叠加单元，用于加载直播流信息进行播放，当检测到需要在所述直播流信息中叠加所述第一多媒体信息时，按照第四预设策略将所述第一多媒体信息与所述直播流信息进行混合叠加，以使得到的叠加画面中所述关键信息作为所述直播流信息的前景信息共同呈现，并转换成标准数字视频压缩格式，以供终端设备播放。
20.根据权利要求19所述的服务器，其特征在于，所述第二叠加单元，还用于：
检测是否需要进行异或处理；
如果需要，将所述第一多媒体信息中的关键信息对应的像素点与所述直播流信息所对应的像素点进行叠加处理；对于所述第一多媒体信息中的背景信息与除关键信息之外的前景信息的像素点，不与所述直播流信息所对应的像素点进行叠加处理；
否则，不对所述第一多媒体信息与所述直播流信息进行混合叠加。
21.根据权利要求20所述的服务器，其特征在于，所述第二叠加单元，还用于：
判断第一多媒体信息的当前帧中是否有不满足第一目标格式的像素点，如果有，则判定需要进行异或处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510651162.6A CN105491396A (zh) | 2015-10-10 | 2015-10-10 | 一种多媒体信息处理方法及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510651162.6A CN105491396A (zh) | 2015-10-10 | 2015-10-10 | 一种多媒体信息处理方法及服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105491396A true CN105491396A (zh) | 2016-04-13 |
Family
ID=55678061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510651162.6A Pending CN105491396A (zh) | 2015-10-10 | 2015-10-10 | 一种多媒体信息处理方法及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105491396A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791889A (zh) * | 2016-05-04 | 2016-07-20 | 武汉斗鱼网络科技有限公司 | 一种视频直播中的广告插播方法及装置 |
| CN106101808A (zh) * | 2016-07-13 | 2016-11-09 | 乐视控股（北京）有限公司 | 一种视频直播方法及装置 |
| CN106911936A (zh) * | 2017-03-01 | 2017-06-30 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 动态静态视频流图片覆盖方法 |
| CN107656947A (zh) * | 2016-10-24 | 2018-02-02 | 腾讯科技（北京）有限公司 | 一种多媒体信息播放方法及装置 |
| CN108989836A (zh) * | 2017-05-31 | 2018-12-11 | 腾讯科技（深圳）有限公司 | 一种多媒体数据流的处理方法及装置 |
| CN110049347A (zh) * | 2019-04-11 | 2019-07-23 | 广州虎牙信息科技有限公司 | 在直播界面配置图像的方法、系统、终端和装置 |
| WO2021218547A1 (zh) * | 2020-04-26 | 2021-11-04 | 北京外号信息技术有限公司 | 用于在现实场景中叠加直播人物影像的方法和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035294A (zh) * | 2007-04-13 | 2007-09-12 | 深圳市融合视讯科技有限公司 | 在视频节目中插播网络广告的方法 |
| CN101557464A (zh) * | 2009-04-01 | 2009-10-14 | 深圳市融创天下科技发展有限公司 | 一种在视频节目播放中动态嵌入其他媒体片段的方法 |
| US20130144725A1 (en) * | 2011-12-02 | 2013-06-06 | General Instrument Corporation | Presenting content to a user in accordance with an agreed upon content-presentation policy |
| CN103297811A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种智能嵌入式视频广告的实现方法 |
| CN103516998A (zh) * | 2013-09-25 | 2014-01-15 | 北京航空航天大学 | 一种面向模拟视频的台标叠加方法 |
| CN104966318A (zh) * | 2015-06-18 | 2015-10-07 | 清华大学 | 具有图像叠加和图像特效功能的增强现实方法 |
-
2015
- 2015-10-10 CN CN201510651162.6A patent/CN105491396A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035294A (zh) * | 2007-04-13 | 2007-09-12 | 深圳市融合视讯科技有限公司 | 在视频节目中插播网络广告的方法 |
| CN101557464A (zh) * | 2009-04-01 | 2009-10-14 | 深圳市融创天下科技发展有限公司 | 一种在视频节目播放中动态嵌入其他媒体片段的方法 |
| US20130144725A1 (en) * | 2011-12-02 | 2013-06-06 | General Instrument Corporation | Presenting content to a user in accordance with an agreed upon content-presentation policy |
| CN103297811A (zh) * | 2012-02-24 | 2013-09-11 | 北京明日时尚信息技术有限公司 | 一种智能嵌入式视频广告的实现方法 |
| CN103516998A (zh) * | 2013-09-25 | 2014-01-15 | 北京航空航天大学 | 一种面向模拟视频的台标叠加方法 |
| CN104966318A (zh) * | 2015-06-18 | 2015-10-07 | 清华大学 | 具有图像叠加和图像特效功能的增强现实方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791889A (zh) * | 2016-05-04 | 2016-07-20 | 武汉斗鱼网络科技有限公司 | 一种视频直播中的广告插播方法及装置 |
| CN106101808A (zh) * | 2016-07-13 | 2016-11-09 | 乐视控股（北京）有限公司 | 一种视频直播方法及装置 |
| CN107656947A (zh) * | 2016-10-24 | 2018-02-02 | 腾讯科技（北京）有限公司 | 一种多媒体信息播放方法及装置 |
| CN106911936A (zh) * | 2017-03-01 | 2017-06-30 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 动态静态视频流图片覆盖方法 |
| CN106911936B (zh) * | 2017-03-01 | 2020-04-28 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 动态静态视频流图片覆盖方法 |
| CN108989836A (zh) * | 2017-05-31 | 2018-12-11 | 腾讯科技（深圳）有限公司 | 一种多媒体数据流的处理方法及装置 |
| CN108989836B (zh) * | 2017-05-31 | 2021-11-09 | 腾讯科技（深圳）有限公司 | 一种多媒体数据流的处理方法、装置及存储介质 |
| CN110049347A (zh) * | 2019-04-11 | 2019-07-23 | 广州虎牙信息科技有限公司 | 在直播界面配置图像的方法、系统、终端和装置 |
| CN110049347B (zh) * | 2019-04-11 | 2021-10-22 | 广州虎牙信息科技有限公司 | 在直播界面配置图像的方法、系统、终端和装置 |
| WO2021218547A1 (zh) * | 2020-04-26 | 2021-11-04 | 北京外号信息技术有限公司 | 用于在现实场景中叠加直播人物影像的方法和电子设备 |
| TWI795762B (zh) * | 2020-04-26 | 2023-03-11 | 大陸商北京外號信息技術有限公司 | 用於在現實場景中疊加直播人物影像的方法和電子設備 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105491396A (zh) | 一种多媒体信息处理方法及服务器 | |
| RU2387013C1 (ru) | Система и способ для генерации интерактивных видеоизображений | |
| US6512552B1 (en) | Subpicture stream change control | |
| WO2018045927A1 (zh) | 一种基于三维虚拟技术的网络实时互动直播方法及装置 | |
| CN102208171B (zh) | 一种便携式高清视频播放器上的局部细节播放方法 | |
| TW298698B (zh) | ||
| CN103562862B (zh) | 全局合成系统 | |
| JP5022443B2 (ja) | 立体映像コンテンツ再生に利用されるメタデータの復号化方法 | |
| CN110460743A (zh) | 显示装置、变换装置、显示方法、播放装置、播放方法 | |
| US20140064637A1 (en) | System for processing a digital image using two or more defined regions | |
| CN108495152A (zh) | 一种视频直播方法、装置、电子设备及介质 | |
| US10602239B2 (en) | Method and apparatus for track composition | |
| CN108833809A (zh) | 一种视频混流控制方法、装置、系统、设备及介质 | |
| CN105554416A (zh) | 一种基于fpga的高清视频淡入淡出处理系统及方法 | |
| US10636178B2 (en) | System and method for coding and decoding of an asset having transparency | |
| CN110213640A (zh) | 虚拟物品的生成方法、装置及设备 | |
| TWI314422B (en) | Method for simultaneous display of multiple video tracks from multimedia content and playback system thereof | |
| CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
| CN112540735B (zh) | 多屏同步显示方法、装置及系统以及计算机存储介质 | |
| EP2791890A1 (en) | Determining proper presentation of multimedia content | |
| Kim et al. | Design and implementation for interactive augmented broadcasting system | |
| CN112954452B (zh) | 视频生成方法、装置、终端及存储介质 | |
| Jamil et al. | Overview of JPEG Snack: a novel international standard for the snack culture | |
| CN102724425B (zh) | 一种电视图文模板播出的方法 | |
| CN106383681B (zh) | 多层画面协同播出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160413 |