CN105025307B - 基于有线电视和智能移动设备联动的音视频采集合成系统 - Google Patents
基于有线电视和智能移动设备联动的音视频采集合成系统 Download PDFInfo
- Publication number
- CN105025307B CN105025307B CN201510430634.5A CN201510430634A CN105025307B CN 105025307 B CN105025307 B CN 105025307B CN 201510430634 A CN201510430634 A CN 201510430634A CN 105025307 B CN105025307 B CN 105025307B
- Authority
- CN
- China
- Prior art keywords
- video
- server
- audio
- intelligent mobile
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
- H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于有线电视和智能移动设备联动的音视频采集合成系统,其包括:复读机平台、有线电视云服务平台、机顶盒、电视机、以及智能移动设备;复读机平台包括相互连接的资源导入服务器、音视频合成服务器、存储服务器、业务服务器以及EGP服务器;有线电视云服务平台包括依次连接的SMP服务管理器、多屏能力子系统、CMP内容管理服务器。本发明通过有线电视下载并播放视频,通过手机等智能移动设备收集音频信息,利用合成服务器将视频和音频信息合成在一起形成一个音视频资料,并通过云平台和大家分享,人们可以通过云平台欣赏该音视频资料,极大地提高了用户的满意度。并提供效果评价、作业布置、应用管理等功能。
Description
技术领域
本发明涉及到一种基于有线电视和智能移动设备联动的音视频采集合成系统。
背景技术
三网融合是当代科技发展的必然趋势。电信网、广播电视网、互联网在向宽带通信网、数字电视网、下一代互联网演进过程中,三大网络通过技术改造,其技术功能将趋于一致,业务范围也将趋于相同,网络互联互通、资源共享,能为用户提供语音、数据和广播电视等多种服务。三合并不意味着三大网络的物理合一,而主要是指高层业务应用的融合。三网融合应用广泛,遍及智能交通、环境保护、政府工作、公共安全、平安家居等多个领域。目前智能手机用户已经突破5亿大关而且还有继续增长的趋势,如何通过三网融合为客户提供更好的广播服务是广播电视从业者不断追求的目标。
发明内容
为解决上述问题,本发明的目的在于提供一种基于有线电视和智能移动设备联动的音视频采集合成系统,有线电视的用户可以通过智能移动终端和机顶盒两者相互结合,为客户点唱、诵读等服务。
为实现上述目的,本发明一种基于有线电视和智能移动设备联动的音视频采集合成系统包括:复读机平台、有线电视云服务平台、机顶盒、电视机、以及智能移动设备;
复读机平台包括相互连接的资源导入服务器、音视频合成服务器、存储服务器、业务服务器以及EPG服务器;
有线电视云服务平台包括依次连接的SMP服务管理器、多屏能力子系统、CMP内容管理服务器;其中CMP内容管理服务器通过IPQAM调制器与机顶盒连接;机顶盒与电视机连接,CMP内容管理服务器内存储有各种视频资料,并利用电视机播放视频;
CMP内容管理服务器还与所述资源导入服务器连接,资源导入服务器从CMP内容管理服务器内调入视频资料;SMP服务管理器与所述业务服务器连接;
所述智能移动设备通过移动网络与复读机平台连接,并将其音频信息传输给所述音视频合成服务器,所述音视频合成服务器与资源导入服务器连接,将所述音频和资源导入服务器中视频合成在一起形成音视频资料。
进一步,所述智能移动设备通过移动网络与所述多屏能力子系统连接,并依次通过多屏能力子系统、CMP内容管理服务器、机顶盒控制所述电视机的视频播放。
进一步,所述多屏能力子系统用于实现数字信号、移动信号和射频信号的相互转换,通过该系统,可在电视上面显示基于HTML5页面的内容,也可以通过机顶盒操作该页面;所述智能移动设备通过多屏能力子系统与所述有线电视服务平台连接。
进一步,所述SMP服务管理器用于管理云平台之上的扩展业务,支撑云平台相关业务的运营;管理各类用户对象(如虚拟账户、个人、团体等)的管理,提供各类能力使用情况的精细计量数据。
进一步,所述CMP内容管理服务器用于内容获取及管理、内容文件及相关元数据的管理、视、音频DNA样本管理。
1.内容获取包括:
1)自有内容:通过与运营商现有媒资系统等的接口获得内容文件及相关元数据;
2)在线抓取:通过对目标源站的频道、栏目、页面进行在线爬取、跟踪更新;
3)合作引入:通过与内容合作伙伴的内容系统接口获得内容文件及相关元数据。
4)用户上传:通过与云盘等与用户上传内容相关的应用系统对接及获取。
2.相关元数据管理包括:
1)基本属性:名称、媒体类别、演唱或诵读者等基本信息;
2)特征属性:文件大小、编码格式、封装格式、清晰度等;
3)访问属性:协议、适合的终端类型、码流;
4)主题属性:一级分类、二级分类、热词标签、关键字等。
3.内容管理包括:
1)采编审发:完成视频音频等媒体文件本身的处理,内容资源的采编审发主要完成基于元数据对计划发布的媒体内容进行自动处理,必要时进行人工干预;
2)索引目录:基于元数据制订自动发布策略、自动形成轻量级索引目录;
3)内容质控:制订元数据质量标准、质控规则;
4)人工处理:对元数据、索引目录、内容质控等管理环节提供人工干预的灵活性;
5)分布管理:通过与Cache、CDN的系统接口,获得本地存储内容的相关数据,全面掌握内容总体分布情况;
6)主动缓存:通过与Cache、CDN的调度系统接口,经互联网出口将媒体内容拉入至本地存储,实现内容本地化。
4.视、音频DNA样本管理:
样本提取:通过与外部媒资等技术平台对接,完成样本提取和存储;
版权信息管理:通过与版权管理机构平台对接,获取版权信息;
黑白灰名单管理:名单管理策略设置和管理,通过与版权信息系统、新媒体内容管理系统等协同,实现黑白灰名单的维护;
DNA比对:单个或批量内容导入、并进行DNA比对后,输出比对结果;
统计分析:提供与DNA、版权相关的数据统计、报表功能。
进一步,所述音视频资料存储在所述存储服务器中,并利用所述资源导入服务器与所述CMP内容管理服务器的接口上传到所述有线电视云服务平台上;所述智能移动设备通过所述多屏能力子系统将音视频资料下发给机顶盒播放。
进一步,所述业务服务器与所述SMP服务管理器连接,用于管理用户业务数据信息,负责将用户帐号信息同步给SMP服务管理器,通过SMP服务管理器执行用户帐号与所述机顶盒之间的绑定操作,并记录和管理用户与指定的机顶盒的关联信息。
进一步,所述智能移动设备上安装有APP软件,通过APP登录后,智能移动设备与所述EPG服务器连接,通过EPG服务器下载视频列表、推荐栏图片、片单等信息;同时,所述EPG服务器管理APP所展示的界面元素和布局,下发分类列表、分类结构等。
一种基于有线电视和智能移动设备联动的音视频采集合成方法,具体步骤如下:
1)复读机平台中的业务服务器与SMP服务管理器连接,智能移动设备APP用户信息与有线电视云服务平台上的机顶盒绑定;
2)智能移动设备登录APP后连接所述业务服务器,利用上述绑定,智能移动设备同时通过有线电视云服务平台上的多屏能力子系统连接并控制机顶盒;
3)智能移动设备从复读机平台上的EPG服务器上下载视频列表、推荐栏图片、片单等信息;
4)智能移动设备通过APP选择歌曲、古诗词等视频资源后,智能移动设备通过多屏能力子系统向CMP内容管理服务器发出指令,CMP内容管理服务器向机顶盒下发被选择的视频以及背景音乐,进而电视机播放该视频以及背景音乐;内容管理服务器将所播放的视频及背景音乐传输给所述资源导入服务器;
5)用户对着智能移动设备的话筒唱歌或朗诵等,智能移动设备将收集到的用户声音的音频上传到音视频合成服务器;音视频合成服务器从资源导入服务器中导入视频及背景音乐,将用户声音的音频、被导入的视频及背景音乐合成为音视频资料;
6)机顶盒通过CMP内容管理服务器从复读机平台上下载合成后的音视频,通过电视机播放。
进一步,所述步骤5)中的合成后的音视频资料存储在所述复读机平台上的存储服务器上;所述资源导入服务器将合成后的音视频资料同步到所述CMP内容管理服务器上,用户通过有线电视云服务平台分享合成后的音视频资料。
进一步,所述有线电视云服务平台包括评分模块,负责对合成的音视频进行评分处理。
一种所述音视频采集合成系统及所述音视频采集合成方法的应用,具体步骤如下:
1)教师通过计算机或移动智能终端将学生的作业任务上传至有线电视云服务平台;
2)利用所述音视频采集合成系统及所述音视频采集合成方法,学生诵读作业并将诵读音频上传到所述复读机平台,所述音视频采集合成系统合成作业诵读的音视频;
3)所述资源导入服务器将合成后的音视频资料同步到所述CMP内容管理服务器上,教师通过有线电视云服务平台查看学生的上传的音视频资料。
进一步,所述有线电视云服务平台的所述评分模块对学生的诵读的音视频进行评分;教师可以通过有线电视云服务平台查看学生的分数。
另外,教师还可以通过页面可以看到学生的分数统计,可导出为EXCEL存档,对合成后的音视频资料进行评价、应用管理、统计等功能操作。
一、音视频的合成
音视频合成服务器包括任务分发模块、转码模块和合成模块;为提高工作效率,本系统采用一台任务分发模块配置多个合成模块。
其中,转码模块负责将接收到的来自手机、PAD、PC各终端的不同格式的音频和视频文件,转码为统一格式。任务分发模块负责非常平均的将并发过来的几十甚至几百个任务分配到多个合成模块上。
即收到来自前端资源导入服务器的任务后,依照特定好的协议(私有协议),本协议基于tcp(后文会有详细的使用说明),计算出哪个合成模块的负载最小,就发给它。任务分发模块还可接收来自合成模块的合成进度,并保存起来,待用户发来请求合成进度的指令时,将进度反馈给用户。合成模块负责将不同终端采集的音频和视频文件合并为一份音视频文件,供用户播放。
二、系统工作流程:
1、任务分发:
要把一段音频和一段视频合成,必须按照任务分发模块的私有协议去请求,任务分发模块把来自资源导入服务器发来的大量合成请求任务平均的、按照内部实现的私有协议分发给每一台合成模块,每一台合成模块把合成的进度按照私有协议再返回给任务分发模块,任务分发模块把拿到的进度存入私有的一套进度管理机制中,再等待资源导入服务器来请求当前某个任务合成的进度。
本通信协议基于tcp标准,按照json格式,以及md5校验的方式实现了安全稳定的网络通信。
任务分发模块是整个转码合成系统的入口。外界来的一切任务请求都是由它接收并处理,任务分发模块作为server端,首先等待资源导入服务器的连接,任务分发模块的等待端口号是9090,资源导入服务器调用connect方法连接任务分发模块之后,资源导入服务器发送一个任务要遵循以下协议:
一个请求头,长度为10个字节,前七个字节固定为:0x6c656e6774683a(十六进制),后三个字节为一个十进制0-999的十六进制整数,这个十六进制整数的数值大小为接下来将要发送的json string的请求的长度,json string格式有5种格式。
2、转码:
如果想要将一种格式的音频文件转码成另一种格式的音频文件,用户要先将被转码的音频文件上传到任务分发模块,上传完成之后,用如下协议告诉任务分发系统新的任务需要被转码:
首先是一个十个字节长的请求头,length:125,代表接下来接口模块会发过来一个长度为125字节私有协议数据包。接着再接收125字节的数据。
任务分发模块在收到如上协议的请求之后,先校验转码是否成功,即md5值是否正确,如果md5校验正确,立刻发给负载最小的合成模块,最后再返回给资源导入服务器:“{“success”:true}”,代表转码任务已经正确收到了,并且开始转码了。如果md5校验错误,那么直接返回给资源导入服务器转码任务失败:“{“success”:false}”,让用户重新上传文件。
转码服务器在收到新的任务之后,先将要被转码的音频文件从任务分发服务模块转存到本地,然后开始转码,首先计算出总共的音频帧数,接着读取一帧音频数据利用转码算法转码一帧数据,转码完一帧音频数据算一次已经转码帧的百分比,并且将这个百分比发给任务分发模块,遵循如下协议发给任务分发模块。
任务分发模块将收到的转码进度存入“进度表”,等待用户通过资源导入服务器来请求:。
3、合成:
合成模块负责把一个音频和一个视频合成新的视频。要遵循以下其合成协议(合成协议及使用方法跟转码协议方法很相似)。
任务分发模块在收到合成任务之后,先校验音频和视频的MD5,如果校验无误,任务分发模块会立刻发给负载最小的合成模块,接着再返回给资源导入服务器:“{“success”:true}”,代表合成任务已经正确收到了,并且开始合成了。
如果md5校验错误,那么直接返回给资源导入服务器转码任务失败:“{“success”:false}”,让用户重新上传文件。
接下来任务分发模块会将任务分发到合成模块,分发前先计算哪台服务器负载最小,就发到那台,合成模块收到任务之后,如果是合成任务,就将视频和音频文件先解封装,读一帧音频,读一帧视频,按照相对应的视频容器封装成视频数据,一次类推,最后合成了整个视频文件,在合成的开始首先会计算总体音频总共的帧数,然后计算总共视频的帧数,按照合成的帧数计算出合成的百分比,同时发送到任务分发模块,等待资源导入服务器来请求:
进度的返回和请求跟转码一样,进度被返回到任务分发模块,保存到进度表,待资源导入服务器请求,被请求之后,任务分发模块会去进度表里取出相对应合成任务的进度。
合成进度被资源导入服务器请求的方式跟转码进度被资源导入服务器请求方式和协议一样,不在复述。
另外,本发明利用自己实现的一套分布式内存机制,将多台合成模块的内存每个模块中分出一定存储空间,基于该内存空间搭建了一套分布式内存文件系统,因为我们这套合成服务器要被合成的MP4是已知的,所以在每次服务器开机之后就将已知mp4预先解封装(不解码)到内存文件系统,这样,每次有新的音频需要合成到指定的mp4的时候,将音频转码之后就去相应的内存文件系统中拿到已经解封装但是没有解码的视频帧,直接和已经转码的音频帧封装成新的mp4,这样每个新的要被合成到指定mp4里的音频过来在合成的时候,就少了视频解封装这一步,合成的时间也大大的缩短了,因为解封装的过程也很耗时。
与现有技术相比,本发明通过有线电视下载并播放视频,通过手机等智能移动设备收集音频信息,利用合成服务器将视频和音频信息合成在一起形成一个音视频资料,并通过云平台和大家分享,人们可以通过云平台欣赏该音视频资料,极大地提高了用户的满意度。并提供效果评价、作业布置、应用管理等功能。
附图说明
图1实施例1中音视频采集合成系统结构示意图;
图2为实施例2中音视频采集合成方法的流程图;
图3为实施例3中诵读作业方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行说明。
实施例1
如图1所示,一种基于有线电视和智能移动设备联动的音视频采集合成系统包括:复读机平台、有线电视云服务平台、机顶盒、电视机、以及智能移动设备;复读机平台包括相互连接的资源导入服务器、音视频合成服务器、存储服务器、业务服务器以及EPG服务器;有线电视云服务平台包括依次连接的SMP服务管理器、多屏能力子系统、CMP内容管理服务器;其中CMP内容管理服务器通过IPQAM调制器与机顶盒连接;机顶盒与电视机连接,CMP内容管理服务器内存储有各种视频资料,并利用电视机播放视频;CMP内容管理服务器还与所述资源导入服务器连接,资源导入服务器从CMP内容管理服务器内调入视频资料;SMP服务管理器与所述业务服务器连接;智能移动设备通过移动网络与复读机平台连接,并将其音频信息传输给所述音视频合成服务器,所述音视频合成服务器与资源导入服务器连接,将所述音频和资源导入服务器中视频合成在一起形成音视频资料。
其中,智能移动设备通过移动网络与所述多屏能力子系统连接,并依次通过多屏能力子系统、CMP内容管理服务器、机顶盒控制所述电视机的视频播放。多屏能力子系统用于实现数字信号、移动信号和射频信号的相互转换,通过该系统,可在电视上面显示PC的内容,也可以通过机顶盒操作PC。所述智能移动设备通过多屏能力子系统与所述有线电视服务平台连接。SMP服务管理器用于管理云平台之上的扩展业务,支撑云平台相关业务的运营;管理各类用户对象(如虚拟账户、个人、团体等)的管理,提供各类能力使用情况的精细计量数据。
CMP内容管理服务器用于内容获取及管理、内容文件及相关元数据的管理、视、音频DNA样本管理。
1.内容获取包括:
1)自有内容:通过与运营商现有媒资系统等的接口获得内容文件及相关元数据;
2)在线抓取:通过对目标源站的频道、栏目、页面进行在线爬取、跟踪更新;
3)合作引入:通过与内容合作伙伴的内容系统接口获得内容文件及相关元数据。
4)用户上传:通过与云盘等与用户上传内容相关的应用系统对接及获取。
2.相关元数据管理包括:
1)基本属性:名称、媒体类别、演唱或诵读者等基本信息;
2)特征属性:文件大小、编码格式、封装格式、清晰度等;
3)访问属性:协议、适合的终端类型、码流;
4)主题属性:一级分类、二级分类、热词标签、关键字等。
3.内容管理包括:
1)采编审发:完成视频音频等媒体文件本身的处理,内容资源的采编审发主要完成基于元数据对计划发布的媒体内容进行自动处理,必要时进行人工干预;
2)索引目录:基于元数据制订自动发布策略、自动形成轻量级索引目录;
3)内容质控:制订元数据质量标准、质控规则;
4)人工处理:对元数据、索引目录、内容质控等管理环节提供人工干预的灵活性;
5)分布管理:通过与Cache、CDN的系统接口,获得本地存储内容的相关数据,全面掌握内容总体分布情况;
6)主动缓存:通过与Cache、CDN的调度系统接口,经互联网出口将媒体内容拉入至本地存储,实现内容本地化。
4.视、音频DNA样本管理:
样本提取:通过与外部媒资等技术平台对接,完成样本提取和存储;
版权信息管理:通过与版权管理机构平台对接,获取版权信息;
黑白灰名单管理:名单管理策略设置和管理,通过与版权信息系统、新媒体内容管理系统等协同,实现黑白灰名单的维护;
DNA比对:单个或批量内容导入、并进行DNA比对后,输出比对结果;
统计分析:提供与DNA、版权相关的数据统计、报表功能。
音视频资料存储在所述存储服务器中,并利用所述资源导入服务器与所述CMP内容管理服务器的接口上传到所述有线电视云服务平台上;所述智能移动设备通过所述多屏能力子系统将音视频资料下发给机顶盒播放。
业务服务器与所述SMP服务管理器连接,用于管理用户业务数据信息,负责将用户帐号信息同步给SMP服务管理器,通过SMP服务管理器执行用户帐号与所述机顶盒之间的绑定操作,并记录和管理用户与指定的机顶盒的关联信息。
智能移动设备上安装有APP软件,通过APP登录后,智能移动设备与所述EPG服务器连接,通过EPG服务器下载视频列表、推荐栏图片、片单等信息;同时,所述EPG服务器管理APP所展示的界面元素和布局,下发分类列表、分类结构等。
有线电视服务平台上还可以设置评分单元,对合成后的音视频进行专业级的评分,或者在与大家分享时,让观者予以评分或点赞。
利用该系统,有线电视服务供应商可以面向家庭环境提供便捷的点歌、唱歌服务,能够将唱歌者的声音与歌曲本身混合,形成用户自有的唱歌记录,可以分享给好友,甚至可以评选、竞赛“K歌”等。有条件组建一个卡拉OK的互动分享应用平台。老人戏剧票友利用该系统合成自己的戏剧音视频与大家分享。
儿童也可以采用该方法或利用点唱系统学习英语口语、诵读国学经典、古诗词,以教育视频展现原声读物,同时也能够提供幼儿口语发音与视频读物混合的应用功能,提升学习兴趣,同时能够作为幼儿自有的练习记录保存,用于打分、分享等。国学教育和幼儿英语口语练习类似,以教育视频展现原声读物,同时也能够提供幼儿口语发音与视频读物混合的应用功能,提升学习兴趣,同时能够作为幼儿自有的练习记录保存,用于打分、分享等。该系统可作为学校传统文化教育的辅助手段,教师可通过系统布置诵读作业;学生可利用该系统聆听诵读示范,或直接形成自己的音视频合成诵读作业并提交,用于系统内分享、交流、评价、排名和记录等多种功能,激发中小学生参与的热情和学习的兴趣。并提供应用管理和统计功能,用于应用效果评价和学习过程积累记录。
实施例2
如图2所示,一种基于有线电视和智能移动设备联动的音视频采集合成方法,具体步骤如下:
1)复读机平台中的业务服务器与SMP服务管理器连接,智能移动设备APP用户信息与有线电视云服务平台上的机顶盒绑定;
2)智能移动设备登录APP后连接所述业务服务器,利用上述绑定,智能移动设备同时通过有线电视云服务平台上的多屏能力子系统连接并控制机顶盒;
3)智能移动设备从复读机平台上的EPG服务器上下载视频列表、推荐栏图片、片单等信息;
4)智能移动设备通过APP选择歌名或视频后,智能移动设备通过多屏能力子系统向CMP内容管理服务器发出指令,CMP内容管理服务器向机顶盒下发被选择的视频以及背景音乐,进而电视机播放该视频以及背景音乐;内容管理服务器将所播放的视频及背景音乐传输给所述资源导入服务器;
5)用户对着智能移动设备的话筒唱歌,智能移动设备将收集到的用户声音的音频上传到音视频合成服务器;音视频合成服务器从资源导入服务器中导入视频及背景音乐,将用户声音的音频、被导入的视频及背景音乐合成为音视频资料;
6)机顶盒通过CMP内容管理服务器从复读机平台上下载合成后的音视频,通过电视机播放。
其中,步骤5)中的合成后的音视频资料存储在所述复读机平台上的存储服务器上;所述资源导入服务器将合成后的音视频资料同步到所述CMP内容管理服务器上,用户通过有线电视云服务平台分享合成后的音视频资料。利用该方法,用户在app上选好要录制的视频点击开始录制之后,电视开始播放视频,同时手机开始启动麦克风录音,播放结束后音频和视频将会送至后台服务器合成,合成完毕后用户将在电视机上看到合成后的视频,用户可通过手机选择是否存储,存储的话,可以保存到云平台上,之后可以将这段视频分享到朋友圈等社交平台。如果不存储的话,可以直接删除。
实施例3
如图3所示,一种所述音视频采集合成系统及所述音视频采集合成方法的应用,具体步骤如下:
1)教师通过计算机或移动智能终端将学生的作业任务上传至有线电视云服务平台;
2)利用所述音视频采集合成系统及所述音视频采集合成方法,学生诵读作业并将诵读音频上传到所述复读机平台,所述音视频采集合成系统合成作业诵读的音视频;
3)所述资源导入服务器将合成后的音视频资料同步到所述CMP内容管理服务器上,教师通过有线电视云服务平台查看学生的上传的音视频资料。
有线电视云服务平台的所述评分模块对学生的诵读的音视频进行评分;教师可以通过有线电视云服务平台查看学生的分数。
另外,教师还可以通过页面可以看到学生的分数统计,可导出为EXCEL存档,对合成后的音视频资料进行评价、应用管理、统计等功能操作。
以上结合附图仅描述了本申请的几个优选实施例,但本申请不限于此,凡是本领域普通技术人员在不脱离本申请的精神下,做出的任何改进和/或变形,均属于本申请的保护范围。
Claims (2)
1.一种基于有线电视和智能移动设备联动的音视频采集合成方法,其特征在于,其具体步骤如下:
1)复读机平台中的业务服务器与有线电视云服务平台中的SMP服务管理器连接,智能移动设备APP用户信息与有线电视云服务平台上的机顶盒绑定;
2)智能移动设备登录APP后连接所述业务服务器,利用上述绑定,智能移动设备同时通过有线电视云服务平台上的多屏能力子系统连接并控制机顶盒;
3)智能移动设备从复读机平台上的EPG服务器上下载视频列表、推荐栏图片、片单信息;
4)智能移动设备通过APP选择视频资源后,智能移动设备通过多屏能力子系统向有线电视云服务平台中的CMP内容管理服务器发出指令,CMP内容管理服务器向机顶盒下发被选择的视频以及背景音乐,进而电视机播放该视频以及背景音乐;内容管理服务器将所播放的视频及背景音乐传输给资源导入服务器;
5)用户对着智能移动设备的话筒唱歌或朗诵,智能移动设备将收集到的用户声音的音频上传到复读机平台上的音视频合成服务器;音视频合成服务器从资源导入服务器中导入视频及背景音乐,将用户声音的音频、被导入的视频及背景音乐合成为音视频资料;合成过程采用分布式内存机制,将视频和背景音乐MP4文件预先解封装不解码,存到服务器内存,直接与智能移动设备采集的用户声音转码后的音频帧封装成新的MP4文件;
6)机顶盒通过CMP内容管理服务器从复读机平台上下载合成后的音视频,通过电视机播放。
2.如权利要求1所述音视频采集合成方法,其特征在于,所述步骤5)中的合成后的音视频资料存储在所述复读机平台上的存储服务器上;所述资源导入服务器将合成后的音视频资料同步到有线电视云服务平台中的所述CMP内容管理服务器上,用户通过有线电视云服务平台分享合成后的音视频资料。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510430634.5A CN105025307B (zh) | 2014-12-09 | 2015-07-21 | 基于有线电视和智能移动设备联动的音视频采集合成系统 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2014107440676 | 2014-12-09 | ||
CN201410744067.6A CN104486634A (zh) | 2014-12-09 | 2014-12-09 | 基于有线电视和智能移动设备联动的音视频采集合成系统 |
CN201510430634.5A CN105025307B (zh) | 2014-12-09 | 2015-07-21 | 基于有线电视和智能移动设备联动的音视频采集合成系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105025307A CN105025307A (zh) | 2015-11-04 |
CN105025307B true CN105025307B (zh) | 2017-02-22 |
Family
ID=52761126
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410744067.6A Pending CN104486634A (zh) | 2014-12-09 | 2014-12-09 | 基于有线电视和智能移动设备联动的音视频采集合成系统 |
CN201510430634.5A Active CN105025307B (zh) | 2014-12-09 | 2015-07-21 | 基于有线电视和智能移动设备联动的音视频采集合成系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410744067.6A Pending CN104486634A (zh) | 2014-12-09 | 2014-12-09 | 基于有线电视和智能移动设备联动的音视频采集合成系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN104486634A (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106507144A (zh) * | 2016-11-03 | 2017-03-15 | 天脉聚源(北京)传媒科技有限公司 | 一种基于观众的背景音乐的选取方法及系统 |
CN106604113A (zh) * | 2016-12-15 | 2017-04-26 | 天脉聚源(北京)传媒科技有限公司 | 一种智能合成视频的方法及装置 |
CN107016631B (zh) * | 2017-03-31 | 2021-02-12 | 弘成科技发展有限公司 | 跨平台课件智能合成方法 |
CN106941613A (zh) * | 2017-04-14 | 2017-07-11 | 武汉鲨鱼网络直播技术有限公司 | 一种音视频合流压制和推送系统及方法 |
CN113273220A (zh) * | 2018-09-06 | 2021-08-17 | 上海伴我科技有限公司 | 资源的配置方法、用户界面的导航方法及电子设备、存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886881A (zh) * | 2014-04-14 | 2014-06-25 | 福建星网视易信息系统有限公司 | 一种扩展点歌曲库的方法及其系统 |
CN104091423A (zh) * | 2014-03-12 | 2014-10-08 | 腾讯科技(深圳)有限公司 | 一种信号传输方法及家庭点歌系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002278572A (ja) * | 2001-03-21 | 2002-09-27 | Ricoh Co Ltd | カラオケサービスシステム |
WO2009079560A1 (en) * | 2007-12-17 | 2009-06-25 | Stein Gausereide | Real time video inclusion system |
CN101516018B (zh) * | 2009-03-11 | 2011-06-22 | 中兴通讯股份有限公司 | 一种可视电话及实现可视电话间卡拉ok的方法 |
CN204465759U (zh) * | 2014-12-09 | 2015-07-08 | 北京歌华有线数字媒体有限公司 | 基于有线电视和智能移动设备联动的音视频采集合成系统 |
-
2014
- 2014-12-09 CN CN201410744067.6A patent/CN104486634A/zh active Pending
-
2015
- 2015-07-21 CN CN201510430634.5A patent/CN105025307B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091423A (zh) * | 2014-03-12 | 2014-10-08 | 腾讯科技(深圳)有限公司 | 一种信号传输方法及家庭点歌系统 |
CN103886881A (zh) * | 2014-04-14 | 2014-06-25 | 福建星网视易信息系统有限公司 | 一种扩展点歌曲库的方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105025307A (zh) | 2015-11-04 |
CN104486634A (zh) | 2015-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105025307B (zh) | 基于有线电视和智能移动设备联动的音视频采集合成系统 | |
CN105844987B (zh) | 多媒体教学互动操作方法及装置 | |
CN103426336B (zh) | 高校教学资源数字化系统及使用方法 | |
CN104539983B (zh) | 网络课堂管理系统和方法 | |
CN105100954B (zh) | 一种基于互联网通信及流媒体直播的交互应答系统及方法 | |
CN107872732A (zh) | 一种自助式互动视频直播系统 | |
WO2018223532A1 (zh) | 一种基于互联网的录播数据推荐方法 | |
CN104468845B (zh) | 一种数据处理方法及系统 | |
CN109035933A (zh) | 远程互动教育方法及其系统 | |
CN109461334A (zh) | 一种基于互联架构在线音视频问答记录分享系统及方法 | |
JP6140375B2 (ja) | 映像音声クリップを利用した自律的学習システム | |
US9930094B2 (en) | Content complex providing server for a group of terminals | |
CN102012965A (zh) | 一种基于Ipanel中间件的远程教育系统 | |
CN206075594U (zh) | 基于录播和互动的远程课堂系统 | |
CN204334840U (zh) | 一种智能导播录课系统 | |
CN108305513A (zh) | 具有语音识别功能的网络教学系统及方法 | |
CN108768945A (zh) | 一种移动直播教学互动系统 | |
CN204465759U (zh) | 基于有线电视和智能移动设备联动的音视频采集合成系统 | |
CN106231393A (zh) | 视频信息的处理方法、装置和系统 | |
CN107734349A (zh) | 基于p2p视频直播协同教学系统 | |
CN108768944A (zh) | 一种移动网络教学直播平台系统 | |
CN108989834A (zh) | 基于有线电视和智能移动设备联动的音视频采集合成系统 | |
Anh et al. | A flash-based lecture recording system and its integration with LMS | |
CN109993670A (zh) | 一种基于云端的多媒体外贸教学管理系统 | |
Stickland et al. | “Come together, right now…”: Making remote multiparty in-the-box audio mixing a reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |