CN110290413B - 一种多媒体数据录制方法、播放方法及录制分享系统 - Google Patents
一种多媒体数据录制方法、播放方法及录制分享系统 Download PDFInfo
- Publication number
- CN110290413B CN110290413B CN201910593439.2A CN201910593439A CN110290413B CN 110290413 B CN110290413 B CN 110290413B CN 201910593439 A CN201910593439 A CN 201910593439A CN 110290413 B CN110290413 B CN 110290413B
- Authority
- CN
- China
- Prior art keywords
- recording
- data
- time
- playing
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种多媒体数据录制方法、播放方法及录制分享系统,所述录制方法包括如下步骤:步骤11:获取开始录制信号,在获得所述开始录制信号后开始获得音频数据,截取得到音频数据块,将所述音频数据块写入录制文件;步骤12:获取开始绘制动作信号,并记录绘制动作数据和相对时间数据,将绘制动作数据和相对时间数据写入所述录制文件,所述绘制动作数据表征了开始绘制动作信号后在绘制载体上进行绘制图形的动作,所述相对时间数据表征了每一个绘制动作的初始时间与获得开始录制信号的时间的相对时间差值。本发明具有以下有益的技术效果:无需将音频数据存入临时文件,节约网络资源,接近视频播放的效果,达到播放与录制几乎是同步的效果。
Description
技术领域
本发明涉及电子数据录制方法技术领域,具体是一种多媒体数据录制方法、播放方法及录制分享系统。
背景技术
目前很多录制方法是采用录屏的方式,通过截取每个视频帧的图像得到录制视频文件,这样得到的录制视频文件占用空间大。如果需要分享录制视频文件,需要较多的网络流量资源,有时难以被用户接受。
录制方法还会采用另外一种录制方式,获取用户在电子白板上操作所产生的数据,形成包括声音和绘制图形在内的录制数据,并最终打包成录制文件。例如,申请号为2014100431375的中国专利,其公开了一种多媒体数据录制方法。该专利通过分别获取音频数据和动作(绘制)数据并写入到录制文件,完成多媒体数据的录制。该专利主要存在以下两个缺点或不足:
1、录制的音频数据形成一个独立的临时文件,录制接收后,录制的音频数据对应的临时文件才写入至录制文件,即将音频数据的文件与录制绘制动作数据的文件打包成录制文件。导致录制的音频数据越大,文件打包的时间越长。这使得该专利在某些应用场合是不适宜甚至无法应用的,例如在实时分享的视频会议中,用户A在客户端a上操作产生的录制文件,需要录制结束后才能将录制文件发送给用户B的客户端b上进行分享,产生分享不同步的情况,即有时差。录制文件越大,导致分享不同步的情况越明显,时差越大。
2、录制绘制动作数据只记录每个绘制动作的起始和结束时间的时间信息,缺失一个完整绘制动作中间过程的时间信息,导致在播放录制文件时,到达相应时间后,直接将一个绘制动作所绘制的图形瞬间一次性完整呈现出来,给人“突兀”的感觉,没有按时间顺序动态地将绘制的图形逐步呈现出来,没有视频播放的效果,录制的效果差。
针对该专利,本申请提供一种改进后的多媒体录制方法,以解决上述缺陷。
发明内容
针对现有技术的不足,本发明的目的之一提供一种多媒体数据录制方法,其能够解决多媒体数据录制的问题;
本发明的目的之二提供一种多媒体数据的播放方法,能够解决多媒体数据录制后的播放问题;
本发明的目的之三提供一种多媒体数据的录制分享系统,能够解决多媒体数据录制后的分享及播放问题。
实现本发明的目的之一的技术方案为:一种多媒体数据录制方法,包括以下步骤:
步骤11:获取开始录制信号,在获得所述开始录制信号后开始获得音频数据,每隔预设时间从音频数据截取得到音频数据块,直至获得结束录制信号,则停止音频录制,
每截取得到一个音频数据块,则将所述音频数据块写入录制文件;
步骤12:获取开始绘制动作信号,并记录绘制动作数据和相对时间数据,将绘制动作数据和相对时间数据写入所述录制文件,所述绘制动作数据表征获取开始绘制动作信号后,在绘制载体上进行绘制图形的动作,绘制动作数据至少包括所述动作的初始位置的坐标、结束位置的坐标以及绘制过程中的若干绘制点的坐标,以及各个生成所述各个坐标对应的时间,所述绘制载体为电子白板,
所述相对时间数据表征每一个所述动作的初始时间与获得开始录制信号的时间的相对时间差值。
进一步地,在步骤11之后,还包括步骤13:获取插入文档的时间和录制文档数据,将插入文档的时间和录制文档数据写入所述录制文件,所述录制文档数据表征插入文档中的内容。
进一步地,所述预设时间为3秒。
进一步地,所述电子白板是指运行在电子设备上的图片或空白页。
进一步地,记录从开始绘制到结束绘制中间过程的所有绘制点的坐标和各个坐标对应的时间。
进一步地,将所述音频数据块转换为TLV结构的音频数据块,将所述绘制动作数据转换为TLV结构的绘制动作数据,将TLV结构的音频数据块和TLV结构的绘制动作数据分别写入录制文件。
进一步地,对所述录制文件压缩并加密。
进一步地,所述绘制图形为直线或曲线或多边形或椭圆或圆。
实现本发明的目的之二的技术方案为:一种多媒体数据的播放方法,包括如下步骤:
步骤21:获取所述多媒体数据录制方法中得到的录制文件;
步骤22:按写入录制文件的时间顺序,分别依次提取录制文件中的音频数据块和绘制动作数据,按时间顺序依次连续地播放音频数据块,
获取各个绘制动作数据的初始时间,当从开始播放的时间至当前的时间的时间差值达到初始时间,则根据绘制动作数据的坐标和各个坐标对应的时间,在相应的时间和相应的坐标开始播放绘制动作数据对应的绘制图形,完成当前绘制动作数据的播放,按时间顺序依次连续地播放绘制动作数据;
当所述录制文件包括录制文档数据,则依次提取录制文件中的各个录制文档数据,根据录制文档数据的插入文档时间,在相应的时间播放文档中的内容;
步骤23:当接收到结束播放信号,则停止对录制文件的播放。
实现本发明的目的之三的技术方案为:一种多媒体数据的录制分享系统,所述录制分享系统包括录制端、服务器和播放端,其中,
所述录制端根据所述的多媒体数据录制方法获得音频数据块和绘制动作数据,录制端每获得一个音频数据块或绘制动作数据,则将音频数据块或绘制动作数据上传至服务器;
所述服务器根据接收到的音频数据块和绘制动作数据的先后顺序,依次将音频数据块和绘制动作数据分别转换成目标格式的音频数据块和目标格式绘制动作数据,并将目标格式的音频数据块和目标格式绘制动作数据依次写入录制文件,组装成一个录制文件,
服务器检测是否收到来自播放端的播放请求信号,若接收到播放请求,则将当前形成的录制文件发送给播放端,并将后续接收到的新的音频数据块和绘制动作数据依次发送给播放端,直至接收到来自播放端的结束播放请求信号;
所述播放端向服务器发送所述播放请求信号,播放端接收服务器发送的录制文件,以及在接收录制文件之后接收到的音频数据块和绘制动作数据,
播放端根据所述的多媒体数据的播放方法,对接收到的录制文件以及在接收录制文件之后接收到的音频数据块和绘制动作数据进行播放。
本发明的有益效果为:本发明具有以下有益的技术效果:
1、录制音频数据时,不需要将音频数据存入单独的临时文件,也可以无需存入本地,以分片数据的形式上传,节约网络资源,能够有效适用于5G和云时代;
2、记录绘制动作图形的每个绘制点,播放绘制动作数据时,更接近视频播放的效果;
3、实时上传音频数据块、绘制动作数据或录制文档数据,可以实时将录制文件分享,达到播放与录制几乎是同步的效果,应用范围更广。
附图说明
图1为实施例一的流程示意图;
图2为将音频数据块和绘制动作数据组装到一个录制文件的示意图;
图3为绘制一条曲线的示意图。
具体实施方案
下面,结合附图以及具体实施方案,对本发明做进一步描述:
实施例一
如图1至图3所示,一种多媒体数据录制方法,包括以下步骤:
步骤11:获取开始录制信号,开始录制信号通常为用户在录制终端(例如手机、平板等移动终端或PC端)上点击录制控件产生的操作信号,当然也可以是其他形式的操作信号,例如在触摸屏上的滑行或双击等等,不作具体限制。
在获得开始录制信号后,启动音频录制,并持续地采集用户的声音以获得录制声音,也即获得音频数据。并每隔预设时间从音频数据截取得到音频数据块,直至获得结束录制信号,则停止音频录制。
本实施例,所述预设时间优选为3s。也即从音频录制开始起,每隔3秒从音频数据截取得到音频数据块,这样得到的音频数据块的持续时间也是3s,即播放一个音频数据块从开始至结束持续的时间为3s。
预设时间值不宜太大也不宜太小,太大导致音频数据块较大,需要生成较大的音频数据块后才发送或上传,由于传送第一个音频数据块需要经过预设时间后才传送,播放的初始时间与开始录制的初始时间相差一个预设时间值,导致播放与录制不同步很明显。预设时间值太小,导致音频数据块的发送和上传变得频繁,浪费网络资源。通常来说,预设时间设置为3s是一个实际体验较好的经验值,既能满足一般的同步进行录制与播放的要求,又不会过于频繁传送音频数据块。
本实施例中,采集到的声音是原始的PCM(Pulse-code modulation,脉冲编码调制)音频数据,若直接保存,会占用较大的存储空间,优选为对原始的PCM数据进行压缩编码,得到AAC格式的压缩编码数据,编码后的的数据为音频数据块。进行解码即可播放音频数据块。
因此一个音频数据块包括了录制该音频数据块的持续时间的信息,也即数据量大小信息。音频数据块的持续时间的信息或其他信息同一用标签信息表示。
每截取得到一个音频数据块,将音频数据块结合标签信息组成TLV结构数据块,并将TLV结构数据块写入录制文件中。各个TLV结构的音频数据块按时间顺序依次写入录制文件。
如果录制文件需要进行分享或上传至服务器或云端,每得到一个TLV结构的音频数据块,则立即将该TLV结构的音频数据块上传至服务器或云端或直接发送给需要分享的另一个用户。当然,也可以将录制文件直接存入本地。
在需要将录制文件进行分享或上传至服务器或云端时,优选为,服务器或云端对接收到的每一个音频数据块和对应的标签信息组成TLV结构数据块。也即,将音频数据块组成TLV结构数据块的步骤既可以在录制终端上完成也可以在网络侧完成,例如由服务器或云端或接收端完成。
所述TLV结构如下表所示:
T1 | 类型 |
L1 | 长度 |
V1 | 值 |
T2 | 类型 |
L2 | 长度 |
V2 | 值 |
T3 | 类型 |
L3 | 长度 |
V3 | 值 |
其中,Type用字母T代替,表示当前TLV的类型,例如当前存入的数据属于音频或视频或文档等,例如用0表示音频数据,1表示绘制动作数据,2表示图片文件数据,3表示pdf文档数据;Length用字母L代替,表示当前TLV存入数据的参数值,包括存入数据的数据量,例如当前存入的数据为100M,也表示当前存入的数据占用的存储空间;Value用字母V代替,表示当前TLV存入的具体数据,例如将音频数据块存入TLV,则V部分存入的就是音频数据块。
其中,V部分还包括每个TLV的数据块ID,用DataId表示,通过DataId可以查找出每个TLV;存入当前TLV内的每个数据的形成时间,用Timestamp表示,例如音频数据块在第6秒形成,则Timestamp=6;存入当前TLV内的每个数据的播放时间,以毫秒为单位,用Duration表示,例如存入入当前TLV内的音频数据块持续时间为3秒,则Duration=3000毫秒。通过TLV结构可以知道每一个TLV内存入的数据量、需要播放存入当前TLV内的数据所需要的时间以及根据Timestamp确定在何时播放该数据。
通过将每个音频数据块不断写入录制文件,实现在录制音频数据的同时,同步将音频数据以分片数据的形式写入录制文件,不需要将录制的音频数据存入一个临时文件,也不需要待完整录制完音频数据后再写入录制文件。使得可以实现实时分享录制文件,达到录制与播放是同步的效果。
步骤12:获取开始录制信号后,获取开始绘制动作信号,并记录绘制动作初始位置的坐标和开始绘制时的初始时间,绘制动作的初始时间表征了从开始录制到开始绘制的相对时间,后续播放录制文件需要用到;获取结束绘制动作信号,并记录绘制动作结束位置的坐标和结束绘制时的结束时间,以及记录从开始绘制到结束绘制中间过程的若干个绘制点坐标和各个坐标对应的时间,从而得到每一个绘制图形对应的绘制动作数据。需要注意的是,这里的开始绘制动作信号和结束绘制动作信号均是指当前绘制的始绘制动作信号和结束绘制动作信号,在一个录制过程中,通常会包括多个绘制动作,每一个绘制动作均会产生对应的绘制动作数据。
一个绘制动作数据包括持续绘制时间和开始绘制时间、结束绘制时间以及绘制中间过程的坐标和各个坐标对应的时间,即包括了从开始绘制到结束绘制的持续时间。开始绘制动作信号通常为用户刚开始绘制操作产生的信号,例如在移动终端的触摸屏上,手指滑行绘制各种图形,手指刚开始接触或按压触摸屏产生的信号即为开始绘制动作信号。对应的,结束绘制动作信号通常也为用户刚结束绘制操作产生的信号,例如在移动终端的触摸屏上,手指滑行绘制各种图形,手指脱离触摸屏时产生的信号或触摸屏未接收到触摸信号即为产生结束绘制动作信号。当然也可以是电子笔产生开始绘制动作信号和结束绘制动作信号。
其中,绘制动作产生绘制的图形,例如绘制一条曲线或一条直线或多边形或椭圆或圆或其他任意形状的图形,例如不规则形状的图形。记录绘制动作初始位置的坐标和初始时间,是指获得一条曲线或直线或其他图形的起始坐标、曲线上各点的坐标和曲线终点坐标,以及各个坐标点对应的时间,即获得绘制每个坐标点对应的时间。绘制动作是在绘制载体上进行的,绘制载体优选为电子白板,电子白板是指运行在电子设备上的图片或空白页。
优选地,记录从开始绘制到结束绘制中间过程的所有绘制点的坐标和各个坐标对应的时间。例如记录绘制的一条曲线中间部分的10个绘制点的坐标以及10个坐标对应的时间。
每获得一个绘制动作数据,则立即将绘制动作数据和对应的标签信息组成TLV结构数据块,并立即将TLV结构数据块写入录制文件。各个TLV结构的绘制动作数据按照时间顺序依次写入录制文件。
各个TLV结构的音频数据块和各个TLV结构的绘制动作数据也是按时间顺序依次写入,并组装成一个录制文件。如图2所示,录制文件先接收到一个100M的音频录制数据块,后接收到一个50M的绘制动作数据,则音频录制数据块先写入,对应为第一个TLV,绘制动作数据后写入,对应为第二个TLV。
优选地,在获得所述录制文件后,还包括对所述录制文件进行加密和压缩,以使得录制文件占用的空间更小,更加适应上传、下载和分享的需求,减少用户的网络资源消耗。
下面结合图3进一步说明步骤12中的获取绘制动作数据的过程:
用户在绘制载体(例如电子白板)上,选择绘制图形的工具、颜色、像素等,然后在绘制载体上绘制曲线动作。绘制曲线动作可以是在PC端通过鼠标完成,也可以是在移动终端的触摸屏上进行,不作具体限定。以用户通过手指在移动终端绘制曲线为例,用户在起始位置为(x0,y0)上点击,在结束位置为(x5,y5)上松开手指,应用程序会接收触摸事件,从而接收到开始绘制动作信号和结束绘制动作信号,并记录起始位置和结束位置的坐标和对应的时间。例如在开始录制后的第2s开始点击,则起始位置(x0,y0)对应的时间为2s,在第7s松开手指,则结束位置(x5,y5)对应的时间为7s。同时在绘制此曲线的过程中,还获得绘制中间过程4个绘制点的坐标和各自对应的时间,4个绘制点的坐标分别为(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)。当然,这里只是示例性获得中间过程的4个绘制点的坐标,实际上可以获得更多绘制点的坐标和对应的时间。
当以json协议来记录触摸事件时,动作转换后的json数据如下:
所述json数据的具体含义为:type表示动作类型,curve表示画曲线动作,id为图形的标识号,如果后续对这个图形进行移动、删除等操作,则需要加入这个标识号,draw为绘制图形的具体参数,stroke表示画笔,包括一些颜色等参数,alpha为线的透明度的参数,r,g,b为RGB颜色,pixel为线粗度的像素参数,x0,y0为曲线起始位置的坐标值,x5,y5为曲线终点位置的坐标值,x1,y1-x4,y4为曲线中间的绘制点的坐标值,t0-t5为坐标x0,y0-x5,y5对应的绘制点的绘制时间,单位为毫秒,time为动作发生时的时间,也即从开始录制计起,绘制曲线的初始时间,也即是标记该图形开始显示的时间,page为记录动作所发送的绘制载体的页面页码。
优选地,还包括步骤13:获取开始录制信号后,获取插入文档的时间并读取文档中的内容,将文档中的内容作为录制文档数据,也即获得对文档操作的录制数据。录制文档数据包括插入文档的时间以及文档中的内容。文档是指录制过程中插入的各种文档,通常为word文档、PDF文档或记事本或其他文档。
同样的,每获得一个录制文档数据,则将录制文档数据和对应的标签信息组装成TLV结构数据块,并立即将TLV结构数据块写入录制文件。音频数据块、绘制动作数据和录制文档数据共同组装成一个录制文件。
实施例二
本实施例提供一种接收到基于实施例一获得的录制文件的播放方法,以达到实时播放录制文件的效果,不需要待录制结束后得到完整的录制文件后才能播放的问题,实现录制与播放同步进行,所述播放方法包括如下步骤:
步骤21:获取实施例一中得到的所述录制文件。
优选地,还包括判断录制文件的格式,若录制文件的格式为目标格式,则执行步骤22,否则执行步骤23。
优选地,目标格式为TLV或其他具有对依次接收到的数据块能够区分出来、并提取出各个数据块的生成时间和结束时间的格式,其中,若录制文件的格式为TLV,则是指录制文件中的数据是TLV结构的。本实施例以录制文件的格式为TLV为例进行描述。
优选地,录制文件为通过实施例一的方法得当的录制文件。
步骤22:按写入录制文件的时间顺序,分别依次提取录制文件中的各个TLV结构的音频数据块和各个TLV结构的绘制动作数据,即从各个TLV结构的数据中提取出音频数据块和绘制动作数据。
按时间顺序依次连续地播放音频数据块,由于音频数据块是从开始录制起连续地录制得到的,对应的,依次连续播放音频数据块,即可还原录制的音频数据块,也即还原录制的声音。在播放音频数据块的过程中,每提取到一个音频数据块,则依次播放提取到的音频数据块,下一个音频数据在上一个音频数据块播放结束后则立即播放,依次进行下去。
由于接收的录制文件是不断接收TLV结构的音频数据块,每读取到一个新的TLV结构的音频数据块则立即将其播放,可实现录制和播放几乎是同步。使得实施例一的录制方法和本实施例二的对录制文件的播放方法特别适用于5G等时延极小的通信网络,同时,由于录制文件无需存入本地,可以存入服务器和云端,也特别适用于现在的云技术。
获取各个绘制动作数据的初始时间,当从开始播放计起至当前的时间达到初始时间,则开始播放对应的绘制动作数据,并读取绘制动作数据中每一个绘制点坐标和对应的时间,在相应的时间和相应的坐标播放出录制的绘制动作数据对应的绘制图形,从而实现动态地播放出绘制图形的全过程,达到视频播放的效果。例如,第一个绘制动作数据的初始时间为4s,表征从开始录制计时起,到第4s时,第一个绘制动作开始并产生绘制动作时间。对应的,在开始播放计时起,当到达第4s,则开始播放第一个绘制动作数据。依次类推,若第二个绘制动作数据的初始时间为11s,则在开始播放计时起的第11s,开始播放第二个绘制动作数据。依次进行,直至将所有的绘制动作数据均播放完成或将当前所有接收到的绘制动作数据均播放完成,从而还原绘制动作的录制,达到视频播放的效果。
注意的是,从录制文件开始播放起,建立了一个以系统时间(即播放载体上的系统时间)作为基准时间轴,播放音频数据块和播放绘制动作数据均以基准时间轴依次进行。只不过音频数据块从开始播放器即持续不断地进行播放,因为录制声音是从开始录制起即持续进行,即使没有外部声音输入,录制的音频数据块则可以视为一个空白的数据块,播放该音频时刻时,则无声音,但仍然播放该音频数据块。
而绘制动作数据只有用户在绘制图形的情况下才产生,也即录制的绘制动作数据只有在用户有绘制操作的情况下产生。对应的,播放绘制动作数据也只在相对应的时间动态地播放该绘制动作过程,达到视频播放效果。
步骤23:当接收到结束播放信号,则停止对录制文件的播放。
优选地,当录制文件含有录制文档数据,则步骤22还包括:依次提取录制文件中的各个录制文档数据,即从TLV结构的数据中提取出录制文档数据。根据插入文档时间依次播放录制文档数据。也即,当从开始播放计起至当前的时间达到出入文档的时间,则开始播放对应的录制文档数据,即将插入文档中的内容播放出来。例如,录制文件中,从开始录制计起的第30s,插入一个PDF文档,PDF文档的内容“插入文档示例”。对应的,在从开始播放计起的第30s,在播放端的电子白板上显示PDF文档中的内容“插入文档示例”。这样在录制终端和播放终端上,可以同步共享插入文档中的内容。
实施例三
本实施例提供一种支持包括实施例一的录制方法和实施例二的播放方法的录制分享系统,所述录制分享系统包括录制端、服务器和播放端,录制的可以为移动终端或PC或其他具有采集声音和录制绘制动作功能的电子设备,播放端也可以为移动终端或PC段,其中,
所述录制端根据实施例一提供的方法进行录制声音得到的音频数据块,以及获得用户绘制操作产生的绘制动作数据。优选地,还包括获得插入文档而获得的录制文档数据。
录制端每获得一个音频数据块,则立即将音频数据块上传至服务器。例如每隔3s对录制的音频数据截取得到一个音频数据块,对应的,每隔3s将音频数据块依次上传至服务器。使得录制端录制得到的音频数据块以分片数据的形式上传至服务器,无需生成独立的录制音频文件和保存本地。
同样的,录制端每获得一个绘制动作数据,则立即将绘制动作数据上传至服务器。使得录制端得到的绘制动作数据以分片数据的形式上传至服务器,无需保存本地。
同样的,录制端每获得一个录制文档数据,则立即将录制文档数据上传至服务器。使得录制端得到的录制文档数据以分片数据的形式上传至服务器,无需保存本地。
所述服务器根据接收到的音频数据块和绘制动作数据的先后顺序,依次将音频数据块和绘制动作数据分别转换成目标格式的音频数据块和目标格式绘制动作数据,并将目标格式的音频数据块和目标格式绘制动作数据依次写入录制文件,组装成一个录制文件。
优选地,目标格式为TLV或其他具有对依次接收到的数据块能够区分出来、并提取出各个数据块的生成时间和结束时间的格式。
服务器检测是否收到来自播放端的播放请求信号,若接收到播放请求,则将当前形成的录制文件发送给播放端,并将后续接收到的新的音频数据块和绘制动作数据依次发送给播放端,直至接收到来自播放端的结束播放请求信号。
服务器后续接收到的音频数据块和绘制动作数据也一并写入所述当前形成的录制文件,组装成一个录制文件。也即,服务器将接收到的所有音频数据块和绘制动作数据写入一个录制文件,组装得到一个录制文件。
所述播放端向服务器发送所述播放请求信号,播放请求信号通常为用户在播放端点击播放按钮产生。
播放端接收服务器发送的录制文件,以及在接收录制文件之后接收到的音频数据块、绘制动作数据以及录制文档数据,并据按实施例二的方法对录制数据进行播放。其中,录制文件是播放发送请求后,服务器将当前形成的录制文件发送给播放器获得的,播放器在接收录制文件之后接收到的音频数据块、绘制动作数据和录制文档数据是服务器在接收端播放发送请求后,从录制端新接收到的音频数据块、绘制动作数据和录制文档数据并转发给播放端的。
需要注意的是,一个特例是,播放端发送播放请求与录制端开始录制是同步同时开始的。此种情况下,录制端的录制数据实时通过服务器发送给播放端,播放端实时将录制数据播放出来,实现录制与播放是同步的,服务器每接收到一个音频数据块或绘制动作数据或录制文档数据,则直接发送给播放端,并不需要先写入录制文件后,再将录制文件发送给播放端。特别适合应用于现场视频培训、沟通、分享等情形。例如,用户A在录制端边语音讲解的同时,在录制端辅助于绘制图形,以便进行培训,录制端获得音频数据块和绘制动作数据并发送给服务器,服务器实时将接收到的音频数据块和绘制动作数据依次发送给用户B的播放端,用户B在播放端即可实时播放由录制端录制得到的音频数据块、绘制动作数据和录制文档数据,并以视频的效果播放出来。
本说明书所公开的实施例只是对本发明单方面特征的一个例证,本发明的保护范围不限于此实施例,其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及变形,而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。
Claims (9)
1.一种多媒体数据录制方法,其特征在于,包括以下步骤:
步骤11:获取开始录制信号,在获得所述开始录制信号后开始获得音频数据,每隔预设时间从音频数据截取得到音频数据块,直至获得结束录制信号,则停止音频录制,
每截取得到一个音频数据块,则将所述音频数据块写入录制文件;
步骤12:获取开始绘制动作信号,并记录绘制动作数据和相对时间数据,将绘制动作数据和相对时间数据写入所述录制文件,所述绘制动作数据表征获取开始绘制动作信号后,在绘制载体上进行绘制图形的动作,绘制动作数据至少包括所述动作的初始位置的坐标、结束位置的坐标以及绘制过程中的若干绘制点的坐标,以及各个生成所述各个坐标对应的时间,所述绘制载体为电子白板,
所述相对时间数据表征每一个所述动作的初始时间与获得开始录制信号的时间的相对时间差值,
将所述音频数据块转换为TLV结构的音频数据块,将所述绘制动作数据转换为TLV结构的绘制动作数据,将TLV结构的音频数据块和TLV结构的绘制动作数据分别写入录制文件。
2.根据权利要求1所述的多媒体数据录制方法,其特征在于,在步骤11之后,还包括步骤13:获取插入文档的时间和录制文档数据,将插入文档的时间和录制文档数据写入所述录制文件,所述录制文档数据表征插入文档中的内容。
3.根据权利要求1所述的多媒体数据录制方法,其特征在于,所述预设时间为3秒。
4.根据权利要求1所述的多媒体数据录制方法,其特征在于,所述电子白板是指运行在电子设备上的图片或空白页。
5.根据权利要求1所述的多媒体数据录制方法,其特征在于,记录从开始绘制到结束绘制中间过程的所有绘制点的坐标和各个坐标对应的时间。
6.根据权利要求1所述的多媒体数据录制方法,其特征在于,对所述录制文件压缩并加密。
7.根据权利要求1所述的多媒体数据录制方法,其特征在于,所述绘制图形为直线或曲线或多边形或椭圆或圆。
8.一种多媒体数据的播放方法,其特征在于,包括如下步骤:
步骤21:获取如权利要求1-7中任一项所述的录制文件;
步骤22:按写入录制文件的时间顺序,分别依次提取录制文件中的音频数据块和绘制动作数据,按时间顺序依次连续地播放音频数据块,
获取各个绘制动作数据的初始时间,当从开始播放的时间至当前的时间的时间差值达到初始时间,则根据绘制动作数据的坐标和各个坐标对应的时间,在相应的时间和相应的坐标开始播放绘制动作数据对应的绘制图形,完成当前绘制动作数据的播放,按时间顺序依次连续地播放绘制动作数据;
当所述录制文件包括录制文档数据,则依次提取录制文件中的各个录制文档数据,根据录制文档数据的插入文档时间,在相应的时间播放文档中的内容;
步骤23:当接收到结束播放信号,则停止对录制文件的播放。
9.一种多媒体数据的录制分享系统,所述录制分享系统包括录制端、服务器和播放端,其中,
所述录制端根据权利要求1-7任一项所述的多媒体数据录制方法获得音频数据块和绘制动作数据,录制端每获得一个音频数据块或绘制动作数据,则将音频数据块或绘制动作数据上传至服务器;
所述服务器根据接收到的音频数据块和绘制动作数据的先后顺序,依次将音频数据块和绘制动作数据分别转换成目标格式的音频数据块和目标格式绘制动作数据,并将目标格式的音频数据块和目标格式绘制动作数据依次写入录制文件,组装成一个录制文件,
服务器检测是否收到来自播放端的播放请求信号,若接收到播放请求,则将当前形成的录制文件发送给播放端,并将后续接收到的新的音频数据块和绘制动作数据依次发送给播放端,直至接收到来自播放端的结束播放请求信号;
所述播放端向服务器发送所述播放请求信号,播放端接收服务器发送的录制文件,以及在接收录制文件之后接收到的音频数据块和绘制动作数据,
播放端根据权利要求8所述的多媒体数据的播放方法,对接收到的录制文件以及在接收录制文件之后接收到的音频数据块和绘制动作数据进行播放。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910593439.2A CN110290413B (zh) | 2019-07-02 | 2019-07-02 | 一种多媒体数据录制方法、播放方法及录制分享系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910593439.2A CN110290413B (zh) | 2019-07-02 | 2019-07-02 | 一种多媒体数据录制方法、播放方法及录制分享系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110290413A CN110290413A (zh) | 2019-09-27 |
CN110290413B true CN110290413B (zh) | 2021-12-10 |
Family
ID=68020372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910593439.2A Active CN110290413B (zh) | 2019-07-02 | 2019-07-02 | 一种多媒体数据录制方法、播放方法及录制分享系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110290413B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111629255B (zh) * | 2020-05-20 | 2022-07-01 | 广州视源电子科技股份有限公司 | 音视频录制方法、装置、计算机设备及存储介质 |
CN112073660B (zh) * | 2020-09-15 | 2023-03-10 | 深圳Tcl数字技术有限公司 | Tlv数据生成方法、读取方法、智能设备及存储介质 |
CN112399134B (zh) * | 2021-01-21 | 2021-04-09 | 全时云商务服务股份有限公司 | 一种云会议录制的自管理发布方法及系统 |
CN113038247B (zh) * | 2021-03-18 | 2021-12-24 | 深圳奇实科技有限公司 | 电子白板智能录播的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102447956A (zh) * | 2010-09-30 | 2012-05-09 | 北京沃安科技有限公司 | 手机视频分享的方法及系统 |
CN103309520A (zh) * | 2013-05-20 | 2013-09-18 | 南京恒知讯科技有限公司 | 一种屏幕操作轨迹和声音输入同步存储处理方法、系统及终端 |
CN103780949A (zh) * | 2014-01-28 | 2014-05-07 | 佛山络威网络技术有限公司 | 一种多媒体数据录制方法 |
CN105306861A (zh) * | 2015-10-15 | 2016-02-03 | 深圳市时尚德源文化传播有限公司 | 一种网络教学录播方法及系统 |
CN105308974A (zh) * | 2013-06-21 | 2016-02-03 | 索尼公司 | 传输装置、传输方法、再现装置、再现方法以及接收装置 |
CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
CN106790576A (zh) * | 2016-12-27 | 2017-05-31 | 深圳市汇龙建通实业有限公司 | 一种互动桌面同步方法 |
CN106851354A (zh) * | 2015-12-03 | 2017-06-13 | 深圳市光峰光电技术有限公司 | 一种录制多媒体异地同步播放的方法及相关装置 |
CN108881765A (zh) * | 2018-05-25 | 2018-11-23 | 讯飞幻境(北京)科技有限公司 | 轻量录播方法、装置及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303880B (zh) * | 2008-06-30 | 2010-08-11 | 北京中星微电子有限公司 | 录制、播放音视频文件的方法及装置 |
CN103166831B (zh) * | 2011-12-14 | 2016-01-20 | 腾讯科技(深圳)有限公司 | 数据处理方法、终端及系统 |
CN103646574B (zh) * | 2013-12-18 | 2016-01-20 | 闫健 | 一种基于全景学习系统平台的师生互动教学方法 |
CN104092920A (zh) * | 2014-07-16 | 2014-10-08 | 浙江航天长峰科技发展有限公司 | 一种音视频同步方法 |
CN105407379A (zh) * | 2014-08-26 | 2016-03-16 | 天脉聚源(北京)教育科技有限公司 | 多种媒体的同步录制方法 |
CN109788223A (zh) * | 2019-03-13 | 2019-05-21 | 广州视源电子科技股份有限公司 | 基于智能交互设备的数据处理方法及相关设备 |
-
2019
- 2019-07-02 CN CN201910593439.2A patent/CN110290413B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102447956A (zh) * | 2010-09-30 | 2012-05-09 | 北京沃安科技有限公司 | 手机视频分享的方法及系统 |
CN103309520A (zh) * | 2013-05-20 | 2013-09-18 | 南京恒知讯科技有限公司 | 一种屏幕操作轨迹和声音输入同步存储处理方法、系统及终端 |
CN105308974A (zh) * | 2013-06-21 | 2016-02-03 | 索尼公司 | 传输装置、传输方法、再现装置、再现方法以及接收装置 |
CN103780949A (zh) * | 2014-01-28 | 2014-05-07 | 佛山络威网络技术有限公司 | 一种多媒体数据录制方法 |
CN105306861A (zh) * | 2015-10-15 | 2016-02-03 | 深圳市时尚德源文化传播有限公司 | 一种网络教学录播方法及系统 |
CN106851354A (zh) * | 2015-12-03 | 2017-06-13 | 深圳市光峰光电技术有限公司 | 一种录制多媒体异地同步播放的方法及相关装置 |
CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
CN106790576A (zh) * | 2016-12-27 | 2017-05-31 | 深圳市汇龙建通实业有限公司 | 一种互动桌面同步方法 |
CN108881765A (zh) * | 2018-05-25 | 2018-11-23 | 讯飞幻境(北京)科技有限公司 | 轻量录播方法、装置及系统 |
Non-Patent Citations (1)
Title |
---|
结构化课件自动生成系统的设计与实现;雷武超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170415(第4期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110290413A (zh) | 2019-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110290413B (zh) | 一种多媒体数据录制方法、播放方法及录制分享系统 | |
CN110557678B (zh) | 视频处理方法、装置及设备 | |
US7458013B2 (en) | Concurrent voice to text and sketch processing with synchronized replay | |
CN110968736B (zh) | 视频生成方法、装置、电子设备及存储介质 | |
CN108010037B (zh) | 图像处理方法、装置及存储介质 | |
KR101167765B1 (ko) | 필기 데이터를 이용한 필기 메시지 재생 장치 및 방법 | |
CN108462883B (zh) | 一种直播互动方法、装置、终端设备及存储介质 | |
CN109729420A (zh) | 图片处理方法及装置、移动终端及计算机可读存储介质 | |
CN110263041B (zh) | 一种运动轨迹信息的单界面显示方法及系统 | |
WO2019214371A1 (zh) | 图像的显示方法、生成方法、装置、存储介质及电子装置 | |
CN109981711A (zh) | 文档动态播放方法、装置、系统及计算机可读存储介质 | |
CN104091596B (zh) | 一种乐曲识别方法、系统和装置 | |
CN110234081A (zh) | 视频短信的发送、接收方法及其装置和手持电子设备 | |
JP2001245269A (ja) | コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体 | |
US6724918B1 (en) | System and method for indexing, accessing and retrieving audio/video with concurrent sketch activity | |
CN112069333B (zh) | 笔迹书写内容的共享方法 | |
CN109324776B (zh) | 笔迹的同步方法、装置和系统 | |
CN112068747A (zh) | 听写信息的处理方法 | |
CN108156509A (zh) | 视频播放方法、装置及用户终端 | |
CN110610727A (zh) | 具有语音识别功能的课件录播系统 | |
CN103959805A (zh) | 一种显示图像的方法和装置 | |
CN113391745A (zh) | 网络课程的重点内容处理方法、装置、设备及存储介质 | |
CN105791964B (zh) | 跨平台的媒体文件播放方法及系统 | |
KR20150112113A (ko) | 이벤트 처리 기반의 온라인 강의 콘텐츠 관리방법 | |
CN109286718A (zh) | 一种录屏方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 510000 Room 101, building 20, No. 251, Kehua street, Tianhe District, Guangzhou, Guangdong (floors 1-9) (rental parts: rooms 6009 and 6011) Applicant after: Guangdong Qinghui Information Technology Co., Ltd Address before: 510000 No. 9, Zone C, 4th floor, No. 13, Guangshan Second Road, Tianhe District, Guangzhou City, Guangdong Province Applicant before: Guangzhou Qinghui Information Technology Co., Ltd |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |