CN105100963A - 影音媒体文件合成方法与服务系统 - Google Patents

影音媒体文件合成方法与服务系统 Download PDF

Info

Publication number
CN105100963A
CN105100963A CN201410220043.0A CN201410220043A CN105100963A CN 105100963 A CN105100963 A CN 105100963A CN 201410220043 A CN201410220043 A CN 201410220043A CN 105100963 A CN105100963 A CN 105100963A
Authority
CN
China
Prior art keywords
package
video
audio
rtp
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410220043.0A
Other languages
English (en)
Other versions
CN105100963B (zh
Inventor
任飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Priority to CN201410220043.0A priority Critical patent/CN105100963B/zh
Priority to TW103119079A priority patent/TWI540887B/zh
Priority to US14/605,516 priority patent/US9473677B2/en
Publication of CN105100963A publication Critical patent/CN105100963A/zh
Application granted granted Critical
Publication of CN105100963B publication Critical patent/CN105100963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28—Timers or timing mechanisms used in protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种影音媒体文件合成方法与服务系统。该影音媒体文件合成方法由服务系统执行，服务系统供终端装置通过其浏览器连接；方法包括：接收来自终端装置以串流方式传送的对应于音频/视频文件的多个RTP/RTCP封包；读取第一个音频/视频RTCP封包中的时间戳记记录为第一个音频/视频RTP封包的绝对起始时间；针对接收到的音频/视频RTP封包写入音频/视频缓冲器；从音频/视频缓冲器的队列中取出音频RTP封包，计算封包的相对时间戳记与在前的封包的相对时间戳记的差值，依据差值直接或间接地配合音频绝对起始时间产生音频/视频RTP封包的播放时间戳记；及将音频/视频RTP封包连同其播放时间戳记写入到媒体文件。本发明可达到音视频同步的效果，完成音视频的合成录制。

Description

影音媒体文件合成方法与服务系统
技术领域
本发明涉及一种影音媒体文件合成方法与服务系统，特别是指一种基于浏览器开发的影音媒体文件合成方法与服务系统。
背景技术
目前市面上已有用来将屏幕画面与语音讲解加以结合而形成一.rmvb或.mp4多媒体文件的屏幕录制应用程序(APP)。此技术特别适用于制作例如计算机操作教学的教材，让学习者通过播放该多媒体文件，而从画面及讲解中了解操作流程。
然而，利用屏幕录制APP来制作前述多媒体文件的技术，需在与该APP兼容且安装有该APP的计算机装置上执行，若计算机装置的操作系统或硬件架构不支持该屏幕录制APP，则无法执行。
因此，需要提供一种影音媒体文件合成方法与服务系统来解决上述问题。
发明内容
因此，本发明的目的即在于提供一种基于浏览器开发的影音媒体文件合成方法，使得屏幕录制的行为不受操作系统或硬件架构限制，无论在个人计算机、平板计算机或智能型手机都可通过浏览器执行。
于是，本发明的影音媒体文件合成方法由一服务系统执行，该服务系统供一终端装置通过其浏览器连接，该方法包含以下步骤：
(A)接收来自该终端装置以串流方式传送的对应于一音频文件的多个音频RTP封包、音频RTCP封包，以及对应于一视频文件的多个视频RTP封包、视频RTCP封包；
(B)读取第一个音频RTCP封包中的时间戳记记录为第一个音频RTP封包的音频绝对起始时间，另一方面读取第一个视频RTCP封包中的时间戳记记录为第一个视频RTP封包的视频绝对起始时间；
(C)针对接收到的音频RTP封包，按封包序号写入一音频缓冲器，且针对接收到的视频RTP封包，按封包序号写入一视频缓冲器；
(D)从该音频缓冲器的队列中取出一音频RTP封包，计算该封包的相对时间戳记与一在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该音频绝对起始时间产生该音频RTP封包的播放时间戳记，另一方面从该视频缓冲器的队列中取出一视频RTP封包，计算该封包的相对时间戳记与在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该视频绝对起始时间，产生该视频RTP封包的播放时间戳记；以及
(E)将该音频RTP封包与视频RTP封包连同其播放时间戳记写入到一媒体文件。
本发明还提供一种影音媒体文件合成方法，该影音媒体文件合成方法由一服务系统执行，该服务系统供一终端装置通过该终端装置的浏览器连接；该方法包括以下步骤：(A)接收来自该终端装置以串流方式传送的对应于一音频文件的多个音频RTP封包、音频RTCP封包，以及对应于一视频文件的多个视频RTP封包、视频RTCP封包；(B)读取第一个音频RTCP封包中的时间戳记记录为第一个音频RTP封包的音频绝对起始时间，读取第一个视频RTCP封包中的时间戳记记录为第一个视频RTP封包的视频绝对起始时间；(C)针对接收到的音频RTP封包，写入一音频缓冲器，且针对接收到的视频RTP封包，写入一视频缓冲器；(D)从该音频缓冲器的队列中取出一音频RTP封包，计算该封包的相对时间戳记与一在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该音频绝对起始时间产生该音频RTP封包的播放时间戳记，从该视频缓冲器的队列中取出一视频RTP封包，计算该封包的相对时间戳记与在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该视频绝对起始时间，产生该视频RTP封包的播放时间戳记；以及(E)将该音频RTP封包与视频RTP封包连同该音频RTP封包与视频RTP封包的播放时间戳记写入到一媒体文件。
较佳地，该步骤(E)还包括比较该二封包的播放时间戳记的步骤：如果该音频RTP封包的播放时间戳记(rtpATS)减视频RTP封包的播放时间戳记(rtpVTS)的差值小于一预设阈值，则写入该音频RTP封包，如视频RTP封包的播放时间戳记减音频RTP封包的播放时间戳记的差值小于该预设阈值，则写入该视频RTP封包。
较佳地，如果该音频RTP封包的播放时间戳记减视频RTP封包的播放时间戳记的差值大于该预设阈值，则丢弃该音频RTP封包，如视频RTP封包的播放时间戳记减音频RTP封包的播放时间戳记的差值大于该预设阈值，则丢弃该视频RTP封包。
较佳地，该缓冲器中的每个单元可放一个RTP封包，该步骤(C)中每收到一个封包，会按照这个封包的序号插入到缓冲器其中一个单元中，藉此保证缓冲器中的封包是按序号排列的。
该步骤(C)之前，先判断所接收的音频RTP封包是否为ISAC格式，若否则丢弃封包。
本发明还提供一种服务系统，该服务系统供至少一终端装置通过该终端装置的浏览器连接，并包括：一供该终端装置连接的网络服务器；一用于接收RTP封包及RTCP封包的多端控制单元；以及一媒体文件合成服务器，该媒体文件合成服务器将该多端控制单元接收的RTP封包及RTCP封包进行解码、同步以及媒体文件合成，共同完成前述的影音媒体文件合成方法。
本发明的功效在于，在HTML5架构下，应用网页即时通信技术，进一步藉由音频和视频的时间戳记差值的阈值控制，来达到音视频同步的效果，确保写入的音频封包和视频封包的顺序按照真实的时间戳记序列写入，完成音频与视频的合成录制。
附图说明
本发明的其他的特征及功效，将在参照附图的实施方式中清楚地呈现，其中：
图1是一系统图，说明本发明的服务系统的构成；
图2是一流程图，说明本发明的影音媒体文件合成方法的主要流程架构；
图3是一流程图，示意说明图2中有关音频数据获取作业中的RTP音频数据获取作业的步骤；
图4是一流程图，示意说明图2中有关音频数据获取作业中的RTCP音频数据获取作业的步骤；
图5是一流程图，示意说明图2中有关合成作业中的预处理步骤；
图6是一流程图，示意说明音频数据的合成步骤；以及
图7是一流程图，示意说明视频数据的合成步骤。
主要组件符号说明：
1服务系统S21音频数据获取作业
10交换器S211～S214RTP数据获取作业步骤
11网络服务器S215RTCP数据获取作业步骤
12MCUS22影像数据获取作业
13MCU控制器S3合成作业
14储存器S31～S34合成作业的预处理步骤
15媒体文件合成服务器S41～S49音频数据的合成步骤
9终端装置S51～S56视频数据的合成步骤
S1前置预备作业
具体实施方式
在本发明被详细描述之前，应当注意在以下的说明内容中，类似的组件是以相同的编号来表示。
参阅图1及图2，本发明的影音媒体文件合成方法适合应用于制作IT(informationtechnology，信息技术)教学素材，让使用者轻松地通过屏幕录制产生视频文件，并录制语音讲解而产生音频文件。使用者可使用桌上型计算机、平板计算机或智能型手机等任何一种终端装置9，只须要通过支持HTML5的浏览器即可利用本发明技术将视频文件与音频文件相结合，生成一内容包含操作过程画面与讲解的媒体文件。
本发明的影音媒体文件合成方法的实施例由一服务系统1执行，该服务系统1包括彼此通过交换器(switch)10相连的一供该终端装置9通过其浏览器连接的网络服务器(webServer)11、一多端控制单元(MultipointControlUnit，又称MCU)12、一负责分派MCU12的接收与处理串流数据工作的MCU控制器13、一储存器14以及一媒体文件合成服务器15。
该MCU12可布署为多台计算器(图未示)而进行集群服务，适应大量数据的收发。MCU控制器13会搜集MCU的状态信息，并按照负载均衡的原则分配合适的计算器来处理串流数据。
该储存器14作为服务系统1中各个服务器11、15及MCU12的共用储存媒体，用来储存录制好的媒体文件和临时文件。
在本发明的影音媒体文件合成方法的实施例执行之前，先进行图2所示的前置预备作业(S1)，使用者通过其终端装置9的浏览器登入服务主页面(图未示)。该服务主页面的连结为该网络服务器11发布。藉由HTML5的网页即时通信(WebRTC)技术，终端装置9通过浏览器直接访问该网络服务器11，将使用者屏幕录制的图像编码成视频格式的视频文件(例如MPEG、H.264等视频编码格式)，且将使用者录音的音频数据编码为音频格式的音频文件(例如PCM、WAV、MP3等音频编码格式)。当使用者在该服务主页面操作画面分享以及语音分享功能，浏览器将视频格式数据以及音频格式数据分别编码后打包成RTP(实时传输协议，Real-timeTransportProtocol)封包以及RTCP(实时传输控制协议，Real-timeTransportControlProtocol)封包，该等RTP封包及RTCP封包发送给前述MCU12。RTP封包包括包头及负载数据。包头主要包括序号(SequenceNumber)以及时间戳记(timestamp)。由于RTCP负责管理传输质量，因此RTCP封包由数据传输端周期性地传送，封包内容含有已发送的封包的数量、丢失的封包的数量等统计数据。
媒体文件合成服务器15是执行本发明的影音媒体文件合成方法的主要部分，其将MCU12接收的RTP封包及RTCP封包进行解码、同步以及媒体文件合成，最后储存到该储存器14。
本发明的影音媒体文件合成方法的实施例，主要包含图2所示的以下步骤：
步骤S21—由MCU12接收来自该终端装置9以串流方式传送的对应于该音频文件的音频RTP封包、音频RTCP封包(步骤S21)。另一方面，在步骤S22中，MCU12接收对应于该视频文件的多个视频RTP封包、视频RTCP封包(步骤S22)。详细步骤将在下文搭配图3及图4说明。
步骤S3—合成作业。详细步骤将在下文搭配图5至图7说明。完成媒体文件录制后，即关闭作业并结束流程。
在此以音频数据获取作业举例说明，影像数据获取作业的详细流程可依此类推。有关音频数据获取作业又可分为平行进行、不分顺序的图3所示的音频RTP数据获取作业，以及图4所示的音频RTCP数据获取作业。
如图3所示，音频RTP数据获取作业包含以下步骤：
步骤S211—MCU12接收一音频RTP封包，并将当中标志位(zonebit)设为true(真)。
步骤S212—MCU12判断所接收的音频RTP封包是否为ISAC(internetSpeechAudioCode，互联网语音音频代码)格式？若是，则执行步骤S213，针对接收到的音频RTP封包，按封包序号写入一音频缓冲器(audiobuffer)，接着进入图5所示的合成流程；若否，则执行步骤S214，丢弃封包。相对应的，视频RTP封包就是按封包序号写入一视频缓冲器(videobuffer)。前述ISAC格式是由GIPS组织开发的一套宽带语音编码标准。
具体来说，本实施例中，缓冲器是一个清单，清单中的每个单元可放一个RTP封包，MCU12每收到一个封包，会按照这个封包的序号插入到缓冲器其中一个单元中，因此能保证缓冲器中的封包是按序号排列的。本实施例中，由于音频数据量较小，音频缓冲器可设计为供1024个封包写入；视频数据量较大，视频缓冲器可设计为供5*1024个封包写入。
步骤S215—另一方面，MCU12接收一音频RTCP封包，并将当中标志位设为true。接着进入图5所示的合成流程。
在合成流程中，首先进行预处理步骤，藉此确认音频数据的音频起始时间以及视频数据的视频起始时间已经确定。预处理步骤包括步骤S31，判断是否已完成“评估起始时间”？也就是检查起始时间评估标志位是否为true。若是，则平行地分别进行图6及图7，确保预处理步骤只进行一次；若否，则进行步骤S32，判断是否已获取第一个音频RTP封包(已写入音频缓冲器)、第一个音频RTCP封包、第一个视频RTP封包(已写入视频缓冲器)，以及第一个视频RTCP封包。判断结果若否则继续等待；若是，则执行步骤S33，读取第一个音频RTCP封包中的时间戳记，记录为第一个音频RTP封包的音频绝对起始时间，读取第一个视频RTCP封包中的时间戳记，记录为第一个视频RTP封包的视频绝对起始时间。此时，完成评估起始时间，使起始时间评估标志位记录为true。
有关前述步骤S33，由于RTCP封包的时间戳记是绝对时间，而RTP的时间戳记通过取样频率计算得来的相对时间，例如视频取样频率为9000次/秒，则1个单位代表1/9000秒。在本发明合成媒体文件时，需要将媒体数据(亦即音频数据及视频数据)连同播放时间戳记一起写入，因此需要在RTCP封包的绝对时间的基础上，利用RTP封包的相对时间将播放时间戳记计算出来。
参阅图6，在音频封包处理方面，首先判断音频缓冲器是否为空(步骤S41)？若是则继续等待；若否，则从该音频缓冲器的队列(queue)中取出一音频RTP封包(步骤S42)，接着计算该封包的相对时间戳记与上一封包的相对时间戳记的差值，并依据该差值直接或间接地配合该音频绝对起始时间，产生该音频RTP封包的播放时间戳记(步骤S43)。
由于RTP封包的时间戳记是相对时间，步骤S43的目的在于赋予其绝对的播放时间。以第二个音频RTP封包来说，由于第一个音频RTP封包已经记录有音频绝对起始时间，因此第二个音频RTP封包与第一个音频RTP封包的相对时间戳记差值，加上音频绝对起始时间，就作为第二音频RTP封包的播放时间戳记。依此类推，可针对第三、第四等所有音频RTP封包赋予播放时间戳记。
接着，为了确保音频/视频同步，本实施例的步骤S44针对处理中的音频RTP封包的播放时间戳记(以下以代号rtpATS表示)，与视频缓冲器队列中的视频RTP封包的播放时间戳记(以下以代号rtpVTS表示)比较。如果rtpATS减rtpVTS的差值小于一预设阈值，表示音频、视频同步，则将该音频RTP封包写入webm媒体文件(步骤S47)。然而在本实施例执行写入前，还对ISAC格式的音频数据进行解码(步骤S45)，以及编码为vorbis格式(步骤S46)，如此才能写入到webm媒体文件。这是因为，webm媒体文件的音频编码为vorbis格式，视频为VP8格式，而WebRTC的音频编码格式不包含vorbis，因此需要对音频数据进行解码后编码为vorbis，将在下文中说明的视频数据编码格式与WebRTC的一致，因此不需要解码和编码。
完成音频RTP封包写入后，将该封包的时间戳记，作为所谓“上一封包的时间戳记”(步骤S48)，然后再回到步骤S41处理下一封包。
在步骤S44中，若针对处理中的音频RTP封包的rtpATS，与视频缓冲器队列中的视频RTP封包的rtpVTS比较，大于该预设阈值，则代表发生错误，丢弃该音频RTP封包(步骤S49)。
参阅图7，在视频封包处理方面，首先判断视频缓冲器是否为空(步骤51)？若是则继续等待；若否，则从该视频缓冲器的队列中取出一视频RTP封包(步骤S52)，接着计算该封包的相对时间戳记与上一封包的相对时间戳记的差值，并依据该差值直接或间接地配合该视频绝对起始时间，产生该视频RTP封包的播放时间戳记(步骤S53)。这部分的说明与音频RTP封包处理原则相当，在此不予赘述。
接着，为了确保音频/视频同步，本实施例的步骤S54针对处理中的视频RTP封包的播放时间戳记(以下以代号rtpVTS表示)，与音频缓冲器队列中的视频RTP封包的播放时间戳记(以下以代号rtpATS表示)比较。如果rtpVTS减rtpATS的差值小于一预设阈值，表示音频、视频同步，则将该视频RTP封包写入webm媒体文件(步骤S55)。完成视频RTP封包写入后，将该封包的时间戳记，作为所谓“上一封包的时间戳记”(步骤S56)，然后再回到步骤S51处理下一封包。
在步骤S54中，若针对处理中的视频RTP封包的rtpVTS，与音频缓冲器队列中的音频RTP封包的rtpATS比较，大于该预设阈值，则代表发生错误，丢弃该视频RTP封包(步骤S57)。
当所有音频RTP封包与视频RTP封包经过上述流程处理完毕，webm媒体文件完成合成。本实施例中的所述webm媒体文件即MKV影片格式文件。
综上所述，本发明是在HTML5架构下，应用网页即时通信技术，进一步藉由音频和视频的时间戳记差值的阈值控制，来达到音视频同步的效果，确保写入的音频封包和视频封包的顺序按照真实的时间戳记序列写入，完成音频与视频的合成录制，故确实能达到本发明的目的。
惟以上所述者，仅为本发明的较佳实施例而已，应当不能以此限定本发明实施的范围，即凡是根据本发明权利要求书的范围及专利说明书内容所作的简单的等同变化与修饰，皆仍属本发明专利涵盖的范围内。

Claims (6)

1.一种影音媒体文件合成方法，该影音媒体文件合成方法由一服务系统执行，该服务系统供一终端装置通过该终端装置的浏览器连接；该方法包括以下步骤：
(A)接收来自该终端装置以串流方式传送的对应于一音频文件的多个音频RTP封包、音频RTCP封包，以及对应于一视频文件的多个视频RTP封包、视频RTCP封包；
(B)读取第一个音频RTCP封包中的时间戳记记录为第一个音频RTP封包的音频绝对起始时间，读取第一个视频RTCP封包中的时间戳记记录为第一个视频RTP封包的视频绝对起始时间；
(C)针对接收到的音频RTP封包，写入一音频缓冲器，且针对接收到的视频RTP封包，写入一视频缓冲器；
(D)从该音频缓冲器的队列中取出一音频RTP封包，计算该封包的相对时间戳记与一在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该音频绝对起始时间产生该音频RTP封包的播放时间戳记，从该视频缓冲器的队列中取出一视频RTP封包，计算该封包的相对时间戳记与在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该视频绝对起始时间，产生该视频RTP封包的播放时间戳记；以及
(E)将该音频RTP封包与视频RTP封包连同该音频RTP封包与视频RTP封包的播放时间戳记写入到一媒体文件。
2.如权利要求1所述的影音媒体文件合成方法，其中，该步骤(E)还包括比较该二封包的播放时间戳记的步骤：如果该音频RTP封包的播放时间戳记减视频RTP封包的播放时间戳记的差值小于一预设阈值，则写入该音频RTP封包，如视频RTP封包的播放时间戳记减音频RTP封包的播放时间戳记的差值小于该预设阈值，则写入该视频RTP封包。
3.如权利要求2所述的影音媒体文件合成方法，其中，如果该音频RTP封包的播放时间戳记减视频RTP封包的播放时间戳记的差值大于该预设阈值，则丢弃该音频RTP封包，如视频RTP封包的播放时间戳记减音频RTP封包的播放时间戳记的差值大于该预设阈值，则丢弃该视频RTP封包。
4.如权利要求1至3中任一项所述的影音媒体文件合成方法，其中，该缓冲器中的每个单元可放一个RTP封包，该步骤(C)中每收到一个封包，会按照这个封包的序号插入到缓冲器其中一个单元中，藉此保证缓冲器中的封包是按序号排列的。
5.如权利要求1所述的影音媒体文件合成方法，其中，该步骤(C)之前，先判断所接收的音频RTP封包是否为ISAC格式，若否则丢弃封包。
6.一种服务系统，该服务系统供至少一终端装置通过该终端装置的浏览器连接，并包括：
一供该终端装置连接的网络服务器；
一用于接收RTP封包及RTCP封包的多端控制单元；以及
一媒体文件合成服务器，该媒体文件合成服务器将该多端控制单元接收的RTP封包及RTCP封包进行解码、同步以及媒体文件合成，共同完成权利要求1至5中任一项所述的影音媒体文件合成方法。
CN201410220043.0A 2014-05-22 2014-05-22 影音媒体文件合成方法与服务系统 Active CN105100963B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410220043.0A CN105100963B (zh) 2014-05-22 2014-05-22 影音媒体文件合成方法与服务系统
TW103119079A TWI540887B (zh) 2014-05-22 2014-05-30 影音媒體檔合成方法與伺服系統
US14/605,516 US9473677B2 (en) 2014-05-22 2015-01-26 Method and server system for synchronization of audio/video media files

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410220043.0A CN105100963B (zh) 2014-05-22 2014-05-22 影音媒体文件合成方法与服务系统

Publications (2)

Publication Number Publication Date
CN105100963A true CN105100963A (zh) 2015-11-25
CN105100963B CN105100963B (zh) 2017-12-22

Family

ID=54556962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410220043.0A Active CN105100963B (zh) 2014-05-22 2014-05-22 影音媒体文件合成方法与服务系统

Country Status (3)

Country Link
US (1) US9473677B2 (zh)
CN (1) CN105100963B (zh)
TW (1) TWI540887B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296875A (zh) * 2016-08-16 2017-01-04 湖南纽思曼导航定位科技有限公司 一种行车记录仪及存储方法
CN106941613A (zh) * 2017-04-14 2017-07-11 武汉鲨鱼网络直播技术有限公司 一种音视频合流压制和推送系统及方法
CN107509100A (zh) * 2017-09-15 2017-12-22 深圳国微技术有限公司 音视频同步方法、系统、计算机装置及计算机可读存储介质
CN108235107A (zh) * 2016-12-15 2018-06-29 广州市动景计算机科技有限公司 视频录制方法、装置及电子终端
CN111881151A (zh) * 2020-09-28 2020-11-03 湖北安泰泽善科技有限公司 一种交通违法数据管理方法、装置及服务器
CN112243145A (zh) * 2019-07-18 2021-01-19 瑞昱半导体股份有限公司 音频与视频同步方法和音频与视频处理装置
CN113660379A (zh) * 2021-08-11 2021-11-16 易谷网络科技股份有限公司 一种录屏方法、装置、电子设备以及存储介质
CN114584811A (zh) * 2022-05-09 2022-06-03 江西师范大学 基于rtp协议的流媒体视频的同步方法及系统
CN112423120B (zh) * 2020-01-22 2023-09-01 上海哔哩哔哩科技有限公司 音频时延的检测方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362173B2 (en) 2017-05-05 2019-07-23 Sorenson Ip Holdings, Llc Web real-time communication from an audiovisual file
CN110636359B (zh) * 2018-06-21 2021-11-23 杭州海康威视数字技术股份有限公司 音视频同步播放的方法及装置
US11051050B2 (en) 2018-08-17 2021-06-29 Kiswe Mobile Inc. Live streaming with live video production and commentary
US10887646B2 (en) * 2018-08-17 2021-01-05 Kiswe Mobile Inc. Live streaming with multiple remote commentators
US10701124B1 (en) 2018-12-11 2020-06-30 Microsoft Technology Licensing, Llc Handling timestamp inaccuracies for streaming network protocols
CN111352752B (zh) * 2020-03-06 2021-04-20 普迪飞半导体技术(上海)有限公司 半导体测试数据的处理系统、方法、装置与服务器
TWI762980B (zh) * 2020-07-29 2022-05-01 瑞昱半導體股份有限公司 數位串流錯誤檢查方法與電路系統
CN114374871B (zh) * 2020-10-15 2023-11-14 瑞昱半导体股份有限公司 串流媒体的时戳处理方法
CN112543355B (zh) * 2020-11-25 2022-08-12 南通亿荣网络科技有限公司 一种分布式音视频传输方法及系统
CA3113015A1 (en) * 2021-03-02 2022-09-02 Grass Valley Canada System and method of streaming content between peer devices in a broadcast environment
CN113794813B (zh) * 2021-11-16 2022-02-11 珠海视熙科技有限公司 一种控制音画同步的方法、装置及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282482A (zh) * 2008-05-04 2008-10-08 中兴通讯股份有限公司 视频数据与音频数据同步播放的装置、系统和方法
US20110063502A1 (en) * 2008-05-19 2011-03-17 Thomson Licensing Device and method for synchronizing an interactive mark to streaming content
US20110083155A1 (en) * 2008-06-11 2011-04-07 Koninklijke Philips Electronics N.V. Synchronization of media stream components
CN102075728A (zh) * 2011-01-18 2011-05-25 中兴通讯股份有限公司 一种共享音频和/或视频的方法及系统
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100565333B1 (ko) 2004-06-22 2006-03-30 엘지전자 주식회사 휴대단말기의 비디오 오디오 동기장치 및 방법
CN102377823B (zh) 2011-10-18 2013-12-25 北京优朋普乐科技有限公司 一种通过滑屏实现多屏多用户之间互动分享的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282482A (zh) * 2008-05-04 2008-10-08 中兴通讯股份有限公司 视频数据与音频数据同步播放的装置、系统和方法
US20110063502A1 (en) * 2008-05-19 2011-03-17 Thomson Licensing Device and method for synchronizing an interactive mark to streaming content
US20110083155A1 (en) * 2008-06-11 2011-04-07 Koninklijke Philips Electronics N.V. Synchronization of media stream components
CN102075728A (zh) * 2011-01-18 2011-05-25 中兴通讯股份有限公司 一种共享音频和/或视频的方法及系统
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296875A (zh) * 2016-08-16 2017-01-04 湖南纽思曼导航定位科技有限公司 一种行车记录仪及存储方法
CN108235107A (zh) * 2016-12-15 2018-06-29 广州市动景计算机科技有限公司 视频录制方法、装置及电子终端
CN106941613A (zh) * 2017-04-14 2017-07-11 武汉鲨鱼网络直播技术有限公司 一种音视频合流压制和推送系统及方法
CN107509100A (zh) * 2017-09-15 2017-12-22 深圳国微技术有限公司 音视频同步方法、系统、计算机装置及计算机可读存储介质
CN112243145A (zh) * 2019-07-18 2021-01-19 瑞昱半导体股份有限公司 音频与视频同步方法和音频与视频处理装置
CN112423120B (zh) * 2020-01-22 2023-09-01 上海哔哩哔哩科技有限公司 音频时延的检测方法及系统
CN111881151A (zh) * 2020-09-28 2020-11-03 湖北安泰泽善科技有限公司 一种交通违法数据管理方法、装置及服务器
CN111881151B (zh) * 2020-09-28 2021-07-13 湖北安泰泽善科技有限公司 一种交通违法数据管理方法、装置及服务器
CN113660379A (zh) * 2021-08-11 2021-11-16 易谷网络科技股份有限公司 一种录屏方法、装置、电子设备以及存储介质
CN114584811A (zh) * 2022-05-09 2022-06-03 江西师范大学 基于rtp协议的流媒体视频的同步方法及系统

Also Published As

Publication number Publication date
TWI540887B (zh) 2016-07-01
CN105100963B (zh) 2017-12-22
US20150341528A1 (en) 2015-11-26
US9473677B2 (en) 2016-10-18
TW201545551A (zh) 2015-12-01

Similar Documents

Publication Publication Date Title
CN105100963A (zh) 影音媒体文件合成方法与服务系统
JP6570646B2 (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
JP6472898B2 (ja) ネット教育における記録・再生方法およびシステム
CN109981711B (zh) 文档动态播放方法、装置、系统及计算机可读存储介质
KR20210069711A (ko) 코스웨어 녹화 및 재생 방법, 장치, 스마트 인터랙티브 태블릿 및 저장 매체
CN101977218B (zh) 一种互联网播放文件转码方法和系统
CN102868908A (zh) 高效流媒体播放方法和装置
CN103765914A (zh) 经译码视频数据的网络流式传输
CN102740125B (zh) 一种播放流媒体的系统和方法
CN105612743A (zh) 编码的媒体的音频视频回放同步
CN111669645B (zh) 视频的播放方法、装置、电子设备及存储介质
CN104602105A (zh) 视频文件的播放方法及用户设备
CN104135596A (zh) 基于flex的视频与文档锚点同步匹配及展现方法
CN104683823A (zh) 一种多屏联动音视频同步系统
CN105992049A (zh) 一种rtmp直播回看方法及系统
CN102368721A (zh) 一种ms集群系统的性能测试系统及测试方法
US9705836B2 (en) Method, server and SNS system for message interaction
CN101924932A (zh) Cnvs多媒体课件快速制作方法
CN106303754A (zh) 一种音频数据播放方法及装置
CN111885351B (zh) 一种屏幕显示方法、装置、终端设备和存储介质
US20200344286A1 (en) Method and apparatus for operating dynamic network service on the basis of latency
US20170055006A1 (en) Receiver, transmitter, data communication method, and data processing method
CN115604238A (zh) 物联网操作系统的音视频处理方法、装置、设备和介质
CN111836071B (zh) 一种基于云会议的多媒体处理方法、装置及存储介质
CN107135407A (zh) 一种钢琴视频教学中的同步方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant