CN108322811A - 一种钢琴视频教学中的同步方法及系统 - Google Patents
一种钢琴视频教学中的同步方法及系统 Download PDFInfo
- Publication number
- CN108322811A CN108322811A CN201810158609.XA CN201810158609A CN108322811A CN 108322811 A CN108322811 A CN 108322811A CN 201810158609 A CN201810158609 A CN 201810158609A CN 108322811 A CN108322811 A CN 108322811A
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- queue
- data
- module
- Prior art date
Links
- 230000001360 synchronised Effects 0.000 title claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 229920004880 RTP PEK Polymers 0.000 claims description 18
- 238000000034 methods Methods 0.000 claims description 12
- 238000009432 framing Methods 0.000 claims description 9
- 230000002123 temporal effects Effects 0.000 claims description 6
- 230000003139 buffering Effects 0.000 claims description 5
- 230000000875 corresponding Effects 0.000 claims description 5
- 230000002159 abnormal effects Effects 0.000 claims description 3
- 239000010410 layers Substances 0.000 claims description 3
- 239000000725 suspensions Substances 0.000 claims description 2
- 241000731961 Juncaceae Species 0.000 claims 1
- 230000001934 delay Effects 0.000 claims 1
- 230000004048 modification Effects 0.000 description 2
- 238000006011 modification reactions Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000010586 diagrams Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002360 preparation methods Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
Description
一种钢琴视频教学中的同步方法及系统
技术领域
[0001]本发明公开了一种钢琴视频教学中的同步方法及系统,具体为教育教学技术领 域。
背景技术
[0002]钢琴是目前的娱乐手段之一,随着社会的发展,儿童中,上钢琴课程的比例是越来 越高,以及随着互联网的普及推广,远程教学在信息发达的今天已经成为一种常见的教学 方式。网络教学课堂注重的是能够实现教学现场的视音频信号的同步录制,并能够在网上 进行实时直播,满足钢琴课程的需要。但是现有的网络钢琴教学存在着客户端接收到的视 音频信号不同步,学生无法清楚的学习钢琴教学的内容,从而影响视频教学质量的问题。为 此,我们提出了一种钢琴视频教学中的同步方法及系统投入使用,以解决上述问题。
发明内容
[0003]本发明的目的在于提供一种钢琴视频教学中的同步方法及系统,以解决上述背景 技术中提出的问题。 M
[0004]为实现上述目的,本发明提供如下技术方案:一种钢琴视频教学中的同步方法,该 同步方法的具体步骤如下:
[0005] S1:发送端分别独立的对钢琴教学中音频和视频信息进行采样、组帧和打包,然后 放到各自的缓冲队列中等待发送;
[0006] S2:创建解复用线程、音频解码线程、视频解码线程、音频同步输出线程以及视频 同步输出线程;
[0007] S3:启动解复用线程完成对系统层的传输流或节目流的解复用处理,将传输流或 节目流拆分成音频基本流、视频基本流以及时间信息,然后将音频基本流插入音频基本流 队列尾部,将视频基本流插入视频基本流队列尾部,并激活解码线程;
[0008] S4:启动音频解码线程和视频解码线程分别解码音频基本流队列和视频基本流队 列中的比特流,并将时间信息和解码后的音频数据和视频数据分别插入音频输出队列尾部 和视频输出队列尾部,激活音频输出线程和视频输出线程;
[0009] S5:数据发送模块读取音频基本流和视频基本流中的数据包队列,并经过同一个 通道发送至网络中;
[0010] S6:接收端接收数据,根据RTP包头中的PT字段区分音频和视频,并放到各自的接 收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理;
[0011] S7:音频和视频从各自的解码后的音频视频基本流队列中按顺序取数据解码,并 通过组帧过程中根据时间戳PTS值校准后同步播放。
[0012]优选的,所述步骤S3中,若音频基本流队列或视频基本流队列溢出则用解复用线 程挂起等待。
[0013]优选的,所述步骤S4中,音频解码的具体过程为:对音频基本流队列头的音频基本 流进行解码;将解码后的一帧音频数据插入音频输出队列尾部,并激活音频输出条件变量; 将音频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中。 ’
[0014]优选的,所述步骤S4中,视频解码的具体过程为:对视频基本流队列头的视频基本 流进行解码;将解码后的一帧图像数据插入视频输出队列尾部,并激活视频输出条件变量; 将视频基本流队列中的时间戳PTS值保存在音频输出队列对应节点中。
[0015]优选的,所述步骤S5中,在数据发送模块读取音频和视频数据过程中,从音频基本 流队列中读取一个数据包,从视频基本流队列中读取数据包,每取一个数据包,都判断尺吓 包头的Mark字段是否为1,如果为1,说明当前视频帧已经读取完毕,若Mark字段为〇,说明当 前视频帧未读取完,则继续读取,直至Mark字段为1。
[0016]优选的,每个所述RTP包头中所承载的有效载荷类型PT是唯一的,若将视频和音频 通过同一个通道传输,并且保证同一时刻采集到的音频和视频帧顺次交错发送,则既能保 证音频和视频传输中的同步,又遵守了 RTP协议,其中音频数据量较小,一个RTp包即能承载 一帧,一个视频帧则需要多个RTP包承载,帧结束的标志采用RTP包头中的Mark字段,该字段 为1,则说明当前包是一个帧的结束包。
[0017]优选的,一种钢琴视频教学中的同步系统,包括音频采样模块、视频采样模块、音 频编码打包模块、视频编码打包模块、数据发送模块、音频拆包解码模块、视频拆包解码模 块以及同步播放模块;
[0018]所述音频采样模块和视频采样模块用于对钢琴教学中音频和视频信息进行采样, 并通过所述频编码打包模块、视频编码打包模块对音频和视频的采样数据进行组帧和数据 打包,所述数据发送模块读取音频基本流和视频基本流中的数据包队列,并经过同一个通 道发送至网络中,所述音频拆包解码模块和视频拆包解码模块用于对音频数据和视频数据 进行解码,并建立音频和视频数据的基本流队列,所述同步播放模块用于播放钢琴教学中 的音频和视频图像。
[0019] 与现有技术相比,本发明的有益效果是:本发明不仅有效的实现了音频和视频的 同步输出,而且不需要缓冲大量的视频编码数据和音频图像数据,很大程度上降低了对系 统资源的使用,适合于嵌入式的系统平台,其运行效率高、功能实现的复杂程度较低。
附图说明
[0020] 图1为本发明系统原理框图。
具体实施方式
[0021] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例,都属于本发明保护的范围。
[0022] 请参阅图1,本发明提供一种技术方案:一种钢琴视频教学中的同步方法,该同步 方法的具体步骤如下:
[0023] S1:发送端分别独立的对钢琴教学中音频和视频信息进行采样、组帧和打包,然后 放到各自的缓冲队列中等待发送; 刨建解复用线程、音频解码线程、视频解码线程、音频同步输出线程以及视频 同步输出线程; ' ^〇25] S3:启动解复用线程完成对系统层的传输流或节目流的解复用处理,将传输流或 节目流拆分成音频基本流、视频基本流以及时间信息,然后将音频基本流插入音频基本流 队列尾部,将视频基本流插入视频基本流队列尾部,并激活解码线程,若音频基本流队列或 视频基本流队列溢出则用解复用线程挂起等待;
[0026] S4:启动音频解码线程和视频解码线程分别解码音频基本流队列和视频基本流队 列中的比特流,并将时间信息和解码后的音频数据和视频数据分别插入音频输出队列尾部 和视频输出队列尾部,激活音频输出线程和视频输出线程,音频解码的具体过程为:对音频 基本流队列头的音频基本流进行解码;将解码后的一帧音频数据插入音频输出队列尾部, 并激活音频输出条件变量;将音频基本流队列中的时间戳PTS值保存在音频输出队列对应 节点中,视频解码的具体过程为:对视频基本流队列头的视频基本流进行解码;将解码后的 一帧图像数据插入视频输出队列尾部,并激活视频输出条件变量;将视频基本流队列中的 时间戳PTS值保存在首频输出队列对应节点中;
[0027] S5:数据发送模块读取音频基本流和视频基本流中的数据包队列,并经过同一个 通道发送至网络中,在数据发送模块读取音频和视频数据过程中,从音频基本流队列中读 取一个数据包,从视频基本流队列中读取数据包,每取一个数据包,都判断RTP包头的Mark 字段是否为1,如果为1,说明当前视频帧已经读取完毕,若Mark字段为0,说明当前视频帧未 读取完,则继续读取,直至Mark字段为1,每个所述RTP包头中所承载的有效载荷类型PT是唯 一的,若将视频和音频通过同一个通道传输,并且保证同一时刻采集到的音频和视频帧顺 次交错发送,则既能保证音频和视频传输中的同步,又遵守了RTP协议,其中音频数据量较 小,一个RTP包即能承载一帧,一个视频帧则需要多个RTP包承载,帧结束的标志采用RTP包 头中的Mark字段,该字段为1,则说明当前包是一个帧的结束包;
[0028] S6:接收端接收数据,根据RTP包头中的PT字段区分音频和视频,并放到各自的接 收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理;
[0029] S7:音频和视频从各自的解码后的音频视频基本流队列中按顺序取数据解码,并 通过组帧过程中根据时间戳PTS值校准后同步播放。
[0030]本发明还提供了一种钢琴视频教学中的同步系统,包括音频采样模块、视频采样 模块、音频编码打包模块、视频编码打包模块、数据发送模块、音频拆包解码模块、视频拆包 解码模块以及同步播放模块;
[0031]所述音频采样模块和视频采样模块用于对钢琴教学中音频和视频信息进行采样, 并通过所述频编码打包模块、视频编码打包模块对音频和视频的采样数据进行组帧和数据 打包,所述数据发送模块读取音频基本流和视频基本流中的数据包队列,并经过同一个通 道发送至网络中,所述音频拆包解码模块和视频拆包解码模块用于对音频数据和视频数据 进行解码,并建立音频和视频数据的基本流队列,所述同步播放模块用于播放钢琴教学中 的首频和视频图像。
[0032]尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810158609.XA CN108322811A (zh) | 2018-02-26 | 2018-02-26 | 一种钢琴视频教学中的同步方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810158609.XA CN108322811A (zh) | 2018-02-26 | 2018-02-26 | 一种钢琴视频教学中的同步方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108322811A true CN108322811A (zh) | 2018-07-24 |
Family
ID=62899847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810158609.XA CN108322811A (zh) | 2018-02-26 | 2018-02-26 | 一种钢琴视频教学中的同步方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108322811A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109600665A (zh) * | 2018-08-01 | 2019-04-09 | 北京微播视界科技有限公司 | 用于处理数据的方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101243640A (zh) * | 2005-08-12 | 2008-08-13 | 微软公司 | 保护基本流内容 |
CN101984672A (zh) * | 2010-11-03 | 2011-03-09 | 深圳芯邦科技股份有限公司 | 多线程的音视频同步控制方法及装置 |
CN102067618A (zh) * | 2008-06-17 | 2011-05-18 | 汤姆逊许可证公司 | 利用服务类型(tos)信息的交错播送方法和装置 |
US20120246218A1 (en) * | 2011-03-23 | 2012-09-27 | Verizon Patent And Licensing, Inc. | Region of interest streaming |
CN103039072A (zh) * | 2010-05-25 | 2013-04-10 | 维德约股份有限公司 | 用于使用多个摄影机和多个监视器的可缩放视频通信的系统和方法 |
CN103237255A (zh) * | 2013-04-24 | 2013-08-07 | 南京龙渊微电子科技有限公司 | 一种多线程的音视频同步控制方法及系统 |
CN103414957A (zh) * | 2013-07-30 | 2013-11-27 | 广东工业大学 | 一种音视频数据同步的方法和装置 |
CN104053014A (zh) * | 2013-03-13 | 2014-09-17 | 腾讯科技(北京)有限公司 | 一种基于移动终端的直播系统、方法和移动终端 |
CN104270684A (zh) * | 2014-09-24 | 2015-01-07 | 北京中科大洋科技发展股份有限公司 | 一种面向实时应用的视音频数据网络传输系统和方法 |
-
2018
- 2018-02-26 CN CN201810158609.XA patent/CN108322811A/zh active Search and Examination
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101243640A (zh) * | 2005-08-12 | 2008-08-13 | 微软公司 | 保护基本流内容 |
CN102067618A (zh) * | 2008-06-17 | 2011-05-18 | 汤姆逊许可证公司 | 利用服务类型(tos)信息的交错播送方法和装置 |
CN103039072A (zh) * | 2010-05-25 | 2013-04-10 | 维德约股份有限公司 | 用于使用多个摄影机和多个监视器的可缩放视频通信的系统和方法 |
CN101984672A (zh) * | 2010-11-03 | 2011-03-09 | 深圳芯邦科技股份有限公司 | 多线程的音视频同步控制方法及装置 |
US20120246218A1 (en) * | 2011-03-23 | 2012-09-27 | Verizon Patent And Licensing, Inc. | Region of interest streaming |
CN104053014A (zh) * | 2013-03-13 | 2014-09-17 | 腾讯科技(北京)有限公司 | 一种基于移动终端的直播系统、方法和移动终端 |
CN103237255A (zh) * | 2013-04-24 | 2013-08-07 | 南京龙渊微电子科技有限公司 | 一种多线程的音视频同步控制方法及系统 |
CN103414957A (zh) * | 2013-07-30 | 2013-11-27 | 广东工业大学 | 一种音视频数据同步的方法和装置 |
CN104270684A (zh) * | 2014-09-24 | 2015-01-07 | 北京中科大洋科技发展股份有限公司 | 一种面向实时应用的视音频数据网络传输系统和方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109600665A (zh) * | 2018-08-01 | 2019-04-09 | 北京微播视界科技有限公司 | 用于处理数据的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2710702T3 (es) | Live timing for adaptive dynamic streaming over HTTP (DASH) | |
CN103931204B (zh) | 媒体数据的网络流 | |
KR101639358B1 (ko) | 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3d 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법 | |
US7298741B2 (en) | Robust MPEG-2 multiplexing system and method using an adjustable time stamp | |
CN103945166B (zh) | 用于在媒体中继会议中同步音频和视频流的方法和系统 | |
CN101960726B (zh) | 用于解码增强型视频流的方法和装置 | |
CN1292588C (zh) | 图像声音同步装置 | |
CN107409234B (zh) | 基于lct利用dash格式的基于文件格式的流式传输 | |
JP4936751B2 (ja) | 迅速なメディアチャネル切り替え機構、および該機構を含むアクセスネットワークノード | |
TWI668982B (zh) | 用於多媒體和檔案傳輸的傳輸介面的方法及伺服器設備、及用於記錄相關指令於其上的電腦可讀取儲存媒體 | |
US9083993B2 (en) | Video/audio data multiplexing apparatus, and multiplexed video/audio data decoding apparatus | |
CN102685588B (zh) | 同步通过不同网络接收的内容的呈现的解码器及其方法 | |
CN104618786A (zh) | 音视频同步方法和装置 | |
TWI414183B (zh) | Information processing apparatus and method and non-temporary computer-readable recording medium | |
TWI357243B (en) | Buffer level signaling for rate adaptation in mult | |
CN103733631B (zh) | 媒体内容收发方法和使用该方法的收发设备 | |
CN101600107B (zh) | 调整视频录像播放速度的方法、系统及装置 | |
US6580756B1 (en) | Data transmission method, data transmission system, data receiving method, and data receiving apparatus | |
CN100562121C (zh) | 使静止图像与运动图像流同步的方法 | |
CN101889422B (zh) | 用于使终端的输出同步的方法及系统 | |
JP2009247035A (ja) | マルチメディアコンテンツに同期化されたメタデータ伝送装置及び方法 | |
JP2010505327A (ja) | デジタル放送基盤の三次元静止映像サービス方法及び装置 | |
US7843974B2 (en) | Audio and video synchronization | |
US20100037283A1 (en) | Multi-Stream Digital Display Interface | |
JP2007013994A (ja) | ローカル3次元ビデオを具現するためのエンコーディング/デコーディング方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |