CN107135407A - 一种钢琴视频教学中的同步方法及系统 - Google Patents

一种钢琴视频教学中的同步方法及系统 Download PDF

Info

Publication number
CN107135407A
CN107135407A CN201710197087.XA CN201710197087A CN107135407A CN 107135407 A CN107135407 A CN 107135407A CN 201710197087 A CN201710197087 A CN 201710197087A CN 107135407 A CN107135407 A CN 107135407A
Authority
CN
China
Prior art keywords
video
subframe
frame
audio
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710197087.XA
Other languages
English (en)
Other versions
CN107135407B (zh
Inventor
崔中梅
陈丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN201710197087.XA priority Critical patent/CN107135407B/zh
Publication of CN107135407A publication Critical patent/CN107135407A/zh
Application granted granted Critical
Publication of CN107135407B publication Critical patent/CN107135407B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种钢琴视频教学中的同步方法及系统,涉及网络通信技术领域,用以解决现有技术中客户端收到的视音频信号不同步,学生无法清楚的学习钢琴教学的内容,从而影响视频教学质量的问题,该系统包括将接收到视频数据和音频数据分别进行分块并组成视频子帧和音频子帧,再将音频子帧和视频子帧分别组成音频帧和视频帧,然后构造同步帧、将音频帧、视频帧以及同步帧增加总帧头构成总帧,当接收到播放请求时,根据总帧中的同步帧确定目标第一子帧的播放时间,提取目标视频子帧和目标音频子帧,并对目标视频子帧和目标音频子帧同时发送。

Description

一种钢琴视频教学中的同步方法及系统
技术领域
本发明涉及网络通信技术领域,更具体的涉及一种钢琴视频教学中的同步方法及系统。
背景技术
钢琴是目前的娱乐手段之一,随着社会的发展,儿童中上钢琴课程的比例是越来越高,以及随着互联网的普及推广,远程教学在信息发达的今天已经成为一种常见的教学方式。
网络教学课堂注重的是能够实现教学现场的视音频信号的同步录制,并能够在网上进行实时直播,满足钢琴课程的需要。
但是现有的网络教学课堂存在客户端收到的视音频信号不同步,学生无法清楚的学习钢琴教学的内容,从而影响视频教学质量的问题。
发明内容
本发明实施例提供一种钢琴视频教学中的同步方法及系统,用以解决现有技术中客户端收到的视音频信号不同步,学生无法清楚的学习钢琴教学的内容,从而影响视频教学质量的问题。
本发明实施例提供一种钢琴视频教学中的同步方法,包括:获取钢琴教学的音频数据和视频数据;从所述音频数据中获取音频数据开始采集的时间,从所述视频数据中获取视频数据开始采集的时间;将所述音频数据开始采集的时间和所述视频数据开始采集的时间设定为主时间戳;其中,所述音频数据开始采集的时间和所述视频数据开始采集的时间相同;
对所述音频数据及所述视频数据分别进行分块处理,形成多个音频数据块及多个视频数据块;其中,所述音频数据块和所述视频数据块的数量相等;
在所述多个音频数据块中的每一个音频数据块前增加音频子帧头形成音频子帧,在所述多个视频数据块中的每一个视频数据块前增加视频子帧头形成视频子帧;其中,所述音频子帧头中存储有所述音频子帧的数据长度,所述视频子帧头中存储有所述视频子帧的数据长度;
在多个所述音频子帧前增加音频帧头形成音频帧,以及在多个所述视频子帧前增加视频帧头形成视频帧;
根据采样率和所述每个音频数据块的长度确定每个第一子帧相对偏移时间,所述每个第一子帧相对偏移时间和所述主时间戳构成同步帧;其中,所述第一子帧相对偏移时间为所述第一子帧相对所述主时间戳的偏移量;
在所述同步帧前增加总帧头,并按照所述总帧头、所述同步帧、所述视频帧、所述音频帧的顺序构成总帧;
当接收到视频播放请求时,根据所述总帧确定所述视频帧和所述音频帧,然后根据所述同步帧确定每个所述第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据所述视频帧和所述音频帧提取目标视频子帧和目标音频子帧,并发送所述目标视频子帧和所述目标音频子帧;其中,所述目标第一子帧为当前需要发送的第一子帧。
优选地,所述总帧头中依次包括:
总帧长、视频帧起始偏移和音频帧起始偏移;其中,所述视频帧起始偏移为所述视频帧头相对于所述总帧头的偏移量,所述音频帧起始偏移为所述音频帧头相对于所述总帧头的偏移量。
优选地,所述视频帧头中依次包括:视频帧长、视频总子帧数和多个视频子帧中每个视频子帧相对偏移,所述视频子帧相对偏移为所述视频子帧头相对视频帧头的偏移量;所述音频帧头中依次包括:音频帧长、音频总子帧数和多个音频子帧中每个音频子帧相对偏移,所述音频子帧相对偏移为所述音频子帧头相对音频帧头的偏移量。
优选地,所述根据所述视频帧和所述音频帧提取目标视频子帧和目标音频子帧具体包括:
根据所述总帧头中存储的所述视频帧起始偏移和所述音频帧起始偏移,确定所述视频帧头和所述音频帧头;
根据所述视频帧头中存储的目标视频子帧相对偏移,确定目标视频子帧头,以及根据所述音频帧头中存储的目标音频子帧相对偏移确定目标音频子帧头;
根据所述目标视频子帧头中存储的目标视频子帧的数据长度提取所述目标视频子帧,根据所述目标音频子帧头中存储的目标音频子帧的数据长度提取所述目标音频子帧。
本发明实施例提供一种钢琴视频教学中的同步系统,包括:获取单元,用于获取钢琴教学的音频数据和视频数据;从所述音频数据中获取音频数据开始采集的时间,从所述视频数据中获取视频数据开始采集的时间;将所述音频数据开始采集的时间和所述视频数据开始采集的时间设定为主时间戳;其中,所述音频数据开始采集的时间和所述视频数据开始采集的时间相同;
分块单元,用于所述音频数据及所述视频数据分别进行分块处理,形成多个音频数据块及多个视频数据块;其中,所述音频数据块和所述视频数据块的数量相等;
第一增加单元,用于在所述多个音频数据块中的每一个音频数据块前增加音频子帧头形成音频子帧,在所述多个视频数据块中的每一个视频数据块前增加视频子帧头形成视频子帧;其中,所述音频子帧头中存储有所述音频子帧的数据长度,所述视频子帧头中存储有所述视频子帧的数据长度;
第二增加单元,用于在多个所述音频子帧前增加音频帧头形成音频帧,以及在多个所述视频子帧前增加视频帧头形成视频帧;
第一确定单元,用于根据采样率和所述每个音频数据块的长度确定每个第一子帧相对偏移时间,所述每个第一子帧相对偏移时间和所述主时间戳构成同步帧,所述第一子帧相对偏移时间为所述第一子帧相对所述主时间戳的偏移量;
构成单元,用于在所述同步帧前增加总帧头,并按照所述总帧头、所述同步帧、所述视频帧、所述音频帧的顺序构成总帧;
第二确定单元,用于当接收到视频播放请求时,根据所述总帧确定所述视频帧和所述音频帧,然后根据所述同步帧确定每个所述第一子帧的播放时间,
提取单元,用于当目标第一子帧的播放时间到来时,根据所述视频帧和所述音频帧提取目标视频子帧和目标音频子帧,并发送所述目标视频子帧和所述目标音频子帧;其中,所述目标第一子帧为当前需要发送的第一子帧。
优选地,所述总帧头中依次包括:
总帧长、视频帧起始偏移和音频帧起始偏移,所述视频帧起始偏移为所述视频帧头相对于所述总帧头的偏移量,所述音频帧起始偏移为所述音频帧头相对于所述总帧头的偏移量。
优选地,所述视频帧头中依次包括:视频帧长、视频总子帧数和多个视频子帧中每个视频子帧相对偏移,所述视频子帧相对偏移为所述视频子帧头相对视频帧头的偏移量;所述音频帧头存储的数据依次为音频帧长、音频总子帧数和多个音频子帧中每个音频子帧相对偏移,所述音频子帧相对偏移为所述音频子帧头相对音频帧头的偏移量。
优选地,所述提取单元包括:
第一确定模块,根据所述总帧头中存储的所述视频帧起始偏移和所述音频帧起始偏移确定所述视频帧头和所述音频帧头;
第二确定模块,用于根据所述视频帧头中存储的目标视频子帧相对偏移确定目标视频子帧头,以及根据所述音频帧头中存储的目标音频子帧相对偏移确定目标音频子帧头;
提取模块,用于根据所述目标视频子帧头中存储的目标视频子帧的数据长度提取所述目标视频子帧,根据所述目标音频子帧头中存储的目标音频子帧的数据长度提取所述目标音频子帧。
本发明实施例中,将接收到视频数据和音频数据分别进行分块并组成视频子帧和音频子帧,再将音频子帧和视频子帧分别组成音频帧和视频帧,然后构造同步帧、将音频帧、视频帧以及同步帧增加总帧头构成总帧,当接收到播放请求时,根据总帧中同步帧确定每个第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据视频帧起始偏移和音频帧起始偏移确定音频帧头和视频帧头,进而根据视频帧头和音频帧头确定目标视频子帧头和目标音频子帧头从而根据目标视频子帧头和目标音频子帧头中分别存储的视频子帧的数长度据和音频子帧的数据长度提取目标视频子帧和目标音频子帧,对目标视频子帧和目标音频子帧同时发送,实现了客户端视频和音频的同步,且利用一帧一帧的发送数据使得视频和音频的同步效率高,学生可以清楚的学习钢琴教学的内容,从而提高了视频教学的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是根据一示例性实施例示出的一种钢琴视频教学中的同步方法的实施环境示意图;
图1B是根据一示例性实施例示出的一种钢琴视频教学中的同步方法的流程图;
图2是根据一示例性实施例示出的一种钢琴视频教学中的同步方法的流程图;
图3是根据一示例性实施例示出的一种钢琴视频教学中的同步系统的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1A是根据一示例性实施例示出的一种钢琴视频教学中的同步方法的实施环境示意图。如图1A所示,该实施环境包括主终端01、从终端02和服务器03。主终端01和从终端02分别通过网络与服务器03连接,该网络可以为有线网络,也可以为无线网络。其中,从终端02上安装有视频播放应用,服务器03可以提供视频播放服务。
其中,服务器03可以为一个单独的服务器,也可以为一个服务器集群。当服务器03为一个单独的服务器时,由该单独服务器完成本发明实施例中服务器所执行的功能;当服务器03为一个服务器集群时,由该集群中的各个服务器配合完成本发明实施例提供的视频直播应用中的互动方法。
其中,主终端01和从终端02均可以为台式计算机、智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts GroupAudio LayerIII,动态影像专家压缩标准音频层面3)播放器、MP4(MovingPicture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面3)播放器、膝上型便携计算机及可穿戴智能设备,如智能手环等中的任一种。
图1B是根据一示例性实施例示出的一种钢琴视频教学中的同步方法的流程图,如图1所示,该钢琴视频教学中的同步方法用于服务器中,包括以下步骤。
在步骤101中,获取钢琴教学的音频数据和视频数据;从所述音频数据中获取音频数据开始采集的时间,从所述视频数据中获取视频数据开始采集的时间;将所述音频数据开始采集的时间和所述视频数据开始采集的时间设定为主时间戳;其中,所述音频数据开始采集的时间和所述视频数据开始采集的时间相同。
在步骤102中,对该音频数据及该视频数据分别进行分块处理,形成多个音频数据块及多个视频数据块;其中,该音频数据块和该视频数据块的数量相等。
在步骤103中,在该多个音频数据块中的每一个音频数据块前增加音频子帧头形成音频子帧,在该多个视频数据块中的每一个视频数据块前增加视频子帧头形成视频子帧;其中,该音频子帧头中存储有该音频子帧的数据长度,该视频子帧头中存储有该视频子帧的数据长度。
在步骤104中,在多个该音频子帧前增加音频帧头形成音频帧,以及在多个该视频子帧前增加视频帧头形成视频帧。
在步骤105中,根据采样率和每个音频数据块的长度确定每个第一子帧相对偏移时间,该每个第一子帧相对偏移时间和该主时间戳构成该同步帧;其中,该第一子帧相对偏移时间为该第一子帧相对该主时间戳的偏移量。
在步骤106中,在该同步帧前增加总帧头,并按照该总帧头、该同步帧、该视频帧、该音频帧的顺序构成总帧。
在步骤107中,当接收到视频播放请求时,根据该总帧确定该视频帧和该音频帧,然后根据该同步帧确定每个该第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据该视频帧和该音频帧提取目标视频子帧和目标音频子帧,并发送该目标视频子帧和该目标音频子帧;其中,该目标第一子帧为当前需要发送的第一子帧。
本发明实施例中,将接收到视频数据和音频数据分别进行分块并组成视频子帧和音频子帧,再将音频子帧和视频子帧分别组成音频帧和视频帧,然后构造同步帧、将音频帧、视频帧以及同步帧增加总帧头构成总帧,当接收到播放请求时,根据总帧中的同步帧确定每个第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据视频帧起始偏移和音频帧起始偏移确定音频帧头和视频帧头,进而根据视频帧头和音频帧头确定目标视频子帧头和目标音频子帧头从而根据目标视频子帧头和目标音频子帧头中分别存储的视频子帧的数长度据和音频子帧的数据长度提取目标视频子帧和目标音频子帧,对目标视频子帧和目标音频子帧同时发送,实现了客户端视频和音频的同步,且利用一帧一帧的发送数据使得视频和音频的同步效率高,学生可以清楚的学习钢琴教学的内容,从而提高了视频教学的质量。
结合上述图1A所示的实施环境示意图,图2是根据一示例性实施例示出的一种钢琴视频教学中的同步方法的流程图,如图2所示,该钢琴视频教学中的同步方法包括以下步骤。
在步骤201中,服务器从主终端获取钢琴教学的音频数据及视频数据,并从该音频数据中获取音频数据开始采集的时间,从该视频数据中获取视频数据开始采集的时间,且将该音频数据开始采集的时间和该视频数据开始采集的时间设定为主时间戳。
其中,音频数据和视频数据开始采集的时间相同。
其中,主终端接收麦克风采集的音频数据和摄像机采集的视频数据,并将该音频数据和视频数据经过网络传输给服务器。
在步骤202中,服务器对该音频数据及该视频数据分别进行分块处理,形成多个音频数据块及多个视频数据块,该音频数据块和该视频数据块的数量相等。
在步骤203中,服务器在该多个音频数据块中的每一个音频数据块前增加音频子帧头形成音频子帧,在该多个视频数据块中的每一个视频数据块前增加视频子帧头形成视频子帧;其中,该音频子帧头中存储该音频子帧的数据长度,该视频子帧头中存储该视频子帧的数据长度。
在步骤204中,服务器在多个该音频子帧前增加音频帧头形成音频帧,以及在多个该视频子帧前增加视频帧头形成视频帧。
其中,该视频帧头中依次包括:视频帧长、视频总子帧数和多个视频子帧中每个视频子帧相对偏移,该视频子帧相对偏移为该视频子帧头相对视频帧头的偏移量;该音频帧头存储的数据依次为音频帧长、音频总子帧数和多个音频子帧中每个音频子帧相对偏移,该音频子帧相对偏移为该音频子帧头相对音频帧头的偏移量。
在步骤205中,服务器根据采样率和每个音频数据块的长度确定每个第一子帧相对偏移时间,该每个第一子帧相对偏移时间和该主时间戳构成该同步帧;其中,该第一子帧相对偏移时间为该第一子帧相对该主时间戳的偏移量。
在步骤206中,服务器在该同步帧前增加总帧头,并按照该总帧头、该同步帧、该视频帧、该音频帧的顺序构成总帧。
另外,总帧头中依次包括:总帧长、视频帧起始偏移和音频帧起始偏移,该视频帧起始偏移为该视频帧头相对于该总帧头的偏移量,该音频帧起始偏移为该音频帧头相对于该总帧头的偏移量。
在步骤207中,当接收到视频播放请求时,根据该总帧确定该视频帧和该音频帧,然后根据该同步帧确定每个该第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据该视频帧和该音频帧提取目标视频子帧和目标音频子帧,并发送该目标视频子帧和该目标音频子帧;其中,该目标第一子帧为当前需要发送的第一子帧。
其中,该根据该视频帧和该音频帧提取目标视频子帧和目标音频子帧具体为:
1)、根据该总帧头中存储的该视频帧起始偏移和该音频帧起始偏移确定该视频帧头和该音频帧头;
2)、根据该视频帧头中存储的目标视频子帧相对偏移确定目标视频子帧头,以及根据该音频帧头中存储的目标音频子帧相对偏移确定目标音频子帧头;
3)、根据该目标视频子帧头中存储的目标视频子帧的数据长度提取该目标视频子帧,根据该目标音频子帧头中存储的目标音频子帧的数据长度提取该目标音频子帧。
在步骤208中,主终端同时播放该目标视频子帧和该目标音频子帧。
在步骤209中,服务器查找目标视频子帧的下一视频子帧和该目标音频子帧的下一音频子帧。
本发明实施例中,将接收到视频数据和音频数据分别进行分块并组成视频子帧和音频子帧,再将音频子帧和视频子帧分别组成音频帧和视频帧,然后构造同步帧、将音频帧、视频帧以及同步帧增加总帧头构成总帧,当接收到播放请求时,根据总帧中的同步帧确定每个第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据视频帧起始偏移和音频帧起始偏移确定音频帧头和视频帧头,进而根据视频帧头和音频帧头确定目标视频子帧头和目标音频子帧头从而根据目标视频子帧头和目标音频子帧头中分别存储的视频子帧的数长度据和音频子帧的数据长度提取目标视频子帧和目标音频子帧,对目标视频子帧和目标音频子帧同时发送,实现了客户端视频和音频的同步,且利用一帧一帧的发送数据使得视频和音频的同步效率高,学生可以清楚的学习钢琴教学的内容,从而提高了视频教学的质量。
图3是根据一示例性实施例示出的一种钢琴视频教学中的同步系统框图。参照图3,该钢琴视频教学中的同步系统包括:
获取单元301,用于获取钢琴教学的音频数据和视频数据;从该音频数据中获取音频数据开始采集的时间,从该视频数据中获取视频数据开始采集的时间;将该音频数据开始采集的时间和该视频数据开始采集的时间设定为主时间戳;其中,该音频数据开始采集的时间和该视频数据开始采集的时间相同。
分块单元302,用于对该音频数据及该视频数据分别进行分块处理,形成多个音频数据块及多个视频数据块,该音频数据块和该视频数据块的数量相等。
第一增加单元303,用于在该多个音频数据块中的每一个音频数据块前增加音频子帧头形成音频子帧,在该多个视频数据块中的每一个视频数据块前增加视频子帧头形成视频子帧,该音频子帧头中存储有该音频子帧的数据长度,该视频子帧头中存储有该视频子帧的数据长度。
第二增加单元304,用于在多个该音频子帧前增加音频帧头形成音频帧,以及在多个该视频子帧前增加视频帧头形成视频帧。
第一确定单元305,用于根据采样率和每个音频数据块的长度确定每个第一子帧相对偏移时间,该每个第一子帧相对偏移时间和该主时间戳构成该同步帧;其中,该第一子帧相对偏移时间为该子帧相对该主时间戳的偏移量。
构成单元306,用于在同步帧前增加总帧头,并按照总帧头、同步帧、视频帧、音频帧的顺序构成总帧。
第二确定单元307,用于当接收到视频播放请求时,根据总帧确定视频帧和音频帧,然后根据同步帧确定每个第一子帧的播放时间。
提取单元308,用于当目标第一子帧的播放时间到来时,根据该视频帧和该音频帧提取目标视频子帧和目标音频子帧,并发送该目标视频子帧和该目标音频子帧;其中,该目标第一子帧为当前需要发送的第一子帧。
可选地,该总帧头中依次包括:
总帧长、视频帧起始偏移和音频帧起始偏移,该视频帧起始偏移为该视频帧头相对于该总帧头的偏移量,该音频帧起始偏移为该音频帧头相对于该总帧头的偏移量。
可选地,该视频帧头中依次包括:视频帧长、视频总子帧数和多个视频子帧中每个视频子帧相对偏移,该视频子帧相对偏移为该视频子帧头相对视频帧头的偏移量;该音频帧头存储的数据依次为音频帧长、音频总子帧数和多个音频子帧中每个音频子帧相对偏移,该音频子帧相对偏移为该音频子帧头相对音频帧头的偏移量。
可选地,该提取单元308包括:
第一确定模块,根据该总帧头中存储的该视频帧起始偏移和该音频帧起始偏移确定该视频帧头和该音频帧头。
第二确定模块,用于根据该视频帧头中存储的目标视频子帧相对偏移确定目标视频子帧头,以及根据该音频帧头中存储的目标音频子帧相对偏移确定目标音频子帧头。
提取模块,用于根据该目标视频子帧头中存储的目标视频子帧的数据长度提取该目标视频子帧,根据该目标音频子帧头中存储的目标音频子帧的数据长度提取该目标音频子帧。
本发明实施例中,将接收到视频数据和音频数据分别进行分块并组成视频子帧和音频子帧,再将音频子帧和视频子帧分别组成音频帧和视频帧,然后构造同步帧、将音频帧、视频帧以及同步帧增加总帧头构成总帧,当接收到播放请求时,根据总帧中的同步帧确定每个第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据视频帧起始偏移和音频帧起始偏移确定音频帧头和视频帧头,进而根据视频帧头和音频帧头确定目标视频子帧头和目标音频子帧头从而根据目标视频子帧头和目标音频子帧头中分别存储的视频子帧的数长度据和音频子帧的数据长度提取目标视频子帧和目标音频子帧,对目标视频子帧和目标音频子帧同时发送,实现了客户端视频和音频的同步,且利用一帧一帧的发送数据使得视频和音频的同步效率高,学生可以清楚的学习钢琴教学的内容,从而提高了视频教学的质量。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种钢琴视频教学中的同步方法,其特征在于,所述方法包括:
获取钢琴教学的音频数据和视频数据;从所述音频数据中获取音频数据开始采集的时间,从所述视频数据中获取视频数据开始采集的时间;将所述音频数据开始采集的时间和所述视频数据开始采集的时间设定为主时间戳;其中,所述音频数据开始采集的时间和所述视频数据开始采集的时间相同;
对所述音频数据及所述视频数据分别进行分块处理,分别形成多个音频数据块及多个视频数据块;其中,所述音频数据块和所述视频数据块的数量相等;
在所述多个音频数据块中的每一个音频数据块前增加音频子帧头形成音频子帧,在所述多个视频数据块中的每一个视频数据块前增加视频子帧头形成视频子帧;其中,所述音频子帧头中存储有所述音频子帧的数据长度,所述视频子帧头中存储有所述视频子帧的数据长度;
在多个所述音频子帧前增加音频帧头形成音频帧,以及在多个所述视频子帧前增加视频帧头形成视频帧;
根据采样率和所述每个音频数据块的长度确定每个第一子帧相对偏移时间,所述每个第一子帧相对偏移时间和所述主时间戳构成同步帧;其中,所述第一子帧相对偏移时间为所述第一子帧相对所述主时间戳的偏移量;
在所述同步帧前增加总帧头,并按照所述总帧头、所述同步帧、所述视频帧、所述音频帧的顺序构成总帧;
当接收到视频播放请求时,根据所述总帧确定所述视频帧和所述音频帧,然后根据所述同步帧确定每个所述第一子帧的播放时间,当目标第一子帧的播放时间到来时,根据所述视频帧和所述音频帧提取目标视频子帧和目标音频子帧,并发送所述目标视频子帧和所述目标音频子帧;其中,所述目标第一子帧为当前需要发送的第一子帧。
2.如权利要求1所述的方法,其特征在于,所述总帧头中依次包括:
总帧长、视频帧起始偏移和音频帧起始偏移;其中,所述视频帧起始偏移为所述视频帧头相对于所述总帧头的偏移量,所述音频帧起始偏移为所述音频帧头相对于所述总帧头的偏移量。
3.如权利要求1所述的方法,其特征在于,所述视频帧头中依次包括:视频帧长、视频总子帧数和多个视频子帧中每个视频子帧相对偏移,所述视频子帧相对偏移为所述视频子帧头相对视频帧头的偏移量;所述音频帧头中依次包括:音频帧长、音频总子帧数和多个音频子帧中每个音频子帧相对偏移,所述音频子帧相对偏移为所述音频子帧头相对音频帧头的偏移量。
4.如权利要求1至3所述的方法,其特征在于,所述根据所述视频帧和所述音频帧提取目标视频子帧和目标音频子帧具体包括:
根据所述总帧头中存储的所述视频帧起始偏移和所述音频帧起始偏移,确定所述视频帧头和所述音频帧头;
根据所述视频帧头中存储的目标视频子帧相对偏移,确定目标视频子帧头,以及根据所述音频帧头中存储的目标音频子帧相对偏移确定目标音频子帧头;
根据所述目标视频子帧头中存储的目标视频子帧的数据长度提取所述目标视频子帧,根据所述目标音频子帧头中存储的目标音频子帧的数据长度提取所述目标音频子帧。
5.一种钢琴视频教学中的同步系统,其特征在于,所述系统包括:
获取单元,用于获取钢琴教学的音频数据和视频数据;从所述音频数据中获取音频数据开始采集的时间,从所述视频数据中获取视频数据开始采集的时间;将所述音频数据开始采集的时间和所述视频数据开始采集的时间设定为主时间戳;其中,所述音频数据开始采集的时间和所述视频数据开始采集的时间相同;
分块单元,用于所述音频数据及所述视频数据分别进行分块处理,形成多个音频数据块及多个视频数据块;其中,所述音频数据块和所述视频数据块的数量相等;
第一增加单元,用于在所述多个音频数据块中的每一个音频数据块前增加音频子帧头形成音频子帧,在所述多个视频数据块中的每一个视频数据块前增加视频子帧头形成视频子帧;其中,所述音频子帧头中存储有所述音频子帧的数据长度,所述视频子帧头中存储有所述视频子帧的数据长度;
第二增加单元,用于在多个所述音频子帧前增加音频帧头形成音频帧,以及在多个所述视频子帧前增加视频帧头形成视频帧;
第一确定单元,用于根据采样率和所述每个音频数据块的长度确定每个第一子帧相对偏移时间,所述每个第一子帧相对偏移时间和所述主时间戳构成同步帧,所述第一子帧相对偏移时间为所述第一子帧相对所述主时间戳的偏移量;
构成单元,用于在所述同步帧前增加总帧头,并按照所述总帧头、所述同步帧、所述视频帧、所述音频帧的顺序构成总帧;
第二确定单元,用于当接收到视频播放请求时,根据所述总帧确定所述视频帧和所述音频帧,然后根据所述同步帧确定每个所述第一子帧的播放时间;
提取单元,用于当目标第一子帧的播放时间到来时,根据所述视频帧和所述音频帧提取目标视频子帧和目标音频子帧,并发送所述目标视频子帧和所述目标音频子帧;其中,所述目标第一子帧为当前需要发送的第一子帧。
6.如权利要求5所述的系统,其特征在于,所述总帧头中依次包括:
总帧长、视频帧起始偏移和音频帧起始偏移,所述视频帧起始偏移为所述视频帧头相对于所述总帧头的偏移量,所述音频帧起始偏移为所述音频帧头相对于所述总帧头的偏移量。
7.如权利要求5所述的系统,其特征在于,所述视频帧头中依次包括:视频帧长、视频总子帧数和多个视频子帧中每个视频子帧相对偏移,所述视频子帧相对偏移为所述视频子帧头相对视频帧头的偏移量;所述音频帧头存储的数据依次为音频帧长、音频总子帧数和多个音频子帧中每个音频子帧相对偏移,所述音频子帧相对偏移为所述音频子帧头相对音频帧头的偏移量。
8.如权利要求5至7所述的系统,其特征在于,所述提取单元包括:
第一确定模块,根据所述总帧头中存储的所述视频帧起始偏移和所述音频帧起始偏移确定所述视频帧头和所述音频帧头;
第二确定模块,用于根据所述视频帧头中存储的目标视频子帧相对偏移确定目标视频子帧头,以及根据所述音频帧头中存储的目标音频子帧相对偏移确定目标音频子帧头;
提取模块,用于根据所述目标视频子帧头中存储的目标视频子帧的数据长度提取所述目标视频子帧,根据所述目标音频子帧头中存储的目标音频子帧的数据长度提取所述目标音频子帧。
CN201710197087.XA 2017-03-29 2017-03-29 一种钢琴视频教学中的同步方法及系统 Expired - Fee Related CN107135407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710197087.XA CN107135407B (zh) 2017-03-29 2017-03-29 一种钢琴视频教学中的同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710197087.XA CN107135407B (zh) 2017-03-29 2017-03-29 一种钢琴视频教学中的同步方法及系统

Publications (2)

Publication Number Publication Date
CN107135407A true CN107135407A (zh) 2017-09-05
CN107135407B CN107135407B (zh) 2019-10-18

Family

ID=59714893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710197087.XA Expired - Fee Related CN107135407B (zh) 2017-03-29 2017-03-29 一种钢琴视频教学中的同步方法及系统

Country Status (1)

Country Link
CN (1) CN107135407B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600665A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于处理数据的方法和装置
CN111510758A (zh) * 2020-04-24 2020-08-07 怀化学院 一种钢琴视频教学中的同步方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197993A (zh) * 2006-12-05 2008-06-11 中兴通讯股份有限公司 视频和音频同步装置
CN103167320A (zh) * 2011-12-15 2013-06-19 中国电信股份有限公司 音视频同步方法、系统及手机直播客户端
US20140266766A1 (en) * 2013-03-15 2014-09-18 Kevin Dobbe System and method for controlling multiple visual media elements using music input
CN106297846A (zh) * 2016-08-11 2017-01-04 张婧 钢琴视频教学中的同步方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197993A (zh) * 2006-12-05 2008-06-11 中兴通讯股份有限公司 视频和音频同步装置
CN103167320A (zh) * 2011-12-15 2013-06-19 中国电信股份有限公司 音视频同步方法、系统及手机直播客户端
US20140266766A1 (en) * 2013-03-15 2014-09-18 Kevin Dobbe System and method for controlling multiple visual media elements using music input
CN106297846A (zh) * 2016-08-11 2017-01-04 张婧 钢琴视频教学中的同步方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈志颖: "音视频实时同步传输技术研究与实现", 《华侨大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600665A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于处理数据的方法和装置
CN109600665B (zh) * 2018-08-01 2020-06-19 北京微播视界科技有限公司 用于处理数据的方法和装置
CN111510758A (zh) * 2020-04-24 2020-08-07 怀化学院 一种钢琴视频教学中的同步方法及系统

Also Published As

Publication number Publication date
CN107135407B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN108495152B (zh) 一种视频直播方法、装置、电子设备及介质
CN103165156B (zh) 视频同步播放系统及其视频播放方法、光盘
JP6853228B2 (ja) 画像とオーディオの同期再生の処理方法及びデバイス
CN105612743A (zh) 编码的媒体的音频视频回放同步
CN106371998A (zh) 移动应用的测试系统及方法
CN108462895A (zh) 音效处理方法、装置和机器可读介质
CN106303648A (zh) 一种同步播放多媒体数据的方法及装置
CN107484011B (zh) 一种视频资源解码方法及装置
CN101860447A (zh) 媒体呈现方法及系统、服务器和终端
CN101232611B (zh) 图像处理设备及其方法
CN105898506A (zh) 媒体文件的多屏播放方法和系统
US20140205261A1 (en) Interactive audio/video system and method
CN109769132B (zh) 一种基于帧同步的多路远程直播视频解说方法
CN103281595A (zh) 一种信息发布物联网终端多屏组合显示的方法
US20230044961A1 (en) Automated haptics generation and distribution
CN107785037A (zh) 使用音频时间码同步媒体内容的方法、系统和介质
CN106385525A (zh) 一种视频播放方法及装置
CN107135407A (zh) 一种钢琴视频教学中的同步方法及系统
CN104837046A (zh) 多媒体文件的处理方法和装置
CN110111614A (zh) 一种音视频教学实现音屏同步的方法和系统
CN107707936A (zh) 在线答疑时的视频回放方法和装置
CN107580264A (zh) 多媒体资源播放处理方法及装置
CN105007524A (zh) 一种视频处理方法及装置
CN108111781A (zh) 一种庭审录像字幕制作方法及装置
KR101520788B1 (ko) 동영상 동기화 재생 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018

Termination date: 20200329

CF01 Termination of patent right due to non-payment of annual fee