CN109348307A - 一种慧视云课堂教学系统音视频低延迟方法 - Google Patents

一种慧视云课堂教学系统音视频低延迟方法 Download PDF

Info

Publication number
CN109348307A
CN109348307A CN201811281539.3A CN201811281539A CN109348307A CN 109348307 A CN109348307 A CN 109348307A CN 201811281539 A CN201811281539 A CN 201811281539A CN 109348307 A CN109348307 A CN 109348307A
Authority
CN
China
Prior art keywords
audio
data
video
low latency
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811281539.3A
Other languages
English (en)
Inventor
林传文
汪俊锋
张巧云
高祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Wisdom Gold Tong Technology Co Ltd
Original Assignee
Anhui Wisdom Gold Tong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Wisdom Gold Tong Technology Co Ltd filed Critical Anhui Wisdom Gold Tong Technology Co Ltd
Priority to CN201811281539.3A priority Critical patent/CN109348307A/zh
Publication of CN109348307A publication Critical patent/CN109348307A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Abstract

本发明公开了一种慧视云课堂教学系统音视频低延迟方法，涉及音视频低延迟处理技术领域。本发明包括包括：采集音视频数据、音视频编码压缩、音视频分发、客户端接受音视频、音视频低延迟处理、音视频数据解码。本发明通过建立中转数据站用于接收发送客户端的音视频数据并通过UDP协议将音视频数据发送到目的客户端，并在客户端通过修改读取数据的速度、对缓冲区清空处理、抛弃损坏数据对音视频低延迟处理，避免了音视频在传输和播放过程中的卡顿、失真、延迟问题，提高了音视频在传输和播放的速率。

Description

一种慧视云课堂教学系统音视频低延迟方法
技术领域
本发明属于音视频低延迟处理技术领域，特别是涉及一种慧视云课堂教学系统音视频低延迟方法。
背景技术
随着科技发展，距离已不再是人类的短板，在教师与学生上课方面，也突破了距离限制，教师可以在家安心上课，学生也可在家安心听课。慧视云课堂就是实现远程多用户交互的教学工具，实现了远距离教师学生一起上课、聊天、视频、语音等等。
良好的声音图像传输会让整个系统更加生动活泼，更好的拉近老师与学生之间的距离，所以音视频低延迟算法显得尤为重要。在正常使用的情况下不可能保证每台客户端的网络情况和计算机运行状态都很好，这就会让音视频出现卡顿、失真、延迟等各种突发状况，
本发明一种慧视云课堂教学系统音视频低延迟方法，致力于降低音视频延迟和音视频延迟。
发明内容
本发明的目的在于提供一种慧视云课堂教学系统音视频低延迟方法，通过建立中转数据站用于接收发送客户端的音视频数据并通过UDP协议将音视频数据发送到目的客户端，并在客户端通过修改读取数据的速度、对缓冲区清空处理、抛弃损坏数据对音视频低延迟处理，解决了现有的音视频在传输和播放过程中的卡顿、失真、延迟等问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种慧视云课堂教学系统音视频低延迟方法，包括：
S00：采集音视频数据：发送客户端收集麦克风PCM格式声音信息以及摄像头拍摄的BMG格式照片；
S01：音视频编码压缩：发送客户端把采集到的PCM音频压缩成g729编码同时将BMP格式照片压缩为JPEG格式；
S02：音视频分发：建立中转数据站，所述中转数据站接收发送客户端的音视频数据，通过UDP协议将音视频数据发送到目的客户端；
其中，所述中转数据站分析用户类型及状态判断发送用户数量同时采用；所述中转数据站采用线程池且线程池采用最大80线程；
S03：客户端接受音视频：所述目的客户端接收音视频数据并保存在UDP缓存区中，同时解析udp报文并判断数据是音频数据或视频数据；
S04：音视频低延迟处理：所述目的客户端建立缓存区；若所述目的客户端卡顿，则修改读取数据的速度；若卡顿严重，则对缓冲区清空处理；若网络卡顿导致数据不能接收，则减慢缓存区取值速度；若数据损坏时，则抛弃损坏数据；
S05：音视频数据解码：在学生进入课堂时，创建一个播放声音播放器并将获取到的音视频数据、分别解码。
优选地，所述声音信息是指采集麦克风声音信息；所述声音信息的声音格式为16bit单声道16000hz的声音格式且采样率是50、采集的数据格式是PCM格式；所述摄像头拍摄的BMP格式照片用于用户展示视频。
优选地，所述音视频编码压缩过程中调用g729编码库对所述PCM音频压缩同时调用FreeImage开源库将BMP格式照片压缩为JPEG格式。
优选地，所述中转数据站可向多个或单个用户发送数据。
优选地，所述客户端接收音视频还包括如下过程：
所述目的客户端通过解析数据类型判断数据是否损坏；若数据损坏，则丢弃损坏并读取下一条数据。
优选地，S04中修改读取数据的速度包括如下过程：通过修改两次读取数据之间的时间间隔，还可以通过播放时跳过部分数据播放。
优选地，S04中若卡顿严重还包括对延迟数据进行纠正。
本发明具有以下有益效果：
本发明通过建立中转数据站用于接收发送客户端的音视频数据并通过UDP协议将音视频数据发送到目的客户端，并在客户端通过修改读取数据的速度、对缓冲区清空处理、抛弃损坏数据对音视频低延迟处理，避免了音视频在传输和播放过程中的卡顿、失真、延迟问题，提高了音视频在传输和播放的速率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种慧视云课堂教学系统音视频低延迟方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种慧视云课堂教学系统音视频低延迟方法，包括：
S00：采集音视频数据：发送客户端收集麦克风PCM格式声音信息以及摄像头拍摄的BMG格式照片；
S01：音视频编码压缩：发送客户端把采集到的PCM音频压缩成g729编码同时将BMP格式照片压缩为JPEG格式；
S02：音视频分发：建立中转数据站，中转数据站接收发送客户端的音视频数据，通过UDP协议将音视频数据发送到目的客户端；
其中，中转数据站分析用户类型及状态判断发送用户数量同时采用；中转数据站采用线程池且线程池采用最大80线程；3.采用最大80线程的线程池(数值80是服务器理论测试值)，这样可以大大加快转发速度，减少音视频延迟；
S03：客户端接受音视频：目的客户端接收音视频数据并保存在UDP缓存区中，同时解析udp报文并判断数据是音频数据或视频数据；
S04：音视频低延迟处理：目的客户端建立缓存区；若目的客户端卡顿，则修改读取数据的速度；若卡顿严重，则对缓冲区清空处理；若网络卡顿导致数据不能接收，则减慢缓存区取值速度；若数据损坏时，则抛弃损坏数据；
S05：音视频数据解码：在学生进入课堂时，创建一个播放声音播放器并将获取到的音视频数据、分别解码。
其中，声音信息是指采集麦克风声音信息；声音信息的声音格式为16bit单声道16000hz的声音格式且采样率是50、采集的数据格式是PCM格式；摄像头拍摄的BMP格式照片用于用户展示视频。
其中，音视频编码压缩过程中调用g729编码库对PCM音频压缩同时调用FreeImage开源库将BMP格式照片压缩为JPEG格式；采样率：即采样频率，就是在1秒内进行采集动作的次数。采样位数：又叫采样深度，就是每次采集动作得到的数据长度，即使用多少个bit来记录一个样本。声道数：一般是单声道或双声道(立体声)。普通的麦克风采集几乎都是单声道的。
其中，中转数据站可向多个或单个用户发送数据。
其中，客户端接收音视频还包括如下过程：
目的客户端通过解析数据类型判断数据是否损坏；若数据损坏，则丢弃损坏并读取下一条数据。
其中，S04中修改读取数据的速度包括如下过程：通过修改两次读取数据之间的时间间隔，还可以通过播放时跳过部分数据播放。
其中，S04中若卡顿严重还包括对延迟数据进行纠正。
本发明在实际使用过程进行音视频数据传输以及播放时，首先将收集麦克风PCM格式声音信息通过调用g729编码库压缩成g729编码，将摄像头拍摄的BMG格式照片信息调用FreeImage开源库压缩成JPEG格式。并将压缩后的音视频数据发送到中转数据站；中转数据站经UDP协议接收到来自客户端的音视频数据后，通过分析用户类型及状态判断发送用户数量，并通过UDP协议将音视频数据发送到对应用户。(这里中转数据站可向多个或单个用户发送数据，在多个用户时，可同时向上千人分发数据)
目的客户端实时监听服务器端口通过UDP协议传过来的数据并保存在udp缓存区中，同时通过解析数据类型判断数据是否损坏，若数据损坏，则把坏数据丢弃，然后读取下一条数据并解析UDP报文，区分音频数据与视频数据。
在目的客户端接受音视频并建立一个1兆(数值1兆是经验值，不可变)的缓存区；当客户端卡顿(数据处理速度减慢，检测数据的处理速度)，声音播放不及时，修改数据的读取速度，修改两次数据读取之间的间隔时间，播放时跳过一些数据播放，避免数据丢失；当卡顿非常严重(缓存区溢出为卡顿非常严重的标志)，对缓存区进行清空处理，对延迟数据进行纠正；当网络卡顿，数据不能接收，减慢缓存区的取值速度，避免声音停顿。当数据损坏时，直接抛弃坏数据，降低坏数据对声音的干扰。
学生进入课堂后创建一个播放声音播放器，格式16bit单声道16000hz，把获取到的音视频数据分别解码。将音频数据g729编码格式转化为PCM格式进行播放(调用g729官方解码库)同时将获取到的图片转为JPEG图片展示(调用FreeImage开源库转码图片)。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种慧视云课堂教学系统音视频低延迟方法，其特征在于，包括：
S00：采集音视频数据：发送客户端收集麦克风PCM格式声音信息以及摄像头拍摄的BMG格式照片；
S01：音视频编码压缩：发送客户端把采集到的PCM音频压缩成g729编码同时将BMP格式照片压缩为JPEG格式；
S02：音视频分发：建立中转数据站，所述中转数据站接收发送客户端的音视频数据，通过UDP协议将音视频数据发送到目的客户端；
其中，所述中转数据站分析用户类型及状态判断发送用户数量同时采用；所述中转数据站采用线程池且线程池采用最大80线程；
S03：客户端接受音视频：所述目的客户端接收音视频数据并保存在UDP缓存区中，同时解析udp报文并判断数据是音频数据或视频数据；
S04：音视频低延迟处理：所述目的客户端建立缓存区；若所述目的客户端卡顿，则修改读取数据的速度；若卡顿严重，则对缓冲区清空处理；若网络卡顿导致数据不能接收，则减慢缓存区取值速度；若数据损坏时，则抛弃损坏数据；
S05：音视频数据解码：在学生进入课堂时，创建一个播放声音播放器并将获取到的音视频数据、分别解码。
2.根据权利要求1所述的一种慧视云课堂教学系统音视频低延迟方法，其特征在于，所述声音信息是指采集麦克风声音信息；所述声音信息的声音格式为16bit单声道16000hz的声音格式且采样率是50、采集的数据格式是PCM格式；所述摄像头拍摄的BMP格式照片用于用户展示视频。
3.根据权利要求1所述的一种慧视云课堂教学系统音视频低延迟方法，其特征在于，所述音视频编码压缩过程中调用g729编码库对所述PCM音频压缩同时调用FreeImage开源库将BMP格式照片压缩为JPEG格式。
4.根据权利要求1所述的一种慧视云课堂教学系统音视频低延迟方法，其特征在于，所述中转数据站可向多个或单个用户发送数据。
5.根据权利要求1所述的一种慧视云课堂教学系统音视频低延迟方法，其特征在于，所述客户端接收音视频还包括如下过程：
所述目的客户端通过解析数据类型判断数据是否损坏；若数据损坏，则丢弃损坏并读取下一条数据。
6.根据权利要求1所述的一种慧视云课堂教学系统音视频低延迟方法，其特征在于，S04中修改读取数据的速度包括如下过程：通过修改两次读取数据之间的时间间隔，还可以通过播放时跳过部分数据播放。
7.根据权利要求1所述的一种慧视云课堂教学系统音视频低延迟方法，其特征在于，S04中若卡顿严重还包括对延迟数据进行纠正。
CN201811281539.3A 2018-10-23 2018-10-23 一种慧视云课堂教学系统音视频低延迟方法 Pending CN109348307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811281539.3A CN109348307A (zh) 2018-10-23 2018-10-23 一种慧视云课堂教学系统音视频低延迟方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811281539.3A CN109348307A (zh) 2018-10-23 2018-10-23 一种慧视云课堂教学系统音视频低延迟方法

Publications (1)

Publication Number Publication Date
CN109348307A true CN109348307A (zh) 2019-02-15

Family

ID=65312538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811281539.3A Pending CN109348307A (zh) 2018-10-23 2018-10-23 一种慧视云课堂教学系统音视频低延迟方法

Country Status (1)

Country Link
CN (1) CN109348307A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089772A1 (zh) * 2013-12-18 2015-06-25 华为技术有限公司 视频加速方法、客户端及网元
CN105405325A (zh) * 2015-12-22 2016-03-16 深圳市时尚德源文化传播有限公司 一种网络教学方法及系统
CN106488175A (zh) * 2015-08-26 2017-03-08 重庆西线科技有限公司 一种视频传输方法
JP2017069849A (ja) * 2015-09-30 2017-04-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像制御装置、映像配信システムおよび映像制御方法
WO2017129090A1 (zh) * 2016-01-28 2017-08-03 腾讯科技（深圳）有限公司 移动终端的数据传输方法和装置
CN107396171A (zh) * 2017-07-24 2017-11-24 广州酷狗计算机科技有限公司 网络直播方法、装置和存储介质
WO2018184277A1 (zh) * 2017-04-05 2018-10-11 网宿科技股份有限公司 一种基于推流终端网络状况的优化方法和系统以及推流终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089772A1 (zh) * 2013-12-18 2015-06-25 华为技术有限公司 视频加速方法、客户端及网元
CN106488175A (zh) * 2015-08-26 2017-03-08 重庆西线科技有限公司 一种视频传输方法
JP2017069849A (ja) * 2015-09-30 2017-04-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像制御装置、映像配信システムおよび映像制御方法
CN105405325A (zh) * 2015-12-22 2016-03-16 深圳市时尚德源文化传播有限公司 一种网络教学方法及系统
WO2017129090A1 (zh) * 2016-01-28 2017-08-03 腾讯科技（深圳）有限公司 移动终端的数据传输方法和装置
WO2018184277A1 (zh) * 2017-04-05 2018-10-11 网宿科技股份有限公司 一种基于推流终端网络状况的优化方法和系统以及推流终端
CN107396171A (zh) * 2017-07-24 2017-11-24 广州酷狗计算机科技有限公司 网络直播方法、装置和存储介质

Similar Documents

Publication Publication Date Title
WO2023024834A9 (zh) 一种游戏数据处理方法、装置及存储介质
WO2016150317A1 (zh) 直播视频的合成方法、装置及系统
US8583268B2 (en) Synchronization and mixing of audio and video streams in network-based video conferencing call systems
CN107566918B (zh) 一种视频分发场景下的低延时取流秒开方法
CN109587551A (zh) 一种流媒体直播卡顿的判断方法、装置、设备及存储介质
CN107018466B (zh) 增强音频记录
CN110248204A (zh) 一种直播缓存的处理方法、装置、设备和存储介质
CA2438194A1 (en) Live navigation web-conferencing system and method
CN110267064A (zh) 音频播放状态处理方法、装置、设备及存储介质
CN110113621A (zh) 媒体信息的播放方法和装置、存储介质、电子装置
CN109168059A (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
CN110475156A (zh) 一种视频延迟值的计算方法及装置
CN110139128B (zh) 一种信息处理方法、拦截器、电子设备及存储介质
CN108882010A (zh) 一种多屏播放的方法及系统
CN110300278A (zh) 视频传输方法和设备
CN110113298B (zh) 数据传输方法、装置、信令服务器和计算机可读介质
CN107040748A (zh) 一种监控与视频会议应用整合平台和方法
CN109495776A (zh) 一种音频发送、播放的方法及智能终端
CN105847709A (zh) 云导播台以及多路视频拼接方法
CN110365997A (zh) 一种低延迟的互动教学直播方法及系统
CN109218849B (zh) 一种直播数据的处理方法、装置、设备和存储介质
CN109348307A (zh) 一种慧视云课堂教学系统音视频低延迟方法
CN109714316B (zh) 一种视联网的混音处理方法和一种视联网系统
CN101540871A (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
WO2023015974A1 (zh) 云桌面会议共享方法、服务器和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 230000 Yafu Park, Juchao Economic Development Zone, Chaohu City, Hefei City, Anhui Province

Applicant after: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd.

Address before: 230000 Room 102, 1st Floor, C District, Science Park, Hefei National University, 602 Huangshan Road, Hefei High-tech Zone, Anhui Province

Applicant before: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication