CN110365997A - 一种低延迟的互动教学直播方法及系统 - Google Patents

一种低延迟的互动教学直播方法及系统 Download PDF

Info

Publication number
CN110365997A
CN110365997A CN201910722987.0A CN201910722987A CN110365997A CN 110365997 A CN110365997 A CN 110365997A CN 201910722987 A CN201910722987 A CN 201910722987A CN 110365997 A CN110365997 A CN 110365997A
Authority
CN
China
Prior art keywords
audio
video
low latency
frequency information
interactive teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910722987.0A
Other languages
English (en)
Inventor
刘子畅
吴良军
李文清
何小东
张镇关
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanbo Education Technology (guangdong) Co Ltd
Original Assignee
Quanbo Education Technology (guangdong) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanbo Education Technology (guangdong) Co Ltd filed Critical Quanbo Education Technology (guangdong) Co Ltd
Priority to CN201910722987.0A priority Critical patent/CN110365997A/zh
Publication of CN110365997A publication Critical patent/CN110365997A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及互联网直播领域，尤其涉及一种低延迟的互动教学直播方法以及一种低延迟的互动教学直播系统。包括：采集视频、音频信息；对采集的视频、音频信息进行编码处理；对编码后的视频、音频信息进行封装；采用RTMP协议推流至服务器并且利用网络加速分发；播放端自动识别并选择最优节点连接接收封装后的视频、音频信息，并解码后进行播放。通过从采集编码处进行优化，减少采集、前处理、编码过程中产生的延迟，通过推流测速优化采集端数据传输至服务器上的延迟，且通过播放端的节点选择优化以及硬解码的方式进行减低设备端上的延迟，从而减少了教学直播的整体延迟，实现低延迟的直播，以增强用户的观看体验。

Description

一种低延迟的互动教学直播方法及系统
【技术领域】
本申请涉及互联网直播领域，尤其涉及一种低延迟的互动教学直播方法以及一种低延迟的互动教学直播系统。
【背景技术】
直播技术目前已经应用广泛，比如娱乐、实时互动、教育等方便均需用用到实时直播系统，现有直播技术存在以下方面的缺点：第一：由于互动教学直播系统从源端到终端参与传输的各个模块都会导致延迟，尤其是编解码这块延迟占大部分，因而导致整体的互动教学直播系统的整体延迟高。影响体验；第二：实时的信令消息跟音视频数据不同步问题，比如老师板书轨迹记录通过信令消息发送到远端，远端呈现的板书跟视频存在不同步问题，而且随着互动教学直播时间越长，延迟越大。
【发明内容】
本发明提供一种低延迟的互动教学直播方法以及一种低延迟的互动教学直播系统，能有效解决现有技术直播延迟大的问题。
本发明提供了一种低延迟的互动教学直播方法包括：
采集视频、音频信息；
对采集的视频、音频信息进行编码处理，其中采用H264/AAC进行编码，且关键帧间隔设置为1s；
对编码后的视频、音频信息进行封装；
采用RTMP协议推流至服务器并且利用网络加速分发；
播放端自动识别并选择最优节点连接接收封装后的视频、音频信息，并解码后进行播放。
如上所述的一种低延迟的互动教学直播方法，推流至服务器之前，先进行节点测速，选择延迟最低节点进行推流。
如上所述的一种低延迟的互动教学直播方法，选择节点后，根据网络环境自动调整推流码率。
如上所述的一种低延迟的互动教学直播方法，播放端选择最优节点方法为通过查询服务器实时获取最优节点。
如上所述的一种低延迟的互动教学直播方法，还包括播放端缓存区大小值调整，在播放端缓存区设置一阀值，当缓存值超过该阀值时，使播放端自动重连。
如上所述的一种低延迟的互动教学直播方法，所述播放端的解码方式为采用H264硬解码。
如上所述的一种低延迟的互动教学直播方法，所述对采集的视频、音频信息进行编码处理的方式为硬编码。
如上所述的一种低延迟的互动教学直播方法，所述封装的格式为FLV格式。
本发明还提供了一种低延迟的互动教学直播系统，包括：
采集机，用于采集直播现场的视频、音频信息；
编码器，可与采集机一体，用于对视频、音频信息进行硬编码、封装；
发送模块，将封装后的视频、音频信息进行推流；
服务器，接收封装后的视频、音频信息进行分发；
播放设备，可接收服务器分发的视频、音频信息并解码后播放。
如上所述的一种低延迟的互动教学直播系统，所述编码器为MediaCodec编码器。
本发明提供了一种低延迟的互动教学直播方法，通过从采集编码处进行优化，减少采集、前处理、编码过程中产生的延迟，通过推流测速优化采集端数据传输至服务器上的延迟，且通过播放端的节点选择优化以及硬解码的方式进行减低设备端上的延迟，从而减少了教学直播的整体延迟，实现低延迟的直播，以增强用户的观看体验。
本发明一种低延迟的互动教学直播方法，在直播推流中添加码率自适应功能，在弱网环境或网络抖动情况下，推流码率进行动态调整，来调节推流中由于网络环境变化而导致的延迟。
【附图说明】
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的流程示意图。
【具体实施方式】
为了使本申请所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参见图1，一种低延迟的互动教学直播方法，包括：
从直播端采集视频、音频信息；对采集的视频、音频信息进行编码处理，其中采用H264/AAC进行编码，且关键帧间隔设置为1s；对编码后的视频、音频信息进行封装；采用RTMP协议推流至服务器并且利用网络加速分发；播放端自动识别并选择最优节点连接接收封装后的视频、音频信息，并解码后进行播放。本发明提供了一种低延迟的互动教学直播方法，通过从采集编码处进行优化，减少采集、前处理、编码过程中产生的延迟，通过推流测速优化采集端数据传输至服务器上的延迟，且通过播放端的节点选择优化以及硬解码的方式进行减低设备端上的延迟，从而减少了教学直播的整体延迟，实现低延迟的直播，以增强用户的观看体验。而且通过本方法，音视频互动教学直播的延时明显降低，一般在500ms以内。
具体地，从直播端采集视频、音频信息，一般利用硬件进行对视频、音频信息进行信号转换，比如转换成YUV/PCM格式。且本申请不涉及前处理，有效减少采集过程中的延迟。
进一步地，上述推流至服务器之前，先进行节点测速，选择延迟最低节点进行推流。尽可能地减低直播过程中因网络不稳定问题所带来的延迟。
而且，选择节点后，根据网络环境自动调整推流码率。相当于直播推流客户端添加码率自适应功能，在弱网环境或网络抖动情况下，推流码率进行动态调整。来调节推流中由于网络环境变化而导致的延迟。由于在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。在保证清晰度的同时，码率根据网络环境适当降低或提升，有利于减低直播过程中因网络不稳定问题所带来的延迟。
又进一步地，播放端选择最优节点方法为通过查询服务器实时获取最优节点。比如计算出则选择综合得分较高的目标网络节点，组合成信息传输链路，并依靠该信息传输链路对数据进行传输，并依次把不同节点的组合计算，就可以选择出最优目标节点进行数据包的传输。尽可能地减低直播过程中因网络不稳定问题所带来的延迟。且在服务端节点和播放端节点之间使用RTMP协议进行推流。
另外，缓存区指由多个以不同速度或优先级运行的硬件或程序进程共享的数据存储区，在其中暂时保存数据。缓冲区使进程之间的相互等待变少了。先结束的进程可以把结果放入缓冲区内，进行下面的工作，而后做完的进程可以从缓冲区内取出原来的数据继续工作。缓冲区的作用是：在高速和低速设备之间起一个速度平滑作用；暂时存储数据；经常访问的数据可以放进缓冲区，减少对慢速设备的访问以提高系统的效率。本方法还包括播放端缓存区大小值调整，在播放端缓存区设置一阀值，当缓存值超过该阀值时，使播放端自动重连。减少在解码端带来的累积延迟。
具体地，所述播放端的解码方式为采用H264/AAC硬解码。H.264/AAC项目意图创建一种视频标准。与旧标准相比，它能够在更低带宽下提供优质视频(换言之，只有MPEG-2，H.263或MPEG-4第2部分的一半带宽或更少)，也不增加太多设计复杂度使得无法实现或实现成本过高。另一目的是提供足够的灵活性以在各种应用、网络及系统中使用，包括高、低带宽，高、低视频分辨率，广播，DVD存储，RTP/IP网络，以及ITU-T多媒体电话系统。H.264/AAC包含了一系列新的特征，使得它比起以前的编解码器不但能够更有效的进行编码，还能在各种网络环境下的应用中使用。
又进一步地，所述对采集的视频、音频信息进行编码处理的方式为硬编码。而且，所述封装的格式为FLV格式。
而且，服务器采用CDN网络加速进行分发，在直播端的推流时，实现就近节点进行转码和分发，同时支持了高并发实时弹幕的边缘分发。在获得网络低时延的同时，减少了对中心的压力，节省了30％以上的中心带宽成本，并且实现了边缘节点网络连接小于5毫秒延时。
本发明还提供了一种低延迟的互动教学直播系统，包括：
采集机，用于采集直播现场的视频、音频信息；编码器，可与采集机一体，用于对视频、音频信息进行硬编码、封装；发送模块，将封装后的视频、音频信息进行推流；服务器，接收封装后的视频、音频信息进行分发；播放设备，可接收服务器分发的视频、音频信息并解码后播放。
具体地，所述编码器为MediaCodec编码器。比如使用主频2.0G，6核64位处理器Rockchip RK3399即可实现。
又具体地，播放设备的核心编解码主板GPU支持OpenGL ES1.1/2.0/3.0/3.1,OpenVG1.1,OpenCL,DX11,AFBC，以满足硬解的使用需求。
本发明提供了一种低延迟的互动教学直播方法，通过从采集编码处进行优化，减少采集、前处理、编码过程中产生的延迟，通过推流测速优化采集端数据传输至服务器上的延迟，且通过播放端的节点选择优化以及硬解码的方式进行减低设备端上的延迟，从而减少了教学直播的整体延迟，实现低延迟的直播，以增强用户的观看体验。而且通过本方法，音视频互动教学直播的延时明显降低，一般在500ms以内。本发明还提供了一种低延迟的互动教学直播系统，其用于实施上述方法。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种低延迟的互动教学直播方法，其特征在于，包括：
直播端采集视频、音频信息；
对采集的视频、音频信息进行编码处理，其中采用H264/AAC进行编码，且关键帧间隔设置为1s；
对编码后的视频、音频信息进行封装；
采用RTMP协议推流至服务器并且利用网络加速分发；
播放端自动识别并选择最优节点连接接收封装后的视频、音频信息，并解码后进行播放。
2.根据权利要求1所述的一种低延迟的互动教学直播方法，其特征在于，推流至服务器之前，先进行节点测速，选择延迟最低节点进行推流。
3.根据权利要求2所述的一种低延迟的互动教学直播方法，其特征在于，选择节点后，根据网络环境自动调整推流码率。
4.根据权利要求2所述的一种低延迟的互动教学直播方法，其特征在于，播放端选择最优节点方法为通过查询服务器实时获取最优节点。
5.根据权利要求1所述的一种低延迟的互动教学直播方法，其特征在于，还包括播放端缓存区大小值调整，在播放端缓存区设置一阀值，当缓存值超过该阀值时，使播放端自动重连。
6.根据权利要求1所述的一种低延迟的互动教学直播方法，其特征在于，所述播放端的解码方式为采用H264硬解码。
7.根据权利要求1所述的一种低延迟的互动教学直播方法，其特征在于，所述对采集的视频、音频信息进行编码处理的方式为硬编码。
8.根据权利要求1所述的一种低延迟的互动教学直播方法，其特征在于，所述封装的格式为FLV格式。
9.一种低延迟的互动教学直播系统，其特征在于，包括：
采集机，用于采集直播现场的视频、音频信息；
编码器，可与采集机一体，用于对视频、音频信息进行硬编码、封装；
发送模块，将封装后的视频、音频信息进行推流；
服务器，接收封装后的视频、音频信息进行分发；
播放设备，可接收服务器分发的视频、音频信息并解码后播放。
10.根据权利要求9所述的一种低延迟的互动教学直播系统，其特征在于，所述编码器为MediaCodec编码器。
CN201910722987.0A 2019-08-06 2019-08-06 一种低延迟的互动教学直播方法及系统 Pending CN110365997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910722987.0A CN110365997A (zh) 2019-08-06 2019-08-06 一种低延迟的互动教学直播方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910722987.0A CN110365997A (zh) 2019-08-06 2019-08-06 一种低延迟的互动教学直播方法及系统

Publications (1)

Publication Number Publication Date
CN110365997A true CN110365997A (zh) 2019-10-22

Family

ID=68222110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910722987.0A Pending CN110365997A (zh) 2019-08-06 2019-08-06 一种低延迟的互动教学直播方法及系统

Country Status (1)

Country Link
CN (1) CN110365997A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965769A (zh) * 2021-10-19 2022-01-21 创盛视联数码科技（北京）有限公司 一种在线教育的直播系统
CN115842919A (zh) * 2023-02-21 2023-03-24 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107743252A (zh) * 2017-11-01 2018-02-27 创盛视联数码科技（北京）有限公司 一种降低直播延迟的方法
CN108989884A (zh) * 2018-08-01 2018-12-11 浙江齐聚科技有限公司 直播视频延迟性能测试方法、装置、设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107743252A (zh) * 2017-11-01 2018-02-27 创盛视联数码科技（北京）有限公司 一种降低直播延迟的方法
CN108989884A (zh) * 2018-08-01 2018-12-11 浙江齐聚科技有限公司 直播视频延迟性能测试方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965769A (zh) * 2021-10-19 2022-01-21 创盛视联数码科技（北京）有限公司 一种在线教育的直播系统
CN113965769B (zh) * 2021-10-19 2023-08-08 创盛视联数码科技（北京）有限公司 一种在线教育的直播系统
CN115842919A (zh) * 2023-02-21 2023-03-24 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法
CN115842919B (zh) * 2023-02-21 2023-05-09 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法

Similar Documents

Publication Publication Date Title
KR101557250B1 (ko) 스트리밍 미디어의 통계적 멀티플렉싱
CN103959274B (zh) 具有自动速率整形的http自适应流传送服务器
CN104735470B (zh) 一种流媒体数据传输方法及装置
US8627390B2 (en) Method and device for providing programs to multiple end user devices
RU2487407C2 (ru) Система и способ сжатия видео посредством настройки размера фрагмента на основании обнаруженного внутрикадрового движения или сложности сцены
CN101917613B (zh) 一种流媒体采集编码服务系统
CN104093088B (zh) 实现自适应流媒体播放控制的系统及方法
DE112012001770T5 (de) Auf Echtzeitverarbeitungsfähigkeit basierende Qualitätsanpassung
CN100499805C (zh) 一种基于光场渲染的自由视点视频在ip网传输方法
CN107197360B (zh) 一种直播信号安全播出的方法及系统
CN107690073A (zh) 一种视频直播方法及视频直播服务器
CN101889422A (zh) 用于使终端的输出同步的方法及系统
US20100064054A1 (en) Remote fast forward and rewind functionality for client devices
CN106657143A (zh) 一种流媒体传输方法、装置、服务器及终端
CN101207822A (zh) 流媒体终端的音频视频同步的方法
CN108111872B (zh) 一种音频直播系统
CN110365997A (zh) 一种低延迟的互动教学直播方法及系统
CN107205159B (zh) 网络直播中流媒体的比特率调整方法、装置和存储介质
CN110519640A (zh) 视频处理方法、编码器、cdn服务器、解码器、设备及介质
CN112087631A (zh) 基于gpu同步并行视频编解码与流媒体传输系统及方法
CN107465679A (zh) 一种流媒体传输控制方法
CN109040818A (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
CN109996088A (zh) 一种直播数据处理方法及装置
CN110545439A (zh) 一种基于流媒体服务的rtmp多并发直播系统及方法
CN101146221A (zh) P2p直播中播放指针动态调整的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022