CN109688425A - 直播数据推流方法 - Google Patents

直播数据推流方法 Download PDF

Info

Publication number
CN109688425A
CN109688425A CN201910029557.0A CN201910029557A CN109688425A CN 109688425 A CN109688425 A CN 109688425A CN 201910029557 A CN201910029557 A CN 201910029557A CN 109688425 A CN109688425 A CN 109688425A
Authority
CN
China
Prior art keywords
medium data
retransmission
data
request
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910029557.0A
Other languages
English (en)
Inventor
张光
李幸原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Three Body Yun Lian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Three Body Yun Lian Technology Co Ltd filed Critical Beijing Three Body Yun Lian Technology Co Ltd
Priority to CN201910029557.0A priority Critical patent/CN109688425A/zh
Publication of CN109688425A publication Critical patent/CN109688425A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种直播数据推流方法，涉及数据传输技术领域。该直播数据推流方法包括：根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，反馈信息包括：缓冲时长、预估网络带宽；根据可用带宽和所述可用帧率，将多媒体数据进行编码，获取编码后的多媒体数据；向所述服务器发送所述编码后的多媒体数据。服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，根据计算得到的可用带宽和可用帧率将待上传的多媒体数据进行编码，从而使得该多媒体数据的传输实现了自适应传输，在网络环境不稳定或处于弱网环境下时，尽可能的减少在多媒体数据传输过程中的多媒体数据丢失的问题，进而保证了主播端上传多媒体数据的数据质量。

Description

直播数据推流方法
技术领域
本申请涉及数据传输技术领域，具体而言，涉及一种直播数据推流方法。
背景技术
随着互联网技术的高速发展，网络直播得到了迅速的普及。在进行网络直播时，主播端(如：手机、电脑及其他电子设备等)能够采集到相关的音频数据和视频数据，并将音频数据和视频数据经过处理后发送至服务器，然后通过服务器向用户的播放端(如：手机、电脑及其他电子设备等)进行网络传输，供用户观看。其中，主播端在将采集到的音频数据和视频数据发送至服务器的过程中，推流质量能够直接影响直播时播放端的播放效果。
现有技术中，在进行网络直播时，通常需要主播将直播的码率、分辨率和帧率等直播参数设置为合适的值，以提高直播时播放端的直播效果。
但是，采用现有技术，当主播端网络环境不稳定或处于弱网环境下时，主播端的推流质量得不到保证，导致播放端会出现画面卡顿的现象。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种直播数据推流方法，以解决现有技术中当主播端网络环境不稳定或处于弱网环境下时，主播端的推流质量得不到保证，导致播放端会出现画面卡顿的现象的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种直播数据推流方法，包括：根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，反馈信息包括：缓冲时长、预估网络带宽；根据可用带宽和可用帧率，将多媒体数据进行编码，获取编码后的多媒体数据；向服务器发送编码后的多媒体数据。
在一些实施例中，向服务器发送编码后的多媒体数据之前，还包括：缓存编码后的多媒体数据。
在一些实施例中，缓存编码后的多媒体数据之后，还包括：接收服务器发送的重传请求，其中，重传请求包括：请求重传的多媒体数据标识；根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据。
在一些实施例中，根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，包括：根据重传请求、重传窗口以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，其中，重传窗口用于限制每次重传的数据量。
在一些实施例中，根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，包括：获取并合并重传请求对应的请求重传的多媒体数据、其他未处理重传请求对应的请求重传的多媒体数据、待传输的多媒体数据，得到合并后的多媒体数据；向服务器发送合并后的多媒体数据。
在一些实施例中，反馈信息还包括：丢包率；向服务器发送编码后的多媒体数据，包括：根据丢包率、缓冲时长、预估网络带宽，对编码后的多媒体数据前向纠错，获取纠错后的多媒体数据；向服务器发送纠错后的多媒体数据。
第二方面，本发明实施例提供了一种直播数据推流方法，包括：向主播终端发送反馈信息，反馈信息包括：缓冲时长、预估网络带宽，反馈信息用于计算可用带宽和可用帧率；接收主播终端发送的多媒体数据，其中，多媒体数据为主播终端根据可用带宽和可用帧率编码生成的。
在一些实施例中，接收主播终端发送的多媒体数据之后，还包括：根据接收到的多媒体数据，生成重传请求，重传请求包括：请求重传的多媒体数据标识；向主播终端发送重传请求。
在一些实施例中，向主播终端发送重传请求之后，还包括：接收主播终端发送的合并后的多媒体数据，合并后的多媒体数据包括：重传请求对应的请求重传的多媒体数据、其他重传请求对应的请求重传的多媒体数据、待传输的多媒体数据。
在一些实施例中，接收主播终端发送的多媒体数据之后，还包括：若多媒体数据包括视频数据，检测视频数据中画面组GOP完整性；将不完整的GOP丢弃，得到待发送的多媒体数据；向用户终端发送待发送的多媒体数据。
第三方面，本发明实施例提供了一种直播数据推流装置，该装置包括：计算模块、编码模块和第一发送模块；
计算模块，用于根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，反馈信息包括：缓冲时长、预估网络带宽；编码模块，用于根据可用带宽和可用帧率，将多媒体数据进行编码，获取编码后的多媒体数据；第一发送模块，用于向服务器发送编码后的多媒体数据。
在一些实施例中，还包括：缓存模块；
缓存模块，用于缓存编码后的多媒体数据。
在一些实施例中，还包括：第一接收模块，第一接收模块，用于接收服务器发送的重传请求，其中，重传请求包括：请求重传的多媒体数据标识；第一发送模块，用于根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据。
在一些实施例中，第一发送模块，具体用于根据重传请求、重传窗口以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，其中，重传窗口用于限制每次重传的数据量。
在一些实施例中，第一发送模块，具体用于获取并合并重传请求对应的请求重传的多媒体数据、其他未处理重传请求对应的请求重传的多媒体数据、待传输的多媒体数据，得到合并后的多媒体数据；向服务器发送合并后的多媒体数据。
在一些实施例中，反馈信息还包括：丢包率；
第一发送模块，具体用于根据丢包率、缓冲时长、预估网络带宽，对编码后的多媒体数据前向纠错，获取纠错后的多媒体数据；向服务器发送纠错后的多媒体数据。
第四方面，本发明实施例提供了一种直播数据推流系统，系统包括：第二发送模块和第二接收模块；
第二发送模块，用于向主播终端发送反馈信息，反馈信息包括：缓冲时长、预估网络带宽，反馈信息用于计算可用带宽和可用帧率；第二接收模块，用于接收主播终端发送的多媒体数据，其中，多媒体数据为主播终端根据可用带宽和可用帧率编码生成的。
在一些实施例中，还包括：重传请求模块；重传请求模块，用于根据接收到的多媒体数据，生成重传请求，重传请求包括：请求重传的多媒体数据标识；
第二发送模块，还用于向主播终端发送重传请求。
在一些实施例中，第二接收模块，还用于接收主播终端发送的合并后的多媒体数据，合并后的多媒体数据包括：重传请求对应的请求重传的多媒体数据、其他重传请求对应的请求重传的多媒体数据、待传输的多媒体数据。
在一些实施例中，还包括：GOP检测模块，用于若多媒体数据包括视频数据，检测视频数据中画面组GOP完整性；将不完整的GOP丢弃，得到待发送的多媒体数据；第二发送模块，还用于向用户终端发送待发送的多媒体数据。
本发明的有益效果是：本申请实施例提供的直播数据推流方法中，根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，根据计算得到的可用带宽和可用帧率将待上传的多媒体数据进行编码，从而使得该多媒体数据的传输实现了自适应传输，在网络环境不稳定或处于弱网环境下时，尽可能保证了主播端上传多媒体数据的数据质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种直播数据推流方法流程图；
图2为本申请实施例所提供的另一种直播数据推流方法流程图；
图3为本申请实施例所提供的另一种直播数据推流方法流程图；
图4为本申请实施例所提供的另一种直播数据推流方法流程图；
图5为本申请实施例所提供的另一种直播数据推流方法流程图；
图6为本申请实施例所提供的另一种直播数据推流方法流程图；
图7为本申请实施例所提供的一种交互示意图；
图8为本申请实施例所提供的一种直播数据推流装置结构示意图；
图9为本申请实施例所提供的另一种直播数据推流装置结构示意图；
图10为本申请实施例所提供的另一种直播数据推流装置结构示意图；
图11为本申请实施例所提供的另一种直播数据推流装置结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本发明实施例可以应用于网络直播系统，该系统包括：主播端、服务器、用户端。主播端用于获取多媒体数据，并将获取的多媒体数据发送至服务器，服务器接收多媒体数据，并根据用户端的请求，向用户端发送请求对应的多媒体数据，用户端用于向服务器发送获取多媒体数据的请求，并接收请求对应的多媒体数据，对接收到的多媒体数据进行播放。
在一些实施例中，主播端可以包括：移动设备、平板计算机、膝上型计算机、或机动车辆中的内置设备等，或其任意组合，用于获取多媒体数据，并将获取的多媒体数据传输给服务器；服务器可以包括可以执行指令操作和预设算法的处理器，用于接收多媒体数据，并根据多媒体数据产生相应的重传指令，并且根据接收到的请求发送相应的多媒体数据；用户端可以包括：移动设备、平板计算机、膝上型计算机、或机动车辆中的内置设备等，或其任意组合，用于发送获取多媒体数据的请求，并接收请求对应的对媒体数据，对接受到的多媒体数据进行播放。
图1为本申请实施例所提供的一种直播数据推流方法流程图；该方法的执行主体可以是上述主播端，如图1所示，该方法包括如下步骤：
S101、根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率。
反馈信息可以包括：缓冲时长、预估网络带宽。
主播端接收到服务器发送的缓冲时长和预估网络带宽，并根据缓冲时长和预估网络带宽计算得到可用带宽和可用帧率。其中，服务器可以根据之前接收主播端上传的数据来获取和生成反馈信息。
其中，可用帧率为可用带宽扣除重传和前向纠错的带宽为编码器的可用码率，根据可用码率以及当前画面分辨率的甜点码率计算可用帧率，甜点码率为音视频主观质量达到的可接受阈值时的最低码率。
带宽是指在单位时间(一般指的是1秒钟)内能传输的数据量。网络和高速公路类似，带宽越大，就类似高速公路的车道越多，其通行能力越强。网络带宽作为衡量网络特征的一个重要指标，日益受到人们的普遍关注。
帧率是称为帧的位图图像连续出现在显示器上的频率(速率)，该术语同样适用于胶片和摄像机，计算机图形和动作捕捉系统。帧速率也可以称为帧频率，并以赫兹(Hz)表示。
S102、根据可用带宽和可用帧率，将多媒体数据进行编码，获取编码后的多媒体数据。
可选地，当计算得到的可用带宽和可用帧率较小时，将待处理的多媒体数据编码成可顺利通过较小的该可用带宽的多媒体数据包，当计算得到的可用带宽和可用帧率较大时，将待处理的多媒体数据编码成适合较大的可用带宽和可用帧率的多媒体数据包。
举例说明，若主播端与服务器之间的正常可用宽带为8M，正常可用帧率为15Hz；当通过反馈信息计算得到的可用带宽为3M，可用帧率为10Hz，略小于正常可用宽带和正常可用帧率，此时主播端网络环境为弱网环境下，主播端将待处理的多媒体数据根据可用带宽为3M，可用帧率为10Hz进行编码，例如降低分辨率、丢到一些非关键帧等，使得待处理的多媒体数据通过重新编码之后可以流畅的从主播端上传至服务器端。当通过反馈信息计算得到的可用带宽和可用帧率大于或等于正常可用带宽和可用帧率，此时主播端网络环境为强网环境下，将待处理的多媒体数据根据计算得到的可用带宽和可用帧率进行编码，使得多媒体数据上传的时候可以充分的利用可用带宽和可用帧率，从而更有效的利用带宽，并且加快传输多媒体数据的效率。
需要说明的是，可以根据甜点码率来决定丢帧，比如5M是当前分辨率能够接受的最低码率，那么当可用带宽低于5M时开始主动丢帧。
S103、向服务器发送编码后的多媒体数据。
根据计算得到的可用带宽和可用帧率对多媒体数据进行编码后，将编码后的多媒体数据发送给服务器。
由上，本申请实施例提供的直播数据推流方法中，根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，根据计算得到的可用带宽和可用帧率将待上传的多媒体数据进行编码，从而使得该多媒体数据的传输实现了自适应传输，在网络环境不稳定或处于弱网环境下时，尽可能的减少在多媒体数据传输过程中的多媒体数据丢失的问题，进而保证了主播端上传多媒体数据的数据质量。
图2为本申请实施例所提供的另一种直播数据推流方法流程图。如图2所示，向服务器发送编码后的多媒体数据之前，还可以包括：
S201、缓存编码后的多媒体数据。
对编码之后的多媒体数据进行缓存，例如缓存在预设的存储区域中。
S301、接收服务器发送的重传请求。
其中，重传请求包括：请求重传的多媒体数据标识；
服务器根据接收到的多媒体数据，若接收到的多媒体数据丢包数量大于预设丢包数阈值，则服务器将丢包数据对应的重传请求发送给主播端，主播端接收服务器发送的重传请求。
S302、根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据。
当主播端接收到服务器发送的重传请求，主播端根据该重传请求和已经缓存的多媒体数据，将该重传请求的对应的多媒体数据发送给服务器，其中，该重传请求为服务器检测到需要重新发送的多媒体数据的多媒体数据标识，对该多媒体数据标识不做具体限定，只要能实现通过识别该多媒体数据标识可以准确定一段多媒体数据即可。
需要说明的是，反馈信息可以包括重传请求，也可以不包括重传请求，当反馈信息包括重传请求时，服务器需要主播端对多媒体数据进行重传时，服务器给该主播端下发反馈信息的同时，也下发重传请求；当反馈信息不包括重传请求时，服务器需要主播端对多媒体数据进行重传时，服务器给该主播端下发反馈信息之外，还需要单独向主播端下发重传请求。
可选地，根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，包括：根据重传请求、重传窗口以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，其中，重传窗口用于限制每次重传的数据量。
主播端根据接收服务器发送的重传请求、重传窗口和主播端缓存的编码之后的多媒体数据，将服务器请求重传的多媒体数据发送给服务器。
需要说明的是，重传窗口可以根据两次重传的间隔以及预设的最低阈值和最高阈值综合判断。
可选地，图3为本申请实施例所提供的另一种直播数据推流方法流程图，如图3所示，上述根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，包括：
S401、获取并合并重传请求对应的请求重传的多媒体数据、其他未处理重传请求对应的请求重传的多媒体数据、待传输的多媒体数据，得到合并后的多媒体数据。
S402、向服务器发送合并后的多媒体数据。
当主播端接收服务器发送的多个重传请求，主播端先从缓存获取多个重传请求对应的多个多媒体数据，并将多个重传请求对应的多个多媒体数据进行合并，得到重传请求对应的多媒体数据；或者，当主播端接收服务器发送的多个重传请求，主播端将多个重传请求进行合并，并根据合并之后的请求以及待传输的多媒体数据，获取合并后的多媒体数据，然后将合并后的多媒体数据发送给服务器；或者，主播端接收到重传请求，将重传请求的数据对应的多媒体数据提取出来，若此时主播端有待上传给服务器的多媒体数据，则将重传请求对应的多媒体数据和待上传的多媒体数据到合并，并将合并后的多媒体数据发送给服务器。
举例说明，当服务器发送的第一个重传请求请求发送的多媒体数据为(1、2、3)；第二个重传请求请求发送的多媒体数据为(2、3、4、5)；主播端接收到第一个重传请求和第二个重传请求，将第一个重传请求和第二个重传请求对应的多媒体数据进行提取出来然后进行合并，将合并之后的多媒体数据(1、2、3、4、5)上传给服务器；或者，当服务器发送的第一个重传请求请求发送的多媒体数据为(1、2、3)；第二个重传请求请求发送的多媒体数据为(2、3、4、5)；主播端将第一个重传请求和第二个重传请求进行合并，得到新的重传请求(1、2、3、4、5)；然后将新的重传请求对应的多媒体数据提取出来之后发送给服务器。
可选地，反馈信息还包括：丢包率。
相应地，上述向服务器发送编码后的多媒体数据，包括：根据丢包率、缓冲时长、预估网络带宽，对编码后的多媒体数据前向纠错，获取纠错后的多媒体数据；向服务器发送纠错后的多媒体数据。
其中，预估带宽根据接收端的带宽估计算法得到，主要根据丢包率和延时的增减判断。接收服务器发送的主播端上传的多媒体数据的丢包率、缓冲时长和上传节点的预估网络带宽，对编码之后的多媒体数据进行前向纠错，将传输中有错误的多媒体数据进行删除，然后将前向纠错之后的多媒体数据打包，主播端将打包之后的多媒体数据发送给服务器。
其中，丢包率(Loss Tolerance，简称LT)是指在数据传输过程中所丢失数据包数量占所发送数据组的比率。计算方法是：“[(输入报文-输出报文)/输入报文]*100％”。
前向纠错也叫前向纠错码(Forward Error Correction，简称FEC)，是增加数据通讯可信度的方法。在单向通讯信道中，一旦错误被发现，其接收器将无权再请求传输。FEC是利用数据进行传输冗余信息的方法，当传输中出现错误，将允许接收器再建数据。
本申请实施例提供的直播数据推流方法，服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，根据计算得到的可用带宽和可用帧率将待上传的多媒体数据进行编码，从而使得该多媒体数据的传输实现了自适应传输，在网络环境不稳定或处于弱网环境下时，尽可能的减少在多媒体数据传输过程中的多媒体数据丢失的问题，进而保证了主播端上传多媒体数据的数据质量，若主播端检测到服务器发送的重传请求，根据重传请求、重传带宽和窗口大小将重传请求对应的多媒体数据重传给服务。
图4为本申请实施例所提供的另一种直播数据推流方法流程图；如图4所示，该方法的执行主体是服务器，例如直播平台的后台服务器。如图4所示，本申请实施例所提供的直播数据推流方法，包括如下步骤：
S501、向主播终端发送反馈信息。
反馈信息包括：缓冲时长、预估网络带宽，反馈信息用于计算可用带宽和可用帧率。
服务器向主播端发送缓冲时长、预估网络带宽等反馈信息；该反馈信息用于计算也用带宽和可用帧率。
S502、接收主播终端发送的多媒体数据。
其中，多媒体数据为主播终端根据可用带宽和可用帧率编码生成的。
服务器接收主播端根据可用带宽和可用帧率发送的多媒体数据。
需要说明的，主播端接收服务器发送的反馈信息，该反馈信息包括可用带宽和可用帧率，服务器根据可用带宽和可用帧率对该多媒体数据进行编码，将编码之后的多媒体数据发送给该服务器，服务器接收该主播端根据可用带宽和可用帧率发送的多媒体数据。
可选地，图5为本申请实施例所提供的另一种直播数据推流方法流程图；如图5所示，接收主播终端发送的多媒体数据之后，还包括：
S601、根据接收到的多媒体数据，生成重传请求。
重传请求包括：请求重传的多媒体数据标识。
服务器接收主播端发送的多媒体数据，并对接收到的多媒体数据进行分析，若该多媒体数据达到重传的要求，服务器生成重传请求，该重传请求包括请求重传的多媒体数据标识，该多媒体数据标识用于准确识别多媒体数据，对该多媒体数据标识形式不做限定。
S602、向主播终端发送重传请求。
服务器根据对接收的多媒体数据进行丢包分析，若丢包分析结果大于预设丢包阈值，需要对丢包的多么提数据进行重传，服务器根据丢包的多媒体数据生成重传请求，并将重传请求发送给主播端。
可选地，向主播终端发送重传请求之后，还包括：接收主播终端发送的合并后的多媒体数据，合并后的多媒体数据包括：重传请求对应的请求重传的多媒体数据、其他重传请求对应的请求重传的多媒体数据、待传输的多媒体数据。
服务器将重传请求发送给主播端之后，主播端根据重传请求，将重传请求对应的多媒体数据发送给服务器，当同时存在多个重传请求时，主播端将多个重传请求对应的多媒体数据进行合并，并将合并之后的多媒体数据发送给服务器，服务器接收该多媒体数据；或者当主播端接收到服务器发送的重传请求之后，主播端将该重传请求对应的多媒体数据与现在带传输的多媒体数据打包，一起发送至服务器。
举例说明，当主播端接收到三个重传请求，第一重传请求请求重传多媒体数据1、2和3，第二重传请求请求重传多媒体数据1、2、3和4，第三重传请求请求重传多媒体数据3、5和7，主播端将三个重传请求对应的数据进行提取，将提取出的多媒体数据进行合并，合并得到重传多媒体数据(1、2、3、4、5、7)，然后将合并之后的多媒体数据发送给服务器；或者，当主播端接收到一个重传请求，该重传请求请求重传数据1，主播端将多媒体数据1提取出来，然后将多媒体数据1与现在需要上传的多媒体数据进行合并，合并得到重传多媒体数据(1)，然后将合并之后的多媒体数据打包发送给服务器。
可选地，图6为本申请实施例所提供的另一种直播数据推流方法流程图；如图6所示，接收主播终端发送的多媒体数据之后，还包括：
S701、若多媒体数据包括视频数据，检测视频数据中画面组GOP完整性。
当服务器接收到主播端发送的多媒体数据，若多媒体数据包括视频数据，则检测视频数据中画面组(Group Of Picture，GOP)完整性，将服务器接收的多媒体数据进行转码成图像，然后对图像的完整性进行检测，若发现有图像损坏，则对损坏的图像进行处理。
S702、将不完整的GOP丢弃，得到待发送的多媒体数据。
当服务器检测到某帧图像损坏，将损坏的图像丢弃，然后将没有损坏的图像进行重新进行编码。
S703、向用户终端发送待发送的多媒体数据。
服务器将重新编码之后的多媒体数据分发给多个用户端。
可选地，服务器接收主播端发送的多媒体数据包，对多媒体数据包的连续性进行检测，若检测得到多媒体数据包不连续，则等待预设的时间，该预设时间为缓冲时长，当等待时间超过缓冲时长的时候，将不连续的多媒体数据包，发送至用户端；或者在该预设时间内，继续接收多媒体数据包，直到该多媒体数据包连续，则将连续的多媒体数据包发送至用户端；然后将缓冲时长发送值主播端。
一般的，当服务器终端检测到多媒体数据包连续时，服务器根据用户端的请求向相应的用户端CDN服务器推送请求的多媒体数据。
可选地，若服务器接收主播端发送的多媒体数据，该数据包括：视频数据和音频数据，当计算得出的可用带宽和可用帧率无法同时保证音频数据和视频数据的传输质量时，优先保证音频数据的传输。
本申请实施例提供的直播数据推流方法，服务器将缓冲时长、预估网络带宽发送给服务器，服务器通过计算得到可用带宽和可用帧率，根据计算得到的可用带宽和可用帧率将待上传的多媒体数据进行编码，从而使得该多媒体数据的传输实现了自适应传输，在网络环境不稳定或处于弱网环境下时，尽可能的减少在多媒体数据传输过程中的多媒体数据丢失的问题，进而保证了主播端上传多媒体数据的数据质量，若主播端检测到服务器发送的重传请求，根据重传请求、重传带宽和窗口大小将重传请求对应的多媒体数据重传给服务。
需要说明的是，图7为本申请实施例所提供的一种交互示意图；如图7所示，本申请提供的直播数据推流方法中，主播端接收服务器发送的反馈信息，该反馈信息包括缓冲时长、预估网络带宽，缓冲时长和缓冲网络带宽用于计算可用带宽和可用帧率，主播端根据计算得到的可用带宽和可用帧率对多媒体数据进行编码，编码结束之后将多媒体数据进行缓存，缓存之后将多媒体数据进行前向纠错，将完成前向纠错的多媒体数据发送给服务器；服务器接收纠错后的多媒体数据，检测该多媒体数据进行丢包情况，若丢包量超过预设丢包阈值，则根据丢包情况生成重传请求，并将重传请求和反馈信息一起发送给主播端，主播端从缓存的多媒体数据中提取出重传请求对应的多媒体数据，若重传请求的多媒体数据有重复的，主播端将该重复的多媒体数据进行合并，将合并之后的多媒体数据进行前向纠错，再将纠错后的多媒体数据发送给服务器，服务器接收多媒体数据，检测多媒体数据的完整性，若多媒体数据不完整，则将则执行丢包处理，将丢包处理之后的多媒体数据发送给用户端，若多媒体数据完整，则直接将多媒体数据发送到用户端，用户端对多媒体数据进行转码，若转码过程中，若多媒体数据为视频和音频数据，且用户端网络较差时，则优先保证音频数据。
图8为本申请实施例所提供的一种直播数据推流装置结构示意图；如图8所示，本申请实施例所提供的直播数据推流装置，装置包括：计算模块801、编码模块802和第一发送模块803；计算模块801，用于根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，反馈信息包括：缓冲时长、预估网络带宽；编码模块802，用于根据可用带宽和可用帧率，将多媒体数据进行编码，获取编码后的多媒体数据；第一发送模块803，用于向服务器发送编码后的多媒体数据。
图9为本申请实施例所提供的另一种直播数据推流装置结构示意图；如图9所示，可选地，还包括：缓存模块804；用于缓存编码后的多媒体数据。
可选地，还包括：第一接收模块805，用于接收服务器发送的重传请求，其中，重传请求包括：请求重传的多媒体数据标识；第一发送模块803，用于根据重传请求、以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据。
可选地，第一发送模块803，具体用于根据重传请求、重传窗口以及缓存的编码后的多媒体数据，向服务器发送请求重传的多媒体数据，其中，重传窗口用于限制每次重传的数据量。
可选地，第一接收模块805，具体用于获取并合并重传请求对应的请求重传的多媒体数据、其他未处理重传请求对应的请求重传的多媒体数据、待传输的多媒体数据，得到合并后的多媒体数据；第一发送模块803，还用于向服务器发送合并后的多媒体数据。
可选地，所述反馈信息还包括：丢包率；第一发送模块803，具体用于根据丢包率、缓冲时长、预估网络带宽，对编码后的多媒体数据前向纠错，获取纠错后的多媒体数据；向服务器发送合并后的多媒体数据。
图10为本申请实施例所提供的另一种直播数据推流装置结构示意图；如图10所示，本申请实施例所提供的直播数据推流系统，系统包括：系统包括：第二发送模块807和第二接收模块808；第二发送模块807，用于向主播终端发送反馈信息，反馈信息包括：缓冲时长、预估网络带宽，反馈信息用于计算可用带宽和可用帧率；第二接收模块808，用于接收主播终端发送的多媒体数据，其中，多媒体数据为主播终端根据可用带宽和可用帧率编码生成的。
可选地，还包括：重传请求模块809，重传请求模块809，用于根据接收到的多媒体数据，生成重传请求，重传请求包括：请求重传的多媒体数据标识；第二发送模块807，还用于向主播终端发送重传请求。
可选地，第二接收模块808，还用于接收主播终端发送的合并后的多媒体数据，合并后的多媒体数据包括：重传请求对应的请求重传的多媒体数据、其他重传请求对应的请求重传的多媒体数据、待传输的多媒体数据。
可选地，还包括：GOP检测模块810，用于若多媒体数据包括视频数据，检测视频数据中画面组GOP完整性；将不完整的GOP丢弃，得到待发送的多媒体数据；第二发送模块807，还用于向用户终端发送待发送的多媒体数据。
可选地，上述系统用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application SpecificIntegrated Circuit，简称ASIC)，或，一个或多个微处理器(digitalsingnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图11为本申请实施例所提供的另一种直播数据推流装置结构示意图；如图11所示，该系统可以集成于终端设备或者终端设备的芯片，该终端可以是具备图像处理功能的计算设备。
该系统包括：存储器901、处理器902。
存储器901用于存储程序，处理器902调用存储器901存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-OnlyMemory，简称：ROM)、随机存取存储器(英文：Random AccessMemory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种直播数据推流方法，其特征在于，所述方法包括：
根据服务器发送的反馈信息和预设算法计算得到可用带宽和可用帧率，所述反馈信息包括：缓冲时长、预估网络带宽；
根据所述可用带宽和所述可用帧率，将多媒体数据进行编码，获取编码后的多媒体数据；
向所述服务器发送所述编码后的多媒体数据。
2.根据权利要求1所述的方法，其特征在于，所述向所述服务器发送所述编码后的多媒体数据之前，还包括：
缓存所述编码后的多媒体数据。
3.根据权利要求2所述的方法，其特征在于，所述缓存所述编码后的多媒体数据之后，还包括：
接收服务器发送的重传请求，其中，所述重传请求包括：请求重传的多媒体数据标识；
根据所述重传请求、以及缓存的所述编码后的多媒体数据，向所述服务器发送请求重传的多媒体数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述重传请求、以及缓存的所述编码后的多媒体数据，向所述服务器发送请求重传的多媒体数据，包括：
根据所述重传请求、重传窗口以及缓存的所述编码后的多媒体数据，向所述服务器发送请求重传的多媒体数据，其中，所述重传窗口用于限制每次重传的数据量。
5.根据权利要求3所述的方法，其特征在于，所述根据所述重传请求、以及缓存的所述编码后的多媒体数据，向所述服务器发送请求重传的多媒体数据，包括：
获取并合并所述重传请求对应的请求重传的多媒体数据、其他未处理重传请求对应的请求重传的多媒体数据、待传输的多媒体数据，得到合并后的多媒体数据；
向所述服务器发送所述合并后的多媒体数据。
6.根据权利要求1所述的方法，其特征在于，所述反馈信息还包括：丢包率；
所述向所述服务器发送所述编码后的多媒体数据，包括
根据所述丢包率、缓冲时长、预估网络带宽，对所述编码后的多媒体数据前向纠错，获取纠错后的多媒体数据；
向所述服务器发送所述纠错后的多媒体数据。
7.一种直播数据推流方法，其特征在于，包括：
向主播终端发送反馈信息，所述反馈信息包括：缓冲时长、预估网络带宽，所述反馈信息用于计算可用带宽和可用帧率；
接收所述主播终端发送的多媒体数据，其中，所述多媒体数据为所述主播终端根据所述可用带宽和所述可用帧率编码生成的。
8.根据权利要求7所述的方法，其特征在于，所述接收所述主播终端发送的多媒体数据之后，还包括：
根据接收到的所述多媒体数据，生成重传请求，所述重传请求包括：请求重传的多媒体数据标识；
向所述主播终端发送所述重传请求。
9.根据权利要求8所述的方法，其特征在于，所述向所述主播终端发送所述重传请求之后，还包括：
接收所述主播终端发送的合并后的多媒体数据，所述合并后的多媒体数据包括：所述重传请求对应的请求重传的多媒体数据、其他重传请求对应的请求重传的多媒体数据、待传输的多媒体数据。
10.根据权利要求7所述的方法，其特征在于，所述接收所述主播终端发送的多媒体数据之后，还包括：
若所述多媒体数据包括视频数据，检测所述视频数据中画面组GOP完整性；
将不完整的GOP丢弃，得到待发送的多媒体数据；
向用户终端发送所述待发送的多媒体数据。
CN201910029557.0A 2019-01-11 2019-01-11 直播数据推流方法 Pending CN109688425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910029557.0A CN109688425A (zh) 2019-01-11 2019-01-11 直播数据推流方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910029557.0A CN109688425A (zh) 2019-01-11 2019-01-11 直播数据推流方法

Publications (1)

Publication Number Publication Date
CN109688425A true CN109688425A (zh) 2019-04-26

Family

ID=66193103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910029557.0A Pending CN109688425A (zh) 2019-01-11 2019-01-11 直播数据推流方法

Country Status (1)

Country Link
CN (1) CN109688425A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405312A (zh) * 2020-04-26 2020-07-10 广州酷狗计算机科技有限公司 直播推流方法、装置、终端、服务器及存储介质
CN112312137A (zh) * 2020-10-27 2021-02-02 唐桥科技(杭州)有限公司 一种视频传输方法、装置、电子设备及存储介质
CN112511482A (zh) * 2019-09-16 2021-03-16 华为技术有限公司 媒体数据传输方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075769A (zh) * 2011-01-10 2011-05-25 苏州博联科技有限公司 视频无线传输监控系统的视频QoS优化方法
US20130315296A1 (en) * 2012-05-22 2013-11-28 Broadcom Corporation Systems and methods for adaptive selection of video encoding resources
CN104935958A (zh) * 2015-06-24 2015-09-23 青岛科技大学 一种实时视频传输装置及方法
CN107623851A (zh) * 2017-09-01 2018-01-23 苏州科达科技股份有限公司 视频码流传输控制装置及控制方法
CN107888342A (zh) * 2016-09-30 2018-04-06 瞬已网络科技（上海）有限公司 一种网络实时视频传输方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075769A (zh) * 2011-01-10 2011-05-25 苏州博联科技有限公司 视频无线传输监控系统的视频QoS优化方法
US20130315296A1 (en) * 2012-05-22 2013-11-28 Broadcom Corporation Systems and methods for adaptive selection of video encoding resources
CN104935958A (zh) * 2015-06-24 2015-09-23 青岛科技大学 一种实时视频传输装置及方法
CN107888342A (zh) * 2016-09-30 2018-04-06 瞬已网络科技（上海）有限公司 一种网络实时视频传输方法及装置
CN107623851A (zh) * 2017-09-01 2018-01-23 苏州科达科技股份有限公司 视频码流传输控制装置及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511482A (zh) * 2019-09-16 2021-03-16 华为技术有限公司 媒体数据传输方法、装置及系统
CN111405312A (zh) * 2020-04-26 2020-07-10 广州酷狗计算机科技有限公司 直播推流方法、装置、终端、服务器及存储介质
CN112312137A (zh) * 2020-10-27 2021-02-02 唐桥科技(杭州)有限公司 一种视频传输方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109729439B (zh) 实时视频传输方法
EP1482681B1 (en) Medium streaming distribution system
CN110248256B (zh) 数据的处理方法及装置、存储介质和电子装置
CN104735470B (zh) 一种流媒体数据传输方法及装置
RU2487407C2 (ru) Система и способ сжатия видео посредством настройки размера фрагмента на основании обнаруженного внутрикадрового движения или сложности сцены
EP2320580B1 (en) System for measuring transmission bandwidth for media streaming and method for same
CN108809893B (zh) 一种视频质量评估方法和设备
CN113037440B (zh) 数据重传处理方法、装置、计算机设备和存储介质
RU2501172C2 (ru) Способ и устройство для компенсации потери пакетов в режиме передачи данных по протоколу пользовательских дейтаграмм
US10230651B2 (en) Effective intra-frame refresh in multimedia communications over packet networks
CN107517410B (zh) 视频业务质量评估的方法及装置
CN104284135B (zh) 视频传输方法及设备
CN109688425A (zh) 直播数据推流方法
CN111093083B (zh) 数据传输方法及装置
JPH11331839A (ja) 映像伝送再送の装置及び方法
US20100097960A1 (en) Communication apparatus, communication method for communication apparatus, and computer-readable medium storing communication control program for communication apparatus
CN113423008B (zh) 视频数据传输方法、服务器和观众侧设备
JP2023522895A (ja) オーディオ及び／又はビデオコンテンツ配信のための方法及びサーバ
US20020184645A1 (en) Measurement of quality of service
JP3927486B2 (ja) ストリーミング配信装置、ストリーミング配信システム、及びストリーミング配信方法
JP3846853B2 (ja) 情報配信システム及び情報配信方法
US11889148B2 (en) Engagement estimation apparatus, engagement estimation method and program
CN109922307B (zh) 一种多媒体数据传输方法及摄像机
Bouazizi Size-distortion optimized proxy caching for robust transmission of MPEG-4 video
CN114070827B (zh) 一种转推流数据的传输方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210303

Address after: Room 1702-03, Lantian Hesheng building, 32 Zhongguancun Street, Haidian District, Beijing 100082

Applicant after: BEIJING CENTURY TAL EDUCATION TECHNOLOGY Co.,Ltd.

Address before: 102200 a1-05-001 maker Plaza, 338 Huilongguan East Street, Changping District, Beijing

Applicant before: BEIJING SANTICLOUD TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426