CN106817628B - 一种网络直播平台 - Google Patents

一种网络直播平台 Download PDF

Info

Publication number
CN106817628B
CN106817628B CN201710062514.3A CN201710062514A CN106817628B CN 106817628 B CN106817628 B CN 106817628B CN 201710062514 A CN201710062514 A CN 201710062514A CN 106817628 B CN106817628 B CN 106817628B
Authority
CN
China
Prior art keywords
terminal
streaming media
node
module
media information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710062514.3A
Other languages
English (en)
Other versions
CN106817628A (zh
Inventor
胡荣强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aden Populus Euphratica Polytron Technologies Inc
Original Assignee
Chengdu Aden Populus Euphratica Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aden Populus Euphratica Polytron Technologies Inc filed Critical Chengdu Aden Populus Euphratica Polytron Technologies Inc
Priority to CN201710062514.3A priority Critical patent/CN106817628B/zh
Publication of CN106817628A publication Critical patent/CN106817628A/zh
Application granted granted Critical
Publication of CN106817628B publication Critical patent/CN106817628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1034Reaction to server failures by a load balancer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Abstract

本发明涉及一种网络直播平台,包括用于直播流媒体信息的第一终端、用于观看流媒体信息并进行互动的第二终端和云平台,云平台包括交互模块和流媒体传输模块,交互模块基于至少一个第一终端的请求信息和采集的流媒体信息建立直播界面,并且基于至少一个第二终端的请求信息向第二终端推送直播界面的时间调度信息;交互模块基于第二终端的访问请求建立第一终端与至少一个第二终端之间的交互连接并通过流媒体传输模块向第二终端推送第一终端采集的第一实时流媒体信息。本发明能够使第一用户与第二用户进行频繁的有效互动,提高互动的效率。而且本发明使观看的第二终端的直播流媒体信息播放更流畅,更清晰,用户观看直播的体验更好。

Description

一种网络直播平台
技术领域
本发明涉及网络传输领域,尤其涉及一种网络直播平台。
背景技术
网络直播作为一种崭新的传播渠道,具有极强的现场感和交互性,给用户带来一种全新的交流模式。网络直播由于承载着网络的特性,因而打破了地域的界限,具有极为广泛的传播面。通过网络,几十万人可以同时交流和互动,对受众的吸引力自然也会更大。网络直播实时性、互动性及丰富多彩的音、视频多媒体的特性带给用户全新的网络视角和体验,多媒体网络直播服务的形式主要包括:现场直播、嘉宾主持论坛、远程在线访谈和网路发布会等。
目前的网络直播一般是通过客户端主动从服务器上拉取数据来实现的,即通过不断刷新的方式,但每一次刷新,都会造成客户端的浏览器与服务器的连接断开,然后又重新连接。由于客户端需要每隔几秒又重新到服务器拉取数据,在数据量小或用户不多的情况下,并没有什么问题,但如果当用户成倍增长,数据量极度膨胀时,这样就会因为大量获取重复数据,在成网络占用率高,网速过慢,无法达到大规模网络直播的需求。
中国专利CN104967873A公开了一种流媒体直播调度方法、系统和调度服务器,所述方法包括:调度服务器对核心机组中核心节点服务器的运行状况进行监测,所述核心机组包括两台以上的核心节点服务器;当调度服务器接收到发布点服务器推送的直播流请求时,根据所述核心机组中核心节点服务器的运行状况,从所述核心机组中选取可用的核心节点服务器,将选取的核心节点服务器的信息发送至所述发布点服务器,所述发布点服务器在接收到所述核心节点服务器的信息时,将直播流发布至所述选取的核心节点服务器上;持久化存储所述选取的核心节点服务器和所述直播流之间的映射关系。上述的方案,能够自适应核心组内的核心节点服务器增减,便于统一管理配置,大大降低了运维成本。然而,该专利存在以下问题:(1)该专利直播流和核心节点服务器的连接仅有一个,数据量极度膨胀时这个连接可能出现问题时,一旦这个连接出现问题直播就会被中断,影响用户体验;(2)该专利直播调度全靠系统计算,系统总会存在BUG或有出现问题的时候,而观众不能根据网络负载和带宽自己选择合适的传输速度,无法平衡网络运行情况和传输速度的关系;(3)直播过程中与用户的互动的效率低,不能优先选择互动效率高的观众进行交互会话。
发明内容
针对现有技术之不足,本发明提供了一种网络直播平台,其特征在于,所述网络直播平台包括用于直播流媒体信息的第一终端、用于观看流媒体信息并进行互动的第二终端和云平台,所述云平台包括交互模块和流媒体传输模块,
所述交互模块基于至少一个所述第一终端的请求信息和采集的流媒体信息建立直播界面,并且基于至少一个所述第二终端的请求信息向所述第二终端推送所述直播界面的时间调度信息;
所述交互模块基于所述第二终端的访问请求建立所述第一终端与至少一个所述第二终端之间的交互连接并通过所述流媒体传输模块向所述第二终端推送所述第一终端采集的第一实时流媒体信息;
所述流媒体传输模块基于所述第二终端反馈的所述流媒体信息的播放流畅参数和所述第二终端发送交互信息的交互参数调整所述流媒体信息的传输节点从而避免流媒体信息的传输延迟,
并且所述流媒体传输模块基于所述第二终端的播放特征参数指示设置于所述流媒体传输模块与所述第二终端之间的转码模块将所述第一实时流媒体信息转换为与所述第二终端的播放特征参数匹配的且大于清晰度阈值的第二实时流媒体信息。
根据一个优选实施方式,所述交互模块基于所述第二终端的第二用户的认证信息计算所述第二用户的授权指数,
在所述第二用户的所述授权指数不小于指定授权阈值的情况下,所述交互模块向对应的所述第二终端主动推送并显示用于交互的交互按钮,或者基于所述第二终端的的交互请求向对应的所述第二终端主动推送并显示用于交互的交互按钮,
在所述第二用户的所述授权指数小于指定授权阈值的情况下,所述交互模块拒绝所述第二终端的交互请求,并且不向对应的所述第二终端推送并显示用于交互的交互按钮。
根据一个优选实施方式,所述交互模块响应于所述第一终端的预设时间帧期满的请求,在预设时间帧期满时没有识别出所述第一实时流媒体信息中的音频/视频信息的情况下,终止所述第一终端与所述第二终端之间的流媒体信息,或者
所述交互模块响应于所述第二终端的中止/终止请求,中止/终止所述第一终端与所述第二终端之间的流媒体信息。
根据一个优选实施方式,所述授权指数是基于所述第二终端的第二用户的个人信息参数、历史交互参数、活跃参数、等级参数和/或忠诚度参数综合评估得到的。
根据一个优选实施方式,所述云平台还包括临时存储模块和数据库,
所述临时存储模块在限定时间内存储所述第一终端和所述第二终端之间的流媒体信息,并且将所述流媒体信息的元数据发送并存储至所述数据库,
所述交互模块基于所述第二终端的恢复直播的请求信息,读取所述临时存储模块中与所述第二终端中止的时间帧匹配的未直播的流媒体信息并发送至所述第二终端进行延迟直播。
根据一个优选实施方式,所述流媒体传输模块包括总传输服务器、第一传输服务器和第二传输服务器,
所述总传输服务器为具有若干节点的分布式传输服务器,
所述第一传输服务器基于所述第一终端采集的流媒体信息的采集效率参数实时分析的所述总传输服务器的运行情况并选择第一节点和至少一个第一备用节点以均衡流媒体信息的传输负载;
所述第二传输服务器基于所述第二终端反馈的流媒体信息的播放情况实时分析的所述总传输服务器的运行情况并选择第二节点和至少一个第二备用节点以调整所述第二终端的播放流畅参数。
根据一个优选实施方式,所述第一传输服务器至少包括第一分析单元、第一选择单元和第一连接单元,
所述第一分析单元实时分析所述总传输服务器的运行情况,所述第一选择单元基于所述总传输服务器的运行情况选择负载最小的第一节点和至少一个第一备用节点,所述第一连接单元将所述第一终端与所述第一节点和至少一个第一备用节点建立连接并将所述第一终端采集的流媒体信息上传至所述第一节点和至少一个第一备用节点;
所述第二传输服务器至少包括第二分析单元、第二选择单元和第二连接单元,所述第二选择单元基于所述第二分析单元通过分析所述总传输服务器的运行情况选择负载最小的第二节点和至少一个第二备用节点并以颜色和/或图形的方式表示节点负载情况提供给发出选择请求的所述第二终端以供第二用户选择合适的节点。
根据一个优选实施方式,所述第一分析单元判断限定时间内未接收到流媒体信息的节点为失效节点,判断限定时间内与处于休息状态的第一终端连接的节点为休息节点,所述第一连接单元断开所述失效节点和/或所述休息节点与所述第一终端的连接并将所述失效节点或所述休息节点返回至所述总传输服务器。
根据一个优选实施方式,所述第二分析单元基于所述第二终端的清晰度选择信息指示转码模块将所述总传输服务器的流媒体信息转换为所述第二终端选择的清晰度信息储存在所述第二传输服务器中。
根据一个优选实施方式,所述第二选择单元在第二用户没有对节点进行选择时自动选择第二节点为默认节点;
所述第二连接单元将所述第二用户选择的节点或默认节点通过所述解码模块与所述第二终端连接;
所述第二连接单元断开所述障碍节点与所述第二终端的连接并将所述障碍节点返回至所述总传输服务器。
本发明提供一种网络直播平台至少具有如下优势:
(1)本发明的网络直播平台能够提高观众与主播之间的交互效率,在直播的过程中与观众进行有效互动会话;
(2)本网络直播平台在网络主播上传流媒体信息时采用多节点连接传输,即使在某些节点障碍的情况下也能保证主播端与总传输服务器连接不掉线,使上传过程能稳定持续进行;
(3)本网络直播平台通过回收失效节点和/或休息节点和/或障碍节点能有效减轻服务器负载,防止数据信息堵塞和网络资源被无效占用;
(4)本网络直播平台通过第一传输服务器和第二传输服务器合理选取和均衡分配节点,使整个平台负载均衡,保证即使在大规模网络直播情况下本网络直播平台也能正常顺畅地运行;
(5)本网络直播平台能根据网络负载和带宽自动选择清晰度或使观众自己选择和切换直播清晰度,从而在适应网络情况下保证观众的观看体验。
附图说明
图1是本发明的网络直播平台的模块结构示意图;和
图2是流媒体传输模块的模块结构示意图。
附图标记列表:
10:第一终端 20:第二终端 30:终端协议模块
40:存储模块 50:数据库 60:流媒体传输模块
70:转码模块 80:认证模块 61:总传输服务器
62:第一传输服务器 63:第二传输服务器 621:第一分析单元
622:第一选择单元 623:第一连接单元 631:第二分析单元
632:第二选择单元 633:第二连接单元
具体实施方式
下面结合附图进行详细说明。
本发明提供了一种网络直播平台,包括用于直播流媒体信息的第一终端10、用于观看流媒体信息并进行互动的第二终端20和云平台,所述云平台包括交互模块90和流媒体传输模块60。
本发明中的第一终端是用来采集流媒体信息并用于直播的智能终端。本发明的第二终端是用来观看流媒体信息形成的直播文件的智能终端。本发明的第一终端和第二终端是相对于直播的用途来定义的,当智能设备被用户用于采集直播信息进行直播时是第一终端,当智能设备被用户用于观看直播时为第二终端。因此,同一个智能终端,由于用途的不同可以是第一终端,也可以转变为第二终端。本发明的第一终端和第二终端是智能终端,包括计算机、移动计算机、平板电脑、智能手机、智能眼镜和/或智能手环。智能终端还包括游戏控制设备、移动游戏设备、音乐播放器、与网络连接的电视机等能够查看直播信息或者收听直播信息的电子设备。本发明的直播信息包括视频信息和/或音频信息。
本发明的第一用户为使用第一终端进行直播的用户,即网络主播。本发明的第二用户为使用第二终端观看直播的用户,即观众。当第一用户结束直播,使用智能设备收看其它直播节目时,其持有的智能终端转变为第二终端,用户身份转变为第二用户。
本发明的流媒体信息包括视频信息、音频信息、图像信息、文本信息和元数据等。流媒体信息经过压缩编码后,再通过异步调用方式上传至交互模块90。异步调用方式包括AJAX等方式。AJAX为Asynchronous JavaScript andXML,是指一种创建交互式网页应用的网页开发技术,AJAX在浏览器与网络(即Web)服务器之间使用异步信息传输(即HTTP请求),这样能够使网页从服务器请求少量的信息,而不是整个页面,提高了第一用户和第二用户获取信息的速度。
实施例1
如图1所示,本发明提供了一种网络直播平台,包括用于直播流媒体信息的第一终端10、用于观看流媒体信息并进行互动的第二终端20和云平台,所述云平台包括交互模块90和流媒体传输模块60。
第一终端10和第二终端20以无线或有线的方式连接终端协议模块30。终端协议模块30监控第一用户和第二用户的交互信息以控制、发布和订阅流媒体信息。例如,终端协议模块30用于处理显示在第一终端10和/或第二终端20的显示屏幕上的直播界面处接收的流媒体信息。
本发明的云平台还包括临时存储模块40和数据库50。终端协议模块30与存储模块40以无线的数据流的方式连接。终端协议模块30与临时存储模块40将第一终端10和/或第二终端20的用户信息、接收或采集的流媒体信息发送至临时存储模块40。临时存储模块40与数据库50以有线或无线的方式连接。
优选的,所述临时存储模块40在限定时间内存储所述第一终端10和所述第二终端20之间的流媒体信息,并且将所述流媒体信息的元数据发送并存储至所述数据库50。或者,临时存储模块40将一次直播过程中存储的流媒体信息和第一用户与第二用户之间的交互信息发送至数据库50进行存储。优选的,数据库50为开源的跨平台的文档数据库。优选的,临时存储模块40与第一终端10和/或第二终端20之间以有线或无线的方式设置有认证模块80。认证模块80用于验证第一用户和/或第二用户的注册帐号和登录信息,以及使用社交网络平台的帐号登录的帐号信息。认证模块80对用户的身份认证为合法身份的情况时,允许用户作为第一用户进行直播,或作为第二用户观看直播。优选的,认证模块80对实名认证的用户开放第一终端的端口,允许用户作为第一用户进行网络直播。优选的,第二用户可以选择匿名的方式进行合法验证。
交互模块90用于控制第一用户与第二用户之间的流媒体信息的显示和交互会话的连接。用户通过交互模块90建立的直播界面进行交互会话。第一用户通过第一终端10能够向交互模块90发送交互控制信息。交互模块90基于第一终端10发送的交互控制信息进行限定交互人数的阈值、进行交互的第二用户的授权指数阈值、指定交互会话的对象等控制行为。并且,交互模块90基于第一终端10发送的交互控制信息启动、中止或终止交互会话。
优选的,交互模块90基于第二用户通过第二终端20发送的控制信息启动、中止或终止流媒体信息的接收,从而对直播信息的进度进行控制。
优选的,所述交互模块90基于至少一个所述第一终端10的请求信息和采集的流媒体信息建立直播界面,并且基于至少一个所述第二终端20的请求信息向所述第二终端20推送所述直播界面的时间调度信息。
直播界面是用于进行直播的网络界面,用于显示主播的直播内容和具有不同功能的控制按钮。对于第一终端的直播界面,控制按钮具有向交互模块90发送开始、中止和终止直播指令的功能,还具有与指定第二用户建立交互连接的功能。对于第二终端的直播界面,控制按钮具有中止或终止观看直播的功能,还具有发出交互请求、接受切换直播的功能。
时间调度信息包括直播节目的播出时间、播出时长、节目类别、主播姓名、节目特色等信息。优选的,时间调度信息还包括直播界面的播出变更信息,包括播出时间、播出时长、节目类别、主播姓名、节目特色变更的信息。
所述交互模块90基于所述第二终端20的访问请求建立所述第一终端10与至少一个所述第二终端20之间的交互连接并通过所述流媒体传输模块60向所述第二终端20推送所述第一终端10采集的第一实时流媒体信息。
例如,第二终端20发出访问请求。交互模块90建立第一终端10与至第二终端20之间的交互连接。交互模块90将第一终端10采集的第一实时流媒体信息发送至建立了交互连接的第二终端。
优选的,第一终端10的显示屏幕基于交互模块90的指示显示至少一个用于控制交互会话的以图形或文字的形式呈现的交互按钮。交互模块90将第二终端的会话请求发送至第一终端,第一终端的交互按钮显示发出交互会话请求并等待交互会话的人数。第一用户指定进行会话的第二用户并发送开启会话的信息。交互模块90响应第一终端10的请求,将第一终端与指定的第二用户的终端建立交互连接,从而使第一用户与指定第二用户进行会话。优选的,交互会话可以是视频会话,也可以是音频会话。优选的,其它观看第一用户直播的第二用户通过持有的第二终端能够接收并观看第一用户与指定第二用户之间的交互会话内容。当第一用户与指定第二用户的一段交互会话结束,第一用户可以选择终止交互会话,并且指定另一个第二用户作为指定第二用户开始另一段交互会话。
优选的,交互模块90基于第一终端10发送的切换请求,将与第一用户进行交互会话的指定第二用户的会话视频画面切换到直播界面。普通第二用户能够观看指定第二用户的交互会话的直播视频画面。即,普通第二用户通过第二终端的直播界面观看指定第二用户的直播视频。
优选的,交互模块90基于第一终端10的合并画面请求将指定第二用户的实时会话视频与第一用户的直播视频合并发送至访问直播界面的第二终端20的显示屏幕。例如,第一用户为知名主播,与其会话的指定第二用户为其节目爱好者。在节目直播的过程中,第一用户与指定第二用户进行视频交互会话,在指定第二用户同意的情况下,第一用户在第一终端发出合并画面请求,交互模块90将直播界面的主播视频画面与指定第二用户的视频画面同时显示在普通第二用户的第二终端的直播界面上。普通第二用户可以同时观看主播的视频画面和与其会话的爱好者的视频画面。
优选的,交互模块90与第一终端/第二终端之间设置有流媒体传输模块60。流媒体传输模块60用于将交互模块90发送的第一实时流媒体信息分布式发送至第二终端,使流媒体信息稳定持续的传输,从而使第二终端的直播画面稳定流畅,清晰。
流媒体传输模块60基于所述第二终端20反馈的所述流媒体信息的播放流畅参数和所述第二终端20发送互动信息的互动参数调整所述流媒体信息的传输节点从而避免流媒体信息的传输延迟。
例如,第二终端的播放流畅参数较低,流媒体传输模块60调整传输节点从而使第二终端的播放流畅参数达到标准值,即使直播画面播放流畅,提高第二用户的观看体验。在第二用户与第一用户频繁发送互动信息时,需要占据带宽,从而影响直播画面的流畅性。流媒体传输模块60根据第二终端发送互动信息的互动参数调整流媒体信息的传输节点从而避免流媒体信息的传输因为不流畅而延迟。
流媒体传输模块60设置有转码模块70。转码模块70设置于所述流媒体传输模块60与所述第二终端20之间。转码模块70用于将第一实时流媒体信息转换为与所述第二终端20的播放特征参数匹配的且大于清晰度阈值的第二实时流媒体信息。由于第一实时流媒体信息在传输过程中出现元数据偶尔丢失的情况,或者第一实时流媒体信息的播放格式与第二终端的播放特征参数不匹配的情况。转码模块70能够根据第一实时流媒体信息数据推测和补充丢失或损坏的元数据,并且能够将第一实时流媒体信息转换为需要的第二实时流媒体信息,满足第二终端的播放特征参数的要求。
优选的,转码模块能转换流媒体的格式,包括RMVB、3GP、MP4、AVI、FLV、F4V、MPG、VOB、DAT、WMV、ASF、MKT、DV、MOV、TS、MTS、IPOD、IPHONE、PSP、IPAD、高清、电视等等常用主流视频文件格式的转换。转码模块能转换流媒体分辨率,包括1920×1200、1680×1050、1366×768、1280×720/1280×768/1280×800、1024×600等主流视频分辨率格式的转换。
根据一个优选实施方式,解码模块70还包括非对称加密模块。
由于有的直播节目是付费直播节目,为了避免黑客使用非法手段破坏付费系统而进行免费传播,需要对直播节目的流媒体信息进行非对称加密。在第一终端与第二终端建立交互连接后,非对称加密模块响应于交互模块90发送的加密公钥请求生成彼此匹配的公钥和私钥,并且将公钥发送至第一终端10。第一终端10基于公钥将流媒体信息加密后通过交互模块90发送至解码模块70。解码模块70中的非对称加密模块使用匹配的私钥解密并将解密的流媒体信息进行转码后发送至对应的第二终端20。流媒体信息在从第一终端10到达第二终端20的过程中,第三方无法拥有私钥和对应的IP地址,从而不能免费观看直播节目。优选的,非对称加密模块将公钥发送至交互模块90,将私钥发送至对应的第二终端20。交互模块90对第一终端10发送的流媒体信息使用公钥进行加密后发送至对应的第二终端20。第二终端20用私钥对接收的流媒体信息进行解密后进行播放。这样减少了第一终端的加密负担,也减少了非对称加密模块的解密负担。
优选的,所述交互模块90基于所述第二终端20的第二用户的认证信息计算所述第二用户的授权指数。
第二用户通过认证模块80进行合法认证,认证信息包括个人信息参数、历史交互参数、活跃参数、等级参数和/或忠诚度参数。个人信息包括实名信息和匿名信息。个人信息参数是第二用户的信息信任度参数。实名信息的个人信息参数高于匿名信息的个人信息参数。临时存储模块40和/或数据库50存储有第二用户的历史交互信息、等级信息和观看直播的时间和次数。认证模块80基于第二用户的历史交互信息评估历史交互参数,基于第二用户的向第一用户提出问题或交互会话请求的次数,评估第二用户的活跃参数。认证模块80基于第二用户的注册时间、充值费用评估其等级参数。认证模块80基于第二用户观看的同一个主播的直播节目的次数和频率评估第二用户的忠诚度参数。认证模块80将个人信息参数、历史交互参数、活跃参数、等级参数和/或忠诚参数与第二用户的帐号关联并存储在临时存储模块40和/或数据库50。
优选的,授权指数是基于第二终端20的第二用户的个人信息参数、历史交互参数、活跃参数、等级参数和/或忠诚度参数综合评估得到的。
例如,授权指数为M;个人信息参数为A,权重指数为a1;历史交互参数为B,权重指数为a2;活跃参数为C,权重指数为a3;等级参数为D,权重指数为a4;忠诚度参数为E,权重指数为a5。交互模块9设置有授权阈值。
则授权指数M为:M=A·a1+B·a2+C·a3+D·a4+E·a5
在第二用户的所述授权指数不小于指定授权阈值的情况下,第二用户具有与第一用户进行交互会话的权限。所述交互模块90向对应的所述第二终端20主动推送并显示用于交互的交互按钮,或者基于所述第二终端的20的交互请求向对应的所述第二终端20主动推送并显示用于交互的交互按钮。
在所述第二用户的所述授权指数小于指定授权阈值的情况下,第二用户不具有与第一用户进行交互会话的权限。所述交互模块90拒绝所述第二终端20的交互请求,并且不向对应的所述第二终端20推送并显示用于交互的交互按钮。
每一个直播节目都预设有时间帧的长度。在直播节目直播开始前,第一用户在第一终端10预设直播的时间帧长度。一般情况下,预设时间帧期满时,直播节目结束。第一终端在预设时间帧期满时向交互模块90发送终止请求。交互模块90响应于所述第一终端10的预设时间帧期满的请求,在预设时间帧期满时没有识别出所述第一实时流媒体信息中的音频/视频信息的情况下,终止所述第一终端10与所述第二终端20之间的流媒体信息。
若第二用户对于直播节目不感兴趣,同样可以终止观看直播节目。或者,由于突发状况,临时中止观看直播节目。优选的,第二终端20向交互模块90的中止/终止请求,所述交互模块90响应于所述第二终端20的中止/终止请求,中止/终止所述第一终端10与所述第二终端20之间的流媒体信息的传输。
优选的,所述交互模块90基于所述第二终端20的恢复直播的请求信息,读取所述临时存储模块40中与所述第二终端20中止的时间帧匹配的未直播的流媒体信息并发送至所述第二终端20进行延迟直播。或者,交互模块90基于所述第二终端20的恢复直播的请求信息,将实时的流媒体信息发送至第二终端进行播放。
例如,第二用户在观看直播节目的过程中,中止了直播节目的播放。在第二用户请求恢复播放节目的时候,实时播放的时间帧与中止时的时间帧相比具有时间帧差距。因此,若第二用户选择不忽略未观看的直播部分,继续观看持续的直播节目,则直播节目内容相对于实时直播节目具有一定的延迟效应。因此,所述交互模块90基于所述第二终端20的恢复直播的请求信息,读取所述临时存储模块40中与所述第二终端20中止的时间帧匹配的未直播的流媒体信息,然后将与中止的时间帧匹配的持续的直播内容发送到第二终端进行延迟播放,后续的流媒体信息则一直具有延迟效应。在具有延迟效应的情况下,第二用户在第二终端20选择快进的方式调整播放进度。
优选的,第二用户可以选择忽略未观看的直播部分,直接继续观看实时的直播节目,则交互模块90基于第二终端20的恢复直播的请求信息,将实时流媒体信息发送至第二终端进行直播。
实施例2
本实施例是对实施例1的进一步改进,重复的内容不再赘述。
本实施例对流媒体传输模块60进行详细说明。
如图2所示,流媒体传输模块60包括总传输服务器61、第一传输服务器62和第二传输服务器63。所述总传输服务器61为具有若干节点的分布式传输服务器。
所述第一传输服务器62基于所述第一终端10采集的流媒体信息的采集效率参数实时分析的所述总传输服务器61的运行情况并选择第一节点和至少一个第一备用节点以均衡流媒体信息的传输负载。
采集效率参数是反映第一终端10采集第一用户的视频、音频、图形等信息并合成流媒体信息的效率的参数。采集效率参数越高,则第一终端10合成流媒体信息的速度越快。
所述第二传输服务器63基于所述第二终端20反馈的流媒体信息的播放情况实时分析的所述总传输服务器61的运行情况并选择第二节点和至少一个第二备用节点以调整所述第二终端20的播放流畅参数。
第二终端20的播放流畅参数反映了第二终端的流媒体信息播放的流畅程度。播放流畅参数与第二终端20的播放格式和清晰度有关。
根据一个优选实施方式,所述第一传输服务器62至少包括第一分析单元621、第一选择单元622和第一连接单元623。
所述第一分析单元621实时分析所述总传输服务器61的运行情况,所述第一选择单元622基于所述总传输服务器61的运行情况选择负载最小的第一节点和至少一个第一备用节点,所述第一连接单元623将所述第一终端10与所述第一节点和至少一个第一备用节点建立连接并将所述第一终端10采集的流媒体信息上传至所述第一节点和至少一个第一备用节点。
根据一个优选实施方式,所述第一分析单元621判断限定时间内未接收到第一实时流媒体信息的节点为失效节点,判断限定时间内与处于休息状态的第一终端10连接的节点为休息节点。所述第一连接单元623断开所述失效节点和/或所述休息节点与第一终端的连接并将所述失效节点或所述休息节点返回至所述总传输服务器61。
例如,第一分析单元621实时分析总传输服务器61的运行情况。运行情况主要包括网络负载情况,即网络节点服务器承载的流量以及网络设备承载的用户量。分析方法包括负载均衡法等计算方法。第一选择单元622根据第一分析单元621的分析结果,最终从总传输服务器61选择负载最小的几个节点。这几个节点是负载最小的第一节点和负载较小的至少一个第一备用节点。根据对总传输服务器61的运行状况的监测结果,从中选取正常运行且负载最小的节点为第一节点,一方面,可以将总传输服务器61中发生故障的节点排除在外,以提高直播流调度的可靠性;另一方面,由于每次选取负载最小的节点承载流媒体信息传输,可以避免某个节点的负载过重而发生当机的情况,可以实现总传输服务器61中的节点负载均衡,因而可以提高总传输服务器61运行的可靠性。同时,由于每次选取正常运行且负载最小的节点服务器传输流媒体信息,当有其他节点从总传输服务器61中被删除时,后续的流媒体信息将不会被上传至发生故障的节点;当有节点待回收时,可以将待回收的节点加入到总传输服务器61中。因此,总传输服务器61中的节点的个数可以根据实际的需要进行增加或者减少,可以提高总传输服务器61节点扩展的灵活性。第一连接单元623将第一终端10与第一节点和至少一个第一备用节点建立连接,并将流媒体信息上传至第一节点至少一个第一备用节点。本网络直播平台通过第一传输服务器合理选取和均衡分配节点,使整个平台负载均衡,保证即使在大规模网络直播情况下本网络直播平台也能正常顺畅地运行。在第一用户上传流媒体信息时采用多节点连接传输,即使在某些节点障碍的情况下也能保证第一终端与总传输服务器61连接不掉线,使上传过程能稳定持续进行。
失效节点是一定时间内未接收到实时流媒体信息的节点。休息节点是一定时间内与处于休息状态的直播间连接的节点。休息状态是第一用户已经离开,但是第一终端仍然与节点连接的情况。根据一个优选的实施方式,第一分析单元621判断并找出这些失效节点和/或休息节点。第一分析单元621断开失效节点或休息节点与第一终端10的连接。失效节点或休息节点被返回至所述总传输服务器61。失效节点或休息节点等待被重新分配和连接至发出直播请求的第一终端10。本网络直播平台通过回收失效节点和/或休息节点能有效减轻服务器负载,防止数据信息堵塞和网络资源被无效占用。
根据一个优选的实施方式,第一选择单元622删除发生故障的第一节点和/或第一备用节点。发生故障是第一终端10掉线或硬件损坏、第二终端20掉线或硬件损坏和短时间内暴增的负载可能造成的节点失去响应等异常情况。若第一节点发生故障,则从至少一个第一备用节点中选择其中负载最小的为第一节点。
根据一个优选实施方式,所述第二传输服务器63至少包括第二分析单元631、第二选择单元632和第二连接单元633,所述第二选择单元632基于所述第二分析单元631通过分析所述总传输服务器61的运行情况选择负载最小的第二节点和至少一个第二备用节点并以颜色和/或图形的方式表示节点负载情况提供给发出选择请求的所述第二终端20以供第二用户选择合适的节点。
根据一个优选实施方式,所述第二分析单元631基于所述第二终端20的清晰度选择信息指示转码模块70将所述总传输服务器61的流媒体信息转换为所述第二终端20选择的清晰度信息储存在所述第二传输服务器63中。
例如,第二用户在第二终端20发送观看请求和/或清晰度选择/节点选择。清晰度可以是视频分辨率或者视频显示格式,可以包括1080P、720P和320P等。清晰度选择可以包括超清、高清、极速和自动四个模式。第二用户可以根据自己的网络情况选择清晰度。在观众没有发送清晰度选择时,默认观众清晰度选择为自动模式。第二分析单元631基于第二终端20清晰度选择分析总传输服务器61的运行情况。基于第二分析单元631的分析结果,第二选择单元632选择负载最小的第二节点和至少一个第二备用节点。节点的负载情况以颜色和/或图形的方式表示出来。节点的负载大小可以通过颜色和/或图形的深浅、透明度等直观地表现出来。将以颜色和/或图形的方式表示的节点提供给发出选择请求的第二终端20。第二用户可以自己选择合适的节点。
根据一个优选实施方式,所述第二选择单元632在第二用户没有对节点进行选择时自动选择第二节点为默认节点。所述第二连接单元633将所述第二用户选择的节点或默认节点通过所述解码模块70与所述第二终端20连接。
障碍节点是第一终端10掉线或硬件损坏、第二终端20掉线或硬件损坏和短时间内暴增的负载可能造成的失去响应的节点。根据一个优选的实施方式,所述第二连接单元633断开所述障碍节点与所述第二终端20的连接并将所述障碍节点返回至所述总传输服务器61。障碍节点等待被重新分配和连接至发出直播请求的第二终端20。本网络直播平台通过回收障碍节点能有效减轻服务器负载,防止数据信息堵塞和网络资源被无效占用。
根据一个优选的实施方式,第二分析单元631没有接收到第二终端20的清晰度选择时,默认观众清晰度选择为自动模式。自动模式是基于总传输服务器61运行情况和第二终端20的带宽自动选择的清晰度信息模式。转码模块70将总传输服务器61的第一实时流媒体信息转换为自动选择的清晰度流媒体信息。此清晰度流媒体信息被储存在第二传输服务器63中。本网络直播平台能根据网络负载和带宽自动选择清晰度或使观众自己选择和切换直播清晰度,从而在适应网络情况下保证观众的观看体验。
需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (9)

1.一种网络直播平台,其特征在于,所述网络直播平台包括用于直播流媒体信息的第一终端(10)、用于观看流媒体信息并进行互动的第二终端(20)和云平台,所述云平台包括交互模块(90)和流媒体传输模块(60),
所述交互模块(90)基于至少一个所述第一终端(10)的请求信息和采集的流媒体信息建立直播界面,并且基于至少一个所述第二终端(20)的请求信息向所述第二终端(20)推送所述直播界面的时间调度信息;
所述交互模块(90)基于所述第二终端(20)的访问请求建立所述第一终端(10)与至少一个所述第二终端(20)之间的交互连接并通过所述流媒体传输模块(60)向所述第二终端(20)推送所述第一终端(10)采集的第一实时流媒体信息;
所述流媒体传输模块(60)基于所述第二终端(20)反馈的所述流媒体信息的播放流畅参数和所述第二终端(20)发送交互信息的交互参数调整所述流媒体信息的传输节点从而避免流媒体信息的传输延迟,
并且所述流媒体传输模块(60)基于所述第二终端(20)的播放特征参数指示设置于所述流媒体传输模块(60)与所述第二终端(20)之间的转码模块(70)将所述第一实时流媒体信息转换为与所述第二终端(20)的播放特征参数匹配的且大于清晰度阈值的第二实时流媒体信息;
解码模块(70)还包括非对称加密模块,在第一终端与第二终端建立交互连接后,非对称加密模块响应于交互模块(90)发送的加密公钥请求生成彼此匹配的公钥和私钥,并且将公钥发送至第一终端(10),第一终端(10)基于公钥将流媒体信息加密后通过交互模块(90)发送至解码模块(70),解码模块(70)中的非对称加密模块使用匹配的私钥解密并将解密的流媒体信息进行转码后发送至对应的第二终端(20);
所述流媒体传输模块(60)包括总传输服务器(61)、第一传输服务器(62)和第二传输服务器(63),
所述总传输服务器(61)为具有若干节点的分布式传输服务器,
所述第一传输服务器(62)基于所述第一终端(10)采集的流媒体信息的采集效率参数实时分析的所述总传输服务器(61)的运行情况并选择第一节点和至少一个第一备用节点以均衡流媒体信息的传输负载;
所述第二传输服务器(63)基于所述第二终端(20)反馈的流媒体信息的播放情况实时分析的所述总传输服务器(61)的运行情况并选择第二节点和至少一个第二备用节点以调整所述第二终端(20)的播放流畅参数。
2.如权利要求1所述的网络直播平台,其特征在于,所述交互模块(90)基于所述第二终端(20)的第二用户的认证信息计算所述第二用户的授权指数,
在所述第二用户的所述授权指数不小于指定授权阈值的情况下,所述交互模块(90)向对应的所述第二终端(20)主动推送并显示用于交互的交互按钮,或者基于所述第二终端的(20)的交互请求向对应的所述第二终端(20)主动推送并显示用于交互的交互按钮,
在所述第二用户的所述授权指数小于指定授权阈值的情况下,所述交互模块(90)拒绝所述第二终端(20)的交互请求,并且不向对应的所述第二终端(20)推送并显示用于交互的交互按钮。
3.如权利要求2所述的网络直播平台,其特征在于,所述交互模块(90)响应于所述第一终端(10)的预设时间帧期满的请求,在预设时间帧期满时没有识别出所述第一实时流媒体信息中的音频/视频信息的情况下,终止所述第一终端(10)与所述第二终端(20)之间的流媒体信息,或者
所述交互模块(90)响应于所述第二终端(20)的中止/终止请求,中止/终止所述第一终端(10)与所述第二终端(20)之间的流媒体信息。
4.如权利要求3所述的网络直播平台,其特征在于,所述授权指数是基于所述第二终端(20)的第二用户的个人信息参数、历史交互参数、活跃参数、等级参数和/或忠诚度参数综合评估得到的。
5.如权利要求4所述的网络直播平台,其特征在于,所述云平台还包括临时存储模块(40)和数据库(50),
所述临时存储模块(40)在限定时间内存储所述第一终端(10)和所述第二终端(20)之间的流媒体信息,并且将所述流媒体信息的元数据发送并存储至所述数据库(50),
所述交互模块(90)基于所述第二终端(20)的恢复直播的请求信息,读取所述临时存储模块(40)中与所述第二终端(20)中止的时间帧匹配的未直播的流媒体信息并发送至所述第二终端(20)进行延迟直播。
6.如权利要求5所述的网络直播平台,其特征在于,所述第一传输服务器(62)至少包括第一分析单元(621)、第一选择单元(622)和第一连接单元(623),
所述第一分析单元(621)实时分析所述总传输服务器(61)的运行情况,所述第一选择单元(622)基于所述总传输服务器(61)的运行情况选择负载最小的第一节点和至少一个第一备用节点,所述第一连接单元(623)将所述第一终端(10)与所述第一节点和至少一个第一备用节点建立连接并将所述第一终端(10)采集的流媒体信息上传至所述第一节点和至少一个第一备用节点;
所述第二传输服务器(63)至少包括第二分析单元(631)、第二选择单元(632)和第二连接单元(633),所述第二选择单元(632)基于所述第二分析单元(631)通过分析所述总传输服务器(61)的运行情况选择负载最小的第二节点和至少一个第二备用节点并以颜色和/或图形的方式表示节点负载情况提供给发出选择请求的所述第二终端(20)以供第二用户选择合适的节点。
7.如权利要求6所述的网络直播平台,其特征在于,所述第一分析单元(621)判断限定时间内未接收到流媒体信息的节点为失效节点,判断限定时间内与处于休息状态的第一终端(10)连接的节点为休息节点,所述第一连接单元(623)断开所述失效节点和/或所述休息节点与所述第一终端(10)的连接并将所述失效节点或所述休息节点返回至所述总传输服务器(61)。
8.如权利要求6所述的网络直播平台,其特征在于,所述第二分析单元(631)基于所述第二终端(20)的清晰度选择信息指示转码模块(70)将所述总传输服务器(61)的流媒体信息转换为所述第二终端(20)选择的清晰度信息储存在所述第二传输服务器(63)中。
9.如权利要求8所述的网络直播平台,其特征在于,所述第二选择单元(632)在第二用户没有对节点进行选择时自动选择第二节点为默认节点;
所述第二连接单元(633)将所述第二用户选择的节点或默认节点通过所述解码模块(70)与所述第二终端(20)连接;
所述第二连接单元(633)断开障碍节点与所述第二终端(20)的连接并将所述障碍节点返回至所述总传输服务器(61)。
CN201710062514.3A 2017-01-26 2017-01-26 一种网络直播平台 Active CN106817628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710062514.3A CN106817628B (zh) 2017-01-26 2017-01-26 一种网络直播平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710062514.3A CN106817628B (zh) 2017-01-26 2017-01-26 一种网络直播平台

Publications (2)

Publication Number Publication Date
CN106817628A CN106817628A (zh) 2017-06-09
CN106817628B true CN106817628B (zh) 2019-12-20

Family

ID=59111660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710062514.3A Active CN106817628B (zh) 2017-01-26 2017-01-26 一种网络直播平台

Country Status (1)

Country Link
CN (1) CN106817628B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231565A (zh) * 2017-07-25 2017-10-03 网宿科技股份有限公司 一种直播任务管理调度方法及其系统
CN107483981B (zh) * 2017-08-29 2019-11-05 武汉斗鱼网络科技有限公司 直播资源计算监测分配方法、存储介质、电子设备及系统
CN108495136B (zh) * 2018-03-09 2019-12-31 网宿科技股份有限公司 一种提供直播服务的方法和系统
CN110035295A (zh) * 2019-03-06 2019-07-19 深圳市麦谷科技有限公司 分布式的视频直播系统
CN113411617A (zh) * 2020-03-16 2021-09-17 北京千家悦网络科技有限公司 由需求方向非特定提供方发起的一对一的直播方法及系统
CN112073727B (zh) * 2020-09-22 2022-07-12 Oppo广东移动通信有限公司 转码方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045312B (zh) * 2009-10-21 2013-09-18 三星电子(中国)研发中心 自适应转码方法和系统
CN103905218B (zh) * 2013-06-28 2017-12-08 威盛电子股份有限公司 多节点架构的多媒体传播系统和其多媒体传播控制方法
US9172764B2 (en) * 2014-03-05 2015-10-27 Ricoh Company, Ltd. Generating a platform for social interaction
CN104967873A (zh) * 2015-06-29 2015-10-07 上海帝联信息科技股份有限公司 流媒体直播调度方法、系统和调度服务器
CN105025314B (zh) * 2015-07-15 2016-11-16 腾讯科技(深圳)有限公司 多媒体直播方法与装置
CN106331754A (zh) * 2016-08-18 2017-01-11 北京奇虎科技有限公司 网络直播中进行连麦直播的方法、主播端设备

Also Published As

Publication number Publication date
CN106817628A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
CN106817628B (zh) 一种网络直播平台
US11457283B2 (en) System and method for multi-user digital interactive experience
US10764623B2 (en) Method and system for media adaption
US10112109B2 (en) Shared multimedia experience including user input
US8150387B2 (en) Smart phone as remote control device
CA2884407C (en) System and method for broadcasting interactive content
US9021541B2 (en) Streaming digital video between video devices using a cable television system
US9955204B2 (en) System and method for distributing content through a set-top box
CN106416180A (zh) 使用客户端交互的abr网络中的冲突检测和解决
US11889159B2 (en) System and method for multi-user digital interactive experience
US8230468B2 (en) Dynamically creating trick files to hide latency in streaming networks
US11750859B2 (en) Methods and systems for separate delivery of segments of content items
US8185041B2 (en) Method and system for mobile vehicle content management
KR101915065B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 시스템 및 그 시스템의 동작 방법
Liu et al. IPTV, towards seamless infotainment
US11750860B2 (en) Methods and systems for separate delivery of segments of content items
JP6034113B2 (ja) 映像コンテンツ配信装置
KR101340368B1 (ko) 방송 시스템에서 방송 서비스를 제공하는 시스템 및 방법
George et al. Internet-delivered Television using MPEG-DASH: Opportunities and Challenges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant