CN105847718B - 基于场景识别的直播视频弹幕显示方法及其显示装置 - Google Patents

基于场景识别的直播视频弹幕显示方法及其显示装置 Download PDF

Info

Publication number
CN105847718B
CN105847718B CN201610381039.1A CN201610381039A CN105847718B CN 105847718 B CN105847718 B CN 105847718B CN 201610381039 A CN201610381039 A CN 201610381039A CN 105847718 B CN105847718 B CN 105847718B
Authority
CN
China
Prior art keywords
scene
barrage
live video
player
contextual data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610381039.1A
Other languages
English (en)
Other versions
CN105847718A (zh
Inventor
蓝帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huandian Information Technology Co Ltd
Original Assignee
Shanghai Huandian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huandian Information Technology Co Ltd filed Critical Shanghai Huandian Information Technology Co Ltd
Priority to CN201610381039.1A priority Critical patent/CN105847718B/zh
Publication of CN105847718A publication Critical patent/CN105847718A/zh
Application granted granted Critical
Publication of CN105847718B publication Critical patent/CN105847718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling

Abstract

一种基于场景识别的直播视频弹幕显示方法,预处理模块实时提取导播播放器上的直播视频中的场景数据通过实时广播服务器发送给在线用户的场景弹幕播放器,在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕。本发明将弹幕信息嵌入直播视频内容,降低了弹幕遮挡直播视频内容的可能性,加强了弹幕直播视频的观感,提升了用户体验。

Description

基于场景识别的直播视频弹幕显示方法及其显示装置
技术领域
本发明涉及互联网信息显示方式领域,具体涉及一种基于场景识别的直播视频弹幕显示方法及其显示装置。
背景技术
弹幕显示系统是在显示视频时,将大量的用户评论以滚动字幕形式显示在视频上的一种显示方式。随着弹幕技术的普及和发展,越来越多的用户了解并使用弹幕功将自己的评论与其他用户进行共享。
腾讯科技(北京)有限公司的申请号为 CN201510109436.9的发明公开了一种弹幕数据的显示方法及装置,包括:获取各终端对应的用户针对正在观看的直播视频发表的评论数据;根据预设弹幕模型渲染符合条件的评论数据,得到弹幕数据;控制直播现场配置的弹幕显示设备显示弹幕数据。通过控制直播现场配置的弹幕显示设备显示弹幕数据,实现一种在直播现场显示弹幕数据的方法,不仅使直播现场的嘉宾可以根据显示的弹幕数据与各终端对应的用户互动,且通过将弹幕数据显示于弹幕显示设备上,使录制的直播视频中包括弹幕显示设备显示的弹幕数据,从而使播放直播视频的所有终端在播放该直播视频的同时能显示弹幕显示设备中包括的弹幕数据。
但是在画质越来越高清的当下,如果仍然将弹幕层独立于视频内容外呈现,由于弹幕的分辨率和视频内容的分辨率和帧率属于两个维度,将弹幕独立于视频内容播放,有可能降低视频观感,降低用户体验。
发明内容
本发明提供一种基于场景识别的直播视频弹幕显示方法及其显示装置,将弹幕信息嵌入直播视频内容,降低了弹幕遮挡直播视频内容的可能性,加强了弹幕直播视频的观感,提升了用户体验。
为了达到上述目的,本发明提供一种基于场景识别的直播视频弹幕显示方法,包含:预处理模块实时提取导播播放器上的直播视频中的场景数据发送给在线用户的场景弹幕播放器,以及在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕;
所述的预处理模块实时提取导播播放器上的直播视频中的场景数据的步骤具体包含:
预处理模块对导播播放器上的直播视频进行场景的实时识别,当预处理模块识别到直播视频中存在场景时,提取直播视频中的场景数据,将可嵌入弹幕的场景的场景数据通过实时广播服务器分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器,当预处理模块识别到直播视频中的场景结束时,将场景结束消息通过实时广播服务器分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器;
所述的场景是指直播视频中出现的场景物体或场景实体;所述的场景数据包含:场景模型、场景环境的光源数据;所述的场景模型包含:场景物体或场景实体的三维数据,即x、y、z坐标点;所述的场景环境的光源数据包含:光源位置坐标、光源颜色、光强和光源方向;
所述的在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕的步骤具体包含:
在线用户的场景弹幕播放器加载直播视频,如果接收到场景数据,在线用户的场景弹幕播放器根据接收到的场景数据建立场景物体或场景实体的三维模型,将三维模型加载到直播视频上方的显示列表中,并将弹幕层动态贴图到三维模型的二维平面上,同时创建当前场景的环境光源,使弹幕与场景更加融入;
所述的场景物体或场景实体的三维模型是根据场景数据中的场景模型创建的三维模型。
所述的可嵌入弹幕的场景是指场景的场景模型中有至少一个二维平面的尺寸足够放置弹幕。
如果在线用户的场景弹幕播放器没有收到场景数据文件,则按照全屏方式播放弹幕。
多个三维模型可以同一时间存在,当同时存在多个三维模型时,弹幕层被切分成不同的区域,分别动态贴图到多个三维模型的二维平面上。
所述的创建当前场景的环境光源的步骤包含:根据场景列表中场景环境的光源数据进行3D渲染创建当前场景的环境光源。
如果在线用户的场景弹幕播放器收到场景结束消息,则按照全屏方式播放弹幕。
本发明还提供一种基于场景识别的直播视频弹幕显示装置,包含:
预处理模块,用于对导播播放器上的直播视频进行预处理,实时提取直播视频中的场景数据;
实时广播服务器,用于将场景数据和场景结束消息分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器;
若干在线用户的场景弹幕播放器,用于创建场景物体或场景实体的三维模型,将弹幕信息嵌入直播视屏中的场景三维模型,加强弹幕视频的观感。
所述的预处理模块中装载常用的预处理软件。
所述的在线用户的场景弹幕播放器包含:弹幕播放器和场景处理模块,弹幕播放器用于播放弹幕信息,场景处理模块用于处理场景的三维模型。
本发明将弹幕信息嵌入直播视频内容,降低了弹幕遮挡直播视频内容的可能性,加强了弹幕直播视频的观感,提升了用户体验。
附图说明
图1是预处理模块实时提取导播播放器上的直播视频中的场景数据的流程图。
图2是在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕的流程图。
具体实施方式
以下根据图1和图2,具体说明本发明的较佳实施例。
本发明提供一种基于场景识别的直播视频弹幕显示方法,包含预处理模块实时提取导播播放器上的直播视频中的场景数据发送给在线用户的场景弹幕播放器,以及在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕。
如图1所示,所述的预处理模块实时提取导播播放器上的直播视频中的场景数据的步骤具体包含以下步骤:
步骤S1.1、预处理模块对导播播放器上的直播视频进行场景的实时识别,当预处理模块识别到直播视频中存在场景时,提取直播视频中的场景数据;
所述的场景是指直播视频中出现的场景物体或场景实体,同一场景可能会多次重复在直播视频中出现;
所述的场景数据包含:场景模型、场景环境的光源数据;
所述的场景模型包含:场景物体或场景实体的三维数据,即x、y、z坐标点;
所述的场景环境的光源数据包含:光源位置坐标、光源颜色、光强和光源方向;
所述的预处理模块中装载常用的预处理软件;
在本发明的实施例中,场景模型的获取可以通过人工操作获取,即,手动设置一个二维平面,使该二维平面的尺寸与场景的二维平面的尺寸匹配,并记录该手动设置的二维平面的三维数据;
步骤S1.2、预处理模块将可嵌入弹幕的场景的场景数据通过实时广播服务器分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器;
所述的可嵌入弹幕的场景是指场景的场景模型中有至少一个二维平面的尺寸足够放置弹幕,即该二维平面的高度大于等于一个弹幕字符的高度;
步骤S1.3、当预处理模块识别到直播视频中的场景结束时(即当直播视频的画面切换后,场景对应的画面消失),将场景结束消息通过实时广播服务器分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器。
如图2所示,所述的在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕的步骤具体包含以下步骤:
步骤S2.1、在线用户的场景弹幕播放器加载直播视频,判断是否收到场景数据,如果没有收到场景数据,则进行步骤S2.2,如果收到场景数据文件,则进行步骤S2.3;
步骤S2.2、在线用户的场景弹幕播放器按照全屏方式播放弹幕,进行步骤S2.1;
步骤S2.3、在线用户的场景弹幕播放器根据接收到的场景数据建立场景物体或场景实体的三维模型;
所述的在线用户的场景弹幕播放器包含:弹幕播放器和场景处理模块;
所述的场景物体或场景实体的三维模型是根据场景数据中的场景模型创建的三维模型;
多个三维模型可以同一时间存在;
步骤S2.4、在线用户的场景弹幕播放器将三维模型加载到直播视频上方的显示列表中,并将弹幕层动态贴图到三维模型的二维平面上,同时创建当前场景的环境光源,使弹幕与场景更加融入;
当同时存在多个三维模型时,弹幕层被切分成不同的区域,分别动态贴图到多个三维模型的二维平面上;
所述的创建当前场景的环境光源的步骤包含:根据场景列表中场景环境的光源数据进行3D渲染创建当前场景的环境光源;
步骤S2.5、在线用户的场景弹幕播放器判断是否收到场景结束消息,如果没有收到场景结束消息,进行步骤S2.4,如果收到场景结束消息,进行步骤S2.2。
本发明还提供一种基于场景识别的直播视频弹幕显示装置,包含:
预处理模块,用于对导播播放器上的直播视频进行预处理,实时提取直播视频中的场景数据;
实时广播服务器,用于将场景数据和场景结束消息分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器;
若干在线用户的场景弹幕播放器,用于创建场景物体或场景实体的三维模型,将弹幕信息嵌入直播视屏中的场景三维模型,加强弹幕视频的观感。
所述的预处理模块中装载常用的预处理软件。
所述的实时广播服务器采用常用的服务器。
所述的在线用户的场景弹幕播放器包含:弹幕播放器和场景处理模块,弹幕播放器用于播放弹幕信息,场景处理模块用于处理场景的三维模型。
本发明将弹幕信息嵌入直播视频内容,降低了弹幕遮挡直播视频内容的可能性,加强了弹幕直播视频的观感,提升了用户体验。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (9)

1.一种基于场景识别的直播视频弹幕显示方法,其特征在于,包含:预处理模块实时提取导播播放器上的直播视频中的场景数据发送给在线用户的场景弹幕播放器,以及在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕;
所述的预处理模块实时提取导播播放器上的直播视频中的场景数据的步骤具体包含:
预处理模块对导播播放器上的直播视频进行场景的实时识别,当预处理模块识别到直播视频中存在场景时,提取直播视频中的场景数据,将可嵌入弹幕的场景的场景数据通过实时广播服务器分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器,当预处理模块识别到直播视频中的场景结束时,将场景结束消息通过实时广播服务器分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器;
所述的场景是指直播视频中出现的场景物体或场景实体;所述的场景数据包含:场景模型、场景环境的光源数据;所述的场景模型包含:场景物体或场景实体的三维数据,即x、y、z坐标点;所述的场景环境的光源数据包含:光源位置坐标、光源颜色、光强和光源方向;
所述的在线用户的场景弹幕播放器基于场景数据播放嵌入式弹幕的步骤具体包含:
在线用户的场景弹幕播放器加载直播视频,如果接收到场景数据,在线用户的场景弹幕播放器根据接收到的场景数据建立场景物体或场景实体的三维模型,将三维模型加载到直播视频上方的显示列表中,并将弹幕层动态贴图到三维模型的二维平面上,同时创建当前场景的环境光源,使弹幕与场景更加融入;
所述的场景物体或场景实体的三维模型是根据场景数据中的场景模型创建的三维模型。
2.如权利要求1所述的基于场景识别的直播视频弹幕显示方法,其特征在于,所述的可嵌入弹幕的场景是指场景的场景模型中有至少一个二维平面的尺寸足够放置弹幕。
3.如权利要求1所述的基于场景识别的直播视频弹幕显示方法,其特征在于,如果在线用户的场景弹幕播放器没有收到场景数据文件,则按照全屏方式播放弹幕。
4.如权利要求1所述的基于场景识别的直播视频弹幕显示方法,其特征在于,多个三维模型可以同一时间存在,当同时存在多个三维模型时,弹幕层被切分成不同的区域,分别动态贴图到多个三维模型的二维平面上。
5.如权利要求1所述的基于场景识别的直播视频弹幕显示方法,其特征在于,所述的创建当前场景的环境光源的步骤包含:根据场景列表中场景环境的光源数据进行3D渲染创建当前场景的环境光源。
6.如权利要求1所述的基于场景识别的直播视频弹幕显示方法,其特征在于,如果在线用户的场景弹幕播放器收到场景结束消息,则按照全屏方式播放弹幕。
7.一种适用于如权利要求1-6中任意一项所述的基于场景识别的直播视频弹幕显示方法的显示装置,其特征在于,包含:
预处理模块,用于对导播播放器上的直播视频进行预处理,实时提取直播视频中的场景数据;
实时广播服务器,用于将场景数据和场景结束消息分发给所有连接到该实时广播服务器的在线用户的场景弹幕播放器;
若干在线用户的场景弹幕播放器,用于创建场景物体或场景实体的三维模型,将弹幕信息嵌入直播视屏中的场景三维模型,加强弹幕视频的观感。
8.如权利要求7所述的适用于基于场景识别的直播视频弹幕显示方法的显示装置,其特征在于,所述的预处理模块中装载常用的预处理软件。
9.如权利要求7所述的适用于基于场景识别的直播视频弹幕显示方法的显示装置,其特征在于,所述的在线用户的场景弹幕播放器包含:弹幕播放器和场景处理模块,弹幕播放器用于播放弹幕信息,场景处理模块用于处理场景的三维模型。
CN201610381039.1A 2016-06-01 2016-06-01 基于场景识别的直播视频弹幕显示方法及其显示装置 Active CN105847718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610381039.1A CN105847718B (zh) 2016-06-01 2016-06-01 基于场景识别的直播视频弹幕显示方法及其显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610381039.1A CN105847718B (zh) 2016-06-01 2016-06-01 基于场景识别的直播视频弹幕显示方法及其显示装置

Publications (2)

Publication Number Publication Date
CN105847718A CN105847718A (zh) 2016-08-10
CN105847718B true CN105847718B (zh) 2018-10-23

Family

ID=56596051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610381039.1A Active CN105847718B (zh) 2016-06-01 2016-06-01 基于场景识别的直播视频弹幕显示方法及其显示装置

Country Status (1)

Country Link
CN (1) CN105847718B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210861B (zh) * 2016-08-23 2020-08-07 上海幻电信息科技有限公司 显示弹幕的方法及系统
CN106504057A (zh) * 2016-10-19 2017-03-15 天脉聚源(北京)传媒科技有限公司 一种电子礼物的显示方法及装置
CN106454434B (zh) * 2016-11-15 2020-04-03 广州华多网络科技有限公司 一种弹幕播放方法及装置
CN106921866B (zh) * 2017-05-03 2021-12-28 广州方硅信息技术有限公司 辅助直播的多视频导播方法和设备
CN107147941A (zh) * 2017-05-27 2017-09-08 努比亚技术有限公司 视频播放的弹幕显示方法、装置及计算机可读存储介质
CN107484036B (zh) * 2017-09-07 2018-09-21 深圳市迅雷网络技术有限公司 一种弹幕显示方法和装置
CN107743262B (zh) * 2017-09-14 2020-04-17 阿里巴巴集团控股有限公司 一种弹幕显示方法和装置
CN107734353B (zh) * 2017-10-09 2020-08-04 武汉斗鱼网络科技有限公司 录制弹幕视频的方法、装置、可读存储介质及设备
CN110958493B (zh) * 2019-12-17 2021-05-11 腾讯科技(深圳)有限公司 一种弹幕调整方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08296996A (ja) * 1995-04-26 1996-11-12 Mitsubishi Electric Corp レーダ装置
CN104881478A (zh) * 2015-06-02 2015-09-02 吴小宇 一种网页页面定位识别系统及定位识别方法
CN104936035A (zh) * 2015-06-19 2015-09-23 腾讯科技(北京)有限公司 一种弹幕处理方法及系统
CN104967896A (zh) * 2014-08-04 2015-10-07 腾讯科技(北京)有限公司 一种显示弹幕评论信息的方法和装置
CN105142031A (zh) * 2015-08-17 2015-12-09 北京奇虎科技有限公司 在视频播放时以弹幕显示文字信息的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08296996A (ja) * 1995-04-26 1996-11-12 Mitsubishi Electric Corp レーダ装置
CN104967896A (zh) * 2014-08-04 2015-10-07 腾讯科技(北京)有限公司 一种显示弹幕评论信息的方法和装置
CN104881478A (zh) * 2015-06-02 2015-09-02 吴小宇 一种网页页面定位识别系统及定位识别方法
CN104936035A (zh) * 2015-06-19 2015-09-23 腾讯科技(北京)有限公司 一种弹幕处理方法及系统
CN105142031A (zh) * 2015-08-17 2015-12-09 北京奇虎科技有限公司 在视频播放时以弹幕显示文字信息的方法及装置

Also Published As

Publication number Publication date
CN105847718A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
CN105847718B (zh) 基于场景识别的直播视频弹幕显示方法及其显示装置
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN111818004B (zh) 云游戏直播方法、系统及计算机可读存储介质
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN110708589B (zh) 信息的分享方法和装置、存储介质、电子装置
CN107801083A (zh) 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN106303555A (zh) 一种基于混合现实的直播方法、装置和系统
CN110876051B (zh) 视频数据的处理,传输方法及装置,视频数据的处理系统
DE102020124815A1 (de) System und vorrichtung für benutzergesteuerte virtuelle kamera für volumetrisches video
CN106713942B (zh) 视频处理方法和装置
CN112423110A (zh) 直播视频数据生成方法、装置及直播视频播放方法、装置
CN109547724B (zh) 一种视频流数据的处理方法、电子设备及存储装置
KR101739220B1 (ko) 게임 플레이 상황에 대한 특수 영상 생성 시스템
US11358057B2 (en) Systems and methods for allowing interactive broadcast streamed video from dynamic content
CN114095744B (zh) 视频直播方法、装置、电子设备及可读存储介质
CN110809173A (zh) 基于智能手机ar增强现实的虚拟直播方法及系统
CN108833892A (zh) 一种vr直播系统
KR20190038134A (ko) 360 영상 라이브 스트리밍 서비스 방법 및 서버장치
CN112492324A (zh) 数据处理方法及系统
CN113453035A (zh) 一种基于增强现实的直播方法和相关装置以及存储介质
CN113365130B (zh) 直播显示方法、直播视频获取方法及相关装置
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant