CN112188231B - 一种基于通用服务器平台的超高清ip视频服务器 - Google Patents

一种基于通用服务器平台的超高清ip视频服务器 Download PDF

Info

Publication number
CN112188231B
CN112188231B CN202011048787.0A CN202011048787A CN112188231B CN 112188231 B CN112188231 B CN 112188231B CN 202011048787 A CN202011048787 A CN 202011048787A CN 112188231 B CN112188231 B CN 112188231B
Authority
CN
China
Prior art keywords
server
processing module
stream
video
uhd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011048787.0A
Other languages
English (en)
Other versions
CN112188231A (zh
Inventor
李栋成
鲍放
王东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING GEFEI TECHNOLOGY CO LTD
Original Assignee
BEIJING GEFEI TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING GEFEI TECHNOLOGY CO LTD filed Critical BEIJING GEFEI TECHNOLOGY CO LTD
Priority to CN202011048787.0A priority Critical patent/CN112188231B/zh
Publication of CN112188231A publication Critical patent/CN112188231A/zh
Application granted granted Critical
Publication of CN112188231B publication Critical patent/CN112188231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/226—Characteristics of the server or Internal components of the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于通用服务器平台的超高清IP视频服务器，IP播出处理模块包括：IP UHD处理模块，用于对服务器光纤网卡接收的外来IP信号进行IP解封装；UHD文件解码处理模块，用于对服务器存储硬盘中的UHD文件进行解码；IP流切换模块，用于缓存直播IP流和播出流的无压缩视音频数据包，完成直播IP流和播出流的无缝切换，实现外来信号的转播；UHD视/音频播出处理模块，用于完成CG字幕叠加处理，并在叠加字幕后的无压缩视音频数据上加上PTP时间戳，以及把叠加字幕后的视音频数据编码和完成NDI码流封装处理。本发明以纯软件形态部署在通用IT服务器平台环境下，完全摆脱任何广电专用硬件，成本降低；且快速安装部署，维护方便。

Description

一种基于通用服务器平台的超高清IP视频服务器
技术领域
本发明涉及视频服务器技术领域，具体涉及一种基于通用服务器平台的超高清IP视频服务器。
背景技术
2019年3月，工业和信息化部、国家广播电视总局、中央广播电视总台联合发布《超高清视频产业发展行动计划(2019-2022年)》中指出，我国将按照“4K先行、兼顾8K”的总技术路线，大力推进超高清视频产业发展和相关领域的应用。超高清视频产业技术将迎来战略性发展机遇，超高清视频产业设备生产商也将迎来巨大的发展和变革机遇。
同时，SDI over IP技术及产品，对于电视台在高清化、超高清网络制播发展及与新媒体融合发展的局面中，必将起到至关重要的作用，SDI over IP必将成为广电系统又一次重大技术性变革。以往在电视中心播出、制作中的Video over IP传输，仅仅把网络作为传输通道来使用，对视频没有进行IP化封装，也没有涉及到SDI信号IP化传输。SMPTEST2022则定义了专业基带视频信号IP封装格式及传输标准。
发明内容
针对现有技术中存在的上述问题，本发明提供一种基于通用服务器平台的超高清IP视频服务器。
本发明公开了一种基于通用服务器平台的超高清IP视频服务器，包括：服务器光纤网卡、服务器存储硬盘、服务器千兆网卡、IP播出处理模块、服务器性能优化模块和服务器硬件平台；
所述IP播出处理模块分别与所述服务器光纤网卡、服务器存储硬盘、服务器千兆网卡和服务器性能优化模块相连，所述服务器硬件平台分别与所述服务器光纤网卡、服务器存储硬盘、服务器千兆网卡和服务器性能优化模块相连；
其中，所述IP播出处理模块包括：
IP UHD处理模块，用于对所述服务器光纤网卡接收的外来直播IP信号进行IP解封装，形成IP流的无压缩视音频数据包；
UHD文件解码处理模块，用于对所述服务器存储硬盘中的UHD文件进行解码，形成播出流的无压缩视音频数据包；
IP流切换模块，所述IP流切换模块分别与所述IP UHD处理模块和UHD文件解码处理模块相连，用于缓存外来直播IP流和播出流的无压缩视音频数据包，实现直播IP流和播出流的无缝切换和外来信号的转播；
PTP时基处理模块，所述PTP时基处理模块与IP UHD处理模块相连，用于从所述IPUHD处理模块获取PTP时钟，以此为基准完成服务器平台上的PTP时基处理；
UHD视/音频播出处理模块，所述UHD视/音频播出处理模块分别与所述IP流切换模块、PTP时基处理模块和NDI信号处理模块相连，用于完成CG字幕叠加处理，在叠加字幕后的视音频数据上加上PTP时间戳，以及把叠加字幕后的视音频数据编码压缩，完成NDI流封装处理。
作为本发明的进一步改进，所述服务器性能优化模块，用于协同多个CPU工作，通过控制读写时序实现CPU缓存一致性，同时利用负载均衡原理实现多进程资源调度；采用直接的网络驱动编程，修改网络内核对网络连接的有关限制。
作为本发明的进一步改进，所述外来直播IP流和播出流的无缝切换的方法，包括：
收到切换指令，通过找到直播IP流和播出流的帧头数据包，定位后进行数据包的整帧数据切换。
作为本发明的进一步改进，所述在视音频数据上加上PTP时间戳的方法，包括：
基于ST2059协议的PTP时钟发送原理，从IP UHD处理模块获取IP系统PTP时间戳，以计算机内核时钟为基准，找出并消除两者时间戳的延时；将消除延时后的时间戳送到UHD视/音频播出处理模块，完成在视音频数据上添加PTP时间戳。
作为本发明的进一步改进，所述NDI流封装处理的方法，包括：
NDI信号处理模块对外来NDI字幕IP流进行解码处理，然后将字幕信息以及所包含的Alpha通道信息一同送往UHD视/音频播出处理模块；播出端依据播出列表发出字幕叠加指令以及叠加的字幕内容信息，UHD视/音频播出处理模块实现字幕和图像的叠加处理。
与现有技术相比，本发明的有益效果为：
本发明以纯软件形态部署在通用IT环境下，完全摆脱任何广电专用硬件，成本降低；且快速安装部署，维护方便。
附图说明
图1为本发明一种实施例公开的基于通用服务器平台的超高清IP视频服务器的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种基于通用服务器平台的超高清IP视频服务器，包括：服务器光纤网卡、服务器存储硬盘、服务器千兆网卡、IP播出处理模块、服务器性能优化模块和服务器硬件平台；IP播出处理模块分别与服务器光纤网卡、服务器存储硬盘、服务器千兆网卡和服务器性能优化模块相连，服务器硬件平台分别与服务器光纤网卡、服务器存储硬盘、服务器千兆网卡和服务器性能优化模块相连。
其中，
本发明的服务器硬件平台为通用服务器平台，安装部署简单，成本优势。
本发明的服务器性能优化模块用于协同多个CPU工作，从而可以锁定足够的处理资源来保证无压缩高清IP视频流的平稳可靠、超低延时输出；其中，其具体实现方法为：通过控制读写时序实现CPU缓存一致性，同时利用负载均衡原理实现多进程资源调度，因此整体服务器CPU处理性能提高，并能保证重点进程优先处理。本发明的服务器性能优化模块还用于采用直接的网络驱动编程，修改网络内核对网络连接的有关限制，从而可以大容量发包，实现了多通道、高清无压缩的IP流播出；其中，其具体实现方法为：底层网卡驱动的IO响应是在内核处理器完成，受处理器影响有访问限制；通过建立独立的服务进程完成网络协议数据处理，绕开内核，大大提高网卡的使用效率。
本发明的服务器光纤网卡用于接收外来的IP UHD信号以及将经IP播出处理模块处理后的IP UHD播出。
本发明的服务器存储硬盘用于储存播出素材(UHD文件)。
本发明的服务器千兆网卡用于接收外来字幕的NDI IP流。
本发明的IP播出处理模块包括：IP UHD处理模块、UHD文件解码处理模块、IP流切换模块、UHD视/音频播出处理模块、PTP时基处理模块和NDI信号处理模块；具体的：
IP UHD处理模块与服务器光纤网卡相连，用于对服务器光纤网卡接收的外来直播IP信号进行IP解封装，形成IP流的无压缩视音频数据包；以及在播出过程中切换出直播信号的无压缩IP流信号解封包或压缩IP流信号解码；
UHD文件解码处理模块与服务器存储硬盘相连，用于对存储在服务器存储硬盘中的播出素材(UHD文件)进行解码，形成播出流的无压缩视音频数据包；
IP流切换模块分别与IP UHD处理模块和UHD文件解码处理模块相连，用于缓存直播IP流和播出流的无压缩视音频数据包，视频和音频为单独的数据，内置可编程预置无压缩IP流净切换功能，可实现实时直播流IP流与播出流的无缝切换，实现外来信号的转播。其中，直播IP流和播出流的无缝切换的具体实现方法为：外来IP信号通过IP UHD处理模块进行IP解封装形成无压缩视音频数据存储在缓存，文件解码后无压缩数据也存储在缓存里，收到切换指令，通过找到两条流帧头数据包，定位后进行数据包的切换，因为是基于整帧数据切换，因此播出画面不会出现闪烁或画面撕裂，因此称为净切换。
PTP时基处理模块，所述PTP时基处理模块与IP UHD处理模块相连，用于从所述IPUHD处理模块获取PTP时钟，以此为基准完成服务器平台上的PTP时基处理.
UHD视/音频播出处理模块分别与IP流切换模块、PTP时基处理模块和NDI信号处理模块相连，用于完成CG字幕叠加处理，在叠加字幕后的视音频数据上加上PTP时间戳，以及把叠加字幕后的视音频编码压缩成NDI流封装处理。
其中，PTP时基处理模块内置自主研发的基于ST2059标准的PTP校时优化服务，对输出IP流添加精确时间戳；具体实现方法为：基于ST2059协议的PTP时钟发送原理，从IPUHD处理模块获取IP系统PTP时间戳，以计算机内核时钟为基准，找出并消除两者时间戳的延时；将消除延时后的时间戳送到UHD视/音频播出处理模块，完成在视音频数据上添加PTP时间戳。
其中，本发明采用网络设备接口协议(NDI)可以实现高清IP字幕流实时叠加，外置高清IP流图文字幕服务实现了台标、时标及游动字幕、活动角标等播出；系统利用网络实现高清IP流图文字幕系统与播出端同步联动功能，摒弃了传统的台标机、键控器等广电专用设备。具体实现方法为：NDI信号处理模块对外来NDI字幕IP流进行解码处理，然后将字幕信息以及所包含的Alpha通道信息一同送往UHD视/音频播出处理模块；播出端依据播出列表发出字幕叠加指令以及叠加的字幕内容信息，UHD视/音频播出处理模块实现字幕和图像的叠加处理。
本发明的优点为：
1、系统建设
基于通用服务器平台，安装部署简单，成本低。
2、系统兼容性
通过服务器性能优化模块提高服务器硬件平台读写性能，IP封包间隔可控，可满足基于ST2110不同协议标准的IP流输出。在UHD视/音频播出处理模块可以压缩并封装NDI低码流数据，实现IP流播出服务器支持多码率内容播出分发。
3、字幕混叠
UHD视/音频播出处理模块可以将NDI字幕IP流通过软件运算实现字幕和图像的叠加，不依赖硬件字幕板卡；并可实现多路IP流字幕的叠加。
4、系统维护
全程实时监控，虚机漂移接管，可靠的灾备处理。
5、系统扩展
依靠虚拟化技术，软件可以运行在虚拟机上，模块化设计，扩展灵活，可实现多个通道无缝扩展。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于通用服务器平台的超高清IP视频服务器，其特征在于，包括：服务器光纤网卡、服务器存储硬盘、服务器千兆网卡、IP播出处理模块、服务器性能优化模块和服务器硬件平台；
所述IP播出处理模块分别与所述服务器光纤网卡、服务器存储硬盘、服务器千兆网卡和服务器性能优化模块相连，所述服务器硬件平台分别与所述服务器光纤网卡、服务器存储硬盘、服务器千兆网卡和服务器性能优化模块相连；
其中，所述IP播出处理模块包括：
IP UHD处理模块，用于对所述服务器光纤网卡接收的外来直播IP信号进行IP解封装，形成IP流的无压缩视音频数据包；
UHD文件解码处理模块，用于对所述服务器存储硬盘中的UHD文件进行解码，形成播出流的无压缩视音频数据包；
IP流切换模块，所述IP流切换模块分别与所述IP UHD处理模块和UHD文件解码处理模块相连，用于缓存外来直播IP流和播出流的无压缩视音频数据包，实现直播IP流和播出流的无缝切换和外来信号的转播；其中，具体切换方法为：收到切换指令，通过找到直播IP流和播出流的帧头数据包，定位后进行数据包的整帧数据切换；
PTP时基处理模块，所述PTP时基处理模块与IP UHD处理模块相连，用于从所述IP UHD处理模块获取PTP时钟，以此为基准完成服务器平台上的PTP时基处理；
UHD视/音频播出处理模块，所述UHD视/音频播出处理模块分别与所述IP流切换模块、PTP时基处理模块和NDI信号处理模块相连，用于完成CG字幕叠加处理，在叠加字幕后的视音频数据上加上PTP时间戳，以及把叠加字幕后的视音频数据编码压缩，完成NDI流封装处理；其中，
在视音频数据上加上PTP时间戳的方法，包括：
基于ST2059协议的PTP时钟发送原理，从IP UHD处理模块获取IP系统PTP时间戳，以计算机内核时钟为基准，找出并消除两者时间戳的延时；将消除延时后的时间戳送到UHD视/音频播出处理模块，完成在视音频数据上添加PTP时间戳；
所述NDI流封装处理的方法，包括：
NDI信号处理模块对外来NDI字幕IP流进行解码处理，然后将字幕信息以及所包含的Alpha通道信息一同送往UHD视/音频播出处理模块；播出端依据播出列表发出字幕叠加指令以及叠加的字幕内容信息，UHD视/音频播出处理模块实现字幕和图像的叠加处理。
2.如权利要求1所述的超高清IP视频服务器，其特征在于，所述服务器性能优化模块，用于协同多个CPU工作，通过控制读写时序实现CPU缓存一致性，同时利用负载均衡原理实现多进程资源调度；采用直接的网络驱动编程，修改网络内核对网络连接的有关限制。
CN202011048787.0A 2020-09-29 2020-09-29 一种基于通用服务器平台的超高清ip视频服务器 Active CN112188231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011048787.0A CN112188231B (zh) 2020-09-29 2020-09-29 一种基于通用服务器平台的超高清ip视频服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011048787.0A CN112188231B (zh) 2020-09-29 2020-09-29 一种基于通用服务器平台的超高清ip视频服务器

Publications (2)

Publication Number Publication Date
CN112188231A CN112188231A (zh) 2021-01-05
CN112188231B true CN112188231B (zh) 2022-07-12

Family

ID=73945442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011048787.0A Active CN112188231B (zh) 2020-09-29 2020-09-29 一种基于通用服务器平台的超高清ip视频服务器

Country Status (1)

Country Link
CN (1) CN112188231B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114785855B (zh) * 2022-03-30 2024-05-24 北京正奇联讯科技有限公司 多画面系统及其调度方法和多画面调度系统
CN114866825B (zh) * 2022-04-02 2023-01-06 北京广播电视台 兼容不同格式或协议的超高清视频播出系统及方法
CN114710629A (zh) * 2022-04-06 2022-07-05 北京广播电视台 一种实现超高清视频格式转换和图文叠加的装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783873A (zh) * 2009-01-19 2010-07-21 北京视典无限传媒技术有限公司 数字化多媒体信息传输平台
CN109995451A (zh) * 2019-02-25 2019-07-09 中通服咨询设计研究院有限公司 一种有线、无线、卫星融合的应急广播系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6309622B2 (ja) * 2014-11-20 2018-04-11 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
GB2542637A (en) * 2015-09-28 2017-03-29 Esaturnus Nv Ultra low latency UHD and 3D networked video communication applicable to gigabit ethernet
CN109640003B (zh) * 2018-12-27 2021-03-19 北京中科大洋科技发展股份有限公司 一种超高清电视播出多路静净切换的方法
CN110072136B (zh) * 2019-04-10 2021-08-10 中央电视台 一种4k超高清播出系统
CN210405495U (zh) * 2019-10-18 2020-04-24 博科达(北京)科技有限公司 一种多格式信息处理平台系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783873A (zh) * 2009-01-19 2010-07-21 北京视典无限传媒技术有限公司 数字化多媒体信息传输平台
CN109995451A (zh) * 2019-02-25 2019-07-09 中通服咨询设计研究院有限公司 一种有线、无线、卫星融合的应急广播系统

Also Published As

Publication number Publication date
CN112188231A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112188231B (zh) 一种基于通用服务器平台的超高清ip视频服务器
EP1239674B1 (en) Recording broadcast data
CN1314265C (zh) 多媒体时间偏移系统
CN102301730B (zh) 多路音视频传输和处理方法、装置及系统
JP6737922B2 (ja) 送信方法、受信方法、送信装置および受信装置
US20030086003A1 (en) Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
CN103986960A (zh) 一种单视频画面分割多路由远传精确同步拼接显示的方法
US10226303B2 (en) System and method for advanced data management with video enabled software tools for video broadcasting environments
US20100098161A1 (en) Video encoding apparatus and video encoding method
WO2023051138A1 (zh) 沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
JP7080929B2 (ja) ステレオスコピックビデオデータを処理するためのｍｍｔ装置および方法
CN108449634B (zh) 一种多进程解码的播放方法、计算机设备和存储介质
CN109845280A (zh) 基于流媒体的音视频播放方法及装置
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
CN111601180A (zh) 一种基于pts的分布式拼接大屏幕视频流集群同步显示系统
CN108665749A (zh) 云桌面下的多媒体教学系统的显示装置及多媒体教学系统
CN100474287C (zh) 处理图形数据的设备和方法
CN101521833B (zh) 一种测试用传输流的处理方法及其处理装置
CN114710629A (zh) 一种实现超高清视频格式转换和图文叠加的装置
CN113784094A (zh) 视频数据处理方法、网关、终端设备及存储介质
CN112672166A (zh) 一种视频解码器的多码流解码加速系统及方法
JP2017028463A (ja) 送信装置、および送信方法、受信装置、および受信方法、並びにプログラム
Han et al. An implementation of capture and playback for ip-encapsulated video in professional media production
WO2024114519A1 (zh) 点云封装与解封装方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant