CN109194697A - SIP协议在GB28181下Internet监控方法 - Google Patents

SIP协议在GB28181下Internet监控方法 Download PDF

Info

Publication number
CN109194697A
CN109194697A CN201811293624.1A CN201811293624A CN109194697A CN 109194697 A CN109194697 A CN 109194697A CN 201811293624 A CN201811293624 A CN 201811293624A CN 109194697 A CN109194697 A CN 109194697A
Authority
CN
China
Prior art keywords
sip
svr
module
ipc
individual soldier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811293624.1A
Other languages
English (en)
Other versions
CN109194697B (zh
Inventor
穆可松
佘永涛
孙彦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dang Hong Polytron Technologies Inc
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Dang Hong Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dang Hong Polytron Technologies Inc filed Critical Hangzhou Dang Hong Polytron Technologies Inc
Priority to CN201811293624.1A priority Critical patent/CN109194697B/zh
Publication of CN109194697A publication Critical patent/CN109194697A/zh
Application granted granted Critical
Publication of CN109194697B publication Critical patent/CN109194697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information

Abstract

本发明公开了SIP协议在GB28181下Internet监控方法。它主要对应安防设备在无线4G或者wifi模块通过外网的方式接入，单兵设备通过无线或者有线的方式接入；结合sip协议注册到Internet远端对应的sip服务器，并由sip服务器控制信令交互，将控制4G摄像头和单兵设备进行交互；4G摄像头将对应的RTP数据包通过云端多媒体服务器推送到单兵设备，并通过解码模块转码，通过rtmp方式供多个外网客户端监控。本发明的有益效果是：通过4G拨号方式或者wifi无线方式接入Internet，结合sip协议，将处于不同物理位置的设备集中管控并实时取流播放，以便管理者及时管控设备；针对应急场景可以实时进行调度。

Description

SIP协议在GB28181下Internet监控方法
技术领域
本发明涉及安防视频相关技术领域，尤其是指SIP协议在GB28181下Internet监控方法。
背景技术
GB28181《安全防范视频监控联网系统信息传输、交换、控制技术要求》是由公安部科技信息化局提出，由全国安全防范报警系统标准化技术委员会(SAC/TC100)归口，公安部一所等多家单位共同起草的一部国家标准。
该标准规定了城市监控报警联网系统中信息传输、交换、控制的互联结构、通信协议结构，传输、交换、控制的基本要求和安全性要求，以及控制、传输流程和协议接口等技术要求。该标准适用于安全防范监控报警联网系统的方案设计、系统检测、验收以及与之相关的设备研发、生产，其他信息系统可参考采用。
该标准于2012年6月1日正式发布实施，在全国范围内的平安城市项目建设中被普遍推广应用。
现有的GB28181协议的应用场景，使得公安平台不可以通过外网的方式随时监控到公安平台以外的网络设备，故而也就不能根据实时图像进行及时应急调度。现有的SIP4G无线取流方案，RTP数据包到云端数据的流量大，实时视频延迟高，大大降低了用户体验。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种能够进行实时管控和调度的SIP协议在GB28181下Internet监控方法。
为了实现上述目的，本发明采用以下技术方案：
SIP协议在GB28181下Internet监控方法，具体包括如下步骤：
(1)IPC启动GB28181模块向SIP_SVR中心服务器注册；
(2)SIP_SVR中心服务器启动后，监听配置的IP和端口，当收到SIP注册包时，判断认证头部是否为空；如果为空，则返回随机数至请求的设备进入下一步；如果不为空，则验证用户名密码是否正确；如果正确，则进入步骤(4)，如果失败，则返回401认证失败；
(3)IPC收到401认证失败的错误，再获取是否有认证头部信息，如果有，则读取随机数和算法模式，再根据随机数和算法模式，组合用户名和密码重新发送认证；如果收到200OK，则进去到下一步；
(4)SIP_SVR登记已经认证过的注册上来的设备信息，发送200OK信息；
(5)SIP_SVR收到上层业务层取流指令，指令中包含多媒体接收服务器的IP和端口，SIP服务器将多媒体接收服务器的IP和端口组包通过SIP协议的invite指令发送至IPC设备；
(6)对应的多媒体单兵模块设备，同时需要启动GB28181模块向SIP_SVR中心服务器注册，注册流程和上文描述的步骤(1)至步骤(5)的流程相同；
(7)SIP_SVR根据多媒体单兵模块设备的IP地址和端口号组包发送invite指令，之后会等待IPC返回，如果收到应答信息消息包，则生成SDP文件供多媒体单兵模块设备的transcode模块解析rtp使用；如果收不到应答或者400bad request，则表示不支持invite取流指令；
(8)业务层获取到SDP文件后，会再次发送取流指令，SIP_SVR收到指令后会再次发送ack指令到IPC，IPC会发送RTP音视频数据到对应的多媒体单兵模块设备对应的IP和端口上，transcode模块收到RTP数据包后将对应的数据流转换成RTMP；同时提供对应的RTMP地址供鹰眼平台使用；
(9)业务层根据对应的RTMP地址在鹰眼平台下进行预览播放。
通过4G拨号方式或者wifi无线方式接入Internet，结合sip协议，将处于不同物理位置的设备集中管控并实时取流播放，以便管理者及时管控设备；针对应急场景可以实时进行调度。可应用于安防领域GB28181-2016协议及以上的版本应用；主要对应安防设备在无线4G或者wifi模块通过外网的方式接入，单兵设备通过无线或者有线的方式接入；结合sip协议注册到Internet远端对应的sip服务器，并由sip服务器控制信令交互，将控制4G摄像头和单兵设备进行交互；4G摄像头将对应的RTP数据包通过云端多媒体服务器推送到单兵设备，并通过解码模块转码，通过rtmp方式供多个外网客户端监控。
作为优选，在步骤(1)中，IPC启动GB28181模块，根据设置的SIP_SVR、device id和端口号，组合成SIP注册包后向SIP_SVR中心服务器注册。
作为优选，在步骤(4)中，设备信息包含IP地址和端口、device id、用户名和密码、注册维护周期信息。
作为优选，在步骤(5)中，IPC会根据自身的能力，如果支持，则重新发送101或者发送200OK；如果不支持，则会返回400bad request至SIP_SVR。
作为优选，在步骤(7)中，生成SDP文件供多媒体单兵模块设备的transcode模块解析rtp使用的同时，记录对应的资源信息以供后续停止播放流使用。
本发明的有益效果是：通过4G拨号方式或者wifi无线方式接入Internet，结合sip协议，将处于不同物理位置的设备集中管控并实时取流播放，以便管理者及时管控设备；针对应急场景可以实时进行调度。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，SIP协议在GB28181下Internet监控方法，具体包括如下步骤：
(1)IPC启动GB28181模块，根据设置的SIP_SVR、device id和端口号，组合成SIP注册包后向SIP_SVR中心服务器注册；
(2)SIP_SVR中心服务器启动后，监听配置的IP和端口，当收到SIP注册包时，判断认证头部是否为空；如果为空，则返回随机数至请求的设备进入下一步；如果不为空，则验证用户名密码是否正确；如果正确，则进入步骤(4)，如果失败，则返回401认证失败；
(3)IPC收到401认证失败的错误，再获取是否有认证头部信息，如果有，则读取随机数和算法模式，再根据随机数和算法模式，组合用户名和密码重新发送认证；如果收到200OK，则进去到下一步；
(4)SIP_SVR登记已经认证过的注册上来的设备信息，设备信息包含IP地址和端口、device id、用户名和密码、注册维护周期信息，发送200OK信息；
(5)SIP_SVR收到上层业务层取流指令，指令中包含多媒体接收服务器的IP和端口，SIP服务器将多媒体接收服务器的IP和端口组包通过SIP协议的invite指令发送至IPC设备；IPC会根据自身的能力，如果支持，则重新发送101或者发送200OK；如果不支持，则会返回400bad request至SIP_SVR；
(6)对应的多媒体单兵模块设备，同时需要启动GB28181模块向SIP_SVR中心服务器注册，注册流程和上文描述的步骤(1)至步骤(5)的流程相同；
(7)SIP_SVR根据多媒体单兵模块设备的IP地址和端口号组包发送invite指令，之后会等待IPC返回，如果收到应答信息消息包，则生成SDP文件供多媒体单兵模块设备的transcode模块解析rtp使用，同时记录对应的资源信息以供后续停止播放流使用；如果收不到应答或者400bad request，则表示不支持invite取流指令；
(8)业务层获取到SDP文件后，会再次发送取流指令，SIP_SVR收到指令后会再次发送ack指令到IPC，IPC会发送RTP音视频数据到对应的多媒体单兵模块设备对应的IP和端口上，transcode模块收到RTP数据包后将对应的数据流转换成RTMP；同时提供对应的RTMP地址供鹰眼平台使用；
(9)业务层根据对应的RTMP地址在鹰眼平台下进行预览播放。
本申请包括四个部分：1)SIP服务器端与IPC设备之间的注册和管理；2)SIP服务器与多媒体单兵模块设备(工作站设备)之间的注册和管理；3)SIP服务器端与IPC设备之间取流指令交互；4)多媒体单兵模块设备上多媒体接收模块与IPC之间RTP转RTMP方法。通过4G拨号方式或者wifi无线方式接入Internet，结合sip协议，将处于不同物理位置的设备集中管控并实时取流播放，以便管理者及时管控设备；针对应急场景可以实时进行调度。可应用于安防领域GB28181-2016协议及以上的版本应用；主要对应安防设备在无线4G或者wifi模块通过外网的方式接入，单兵设备通过无线或者有线的方式接入；结合sip协议注册到Internet远端对应的sip服务器，并由sip服务器控制信令交互，将控制4G摄像头和单兵设备进行交互；4G摄像头将对应的RTP数据包通过云端多媒体服务器推送到单兵设备，并通过解码模块转码，通过rtmp方式供多个外网客户端监控。相对于现有的GB28181协议的应用场景，公安平台可以通过外网的方式随时监控到公安平台以外的网络设备，并根据实时图像进行及时应急调度。相对于现有的SIP 4G无线取流方案，可以节省RTP数据包到云端数据的流量问题，从原有方案的实时视频延迟5秒减少到延迟3秒左右问题，大大增强了用户体验。

Claims (5)

1.SIP协议在GB28181下Internet监控方法，其特征是，具体包括如下步骤：
(1)IPC启动GB28181模块向SIP_SVR中心服务器注册；
(2)SIP_SVR中心服务器启动后，监听配置的IP和端口，当收到SIP注册包时，判断认证头部是否为空；如果为空，则返回随机数至请求的设备进入下一步；如果不为空，则验证用户名密码是否正确；如果正确，则进入步骤(4)，如果失败，则返回401认证失败；
(3)IPC收到401认证失败的错误，再获取是否有认证头部信息，如果有，则读取随机数和算法模式，再根据随机数和算法模式，组合用户名和密码重新发送认证；如果收到200OK，则进去到下一步；
(4)SIP_SVR登记已经认证过的注册上来的设备信息，发送200OK信息；
(5)SIP_SVR收到上层业务层取流指令，指令中包含多媒体接收服务器的IP和端口，SIP服务器将多媒体接收服务器的IP和端口组包通过SIP协议的invite指令发送至IPC设备；
(6)对应的多媒体单兵模块设备，同时需要启动GB28181模块向SIP_SVR中心服务器注册，注册流程和上文描述的步骤(1)至步骤(5)的流程相同；
(7)SIP_SVR根据多媒体单兵模块设备的IP地址和端口号组包发送invite指令，之后会等待IPC返回，如果收到应答信息消息包，则生成SDP文件供多媒体单兵模块设备的transcode模块解析rtp使用；如果收不到应答或者400bad request，则表示不支持invite取流指令；
(8)业务层获取到SDP文件后，会再次发送取流指令，SIP_SVR收到指令后会再次发送ack指令到IPC，IPC会发送RTP音视频数据到对应的多媒体单兵模块设备对应的IP和端口上，transcode模块收到RTP数据包后将对应的数据流转换成RTMP；同时提供对应的RTMP地址供鹰眼平台使用；
(9)业务层根据对应的RTMP地址在鹰眼平台下进行预览播放。
2.根据权利要求1所述的SIP协议在GB28181下Internet监控方法，其特征是，在步骤(1)中，IPC启动GB28181模块，根据设置的SIP_SVR、device id和端口号，组合成SIP注册包后向SIP_SVR中心服务器注册。
3.根据权利要求1或2所述的SIP协议在GB28181下Internet监控方法，其特征是，在步骤(4)中，设备信息包含IP地址和端口、device id、用户名和密码、注册维护周期信息。
4.根据权利要求1或2所述的SIP协议在GB28181下Internet监控方法，其特征是，在步骤(5)中，IPC会根据自身的能力，如果支持，则重新发送101或者发送200OK；如果不支持，则会返回400bad request至SIP_SVR。
5.根据权利要求1或2所述的SIP协议在GB28181下Internet监控方法，其特征是，在步骤(7)中，生成SDP文件供多媒体单兵模块设备的transcode模块解析rtp使用的同时，记录对应的资源信息以供后续停止播放流使用。
CN201811293624.1A 2018-11-01 2018-11-01 SIP协议在GB28181下Internet监控方法 Active CN109194697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811293624.1A CN109194697B (zh) 2018-11-01 2018-11-01 SIP协议在GB28181下Internet监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811293624.1A CN109194697B (zh) 2018-11-01 2018-11-01 SIP协议在GB28181下Internet监控方法

Publications (2)

Publication Number Publication Date
CN109194697A true CN109194697A (zh) 2019-01-11
CN109194697B CN109194697B (zh) 2021-05-25

Family

ID=64941249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811293624.1A Active CN109194697B (zh) 2018-11-01 2018-11-01 SIP协议在GB28181下Internet监控方法

Country Status (1)

Country Link
CN (1) CN109194697B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135104A (zh) * 2020-09-24 2020-12-25 智洋创新科技股份有限公司 基于多场景融合的视频综合监控系统及方法
CN112822271A (zh) * 2021-01-07 2021-05-18 中电福富信息科技有限公司 一种基于国标信令消息转发方法
CN115086782A (zh) * 2022-05-10 2022-09-20 南方电网深圳数字电网研究院有限公司 媒体数据传输方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074410A2 (en) * 2005-12-29 2007-07-05 France Telecom Methods and apparatus for providing privacy in a communication system
CN101030973A (zh) * 2006-12-18 2007-09-05 张志东 一种网页呼叫系统及其方法
CN101360118A (zh) * 2007-08-02 2009-02-04 广东新支点技术服务有限公司 一种适合移动终端多媒体文件共享与搜索的方法和协议
US20100284288A1 (en) * 2009-05-07 2010-11-11 The Industry & Academic Cooperation In Chungnam National University Voip anomaly traffic detection method with flow-level data
CN202551100U (zh) * 2012-03-22 2012-11-21 青岛百灵信息科技有限公司 一种基于Linux的家庭式SIP服务器
CN103384247A (zh) * 2013-07-05 2013-11-06 福建星网锐捷通讯股份有限公司 一种基于sip监控系统的视频多播实现方法
CN105657368A (zh) * 2016-01-06 2016-06-08 福建星网智慧科技股份有限公司 一种ipc摄像头快速接入ip多媒体系统ims的方法
CN106060459A (zh) * 2016-05-30 2016-10-26 安徽四创电子股份有限公司 一种摄像机的协议转换系统及其转换方法
CN106506506A (zh) * 2016-11-15 2017-03-15 江西憶源多媒体科技有限公司 一种跨网通信的方法
CN206908612U (zh) * 2017-06-12 2018-01-19 深圳金智凌轩视讯技术有限公司 一种外部社会资源安全接入公安视频专网的接入系统
CN108206833A (zh) * 2018-01-11 2018-06-26 福建星网锐捷通讯股份有限公司 音视频数据传输方法及其系统
CN108390895A (zh) * 2018-04-27 2018-08-10 南京思拜休通信技术有限公司 基于sip的多媒体指挥调度系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074410A2 (en) * 2005-12-29 2007-07-05 France Telecom Methods and apparatus for providing privacy in a communication system
CN101030973A (zh) * 2006-12-18 2007-09-05 张志东 一种网页呼叫系统及其方法
CN101360118A (zh) * 2007-08-02 2009-02-04 广东新支点技术服务有限公司 一种适合移动终端多媒体文件共享与搜索的方法和协议
US20100284288A1 (en) * 2009-05-07 2010-11-11 The Industry & Academic Cooperation In Chungnam National University Voip anomaly traffic detection method with flow-level data
CN202551100U (zh) * 2012-03-22 2012-11-21 青岛百灵信息科技有限公司 一种基于Linux的家庭式SIP服务器
CN103384247A (zh) * 2013-07-05 2013-11-06 福建星网锐捷通讯股份有限公司 一种基于sip监控系统的视频多播实现方法
CN105657368A (zh) * 2016-01-06 2016-06-08 福建星网智慧科技股份有限公司 一种ipc摄像头快速接入ip多媒体系统ims的方法
CN106060459A (zh) * 2016-05-30 2016-10-26 安徽四创电子股份有限公司 一种摄像机的协议转换系统及其转换方法
CN106506506A (zh) * 2016-11-15 2017-03-15 江西憶源多媒体科技有限公司 一种跨网通信的方法
CN206908612U (zh) * 2017-06-12 2018-01-19 深圳金智凌轩视讯技术有限公司 一种外部社会资源安全接入公安视频专网的接入系统
CN108206833A (zh) * 2018-01-11 2018-06-26 福建星网锐捷通讯股份有限公司 音视频数据传输方法及其系统
CN108390895A (zh) * 2018-04-27 2018-08-10 南京思拜休通信技术有限公司 基于sip的多媒体指挥调度系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAO XINGBING: ""Implementation of real-time video in wireless video surveillance system based on SIP"", 《VIDEO ENGINEERING》 *
叶 舒，: ""多媒体通信中网络边界穿越技术应用研究*"", 《计算机与数字工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135104A (zh) * 2020-09-24 2020-12-25 智洋创新科技股份有限公司 基于多场景融合的视频综合监控系统及方法
CN112822271A (zh) * 2021-01-07 2021-05-18 中电福富信息科技有限公司 一种基于国标信令消息转发方法
CN115086782A (zh) * 2022-05-10 2022-09-20 南方电网深圳数字电网研究院有限公司 媒体数据传输方法及装置
CN115086782B (zh) * 2022-05-10 2023-11-03 南方电网数字平台科技(广东)有限公司 媒体数据传输方法及装置

Also Published As

Publication number Publication date
CN109194697B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN109120962A (zh) 软件终端连接视联网的方法和装置
CN108023858B (zh) 一种视联网网管安全认证方法及其系统
CN108574818B (zh) 一种信息显示的方法、装置和服务器
CN102547239A (zh) 基于Android移动终端的视频监控系统
CN110430043A (zh) 一种认证方法、系统及装置和存储介质
CN109194697A (zh) SIP协议在GB28181下Internet监控方法
CN101317413A (zh) 电子设备的控制方法、鉴权方法和流媒体服务器
CN109120946A (zh) 收看直播的方法和装置
CN102594838B (zh) 基于sip的智能监控报警联网系统及联网方法
CN109729312A (zh) ONVIF协议在Internet网络下的一种视频监控方法
CN108810579A (zh) 一种视频数据请求方法、协转服务器以及视联网服务器
CN110012322A (zh) 一种视联网业务发起的方法和系统
CN106548543B (zh) 门禁设备、用户终端、用于该门禁设备的后台系统及方法
CN110417877A (zh) 一种音视频业务的处理方法及装置
CN108965227A (zh) 一种数据处理方法及视联网会议服务器
CN110061962A (zh) 一种视频流数据传输的方法和装置
CN112291514A (zh) 远程音视频通话方法、装置及ott平台
CN110460469B (zh) 一种系统升级方法、装置和存储介质
CN104113547B (zh) 一种sip安全防范视频监控入网控制系统
CN108810475B (zh) 一种基于Onvif标准及Sip协议的Android视频监控装置
TWI478559B (zh) 一種通信方法和系統
CN104994067B (zh) Sip网络访问rtsp监控网络的系统及方法
CN110113623A (zh) 一种基于sip协议的音视频切片传输平台
CN108965941A (zh) 一种数据获取方法和视联网管理系统
CN102299923B (zh) 一种互联网性能测量系统中的探针注册方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant