CN107864132B - 一种解决视频流传输系统产生的花屏现象的方法 - Google Patents
一种解决视频流传输系统产生的花屏现象的方法 Download PDFInfo
- Publication number
- CN107864132B CN107864132B CN201711072147.1A CN201711072147A CN107864132B CN 107864132 B CN107864132 B CN 107864132B CN 201711072147 A CN201711072147 A CN 201711072147A CN 107864132 B CN107864132 B CN 107864132B
- Authority
- CN
- China
- Prior art keywords
- video stream
- client
- message queue
- server
- cookie
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Abstract
本发明提供一种解决视频流传输系统产生的花屏现象的方法,该方法引入了消息队列和中间代理,消息队列用于缓存服务器通过UDP协议传输给客户端的视频流,中间代理接受服务器发送的下载请求和cookie,判断是否给该客户端发送过视频流,发送过,判断消息队列第一次缓存的视频流是否有丢包现象,如果有丢包现象,需要重新缓存,继续让服务器将第二次缓存的数据发送给消息队列进行缓存,当不存在丢包现象,就不让服务器再次接受的下载请求的视频流缓存至消息队列,中间代理直接调取消息队列内的视频流发送给客户端,这样解决了由于丢包或串流现象存在的花屏问题,进而也避免了服务器重新发送视频流而浪费过多带宽的技术问题。
Description
技术领域
本发明属于视频传输技术领域,特别涉及一种解决视频流传输系统产生的花屏现象的方法。
背景技术
流媒体服务器的主要功能是以流式协议(RTP/UDP等)将视频流传输给客户端,供监控员监视观看或者发送给处理器进行处理解码使用。
由于UDP协议是一种不可靠、无连接的简单传输协议,所以现有的视频流在传输过程中无法保证数据能准确可靠地达到目的地,容易存在丢包现象;又由于UDP协议本身存在一种未知性,服务器发送数据给客户端,服务器并不知道客户端有没有正常接收,服务器接收到下载请求后,就不断发送视频流,这样当客户端由于某些原因意外停止接收数据,服务器并不知晓,仍旧坚持往该客户端发送数据,当该客户端再次要求下载视频流时,服务器接收两次发送数据指令,就会产生串流现象,无论是丢包还是串流现象都会导致客户端观看视频存在花屏现象,目前解决的技术就是通过检查UDP协议的串流检测接口发送流信息的IP是否与接收客户端的IP相同,如果相同,就关闭服务器正在发送的视频流,此外还有就是通过引入心跳包协议来接收客户端的反馈信息,但是以上两种方法都不能很好地解决由于丢包问题产生的花屏现象。
发明内容
为了解决现有技术中存在的问题,本发明提供了一种解决视频流传输系统产生的花屏现象的方法,该方法能够很好地解决由于UDP协议传输视频流产生的丢包或串流现象而引起的花屏问题。
本发明具体技术方案如下:
本发明提供一种解决视频流传输系统产生的花屏现象的方法,其中,视频流传输系统包括流媒体服务器、服务器和客户端,该方法包括如下步骤:
S1:在服务器与客户端之间连接消息队列和中间代理,所述中间代理与所述服务器、消息队列和客户端之间相互通信;
S2:客户端向服务器申请下载视频流的请求,该请求包括视频流的索引号和时间戳,索引号指根据每一视频流的名称设置的编号;
S3:服务器接收每一客户端的下载请求,获取每一客户端的cookie,并根据下载请求将流媒体服务器提供的视频流发送给消息队列进行缓存,同时将客户端的下载请求和cookie发送给中间代理;
S4:消息队列根据不同的cookie将不同客户端请求的视频流存储在不同的缓存空间中,每一缓存空间的编号为该客户端的cookie;
S5:中间代理将消息队列缓存的视频流按照时间顺序传输给客户端,并对传输的视频流进行记录;
S6:中间代理对再次接受服务器发送的客户端的cookie进行判断,当判断出给客户端发送过视频流时,记录接收该cookie的时间点,从消息队列的缓存空间内找到与该时间点对应的视频流,判断是否存在丢包现象,如果存在丢包现象,进行步骤S3,如果不存在丢包现象,进行步骤S7;
S7:中间代理向服务器发送停止将该客户端最新一次请求下载的视频流缓存到消息队列内。
进一步的改进,步骤S6判断是否存在丢包现象的具体方法为:
S61:从消息队列的缓存空间内找到与该时间点对应的视频帧Zn及其前一帧Zn-1;
S62:分别计算Zn-1帧和Zn帧的帧内偏差,并进行比较,比较一致时,判断不存在丢包现象,比对不一致时,判断存在丢包现象。
进一步的改进,步骤S62具体方法为:
S621:分别分离出Zn-1帧和Zn帧的运动目标图像和背景图像;
S622:分别将各运动目标图像和背景图像分割成多个子块,分别计算Zn-1帧中运动目标图像偏差F1、背景图像偏差F2,Zn帧中运动目标图像偏差F3和背景图像偏差F4;
S623:根据运动目标图像偏差和背景图像偏差分别计算Zn-1帧和Zn帧的帧内偏差y和y1;
S624:计算△y=|y-y1|,判断△y大小,当△y≤△y1时,△y1为预设阈值,比对一致,否则,比对不一致。
优选地,运动目标图像偏差F1、背景图像偏差F2、运动目标图像偏差F3和背景图像偏差F4均通过如下公式计算:
进一步的改进,每一缓存空间在缓冲视频流时,都为各视频流建立矩阵索引,矩阵索引的横列表示时间戳,纵列表示索引号。
进一步的改进,中间代理内设一记录库,该记录库用于记录发送的每一视频流的编号、时间戳及对应客户端的cookie。
进一步的改进,步骤S6判断出给客户端发送过视频流的具体方法为:
S63:中间代理再次接受服务器发送的客户端的cookie,在记录库中寻找是否给对应cookie的客户端发送过视频流,如果发送过,根据视频流的编号和时间戳到消息队列的缓存空间内寻找缓存的相应视频流,如果未发送过,中间代理不做处理。
进一步的改进,步骤S63在记录库中寻找是否给对应cookie的客户端发送过视频流的具体方法为:
S631:判断缓存空间内是否存在时间戳有交集的视频流,如果有,进行步骤S632,如果没有,判断未发送过;
S632:判断交集内视频流的索引号是否有交集,如果有,判断发送过,如果没有,判断未发送过。
本发明的有益效果如下:
本发明提供一种解决视频流传输系统产生的花屏现象的方法,该方法首先是在UDP传输协议过程中,引入了消息队列和中间代理,其中中间代理为一中间代理服务器,具有很强的处理功能,消息队列用于缓存服务器通过UDP协议传输给客户端的视频流,中间代理接受服务器发送的下载请求和cookie,并判断接收同一cookie的次数,如果是两次,说明客户端向服务器发送两次下载请求,根据消息队列缓存的数据,判断消息队列第一次缓存的视频流是否有丢包现象,如果有丢包现象,说明第一次缓存的数据不能用,需要重新缓存,那么中间代理不对客户端发送的第二次下载请求做处理,继续让服务器将第二次缓存的数据发送给消息队列进行缓存,当消息队列内存在的视频流不存在丢包现象,说明客户端再次向服务器请求下载的视频流与之前的视频流存在重复现象,就不让服务器将再次接受的下载请求的视频流缓存至消息队列,中间代理直接调取消息队列内的视频流发送给客户端,这样解决了由于丢包或串流现象存在的花屏问题,进而也避免了服务器重新发送视频流而浪费过多带宽的技术问题。
附图说明
图1为实施例1一种解决视频流传输系统产生的花屏现象的方法的流程图;
图2为判断是否存在丢包现象的流程图;
图3为实施例2步骤S62的流程图;
图4为实施例3步骤S63的流程图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
实施例1
本发明实施例1提供一种解决视频流传输系统产生的花屏现象的方法,所述视频流传输系统包括流媒体服务器、服务器和客户端,如图1所示,该方法包括如下步骤:
S1:在服务器与客户端之间连接消息队列和中间代理,所述中间代理与所述服务器、消息队列和客户端之间相互通信;
S2:客户端向服务器申请下载视频流的请求,该请求包括视频流的索引号和时间戳,索引号指根据每一视频流的名称设置的编号;
S3:服务器接收每一客户端的下载请求,获取每一客户端的cookie,并根据下载请求将流媒体服务器提供的视频流发送给消息队列进行缓存,同时将客户端的下载请求和cookie发送给中间代理;
S4:消息队列根据不同的cookie将不同客户端请求的视频流存储在不同的缓存空间中,每一缓存空间的编号为该客户端的cookie;
S5:中间代理将消息队列缓存的视频流按照时间顺序传输给客户端,并对传输的视频流进行记录;
S6:中间代理对再次接受服务器发送的客户端的cookie进行判断,当判断出给客户端发送过视频流时,记录接收该cookie的时间点,从消息队列的缓存空间内找到与该时间点对应的视频流,判断是否存在丢包现象,如果存在丢包现象,进行步骤S3,如果不存在丢包现象,进行步骤S7;
S7:中间代理向服务器发送停止将该客户端最新一次请求下载的视频流缓存到消息队列内。
本发明提供一种解决视频流传输系统产生的花屏现象的方法,该方法首先是在UDP传输协议过程中,引入了消息队列和中间代理,其中中间代理为一中间代理服务器,具有很强的处理功能,消息队列用于缓存服务器通过UDP协议传输给客户端的视频流,中间代理接受服务器发送的下载请求和cookie,并判断接收同一cookie的次数,如果是两次,说明客户端向服务器发送两次下载请求,根据消息队列缓存的数据,判断消息队列第一次缓存的视频流是否有丢包现象,如果有丢包现象,说明第一次缓存的数据不能用,需要重新缓存,那么中间代理不对客户端发送的第二次下载请求做处理,继续让服务器将第二次缓存的数据发送给消息队列进行缓存,当消息队列内存在的视频流不存在丢包现象,说明客户端再次向服务器请求下载的视频流与之前的视频流存在重复现象,就不要再将服务器再次接受的下载请求的视频流缓存至消息队列,中间代理直接调取消息队列内的视频流发送给客户端,这样解决了由于丢包或串流现象存在的花屏问题,进而也避免了服务器重新发送视频流而浪费过多带宽的技术问题。
实施例2
本发明实施例2提供一种解决视频流传输系统产生的花屏现象的方法,该方法与实施例1的基本相同,不同的是,如图2所示,步骤S6判断是否存在丢包现象的具体方法为:
S61:从消息队列的缓存空间内找到与该时间点对应的视频帧Zn及其前一帧Zn-1;
S62:分别计算Zn-1帧和Zn帧的帧内偏差,并进行比较,比较一致时,判断不存在丢包现象,比对不一致时,判断存在丢包现象。
本发明进一步对步骤S62进行限定,如图3所示,具体方法为:
S621:分别分离出Zn-1帧和Zn帧的运动目标图像和背景图像;
S622:分别将各运动目标图像和背景图像分割成多个子块,分别计算Zn-1帧中运动目标图像偏差F1、背景图像偏差F2,Zn帧中运动目标图像偏差F3和背景图像偏差F4,其中,运动目标图像偏差F1、背景图像偏差F2、运动目标图像偏差F3和背景图像偏差F4均通过如下公式计算:
S624:计算△y=|y-y1|,判断△y大小,当△y≤△y1时,△y1为预设阈值,比对一致,△y>△y1,比对不一致。
本发明进一步对是否存在丢包现象进行了限定,进而提高了整个判断过程的准确性,大大提高了客户端观看视频的体验。
实施例3
本发明实施例3提供一种解决视频流传输系统产生的花屏现象的方法,该方法与实施例2的基本相同,不同的是,每一缓存空间在缓冲视频流时,都为各视频流建立矩阵索引,矩阵索引的横列表示时间戳,纵列表示索引号;中间代理内设一记录库,该记录库用于记录发送的每一视频流的编号、时间戳及对应客户端的cookie;如图4所示,步骤S6判断出给客户端发送过视频流的具体方法为:S63:中间代理再次接受服务器发送的客户端的cookie,在记录库中寻找是否给对应cookie的客户端发送过视频流,如果发送过,根据视频流的编号和时间戳到消息队列的缓存空间内寻找缓存的相应视频流,如果未发送过,中间代理不做处理;步骤S63在记录库中寻找是否给对应cookie的客户端发送过视频流的具体方法为:S631:判断缓存空间内是否存在时间戳有交集的视频流,如果有,进行步骤S632,如果没有,判断未发送过;S632:判断交集内视频流的索引号是否有交集,如果有,判断发送过,如果没有,判断未发送过。
本发明在中间代理内设置一记录库方便后续发送视频流的查找,并且根据视频流的时间戳和索引号可以提高查找效率。
本发明不局限于上述最佳实施方式,任何人在本发明的启示下都可得出其他各种形式的产品,但不论在其形状或结构上作任何变化,凡是具有与本申请相同或相近似的技术方案,均落在本发明的保护范围之内。
Claims (5)
1.一种解决视频流传输系统产生的花屏现象的方法,所述视频流传输系统包括流媒体服务器、服务器和客户端,其特征在于,所述方法包括如下步骤:
S1:在服务器与客户端之间连接消息队列和中间代理,所述中间代理与所述服务器、消息队列和客户端之间相互通信;
S2:客户端向服务器申请下载视频流的请求,该请求包括视频流的索引号和时间戳,索引号指根据每一视频流的名称设置的编号;
S3:服务器接收每一客户端的下载请求,获取每一客户端的cookie,并根据下载请求将流媒体服务器提供的视频流发送给消息队列进行缓存,同时将客户端的下载请求和cookie发送给中间代理;
S4:消息队列根据不同的cookie将不同客户端请求的视频流存储在不同的缓存空间中,每一缓存空间的编号为该客户端的cookie;
S5:中间代理将消息队列缓存的视频流按照时间顺序传输给客户端,并对传输的视频流进行记录;
S6:中间代理对再次接受服务器发送的客户端的cookie进行判断,当判断出给客户端发送过视频流时,记录接收该cookie的时间点,从消息队列的缓存空间内找到与该时间点对应的视频流,判断是否存在丢包现象,如果存在丢包现象,进行步骤S3,如果不存在丢包现象,进行步骤S7;
步骤S6判断是否存在丢包现象的具体方法为:
S61:从消息队列的缓存空间内找到与该时间点对应的视频帧Zn及其前一帧Zn-1;
S62:分别计算Zn-1帧和Zn帧的帧内偏差,并进行比较,比较一致时,判断不存在丢包现象,比对不一致时,判断存在丢包现象;
步骤S62具体方法为:
S621:分别分离出Zn-1帧和Zn帧的运动目标图像和背景图像;
S622:分别将各运动目标图像和背景图像分割成多个子块,分别计算Zn-1帧中运动目标图像偏差F1、背景图像偏差F2,Zn帧中运动目标图像偏差F3和背景图像偏差F4;运动目标图像偏差F1、背景图像偏差F2、运动目标图像偏差F3和背景图像偏差F4均通过如下公式计算:
S624:计算△y=|y-y1|,判断△y大小,当△y≤△y1时,△y1为预设阈值,比对一致,否则,比对不一致;
S7:中间代理向服务器发送停止将该客户端最新一次请求下载的视频流缓存到消息队列内。
2.如权利要求1所述的方法,其特征在于,每一缓存空间在缓冲视频流时,都为各视频流建立矩阵索引,矩阵索引的横列表示时间戳,纵列表示索引号。
3.如权利要求1所述的方法,其特征在于,中间代理内设一记录库,该记录库用于记录发送的每一视频流的编号、时间戳及对应客户端的cookie。
4.如权利要求3所述的方法,其特征在于,步骤S6判断出给客户端发送过视频流的具体方法为:
S63:中间代理再次接受服务器发送的客户端的cookie,在记录库中寻找是否给对应cookie的客户端发送过视频流,如果发送过,根据视频流的编号和时间戳到消息队列的缓存空间内寻找缓存的相应视频流,如果未发送过,中间代理不做处理。
5.如权利要求4所述的方法,其特征在于,步骤S63在记录库中寻找是否给对应cookie的客户端发送过视频流的具体方法为:
S631:判断缓存空间内是否存在时间戳有交集的视频流,如果有,进行步骤S632,如果没有,判断未发送过;
S632:判断交集内视频流的索引号是否有交集,如果有,判断发送过,如果没有,判断未发送过。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711072147.1A CN107864132B (zh) | 2017-11-03 | 2017-11-03 | 一种解决视频流传输系统产生的花屏现象的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711072147.1A CN107864132B (zh) | 2017-11-03 | 2017-11-03 | 一种解决视频流传输系统产生的花屏现象的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107864132A CN107864132A (zh) | 2018-03-30 |
CN107864132B true CN107864132B (zh) | 2020-03-10 |
Family
ID=61700762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711072147.1A Active CN107864132B (zh) | 2017-11-03 | 2017-11-03 | 一种解决视频流传输系统产生的花屏现象的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107864132B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112118541B (zh) * | 2019-06-21 | 2023-07-21 | 上海诺基亚贝尔股份有限公司 | 在WiFi网状网络中传输视频流的方法和装置 |
CN111010603A (zh) * | 2019-12-18 | 2020-04-14 | 浙江大华技术股份有限公司 | 一种视频缓存转发处理方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101945427A (zh) * | 2009-07-03 | 2011-01-12 | 深圳市融创天下科技发展有限公司 | 一种高效的流媒体传输方法 |
CN102231863A (zh) * | 2011-06-02 | 2011-11-02 | 南京中兴力维软件有限公司 | 一种多通道视频流的传输方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1835482A (zh) * | 2005-12-29 | 2006-09-20 | 上海贝豪通讯电子有限公司 | 一种无线流媒体服务解决的方法 |
CN102104468A (zh) * | 2011-02-18 | 2011-06-22 | 中兴通讯股份有限公司 | 一种基于路由代理的媒体感知arq控制方法及系统 |
CN104661112B (zh) * | 2013-11-18 | 2019-06-25 | 南京中兴力维软件有限公司 | 基于可伸缩选择窗口的视频流文件传输方法及装置 |
RU2689439C2 (ru) * | 2014-05-13 | 2019-05-28 | Опера Софтвэар Ас | Улучшение производительности веб-доступа |
-
2017
- 2017-11-03 CN CN201711072147.1A patent/CN107864132B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101945427A (zh) * | 2009-07-03 | 2011-01-12 | 深圳市融创天下科技发展有限公司 | 一种高效的流媒体传输方法 |
CN102231863A (zh) * | 2011-06-02 | 2011-11-02 | 南京中兴力维软件有限公司 | 一种多通道视频流的传输方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107864132A (zh) | 2018-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230283653A1 (en) | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming | |
US10951936B2 (en) | Synchronizing the storing of streaming video | |
US11778006B2 (en) | Data transmission method and apparatus | |
US20100138531A1 (en) | Real time protocol stream migration | |
CN113271316B (zh) | 多媒体数据的传输控制方法和装置、存储介质及电子设备 | |
US10848794B2 (en) | Digital data streaming using server driven adaptive bitrate | |
US10469627B2 (en) | Rapid optimization of media stream bitrate | |
CN107864132B (zh) | 一种解决视频流传输系统产生的花屏现象的方法 | |
US9813475B1 (en) | Delivering a video stream | |
KR20120011969A (ko) | Rtsp 세션에 기초해 스트리밍 데이터를 송수신하는 방법 및 장치 | |
US20180343217A1 (en) | Providing video to subscribers of a messaging system | |
Boukerche et al. | An end-to-end virtual environment streaming technique for thin mobile devices over heterogeneous networks | |
KR20230002784A (ko) | 오디오 및/또는 비디오 콘텐츠 전송을 위한 방법 및 서버 | |
WO2011143916A1 (zh) | 媒体适配的方法和装置 | |
CN113473185B (zh) | 基于视频流关键帧突发特性的可用带宽探测方法及装置 | |
US11463651B2 (en) | Video frame-based media stream bandwidth reduction | |
KR101974077B1 (ko) | Rtp 패킷을 이용한 재생 영상의 시간 표시 방법 | |
US20210195137A1 (en) | Video image-based media stream bandwidth reduction | |
Zeng et al. | TVSR‐OR: Tile‐based 360‐degree video streaming over real time streaming protocol with optimized read | |
CN116980662A (zh) | 流媒体播放方法、装置、电子设备、存储介质及程序产品 | |
Chen et al. | Study on relationship between network video packet loss and video quality | |
US20210144080A1 (en) | Dynamic variation of media segment durations for optimization of network round trip times | |
KR101795958B1 (ko) | 실시간 네트워크 카메라에서의 적응적 영상 제공 방법, 장치 및 사용자 단말기 | |
Pelayo | Bandwidth prediction for adaptive video streaming | |
Sarker et al. | Performance analysis of video streaming at the edge and core cloud |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |