CN117041226A - 基于组播和quic协议的流媒体多通道传输方法 - Google Patents
基于组播和quic协议的流媒体多通道传输方法 Download PDFInfo
- Publication number
- CN117041226A CN117041226A CN202310884472.7A CN202310884472A CN117041226A CN 117041226 A CN117041226 A CN 117041226A CN 202310884472 A CN202310884472 A CN 202310884472A CN 117041226 A CN117041226 A CN 117041226A
- Authority
- CN
- China
- Prior art keywords
- data
- channel
- quic
- multicast
- protocol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000003795 chemical substances by application Substances 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000002265 prevention Effects 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/164—Adaptation or special uses of UDP protocol
Abstract
本发明涉及一种基于组播和QUIC协议的流媒体多通道传输方法，结合了可靠组播传输的抗丢包和省流量特性与QUIC协议的抗丢包和可靠性，以可靠组播为主要传输通道，以QUIC协议为备用传输通道，使流媒体分发兼具省流量，抗丢包和高可靠的特性，保障用户体验不降低。利用可靠组播通道降低服务器带宽开销，利用QUIC通道保证服务质量和异常情况下的服务降级；播放器可以通过请求参数与代理服务间协商要开启的传输特性，可选启用或不启用可靠组播通道，启用或不启用302回源跳转，实现节目频道级别的业务等级控制；外挂式集成，播放器可以保持原有业务稳定的情况下，在部分节目、部分终端、部分区域启用部分或全部传输代理特性。
Description
技术领域
本发明涉及一种流量传输技术，特别涉及一种基于组播和QUIC协议的流媒体多通道传输方法。
背景技术
高清和4K流媒体内容分发需要很大的服务器带宽支撑，为了降低成本利用可靠组播(具有拥塞控制和抗丢包能力的组播传输协议)降低终端向服务器的请求和带宽开销。由于可靠组播传输可能受终端网络条件的限制无法保障用户体验，同时需要提供降级机制来保证终端播放的性能指标不低于传统的HTTP协议。
现在常用基于HTTP的流媒体分发，每个终端都会请求一份重复的数据，服务器带宽开销大；基于TCP的HTTP协议抗丢包能力弱。
现在常用基于标准组播的多播流媒体分发，虽然可以利用多播降低服务器带宽开销，但是标准组播没有抗丢包能力，在网络条件不理想或组播传输受限时，终端播放会花屏、卡顿甚至失败。
发明内容
针对可靠组播高效运用的问题，提出了一种基于组播和QUIC协议的流媒体多通道传输方法，结合了可靠组播传输的抗丢包和省流量特性与QUIC协议的抗丢包和可靠性，以可靠组播为主要传输通道，以QUIC协议为备用传输通道，使流媒体分发兼具省流量，抗丢包和高可靠的特性，保障用户体验不降低。
本发明的技术方案为：一种基于组播和QUIC协议的流媒体多通道传输方法，分发服务器作为媒体源站，通过双通道分发HLS流数据到客户端，一个通道为VMA服务器从媒体源站持续拉取最新的HLS流数据，流数据包括m3u8索引和ts分片,然后将HLS流数据通过可靠组播协议分发到传输代理服务，另一个通道为传输代理服务使用QUIC协议从媒体源站请求数据，传输代理服务遵循HTTP协议对客户端分发数据。
进一步，所述可靠组播协议通过使用FEC数据冗余技术实现抗丢包，对抗标准组播协议在运营商网络环境下丢包的问题。
进一步，所述传输代理服务，在机顶盒后台运行，其通过两个通道收取数据，在起播阶段为保障客户体验，从媒体源站通过QUIC协议请求数据，实现快速起播；起播成功后，进入正常播放阶段，尝试从可靠组播通道接收数据。
进一步，所述传输代理服务进入正常播放阶段，优先通过可靠组播通道持续接收数据，在可靠组播通道接收的数据缺失或不够快时，在播放请求到达缺失的数据片时，通过QUIC通道请求数据保证播放不中断通过自适应的通道选择逻辑，在保障播放流畅的前提下，优先通过可靠组播通道接收数据节省流量。
一种基于组播和QUIC协议的流媒体多通道传输系统，包括VMA服务器和机顶盒中VMA Agent模块，VMA服务器从媒体源站持续拉取最新的HLS流数据，流数据包括m3u8索引和ts分片,然后将HLS流数据通过可靠组播协议分发到VMA Agent模块，VMA Agent模块使用QUIC协议从媒体源站请求数据，VMA Agent模块遵循HTTP协议对客户端分发数据。
一种基于组播和QUIC协议的流媒体多通道传输系统调度方法，建立所述基于组播和QUIC协议的流媒体多通道传输系统，在播放启动阶段，首片数据请求同时通过TCP和QUIC协议向媒体源站请求，使用先行完成的请求返回的数据向播放器提供数据，同时根据QUIC请求是否比TCP请求更快判定终端所在网络是否适用于启用UDP协议传输；如果适用，则使用QUIC继续请求数据，当终端网络带宽富余时，即数据分片传输速度大于2倍的数据码率，会积累足够多的播放缓冲数据，为开启可靠组播通道提供了时间和带宽窗口，此时开启可靠组播通道，尝试将传输模式转换为以组播流量为主的状态。
进一步，如果可靠组播通道由于网络条件限制，不足以独立满足流畅播放的要求，在播放器请求到缺失的数据片时，通过QUIC协议通道向服务器进行补片请求；当发现组播通道持续无法满足流畅播放的要求时，VMA Agent模块中代理程序将停止该频道可靠组播的接收，切换为仅通过QUIC通道请求的模式。
进一步，VMA Agent模块支持启用302回源跳转，即在播放器自身支持QUIC协议时，可以地址参数方式于代理服务协商，告诉需要进行QUIC通道回源请求时可通过302跳转交给播放器自身完成，降低终端代理服务和播放器进程间IO交换的开销。
本发明的有益效果在于：本发明基于组播和QUIC协议的流媒体多通道传输方法，利用可靠组播通道降低服务器带宽开销，利用QUIC通道保证服务质量和异常情况下的服务降级；播放器可以通过请求参数与代理服务间协商要开启的传输特性，可选启用或不启用可靠组播通道，启用或不启用302回源跳转，实现节目频道级别的业务等级控制；外挂式集成，播放器可以保持原有业务稳定的情况下，在部分节目/部分终端/部分区域启用部分或全部传输代理特性。
附图说明
图1为传统HLS协议分发架构示意图；
图2为本发明分发架构示意图；
图3为本发明播放启动阶段VMA Agent从源服务器通道和可靠组播通道接收数据的调度逻辑图；
图4为本发明正常播放阶段VMA Agent从源服务器通道和可靠组播通道接收数据的调度逻辑图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
基于组播和QUIC协议的流媒体多通道传输方法，实现了可靠组播和QUIC(基于UDP的传输层协议)双通道传输代理，在终端设备上安装此代理程序，即可实现对现有流媒体分发体系的升级。在终端网络条件满足可靠组播运行时，媒体内容主要通过组播传输；在可靠组播流量不可达或网络条件不理想引起传输速度不够时，通过QUIC协议向服务器请求，补偿可靠组播的传输通道缺失的数据，保证播放的流畅。
HLS协议:HTTP Live Streaming(缩写是HLS)是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载，每次只下载一些。当媒体流正在播放时，客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源，允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时，客户端会下载一个包含元数据的extended M3U(m3u8)playlist文件，用于寻找可用的媒体流。
HLS协议规定：视频的封装格式是TS。视频的编码格式为H264,音频编码格式为MP3、AAC或者AC-3。除了TS视频文件本身，还定义了用来控制播放的m3u8文件(文本文件)。
如图1所示传统HLS协议分发架构示意图，原始网络服务器(Origin Web Server)通过分发服务器(Distribution Server)将媒体源中HLS流数据遵循HTTP协议对客户端(Client)分发数据。
但随着1080P和4K内容的普及,超高码率带来的服务器端硬件开销和带宽成本压力越来越大。对于面对客户的终端机顶盒，前期现存大量在网机顶盒，在系统标准播放器基础上开发了大量的周边应用，如果想升级起播放器内核支持最新的优化协议(如QUIC)，影响面和工作量都很大。
如图2所示本发明分发架构示意图，更改分发服务器(Distribution Server)对客户端(Client)进行资源数据分发方式，采用基于组播和QUIC协议的流媒体多通道传输方法进行分发，分发服务器(Distribution Server)作为媒体源站，有双通道分发HLS流数据到客户端，一个通道为VMA服务器(VMA Server)从媒体源站持续拉取最新的HLS的流数据(包括m3u8索引和ts分片),然后将HLS流数据通过可靠组播(Multicast)协议分发到传输代理服务(VMA Agent)，另一个通道为传输代理服务(VMA Agent)使用QUIC协议从媒体源站请求数据，传输代理服务(VMA Agent)遵循HTTP协议对客户端(Client)分发数据。
下面对基于组播和QUIC协议的流媒体多通道传输方法进行分发中各个关键环节进行具体阐述：
1、组播协议：组播又称为多播，是指在一个发送者和多个特定接收者之间进行通信。组播解决了传统的单播和广播方式效率低的问题，当网络中的某些用户需要特定信息时，组播数据发送者仅发送一次组播报文，设备借助组播协议为组播报文建立分发树，被转发的组播报文会在该组播分发树上按需开始复制和转发，从而实现节约带宽、减少网络负载。
组播协议的优势在于当需要将大量相同的数据传输到不同主机时，能节省发送数据的主机的系统资源和带宽；组播是有选择地复制给加入了组播组的主机；组播能节省网络主干的带宽。
组播协议的缺点：与单播协议相比，组播没有补包机制，因为组播采用的是UDP的传输方式，并且不是针对一个接受者，所以无法有针对的进行补包。所以直接组播协议传输的数据是不可靠的，本发明引入FEC抗丢包解决该问题。
2、FEC抗丢包:发送方在发送数据时，在每个数据包中加一些开销(冗余信息)。接受方根据接收到的有效数据和开销，即使有一定数据包丢失，仍可根据有效数据和开销，恢复出完整的有效数据。
FEC基本原理:
(1)已有的有效信息分为k个数据包，这k个数据包加上开销进行编码，生成n个数据包，发送给接收端。
(2)接收端收到任意收到至少k个数据包，根据这些数据包和译码规则，能够将数据完整的还原出来。
(3)n-k为加入的开销校验信息的数据量。
FEC是单向的，即数据冗余由发送端完成，无需接收端反馈响应的，所以适合在同样是单向的组播协议基础上实施。
3、VMA Server的作用
VMA Server从媒体源站持续拉取最新的HLS的流数据(包括m3u8索引和ts分片),然后将HLS流数据通过可靠组播协议分发。可靠组播协议通过使用FEC数据冗余技术实现抗丢包，对抗标准组播协议在运营商网络环境下丢包的问题。
4、VMA Agent的作用
VMA Agent作为传输代理服务，在机顶盒后台运行。其通过两个通道收取数据，在起播阶段为保障客户体验，从源站服务器通过QUIC协议请求数据，实现快速起播；起播成功后，尝试从可靠组播通道接收数据。通过自适应的通道选择逻辑，在保障播放流畅的前提下，优先通过可靠组播通道接收数据，从而节省流量。
VMA Agent通过双通道收取到HLS流数据后，通过运行在机顶盒本机的HTTP服务向播放器提供数据，播放器无需关心上述系统的工作细节，只需要对播放地址进行改造即可接入本系统。
同时可以启用盒子播放器不支持的QUIC协议，即使组播通道不可用，也可以获得QUIC协议抗丢包低延迟的增强效果。
VMA Agent从源服务器通道和可靠组播通道接收数据的调度逻辑如图3、4所示，图3播放启动阶段:为保证快速起播，播放启动阶段只使用QUIC协议请求数据。图4播放开始后，进入正常播放阶段，优先通过可靠组播通道持续接收数据，在可靠组播通道接收的数据缺失或不够快时，在播放请求到达缺失的数据片时，通过QUIC通道请求数据保证播放不中断。
5、基于组播和QUIC协议的流媒体多通道传输中的调度策略：
5.1、行为渐进式升级策略:在播放启动阶段，首片数据请求同时通过TCP和QUIC协议向服务器请求。使用先行完成的请求返回的数据向播放器提供数据，同时根据QUIC请求是否比TCP请求更快判定终端所在网络是否适用于启用UDP协议传输；如果适用，则使用QUIC继续请求数据，当终端网络带宽富余时(数据分片传输速度大于2倍的数据码率)，会积累足够多的播放缓冲数据，为开启可靠组播通道提供了时间和带宽窗口，此时开启可靠组播通道。尝试将传输模式转换为以组播流量为主的状态。
5.2、行为渐进式降级策略：如果可靠组播通道由于网络条件限制，不足以独立满足流畅播放的要求，在播放器请求到缺失的数据片(可靠组播通道未及时传输完毕)时，通过QUIC协议通道向服务器进行补片请求；当发现组播通道持续无法满足流畅播放的要求时，代理程序将停止该频道可靠组播的接收，切换为仅通过QUIC通道请求的模式。
5.3、代理服务支持启用302回源跳转，即在播放器自身支持QUIC协议时，可以地址参数方式于代理服务协商，告诉需要进行QUIC通道回源请求时可通过302跳转交给播放器自身完成，降低终端代理服务和播放器进程间IO交换的开销。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于组播和QUIC协议的流媒体多通道传输方法，其特征在于，分发服务器作为媒体源站，通过双通道分发HLS流数据到客户端，一个通道为VMA服务器从媒体源站持续拉取最新的HLS流数据，流数据包括m3u8索引和ts分片,然后将HLS流数据通过可靠组播协议分发到传输代理服务，另一个通道为传输代理服务使用QUIC协议从媒体源站请求数据，传输代理服务遵循HTTP协议对客户端分发数据。
2.根据权利要求1所述基于组播和QUIC协议的流媒体多通道传输方法，其特征在于，所述可靠组播协议通过使用FEC数据冗余技术实现抗丢包，对抗标准组播协议在运营商网络环境下丢包的问题。
3.根据权利要求1所述基于组播和QUIC协议的流媒体多通道传输方法，其特征在于，所述传输代理服务，在机顶盒后台运行，其通过两个通道收取数据，在起播阶段为保障客户体验，从媒体源站通过QUIC协议请求数据，实现快速起播；起播成功后，进入正常播放阶段，尝试从可靠组播通道接收数据。
4.根据权利要求3所述基于组播和QUIC协议的流媒体多通道传输方法，其特征在于，所述传输代理服务进入正常播放阶段，优先通过可靠组播通道持续接收数据，在可靠组播通道接收的数据缺失或不够快时，在播放请求到达缺失的数据片时，通过QUIC通道请求数据保证播放不中断通过自适应的通道选择逻辑，在保障播放流畅的前提下，优先通过可靠组播通道接收数据节省流量。
5.一种基于组播和QUIC协议的流媒体多通道传输系统，其特征在于，包括VMA服务器和机顶盒中VMA Agent模块，VMA服务器从媒体源站持续拉取最新的HLS流数据，流数据包括m3u8索引和ts分片,然后将HLS流数据通过可靠组播协议分发到VMA Agent模块，VMA Agent模块使用QUIC协议从媒体源站请求数据，VMA Agent模块遵循HTTP协议对客户端分发数据。
6.一种基于组播和QUIC协议的流媒体多通道传输系统调度方法，其特征在于，建立权利要求5所述基于组播和QUIC协议的流媒体多通道传输系统，
在播放启动阶段，首片数据请求同时通过TCP和QUIC协议向媒体源站请求，使用先行完成的请求返回的数据向播放器提供数据，同时根据QUIC请求是否比TCP请求更快判定终端所在网络是否适用于启用UDP协议传输；如果适用，则使用QUIC继续请求数据，当终端网络带宽富余时，即数据分片传输速度大于2倍的数据码率，会积累足够多的播放缓冲数据，为开启可靠组播通道提供了时间和带宽窗口，此时开启可靠组播通道，尝试将传输模式转换为以组播流量为主的状态。
7.根据权利要求6所述基于组播和QUIC协议的流媒体多通道传输系统调度方法，其特征在于，如果可靠组播通道由于网络条件限制，不足以独立满足流畅播放的要求，在播放器请求到缺失的数据片时，通过QUIC协议通道向服务器进行补片请求；当发现组播通道持续无法满足流畅播放的要求时，VMA Agent模块中代理程序将停止该频道可靠组播的接收，切换为仅通过QUIC通道请求的模式。
8.根据权利要求6所述基于组播和QUIC协议的流媒体多通道传输系统调度方法，其特征在于，VMA Agent模块支持启用302回源跳转，即在播放器自身支持QUIC协议时，可以地址参数方式于代理服务协商，告诉需要进行QUIC通道回源请求时可通过302跳转交给播放器自身完成，降低终端代理服务和播放器进程间IO交换的开销。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884472.7A CN117041226A (zh) | 2023-07-18 | 2023-07-18 | 基于组播和quic协议的流媒体多通道传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884472.7A CN117041226A (zh) | 2023-07-18 | 2023-07-18 | 基于组播和quic协议的流媒体多通道传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117041226A true CN117041226A (zh) | 2023-11-10 |
Family
ID=88632638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310884472.7A Pending CN117041226A (zh) | 2023-07-18 | 2023-07-18 | 基于组播和quic协议的流媒体多通道传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117041226A (zh) |
-
2023
- 2023-07-18 CN CN202310884472.7A patent/CN117041226A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10034058B2 (en) | Method and apparatus for distributing video | |
| CN106233735B (zh) | 管理多播视频传送的方法 | |
| US11477262B2 (en) | Requesting multiple chunks from a network node on the basis of a single request message | |
| US9894421B2 (en) | Systems and methods for data representation and transportation | |
| EP2936742B1 (en) | Low-latency streaming | |
| US20120140645A1 (en) | Method and apparatus for distributing video | |
| JP5442766B2 (ja) | サービス・レイヤにより支援する、マルチメディア・ストリーム・アクセス配信の変更 | |
| CN101316357B (zh) | 一种频道切换的方法和终端 | |
| EP2521298B1 (en) | Method and apparatus for ensuring quality of service of internet protocol television live broadcast service | |
| CA2883195C (en) | System and method for delivering an audio-visual content to a client device | |
| WO2008125029A1 (fr) | Procédé, système et dispositif permettant de contrôler le débit de codage du flux multimédia | |
| US10270842B2 (en) | Opportunistic content delivery using delta coding | |
| US20150049762A1 (en) | Method and system for self-detection and efficient transmission of real-time popular recorded over-the-top streams over network communications | |
| US8316108B2 (en) | Method and apparatus for obtaining media over a communications network | |
| WO2011119505A1 (en) | Media convergence platform | |
| US20160007094A1 (en) | Emergency notification in a network environment | |
| JP5610743B2 (ja) | コンテンツ受信方法及び装置 | |
| WO2008134897A1 (en) | Method and system for quality service enhancement in networks for media streaming | |
| CN117041226A (zh) | 基于组播和quic协议的流媒体多通道传输方法 | |
| US20070122123A1 (en) | Data Transmission Method And Apparatus | |
| WO2015109842A1 (zh) | 一种处理分段节目的方法、服务器及客户端设备 | |
| Oyman et al. | Quality of experience for http adaptive streaming services | |
| KR20120123591A (ko) | 스트리밍 데이터 전달 방법 | |
| CN115103202A (zh) | 一种抗网络劣化的ip视频直播传输方法和系统 | |
| CN118020311A (zh) | 内容递送 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |