CN114390237A - 一种48Gbsps超高带宽视频编解码处理系统及方法 - Google Patents
一种48Gbsps超高带宽视频编解码处理系统及方法 Download PDFInfo
- Publication number
- CN114390237A CN114390237A CN202111589112.1A CN202111589112A CN114390237A CN 114390237 A CN114390237 A CN 114390237A CN 202111589112 A CN202111589112 A CN 202111589112A CN 114390237 A CN114390237 A CN 114390237A
- Authority
- CN
- China
- Prior art keywords
- bandwidth video
- video signal
- ultrahigh
- ultra
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000003672 processing method Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 2
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical compound C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开48Gbsps超高带宽视频编解码处理系统，包括依次连接输入接口模块、第一处理模块、FPGA主处理模块、第二处理模块和输出接口模块，以及数据存储模块和电源模块；输入接口模块接收超高带宽视频信号；第一处理模块将接收的超高带宽视频信号解码后输到FPGA主处理模块；FPGA主处理模块对超高带宽视频信号输入输出以及超高带宽视频信号转换控制；第二处理模块将接收到的超高带宽视频信号编码后输到输出接口模块后输出；数据存储模块缓存视频流数据和FPGA上电后程序；电源模块实现系统供电。本发明实现48Gbps，单通道吞吐量达到12Gbps，传输速率每帧达到819.2MB/S的超高带宽数据的传输和处理。
Description
技术领域
本发明涉及一种视频编解码处理系统及方法，尤其涉及一种48Gbsps超高带宽视频编解码处理系统及方法。
背景技术
随着高清音视频产业的快速发展，消费者对于视频清晰度的要求越来越高，随之而来意味着视频数据量越来越大，视频信号处理系统对视频信号的编解码处理和传输更需要达到低时延、高带宽的要求。
HDMI，高清晰度多媒体接口是一种全数位化影像和声音传送接口，已经大量应用在我们的工作与生活中。HDMI具有接口小，在通信链路中可以实时传输视频、音频、以及CEC等辅助信息的优点，同时HDMI还具有支持HDCP功能，可实现高带宽数字内容保护，方便满足各种场合的应用需求。最新HDMI2.1标准可以支持到8K 60Hz。
目前的视频编解码处理系统在处理低时延、高带宽的视频信号中仍显不足，针对超高带宽如HDMI2.1标准，视频信号的采集速率越来越高，而且图像数据量也越来越大，目前视频编解码处理系统无法满足超高带宽数据量和实时性的要求，因此设计一种超高带宽视频编解码处理系统具有十分重要的意义。
发明内容
发明目的：本发明旨在提供一种48Gbsps超高带宽视频编解码处理系统及方法，解决现有技术中超高带宽视频数据流处理速度低的问题。
技术方案：本发明所述的48Gbsps超高带宽视频编解码处理系统，包括依次连接的超高带宽视频信号输入接口模块、第一超高带宽视频信号处理模块、FPGA主处理模块、第二超高带宽视频信号处理模块、超高带宽视频信号输出接口模块，与FPGA主处理模块连接的数据存储模块，与各模块均连接的电源模块；
超高带宽视频信号输入接口模块接收超高带宽视频信号；第一超高带宽视频信号处理模块将接收到的超高带宽视频信号解码，然后输出到FPGA主处理模块；FPGA主处理模块实现对超高带宽视频信号输入输出以及超高带宽视频信号转换的控制；第二超高带宽视频信号处理模块将接收到的FPGA主处理模块输出的第二超高带宽视频信号编码，然后输出到超高带宽视频信号输出接口模块；超高带宽视频信号输出接口模块完成超高带宽视频信号的传输和处理；数据存储模块用于缓存超高带宽视频流数据和FPGA主处理模块上电后运行的程序；电源模块实现对视频编解码处理系统的供电。
第一超高带宽视频信号处理模块的解码为将输入的高带宽视频信号按照固定解码比例格式解码成并行图像数据、并行时钟信号、行场同步信号和有效显示数据选通信号。
第二超高带宽视频信号处理模块编码为解码逆过程，将并行图像数据和并行的时钟数据编码为并行信号，然后通过串化器按照给定比例转化为差分串行数据和差分时钟信号。
数据存储模块包括DDR存储模块和FLASH模块；所述DDR存储模块用于缓存超高带宽视频流数据实现数据处理；FLASH存储模块用于FPGA主处理模块中FPGA程序的存储，处理系统通过SPI接口实现上电后程序运行。
本发明所述的48Gbsps超高带宽视频编解码处理方法，包括以下步骤：
(1)通过超高带宽视频信号输入接口模块将超高带宽视频信号输入到第一超高带宽视频信号处理模块；
(2)第一超高带宽视频信号处理模块将接收的超高带宽视频信号解码处理转换成视频数据流，并将解码后视频数据流输出至FPGA主处理模块；
(3)FPGA主处理模块控制解码后视频数据流输出到第二超高带宽视频信号处理模块；
(4)第二超高带宽视频信号处理模块将解码后视频数据流按照固定编码比例格式编码成特定格式的超高带宽视频信号；
(5)编码后的超高带宽视频信号输出到超高带宽视频信号输出接口模块完成超高带宽视频信号的传输和处理。
步骤(2)解码为将输入的高带宽视频信号按照固定解码比例格式解码成并行图像数据、并行时钟信号、行场同步信号和有效显示数据选通信号。
步骤(4)编码为解码逆过程，将并行图像数据和并行的时钟数据编码为并行信号，然后通过串化器按照给定比例转化为差分串行数据和差分时钟信号。
有益效果：与现有技术相比，本发明具有如下显著优点：实现48Gbps超高带宽，单通道吞吐量可以达到约12Gbps，数据传输速率每帧可达到819.2MB/S，在工业显示和实时监控等专业显示领域应用前景广泛，具有巨大的市场应用价值。
附图说明
图1为本发明系统的方框图；
图2为本发明实施例第一超高带宽视频信号处理模块的方框图；
图3为本发明实施例第二超高带宽视频信号处理模块的方框图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
由图1可知，本发明的一种48Gbsps的超高带宽视频编解码处理系统，包括依次连接的超高带宽视频信号输入接口模块、第一超高带宽视频信号处理模块、FPGA主处理模块、第二超高带宽视频信号处理模块、超高带宽视频信号输出接口模块，与FPGA主处理模块连接的数据存储模块，与各模块均连接的电源模块；
超高带宽视频信号输入接口模块接收第一超高带宽视频信号；第一超高带宽视频信号处理模块将接收到的第一超高带宽视频信号解码，然后输出到FPGA主处理模块；FPGA主处理模块实现对超高带宽视频信号输入输出以及超高带宽视频信号转换的控制；第二超高带宽视频信号处理模块将接收到的FPGA主处理模块输出的第二超高带宽视频信号编码，然后输出到超高带宽视频信号输出接口模块完成超高带宽视频信号的传输和处理；数据存储模块用于缓存超高带宽视频流数据和FPGA上电后运行的程序；电源模块实现对视频编解码处理系统的供电。
数据存储模块包括DDR存储模块和FLASH模块；所述DDR存储模块用于缓存超高带宽视频流数据实现数据处理；FLASH存储模块用于FPGA主处理模块中FPGA程序的存储，处理系统通过SPI接口实现上电后程序运行。
本实施例中，FPGA主处理模块为基于XILINX K7系列的FPGA芯片核心控制器模块以及搭载的控制器配置模块。此芯片作为一款高性能的现场可编程FPGA，通过灵活配置组合的可编程资源，用于实现输入输出接口信号处理，同时提供了丰富的专用时钟与布线资源，实现复杂、高速的数字逻辑电路。该模块包括16个高速GTX数据传输Serdes接口，单通道速率达12.5Gbps，适合超高带宽的数据信号的接收和发送，同时集成了串并转换模块，可以针对不同的输入信号进行解码和处理。该模块满足本文设计的超高带宽视频信号多缓存架构处理系统的功能需求。
超高带宽视频信号输入接口模块用来接收超高带宽视频信号并将超高带宽视频信号接入超高带宽视频处理模块进行解码处理。超高带宽视频信号输出接口模块用来传输经第二超高带宽视频信号处理模块编码处理过的超高带宽视频信号。
第一超高带宽视频信号处理模块为解码模块和第二超高带宽视频信号处理模块为超高带宽视频信号编码模块。对于所接入的超高带宽视频信号经过视频信号处理模块进行解码处理转换成视频数据流输入到FPGA主处理模块内部经过算法处理再次输出到超高带宽视频信号处理模块进行编码处理，同步在控制信号作用下经过超高带宽视频信号输出接口模块输出超高带宽视频信号。具体过程如下：第一超高带宽视频信号处理模块的解码为将输入的高带宽视频信号按照1:10解码比例格式解码成并行图像数据、并行时钟信号、行场同步信号和有效显示数据选通信号。第二超高带宽视频信号处理模块编码为解码逆过程，将并行图像数据和并行的时钟数据编码为并行信号，然后通过串化器按照10:1比例转化为差分串行数据和差分时钟信号。
数据存储模块包括DDR存储模块和FLASH存储模块。其中DDR存储模块用于缓存超高带宽视频流数据实现数据处理，本实施例中的DDR存储模块为DDR3或DDR4模块。以DDR3模块为例，内存空间大小共1GB，由于该模块采用了双倍数据速率的工作模式，当DDR3的运行时钟速率为800MHz时，DDR3的数据速率为1600MB/S，数据位宽为64bit,地址总线位宽为15位，数据带宽最高可达1600MHz*64bit，约为10.24GB/s,从而满足FPGA主处理器数据处理的缓存需求，用于存储超高带宽视频流数据毫无压力。FLASH存储模块用于FPGA主处理模块上FPGA程序的存储，FPGA主处理模块启动选择信号选择SPI串口通信方式，处理系统通过SPI接口加载程序实现上电后启动程序运行。
电源模块用来对整个系统进行供电，主要实现FPGA主处理模块中FPGA的高速GTX-接口、DDR模块、辅助AUX通道、普通I/O bank、FPGA核工作电压以及视频信号处理模块等外设模块供电。
本发明所述的一种48Gbsps的超高带宽视频编解码处理方法，包括以下步骤：
(1)通过超高带宽视频信号输入接口模块将超高带宽视频信号输入到第一超高带宽视频信号处理模块；
(2)第一超高带宽视频信号处理模块将接受超高带宽视频信号解码处理转换成视频数据流，并将解码后视频数据流输出至FPGA主处理模块；
(3)FPGA主处理模块控制解码后视频数据流输出到第二超高带宽视频信号处理模块；
(4)第二超高带宽视频信号处理模块将解码后视频数据流按照固定编码比例格式编码成特定格式的超高带宽视频信号；
(5)编码后的超高带宽视频信号输出到超高带宽视频信号输出接口模块完成超高带宽视频信号的传输和处理。
本实施例中，步骤(2)超高带宽视频信号输入解码过程中，主要在系统时钟的控制下，将通过超高带宽视频输入接口模块输出的超高带宽视频信号如HDMI2.1高速串行差分信号解码成并行图像数据以及并行时钟信号、行场同步信号和有效显示数据选通信号。
步骤(3)中，超高带宽视频信号输出编码过程为解码过程的逆向过程，主要将通过解码模块转换的并行图像数据和控制信号以及时钟信号经过超高带宽视频信号解码模块解码为高速串行差分信号以及差分时钟信号。
如图2所示，本实施例中实现的处理系统在HDMI2.1信号输入解码过程中，主要在系统时钟的控制下，将接收到的HDMI2.1串行TMDS电平数据信号解码成24bit RGB图像数据以及像素时钟信号pixelclk、行同步信号HS、场同步信号VS及有效显示数据选通信号DE。其中，输入的TMDS时钟信号通过时钟恢复模块产生148.5M的像素时钟Pixelclk和5倍像素时钟的串行时钟Serialclk。如图2所示，在HDMI2.1信号TMDS电平数据输出包括数据编码和并串转换两部分。
如图3所示，编码过程为解码过程的逆向过程，主要是将24位RGB图像像素数据和控制信号以及时钟信号通过编码器编码为40bit的并行信号，然后通过OSERDESE2串化器按照10:1方式转化为3对差分的TMDS串行数据信号和1对差分时钟信号。同时，并转串过程所生成的串行数据速率是实际像素时钟速率的10倍。由于采用DDR的模式，故采用5倍像素时钟Serialclk实现并行数据信号的串行化转换。
Claims (7)
1.一种48Gbsps超高带宽视频编解码处理系统，其特征在于，包括依次连接的超高带宽视频信号输入接口模块、第一超高带宽视频信号处理模块、FPGA主处理模块、第二超高带宽视频信号处理模块、超高带宽视频信号输出接口模块，与FPGA主处理模块连接的数据存储模块，与各模块均连接的电源模块；
所述超高带宽视频信号输入接口模块接收第一超高带宽视频信号；所述第一超高带宽视频信号处理模块将接收到的第一超高带宽视频信号解码，然后输出到FPGA主处理模块；所述FPGA主处理模块实现对超高带宽视频信号输入输出以及超高带宽视频信号转换的控制；所述第二超高带宽视频信号处理模块接受来自FPGA主处理模块输出的第二超高带宽视频信号并编码，然后输出到超高带宽视频信号输出接口模块完成超高带宽视频信号的传输和处理；
所述数据存储模块用于缓存超高带宽视频流数据和FPGA主处理模块上电后的程序；
所述电源模块实现对视频编解码处理系统供电。
2.根据权利要求1所述的48Gbsps超高带宽视频编解码处理系统，其特征在于：所述第一超高带宽视频信号处理模块的解码为将输入的第一高带宽视频信号按照固定解码比例格式解码成并行图像数据、并行时钟信号、行场同步信号和有效显示数据选通信号。
3.根据权利要求2所述的48Gbsps超高带宽视频编解码处理系统，其特征在于：所述第二超高带宽视频信号处理模块编码为解码逆过程，将并行图像数据和并行的时钟数据编码为并行信号，然后通过串化器按照给定比例转化为差分串行数据和差分时钟信号。
4.根据权利要求1所述的48Gbsps超高带宽视频编解码处理系统，其特征在于：所述数据存储模块包括DDR存储模块和FLASH模块；所述DDR存储模块用于缓存超高带宽视频流数据实现数据处理；FLASH存储模块用于FPGA主处理模块中FPGA程序的存储，处理系统通过SPI接口实现上电后程序运行。
5.一种48Gbsps超高带宽视频编解码处理方法，其特征在于：包括以下步骤：
(1)通过超高带宽视频信号输入接口模块将超高带宽视频信号输入到第一超高带宽视频信号处理模块；
(2)第一超高带宽视频信号处理模块将接收超高带宽视频信号解码处理转换成视频数据流，并将解码后视频数据流输出至FPGA主处理模块；
(3)FPGA主处理模块控制解码后视频数据流输出到第二超高带宽视频信号处理模块；
(4)第二超高带宽视频信号处理模块将解码后视频数据流按照固定编码比例格式编码成特定格式的超高带宽视频信号；
(5)编码后的超高带宽视频信号输出到超高带宽视频信号输出接口模块完成超高带宽视频信号的传输和处理。
6.根据权利要求5所述的48Gbsps超高带宽视频编解码处理方法，其特征在于：步骤(2)解码为将输入的高带宽视频信号按照固定解码比例格式解码成并行图像数据、并行时钟信号、行场同步信号和有效显示数据选通信号。
7.根据权利要求6所述的48Gbsps超高带宽视频编解码处理方法，其特征在于：步骤(4)编码为解码逆过程，将并行图像数据和并行的时钟数据编码为并行信号，然后通过串化器按照给定比例转化为差分串行数据和差分时钟信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111589112.1A CN114390237A (zh) | 2021-12-23 | 2021-12-23 | 一种48Gbsps超高带宽视频编解码处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111589112.1A CN114390237A (zh) | 2021-12-23 | 2021-12-23 | 一种48Gbsps超高带宽视频编解码处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114390237A true CN114390237A (zh) | 2022-04-22 |
Family
ID=81198345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111589112.1A Pending CN114390237A (zh) | 2021-12-23 | 2021-12-23 | 一种48Gbsps超高带宽视频编解码处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114390237A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954721A (zh) * | 2015-06-15 | 2015-09-30 | 中国航空无线电电子研究所 | 一种基于fpga的dvi视频接收解码方法 |
| CN204836400U (zh) * | 2015-07-21 | 2015-12-02 | 中国科学院西安光学精密机械研究所 | 一种嵌入式多功能的视频接口模块 |
| CN106060425A (zh) * | 2015-12-03 | 2016-10-26 | 大连科迪视频技术有限公司 | 一种基于fpga的串行视频信号时钟恢复系统及方法 |
| CN109413398A (zh) * | 2018-12-05 | 2019-03-01 | 中航光电科技股份有限公司 | 一种低延时分辨率自适应视频光纤传输编解码装置 |
| CN110740257A (zh) * | 2019-10-12 | 2020-01-31 | 南京理工大学 | 一种高速高清cmos成像系统及其成像方法 |
| CN111464773A (zh) * | 2020-04-08 | 2020-07-28 | 湖南泽天智航电子技术有限公司 | 一种多路视频显示方法及系统 |
| CN111526320A (zh) * | 2020-04-18 | 2020-08-11 | 华南理工大学 | 基于fpga的超高清视频的远距离传输系统 |
-
2021
- 2021-12-23 CN CN202111589112.1A patent/CN114390237A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954721A (zh) * | 2015-06-15 | 2015-09-30 | 中国航空无线电电子研究所 | 一种基于fpga的dvi视频接收解码方法 |
| CN204836400U (zh) * | 2015-07-21 | 2015-12-02 | 中国科学院西安光学精密机械研究所 | 一种嵌入式多功能的视频接口模块 |
| CN106060425A (zh) * | 2015-12-03 | 2016-10-26 | 大连科迪视频技术有限公司 | 一种基于fpga的串行视频信号时钟恢复系统及方法 |
| CN109413398A (zh) * | 2018-12-05 | 2019-03-01 | 中航光电科技股份有限公司 | 一种低延时分辨率自适应视频光纤传输编解码装置 |
| CN110740257A (zh) * | 2019-10-12 | 2020-01-31 | 南京理工大学 | 一种高速高清cmos成像系统及其成像方法 |
| CN111464773A (zh) * | 2020-04-08 | 2020-07-28 | 湖南泽天智航电子技术有限公司 | 一种多路视频显示方法及系统 |
| CN111526320A (zh) * | 2020-04-18 | 2020-08-11 | 华南理工大学 | 基于fpga的超高清视频的远距离传输系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105208342B (zh) | 一种双路视频压缩存储及网络切换传输电路 | |
| CN111147828A (zh) | 一种低延时视频光纤传输装置 | |
| CN111601078A (zh) | 一种视频数据对地直传的星载视频压缩系统及方法 | |
| CN104717466A (zh) | 一种基于fpga的hd-sdi视频处理板 | |
| CN107566770B (zh) | 基于PCIe和HDMI的PG信号传输控制装置和方法 | |
| CN114390237A (zh) | 一种48Gbsps超高带宽视频编解码处理系统及方法 | |
| CN111930663B (zh) | 一种带有超高速接口手机oled屏幕缓存芯片 | |
| CN108134912B (zh) | 一种视频流转换方法 | |
| CN107707829B (zh) | 一种基于fpga实现的多接口智能sdi视频转换盒 | |
| CN113986192A (zh) | 一种CoaXPress接口数据和Cameralink接口数据互相转换的方法 | |
| CN106878650B (zh) | 一种dvi到vga视频转换装置及其方法 | |
| CN113301290A (zh) | 视频数据处理方法及视频会议终端 | |
| WO2017113560A1 (zh) | 一种显示控制电路及显示装置 | |
| CN205657809U (zh) | 多信源多模式下高速视频无线同步显示装置 | |
| CN105304001B (zh) | 一种基于serdes的信号扩展盒 | |
| CN204031327U (zh) | 基于DisplayPort实现电视墙拼接的控制装置 | |
| US10602170B2 (en) | Signal extension method and system | |
| CN111050173A (zh) | 显示设备的显示接口及降低其功耗的方法以及编码器 | |
| CN115866168A (zh) | 一种视频分辨率格式无关的数字视频切换系统 | |
| CN112153355B (zh) | 一种基于fpga的数字图像像素转换系统及方法 | |
| CN205212951U (zh) | 一种4k显示器一屏多显的装置 | |
| CN210428420U (zh) | 无帧缓存的显示适配装置 | |
| CN113660493A (zh) | 一种实时多路h.265视频实时解压显示的方法 | |
| WO2017113466A1 (zh) | 显示控制电路及显示设备 | |
| CN203206392U (zh) | 高清视频信号处理电路结构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |