CN103475894B - 一种3d腹腔镜视频处理方法 - Google Patents
一种3d腹腔镜视频处理方法 Download PDFInfo
- Publication number
- CN103475894B CN103475894B CN201310449213.8A CN201310449213A CN103475894B CN 103475894 B CN103475894 B CN 103475894B CN 201310449213 A CN201310449213 A CN 201310449213A CN 103475894 B CN103475894 B CN 103475894B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- signal
- view data
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000012545 processing Methods 0.000 title claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 80
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000012805 post-processing Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 238000009877 rendering Methods 0.000 claims description 8
- 238000005538 encapsulation Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical group C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 206010045178 Tunnel vision Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种3D腹腔镜视频处理方法，该法首先由两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号，然后对数字信号进行数据同步处理和数据矫正处理等图像预处理，图像缓存处理后，进一步进行颜色空间转换处理、查色表处理和空间匹配处理等图像后处理，进行3D格式数据转换处理后对3D格式图像数据进行显示；通过本发明，可以实现3D模式下的720p的高清成像；基于FPGA实现的图像预处理和图像后处理可以有效地实现对原始图像数据时间和空间的匹配处理，保证了图像的稳定性和可调性；图像缓存处理可以缓存大批量图像数据，保证实时性。
Description
技术领域
本发明涉及一种视频处理方法，尤其涉及一种3D腹腔镜视频处理方法。
背景技术
相比较传统的二维成像，三维成像能够显示深度信息，因而更能全方位的认识事物的形状与运动状态。电影《阿凡达》的成功就是首次将三维成像技术引入到影视业。将三维成像技术引入到腹腔镜成像系统中，可以使医生获得清晰、立体感强的真实视觉影像，大大提高腹腔镜手术的效率和成功率。
国外最新的三维腹腔镜系统在实现三维立体成像的同时，图像分辨率上达到百万像素以上，为720p甚至是1080i高清成像。
由于没有掌握关键的高分辨率微型图像传感器及其三维成像技术，加上研发投入不足，我国在高端三维腹腔镜领域的研发与应用，特别是采用最新技术的新产品研发，目前尚未看到报道。
发明内容
本发明的目的在于针对现有技术的不足，提供一种3D腹腔镜视频处理方法。本方法可以实现3D模式下720p的高清成像。
本发明的目的是通过以下技术方案来实现的：一种3D腹腔镜视频处理方法，该方法在3D腹腔镜视频处理系统上实现，所述系统包括图像采集模块、图像综合处理模块和3D图像显示模块，图像采集模块包括两个图像传感器，图像综合处理模块由FPGA和存储器相连组成，3D图像显示模块由HDMI发送器和3D显示器相连组成，两个图像传感器和HDMI发送器均与FPGA相连；该方法包括以下步骤：
（1）图像采集：两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号。所述数字信号包括原始图像数据和行信号、场信号等相关控制信号；
（2）对步骤1得到的数字信号进行图像预处理：图像预处理分为数据同步处理和数据矫正处理，所述数据同步处理用同一个时钟实现两路图像数据时间轴上的一致，通过行信号和场信号修正2路原始图像数据的偏差不超过一个时钟，保证了2路图像数据时间上的同步；所述数据矫正处理实现数据位宽度调整和/或数据位序调整，采用并行数据位宽调整法实现，通过对同一时间轴上的图像数据的合并，使已经同步的图像数据可以同步地被缓存处理，避免因数据传输引起的2路像素时间偏差，同时减小了数据传输带宽；
（3）对步骤2处理后的图像数据进行图像缓存处理；
（4）对步骤3缓存处理后的图像数据进一步进行图像后处理：所述图像后处理过程包括颜色空间转换处理、查色表处理和空间匹配处理；所述颜色空间转换处理将缓存处理之后的2路图像数据由原来图像传感器的数据格式转变为可以被3D显示器接收的数据格式，图像传感器产生的原始图像数据格式为Raw RGB，3D显示器可以接收的格式有两种：RGB格式和YUV格式，可以采用Bayer转换将Raw RGB格式转换为RGB格式，采用RGB-YUV转换将RGB格式转换为YUV格式；所述查色表处理实现图像数据RGB分量的调整，它通过双口RAM实现，一个端口用来缓存数据流，另一个端口用来修改数据流的RGB分量值；所述空间匹配处理通过改变图像数据在存储器中的初始存储地址实现图像数据的位移，初始存储地址变大时，对应通道的2D视频画面往右和往下移动；初始存储地址减小时，对应通道的2D视频画面往左和往上移动，空间匹配处理实现了2路视频信号空间上的同步；
（5）对步骤4处理后的图像数据进行3D格式数据转换处理：3D格式数据转换处理分为3D时序生成和3D格式封装2个步骤；所述3D时序生成处理为根据HDMI1.4标准生成控制时序，所述控制时序包括行场同步信号和数据使能信号；所述3D格式封装处理为将接收到的2路图像数据封装成1路3D格式的数据；
（6）对步骤5处理后的3D格式图像数据进行显示：由HDMI发送器接收3D格式数据转换处理后的3D时序和3D数据格式，将其转换为TMDS信号并经过HDMI线缆传输至3D显示器中进行显示。
本发明的有益效果是，通过本发明，可以实现3D模式下的720p的高清成像。基于FPGA实现的图像预处理和图像后处理可以有效地实现对原始图像数据时间和空间的匹配处理，保证了图像的稳定性和可调性；图像缓存处理可以缓存大批量图像数据，保证实时性。3D图像显示模块可以实现高清的3D图像显示。本发明解决了国内市场上三维腹腔镜视频处理方法的空白。鉴于FPGA开发平台的灵活性和通用性，本发明也可以被应用到其他领域。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的视频图像处理框架图；
图2是本发明的视频图像处理方法流程图；
图3是本发明的图像预处理框图；
图4是本发明的图像缓存处理框图；
图5是本发明的图像后处理框图；
图6是3D格式数据转换框图；
图7是3D数据的2种格式图。
具体实施方式
本发明提供一种3D腹腔镜视频处理方法。该3D腹腔镜视频处理方法在3D腹腔镜视频处理系统上实现。如图1所示，该系统包括图像采集模块、图像综合处理模块和3D图像显示模块，图像采集模块包括两个图像传感器，图像综合处理模块由FPGA（field-programmable gate array）和存储器相连组成，3D图像显示模块由HDMI（High Definition Multimedia Interface）发送器和3D显示器相连组成，两个图像传感器和HDMI发送器均与FPGA相连。
如图2所示，本发明的3D腹腔镜视频处理方法包括以下步骤：
步骤1：图像采集。两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号。所述数字信号包括原始图像数据和行信号、场信号等相关控制信号。所述补偿算法可以采用最近邻域插值补偿算法。检错算法可以采用CRC校验实现。
步骤2：对步骤1得到的数字信号进行图像预处理。如图3所示，图像预处理分为数据同步处理和数据矫正处理。数据同步处理用同一个时钟实现两路图像数据时间轴上的一致。通过行信号和场信号修正2路原始图像数据的偏差不超过一个时钟，保证了2路图像数据时间上的同步。
数据矫正处理实现数据位宽度调整，采用并行数据位宽调整法实现。通过对同一时间轴上的图像数据的合并，使已经同步的图像数据可以同步地被缓存处理，避免因数据传输引起的2路像素时间偏差，同时减小了数据传输带宽。
步骤3：对步骤2处理后的图像数据进行图像缓存处理。如图4所示，图像缓存处理流程主要由FPGA的第一fifo模块（first in first out）、第二fifo模块、存储器分时控制器和fifo控制器与存储器实现。
图像传感器像素时钟、存储器的读写时钟和HDMI接口的像素时钟均不一样。第一fifo模块和第二fifo模块完成不同时钟域的数据流速率匹配。FPGA生成fifo控制器完成对他们的逻辑控制。fifo控制器控制第一fifo模块，使图像数据以流式数据的形式从第一fifo模块顺序地存进存储器中和从存储器顺序地存进第二fifo模块。鉴于存储器的读写地址复用，采用分时控制方法。由FPGA生成存储器分时控制器。存储器分时控制器由读控制器和写控制器组成。读控制器分为读地址生成和读控制信号生成。写控制器分为写地址生成和写控制信号生成。存储器接收存储器分时控制器的相关控制信号实现读写切换操作，完成图像数据的高速缓存。
步骤4：对步骤3缓存处理后的图像数据进一步进行图像后处理。如图5所示，图像后处理过程包括颜色空间转换处理、查色表处理和空间匹配处理。
将缓存处理之后的2路图像数据进行颜色空间转换，由原来图像传感器的数据格式转变为可以被3D显示器接收的数据格式。图像传感器产生的原始图像数据格式为Raw RGB，3D显示器可以接收的格式有两种：RGB格式和YUV格式，可以采用Bayer转换将Raw RGB格式转换为RGB格式，采用RGB-YUV转换将RGB格式转换为YUV格式。
查色表处理实现图像数据RGB分量的调整。它通过双口RAM实现，一个端口用来缓存数据流，另一个端口用来修改数据流的RGB分量值。双口RAM的结构可以在不影响正常显示的情况下实时地对当前图像进行分量调整。
当2路图像数据由于光学系统和工程安装造成的2路图像的空间偏差时，可由空间匹配处理完成进一步矫正。空间匹配处理通过改变图像数据在存储器中的初始存储地址实现图像数据的位移。初始存储地址变大时，图像数据往右和往下移动；初始存储地址减小时，图像数据往左和往上移动。空间匹配处理实现了2路图像数据空间上的同步。
步骤5：对步骤4处理后的图像数据进行3D格式数据转换处理。如图6所示，3D格式数据转换处理分为3D时序生成和3D格式封装2个步骤。3D时序生成处理根据HDMI1.4标准生成控制时序，所述控制时序包括行场同步信号和数据使能信号。3D格式封装处理将接收到的2路图像数据封装成1路3D格式的数据。常见的3D数据的格式分为上下格式、左右格式、帧顺序格式和帧封装格式。鉴于对高分辨率的要求，我们采用帧顺序和帧封装格式，如图7所示。标准的720p（60Hz）的2D视频格式如下：行消隐为370个像素，行有效为1280个像素；场消隐为30行，场有效为720行，频率为60Hz。
帧顺序是3D格式中最简单的格式。帧顺序格式的封装方法是将左右2路数据分成奇偶帧：奇数帧 1、3、5、7帧……传输左路图像数据；偶数帧 2、4、6、8帧……传输右路图像数据。行场同步信号的长度不变，通过提高帧频实现，即由原先的一路60Hz变为120Hz，等效为2路60Hz。
帧封装是HDMI1.4标准的默认格式，帧封装格式的封装方法是将左右2路数据组装在一个场信号中，行信号长度不变。场信号长度由原来的750行（720行有效+30行消隐）变成1500行（1470行有效+30行消隐）。
步骤6：对步骤5处理后的3D格式图像数据进行显示。由HDMI发送器接收3D格式数据转换处理后的3D时序和3D数据格式，将其转换为TMDS（Transition-minimized differential signaling）信号并经过HDMI线缆传输至3D显示器。
从以上的实施例描述中可以看出，本发明实现了如下技术效果：2路图像传感器产生的图像数据流经过图像预处理、图像缓存处理、图像后处理和3D格式数据转换处理，由HDMI发送器接收并转换成TMDS信号传输至3D显示器实现3D成像（3D模式下720p）。其中图像预处理实现了2路图像在时间上的匹配；图像缓存处理实现了大批量数据的缓存。图像后处理实现了2路图像在空间上的匹配。3D格式数据转换处理完成了2D数据到3D数据的格式转换。
本发明的优点是多方面的：首先采用图像算法的多级处理可以有效地实现图像的细微调整。其次采用基于FPGA的图像处理方法可以灵活地实现图像算法，具有很强的通用性和实时性。最后通过改进相关的图像处理算法可以得到更好的3D显示效果。
以上描述了本发明的基本原理和主要性能特征。本行业的技术人员应该了解，本发明还会有各种变化和改进，这些变化和改进都将被包含在本发明的保护范围之内。
Claims (1)
1.一种3D腹腔镜视频处理方法，其特征在于，该方法在3D腹腔镜视频处理系统上实现，所述系统包括图像采集模块、图像综合处理模块和3D图像显示模块，图像采集模块包括两个图像传感器，图像综合处理模块由FPGA和存储器相连组成，3D图像显示模块由HDMI发送器和3D显示器相连组成，两个图像传感器和HDMI发送器均与FPGA相连；该方法包括以下步骤：
（1）图像采集：两个图像传感器分别采集光信号，将光信号转换为电信号，电信号经AD转换、补偿算法、检错算法修正之后转换为数字信号；所述数字信号包括原始图像数据和行信号、场信号；
（2）对步骤（1）得到的数字信号进行图像预处理：图像预处理分为数据同步处理和数据矫正处理，所述数据同步处理用同一个时钟实现两路图像数据时间轴上的一致，通过行信号和场信号修正2路原始图像数据的偏差不超过一个时钟，保证了2路图像数据时间上的同步；所述数据矫正处理实现数据位宽度调整，采用并行数据位宽调整法实现，通过对同一时间轴上的图像数据的合并，使已经同步的图像数据同步地被缓存处理，避免因数据传输引起的2路像素时间偏差，同时减小了数据传输带宽；
（3）对步骤（2）处理后的图像数据进行图像缓存处理；
（4）对步骤（3）缓存处理后的图像数据进一步进行图像后处理：所述图像后处理过程包括颜色空间转换处理、查色表处理和空间匹配处理；所述颜色空间转换处理将缓存处理之后的2路图像数据由原来图像传感器的数据格式转变为被3D显示器接收的数据格式，图像传感器产生的原始图像数据格式为Raw RGB，3D显示器接收的格式有两种：RGB格式和YUV格式，采用Bayer转换将Raw RGB格式转换为RGB格式，采用RGB-YUV转换将RGB格式转换为YUV格式；所述查色表处理实现图像数据RGB分量的调整，它通过双口RAM实现，一个端口用来缓存数据流，另一个端口用来修改数据流的RGB分量值；所述空间匹配处理通过改变图像数据在存储器中的初始存储地址实现图像数据的位移，初始存储地址变大时，视频画面往右和往下移动；初始存储地址减小时，视频画面往左和往上移动，空间匹配处理实现了2路图像数据空间上的同步；
（5）对步骤（4）处理后的图像数据进行3D格式数据转换处理：3D格式数据转换处理分为3D时序生成和3D格式封装2个步骤；所述3D时序生成处理为根据HDMI1.4标准生成控制时序，所述控制时序包括行场同步信号和数据使能信号；所述3D格式封装处理为将接收到的2路图像数据封装成1路3D格式的数据；
（6）对步骤（5）处理后的3D格式图像数据输出显示：由HDMI发送器接收3D格式数据转换处理后的3D时序和3D数据格式，将其转换为TMDS信号并经过HDMI线缆传输至3D显示器中进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310449213.8A CN103475894B (zh) | 2013-09-27 | 2013-09-27 | 一种3d腹腔镜视频处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310449213.8A CN103475894B (zh) | 2013-09-27 | 2013-09-27 | 一种3d腹腔镜视频处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103475894A CN103475894A (zh) | 2013-12-25 |
| CN103475894B true CN103475894B (zh) | 2015-11-04 |
Family
ID=49800571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310449213.8A Active CN103475894B (zh) | 2013-09-27 | 2013-09-27 | 一种3d腹腔镜视频处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103475894B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107147893A (zh) * | 2016-03-01 | 2017-09-08 | 深圳市晨歌电子有限公司 | 一种采用一个处理通道的立体摄像机 |
| JP6925143B2 (ja) * | 2017-03-07 | 2021-08-25 | 東京エレクトロン株式会社 | 液滴吐出装置、液滴吐出方法、プログラム及びコンピュータ記憶媒体 |
| CN109151275B (zh) * | 2018-08-29 | 2021-03-09 | 合肥工业大学 | 具有实时腔镜视像增强处理功能的智能边缘计算系统 |
| CN109963083B (zh) * | 2019-04-10 | 2021-09-24 | Oppo广东移动通信有限公司 | 图像处理器、图像处理方法、拍摄装置和电子设备 |
| KR102134273B1 (ko) * | 2019-06-11 | 2020-07-15 | 세메스 주식회사 | 잉크젯 프린팅 시스템 |
| CN111182252A (zh) * | 2019-12-31 | 2020-05-19 | 浙江华诺康科技有限公司 | 影像类医疗器械系统及图像传输方法 |
| CN116506560B (zh) * | 2023-06-27 | 2023-09-29 | 天津开发区中环系统电子工程股份有限公司 | 一种视频图像实时采集系统及采集方法 |
| CN117395385B (zh) * | 2023-12-11 | 2024-04-26 | 深圳市博盛医疗科技有限公司 | 3d腹腔镜的采集图像处理方法、装置、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1894618A (zh) * | 2003-12-19 | 2007-01-10 | 恩里克·德·方特－里奥克斯－罗雅斯 | 用于立体观察实时或静态图像的系统 |
| CN102740093A (zh) * | 2011-03-31 | 2012-10-17 | 瑞昱半导体股份有限公司 | 将2d图像转换为3d图像的装置与方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110018696A (ko) * | 2009-08-18 | 2011-02-24 | 주식회사 이턴 | 입체 영상 처리 장치 및 방법 |
-
2013
- 2013-09-27 CN CN201310449213.8A patent/CN103475894B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1894618A (zh) * | 2003-12-19 | 2007-01-10 | 恩里克·德·方特－里奥克斯－罗雅斯 | 用于立体观察实时或静态图像的系统 |
| CN102740093A (zh) * | 2011-03-31 | 2012-10-17 | 瑞昱半导体股份有限公司 | 将2d图像转换为3d图像的装置与方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于TMS320DM642的立体视频系统研究与设计;范海金;《CNKI》;20120315;3.3 * |
| 基于图像处理的三维工业内窥镜研究;杨东林等;《仪器仪表学报》;20090630;第30卷(第6期);参见2.3，图4，4.1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103475894A (zh) | 2013-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103475894B (zh) | 一种3d腹腔镜视频处理方法 | |
| US10097803B2 (en) | Display processing apparatus, device and method | |
| US20130050423A1 (en) | Method and system for response time compensation for 3d video processing | |
| CN103347163A (zh) | 一种超高清视频图像处理和传送的系统及其方法 | |
| CN103957374A (zh) | 一种基于dp接口的8k超高清显示系统 | |
| CN108616717B (zh) | 一种实时全景视频拼接显示装置及其方法 | |
| CN102572398B (zh) | 多路视频处理装置、系统及方法 | |
| CN103248797A (zh) | 一种基于fpga的视频分辨率增强方法及模块 | |
| CN106603953A (zh) | 一种hdmi接口转化成mipi接口的视频显示方法及系统 | |
| CN109495707A (zh) | 一种高速视频采集传输系统及方法 | |
| CN204206361U (zh) | 一种具有3d投影显示的芯片 | |
| CN113573111A (zh) | 一种8k超高清视频转换点屏系统及点屏方法 | |
| CN103051866B (zh) | 网络3d 视频监控系统、方法和视频处理平台 | |
| CN101742315B (zh) | 全高清3d视频信号转换系统 | |
| CN102469324A (zh) | 立体影像撷取装置以及其控制芯片 | |
| CN106534839A (zh) | 一种高清摄像头视频处理系统及方法 | |
| US20120163700A1 (en) | Image processing device and image processing method | |
| CN103702073A (zh) | 一拖多个成像传感器同步成像的一体化相机电路 | |
| CN102611900A (zh) | 同屏幕双3d显示实现方法 | |
| CN113452943A (zh) | 一种基于fpga的全景高清视频采集处理设备 | |
| CN101227598B (zh) | 高清晰视频监控系统 | |
| CN203722737U (zh) | 一拖多个成像传感器同步成像的一体化相机电路 | |
| CN112653860A (zh) | 一种基于HDMI接口的CameraLink信号源数据处理方法 | |
| CN105227946A (zh) | 3d视频制作装置及分解装置 | |
| CN201185457Y (zh) | 高清晰视频监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |