CN112637602B - 一种jpeg接口及数字图像处理系统 - Google Patents
一种jpeg接口及数字图像处理系统 Download PDFInfo
- Publication number
- CN112637602B CN112637602B CN202011434870.1A CN202011434870A CN112637602B CN 112637602 B CN112637602 B CN 112637602B CN 202011434870 A CN202011434870 A CN 202011434870A CN 112637602 B CN112637602 B CN 112637602B
- Authority
- CN
- China
- Prior art keywords
- image data
- compressed
- control module
- main control
- jpeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000007906 compression Methods 0.000 claims abstract description 25
- 230000006835 compression Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000013500 data storage Methods 0.000 abstract description 4
- 238000013144 data compression Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
Abstract
本申请公开了一种JPEG接口及数字图像处理系统，该JPEG接口包括JPEG压缩模块，用于对图像进行压缩，还包括主控模块，可实现接口数据转换等数据处理操作，同时将处理后的图像数据存储在存储队列中，保证了图像数据的完整性，提高数字图像处理系统的可靠性，本申请提供的JPEG接口可实现图像数据压缩所需的各个功能，因此，将其应用在数字图像处理系统中时，不需要在设计辅助模块，实现简单，同时AXI能够时片上系统以更小的面积、更低的功耗，获得更加优异的性能。
Description
技术领域
本申请涉及图像处理领域，特别涉及一种JPEG接口及数字图像处理系统。
背景技术
随着互联网多媒体技术的不断发展，数字图像信息图变得越来越重要，因其数据量大，像压缩技术成为不可或缺的一部分，如常用的有JPEG(Joint Photographic ExpertsGroup，联合图像专家小组提出的一种图像压缩标准)压缩、小波变换压缩和分形压缩。很多厂商提供的JPEG IP，需要自行添加辅助模块(如接口转换模块等)后才能在数字图像处理系统中正常使用，操作复杂。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种JPEG接口及数字图像处理系统，该基于AXI设计的JPEG接口应用在数字图像处理系统中时，不需要在设计辅助模块，实现简单，性能优异。
为解决上述技术问题，本申请提供了一种JPEG接口，应用于数字图像处理系统，所述数字图像处理系统包括DDR，该JPEG接口包括：
通过AXI总线与所述DDR连接的主控模块，用于接收控制信号，根据所述控制信号从所述DDR中读取待压缩的图像数据，并将所述待压缩的图像数据写入第一存储队列；所述主控模块还用于从第二存储队列中获取压缩后的图像数据，并将所述压缩后的图像数据写入到所述DDR中；
图像压缩模块，用于读取所述第一存储队列中的所述待压缩的图像数据，对所述待压缩的图像数据执行压缩操作得到所述压缩后的图像数据，并将所述压缩后的图像数据写入所述第二存储队列；
所述第一存储队列，用于存储所述待压缩的图像数据；
所述第二存储队列，用于存储所述压缩后的图像数据。
优选的，该JPEG接口还包括：
监控模块，用于根据系统配置信息生成所述控制信号。
优选的，所述监控模块还用于：
获取所述主控模块的工作状态信息。
优选的，所述将所述待压缩的图像数据写入第一存储队列的过程具体包括：
将当前帧的待压缩的图像数据写入所述第一存储队列，将与当前帧间隔预设帧的帧作为当前帧，重复本步骤。
优选的，所述主控模块还用于：
当将当前帧的待压缩的图像数据写入所述第一存储队列之后，生成中断信号。
优选的，所述主控模块还用于：
根据帧头标志位和帧尾标志位判断当前帧的所述压缩后的图像数据是否完整；
若否，将当前帧的压缩后的图像数据丢弃。
优选的，所述主控模块，还用于：
当将当前帧的所述压缩后的图像数据写入到所述DDR之后，生成中断信号。
优选的，所述主控模块，还用于：
将当前帧的压缩后的图像数据丢弃之后，生成新地址，将下一完整帧的压缩后的图像数据按所述新地址写入所述DDR。
优选的，所述第一存储队列为第一FIFO存储队列，所述第二存储队列为第二FIFO存储队列。
为解决上述技术问题，本申请还提供了一种数字图像处理系统，包括如上文任意一项所述的JPEG接口。
本申请提供了一种JPEG接口，该JPEG接口包括JPEG压缩模块，用于对图像进行压缩，还包括主控模块，可实现接口数据转换等数据处理操作，同时将处理后的图像数据存储在存储队列中，保证了图像数据的完整性，提高数字图像处理系统的可靠性，本申请提供的JPEG接口可实现图像数据压缩所需的各个功能，因此，将其应用在数字图像处理系统中时，不需要在设计辅助模块，实现简单，同时AXI能够时片上系统以更小的面积、更低的功耗，获得更加优异的性能。本申请还提供了一种数字图像处理系统，具有和上述JPEG接口相同的效果。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种JPEG接口的结构示意图；
图2为本申请所提供的另一种JPEG接口的结构示意图。
具体实施方式
本申请的核心是提供一种JPEG接口及数字图像处理系统，该基于AXI设计的JPEG接口应用在数字图像处理系统中时，不需要在设计辅助模块，实现简单，性能优异。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1为本申请所提供的一种JPEG接口的结构示意图，该JPEG接口包括：
通过AXI(Advanced eXtensible Interface，总线协议)总线与DDR连接的主控模块1，用于接收控制信号，根据控制信号从DDR中读取待压缩的图像数据，并将待压缩的图像数据写入第一存储队列3；主控模块1还用于从第二存储队列4中获取压缩后的图像数据，并将压缩后的图像数据写入到DDR中；
图像压缩模块2，用于读取第一存储队列3中的待压缩的图像数据，对待压缩的图像数据执行压缩操作得到压缩后的图像数据，并将压缩后的图像数据写入第二存储队列4；
第一存储队列3，用于存储待压缩的图像数据；
第二存储队列4，用于存储压缩后的图像数据。
首先需要说明的是，本实施例所提供的JPEG接口应用于数字图像处理系统，数字图像处理系统还包括VGA(Video Graphics Array，视频图形阵列)、DDR(Double DataRate，双倍速率同步动态随机存储器)等，JPEG接口通过AXI总线与DDR连接，AXI是AMBA(Advanced Microcontroller Bus Architecture，先进微控制器总线体系结构)中一个新的高性能协议，是一种面向高性能、高带宽、低延迟的片内总线，它是单向通道体系结构，支持多项数据交换，具有独立的地址和数据通道，增强灵活性，AXI技术丰富了现有的AMBA标准内容，满足超高性能和复杂的片上系统设计的需求，它能够使片上系统以更小的面积、更低的功耗，获得更加优异的性能。
具体的，VGA获取到图像数据后，会按帧将图像数据写入到DDR中的指定位置，JPEG接口中的主控模块1会根据接收到的控制信号，从DDR的指定位置按帧读取待压缩的图像数据，然后将每帧待压缩的图像数据依次写入到第一存储队列3中，供后续模块使用。
相应的，图像压缩模块2从第一存储队列3中按帧获取待压缩的图像数据，对每帧待压缩的图像数据进行压缩处理，得到压缩结果，即压缩后的图像数据，将压缩结果按帧写入到第二存储队列4中，主控模块1从第二存储队列4中读取压缩后的图像数据，并将压缩后的图像数据通过AXI总线写入到DDR中。
作为一种优选的实施例，主控模块1首先判断第二存储队列4中是否为空，来控制对第二存储队列4中的图像数据地读取，若不为空，则开始读取第二存储队列4中存储的压缩后的图像数据，并向AXI总线发送写请求。
本申请提供了一种JPEG接口，该JPEG接口包括JPEG压缩模块，用于对图像进行压缩，还包括主控模块，可实现接口数据转换等数据处理操作，同时将处理后的图像数据存储在存储队列中，保证了图像数据的完整性，提高数字图像处理系统的可靠性，本申请提供的JPEG接口可实现图像数据压缩所需的各个功能，因此，将其应用在数字图像处理系统中时，不需要在设计辅助模块，实现简单，同时AXI能够时片上系统以更小的面积、更低的功耗，获得更加优异的性能。本申请还提供了一种数字图像处理系统，具有和上述JPEG接口相同的效果。
在上述实施例的基础上：
作为一种优选的实施例，该JPEG接口还包括：
监控模块，用于根据系统配置信息生成控制信号。
具体的，系统配置信息具体可以包括图像数据存储地址、图像数据大小、压缩模式、分辨率等。
作为一种优选的实施例，监控模块还用于：
获取主控模块1的工作状态信息。
具体的，监控模块包括输入控制模块5和输出控制模块6，输入控制模块5用于根据系统配置信息生成控制信号，输出控制信号用于获取主控模块1的工作状态，主控模块1的工作状态信息包括工作状态和空闲状态，工作状态包括读状态或写状态，以便图像数据处理系统根据主控模块1的工作状态执行对应的操作。
作为一种优选的实施例，将待压缩的图像数据写入第一存储队列3的过程具体包括：
将当前帧的待压缩的图像数据写入第一存储队列3，将与当前帧间隔预设帧的帧作为当前帧，重复本步骤。
具体的，本申请还设计了丢帧机制，节约了传输带宽，具体的可以根据配置，将读取的DDR中的图像数据，每间隔一帧，丢掉一帧，即读取DDR中的图像数据，但不向存储队列中写入该帧图像数据，以提高传输速度。这里的预设帧根据配置选择，以不影响用户查看即可。
作为一种优选的实施例，主控模块1还用于：
当将当前帧的待压缩的图像数据写入第一存储队列3之后，生成中断信号。
具体的，这里的中断信号可以用于提示主控模块1是否完成当前帧的操作，以便根据其完成状态，使主控模块1完成其他操作。
作为一种优选的实施例，主控模块1还用于：
根据帧头标志位和帧尾标志位判断当前帧的压缩后的图像数据是否完整；
若否，将当前帧的压缩后的图像数据丢弃。
具体的，通过帧头帧尾标志判断写入的压缩结果是否为完整的一帧，若不为完整的一帧，则丢弃该帧的压缩结果。作为一种优选的实施例，本实施例还记录写入DDR中每一帧图像的位置、大小以及总的压缩帧数和总的压缩数据量，以便后续分析。
作为一种优选的实施例，主控模块1，还用于：
当将当前帧的压缩后的图像数据写入到DDR之后，生成中断信号。
具体的，这里的中断信号可以用于提示主控模块1是否完成当前帧的操作，以便根据其完成状态，使主控模块1完成其他操作。
作为一种优选的实施例，主控模块1，还用于：
将当前帧的压缩后的图像数据丢弃之后，生成新地址，将下一完整帧的压缩后的图像数据按新地址写入DDR。
具体的，若压缩结果不准确，则将该压缩结果丢弃，此时生成新地址，以便根据新地址写入DDR，提高写操作的准确性。
作为一种优选的实施例，第一存储队列3为第一FIFO存储队列，第二存储队列4为第二FIFO存储队列。
下面对主控模块1内的各个功能模块进行说明，请参照图2，图2为本申请所提供的一种JPEG的结构示意图，该主控模块1包括读控制模块、读地址通道模块、读数据控制模块、读数据通道模块、写控制模块、写地址通道模块、写数据控制模块、写数据通道模块，监控模块包括输入控制模块5和输出控制模块6，输入控制模块5根据系统配置信息，产生控制信号传给主控模块1，以使主控模块1通过AXI总线从DDR的预设位置中读取待压缩的图像数据；输出控制模块6根据系统配置信息，产生控制信号传给主控模块1，控制其通过AXI总线向DDR中写入压缩后的图像数据，同时获取主控模块1的工作状态信息，传输给系统。
具体的，读地址通道模块和读数据通道模块根据AXI协议，产生AXI读通道的AXI协议信号；读控制模块则根据获取到的系统配置信息，从而产生AXI读通道的地址，其中包括读数据的首地址和空间大小；读数据控制模块则将AXI总线上的数据读出，然后写入到第一存储队列3中，同时，该模块还负责丢帧机制的实现。
具体的，写地址通道模块和写数据通道模块根据AXI协议，产生AXI写通道的AXI协议信号，写控制模块则根据输出控制模块6的配置信息，产生AXI写通道的地址，其中包括写数据的首地址和空间大小，同时，该模块还负责丢帧时重新产生一个新地址等功能；写数据控制模块则将第二存储队列4中的数据读出，然后写入到AXI总线上去，同时，该模块还实现输出模块各种信息的搜集功能，比如输出帧头帧尾的判断、输出帧大小的计数、帧完整性判断、压缩帧数的计数等等。
另一方面，本申请还提供了一种数字图像处理系统，包括如上文任意一项的JPEG接口。
对于本申请所提供的一种数字图像处理系统的介绍请参照上述实施例，本申请在此不再赘述。
本申请所提供的一种数字图像处理系统具有和上述JPEG接口相同的有益效果。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种JPEG接口，其特征在于，应用于数字图像处理系统，所述数字图像处理系统包括DDR，该JPEG接口包括：
通过AXI总线与所述DDR连接的主控模块，用于接收控制信号，根据所述控制信号从所述DDR中读取待压缩的图像数据，并将所述待压缩的图像数据写入第一存储队列；所述主控模块还用于从第二存储队列中获取压缩后的图像数据，并将所述压缩后的图像数据写入到所述DDR中；
图像压缩模块，用于读取所述第一存储队列中的所述待压缩的图像数据，对所述待压缩的图像数据执行压缩操作得到所述压缩后的图像数据，并将所述压缩后的图像数据写入所述第二存储队列；
所述第一存储队列，用于存储所述待压缩的图像数据；
所述第二存储队列，用于存储所述压缩后的图像数据。
2.根据权利要求1所述的JPEG接口，其特征在于，该JPEG接口还包括：
监控模块，用于根据系统配置信息生成所述控制信号。
3.根据权利要求2所述的JPEG接口，其特征在于，所述监控模块还用于：
获取所述主控模块的工作状态信息。
4.根据权利要求1所述的JPEG接口，其特征在于，所述将所述待压缩的图像数据写入第一存储队列的过程具体包括：
将当前帧的待压缩的图像数据写入所述第一存储队列，将与当前帧间隔预设帧的帧作为当前帧，重复本步骤。
5.根据权利要求1所述的JPEG接口，其特征在于，所述主控模块还用于：
当将当前帧的待压缩的图像数据写入所述第一存储队列之后，生成中断信号。
6.根据权利要求1所述的JPEG接口，其特征在于，所述主控模块还用于：
根据帧头标志位和帧尾标志位判断当前帧的所述压缩后的图像数据是否完整；
若否，将当前帧的压缩后的图像数据丢弃。
7.根据权利要求1所述的JPEG接口，其特征在于，所述主控模块，还用于：
当将当前帧的所述压缩后的图像数据写入到所述DDR之后，生成中断信号。
8.根据权利要求1所述的JPEG接口，其特征在于，所述主控模块，还用于：
将当前帧的压缩后的图像数据丢弃之后，生成新地址，将下一完整帧的压缩后的图像数据按所述新地址写入所述DDR。
9.根据权利要求1-8任意一项所述的JPEG接口，其特征在于，所述第一存储队列为第一FIFO存储队列，所述第二存储队列为第二FIFO存储队列。
10.一种数字图像处理系统，其特征在于，包括如权利要求1-9任意一项所述的JPEG接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434870.1A CN112637602B (zh) | 2020-12-10 | 2020-12-10 | 一种jpeg接口及数字图像处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434870.1A CN112637602B (zh) | 2020-12-10 | 2020-12-10 | 一种jpeg接口及数字图像处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112637602A CN112637602A (zh) | 2021-04-09 |
| CN112637602B true CN112637602B (zh) | 2022-12-02 |
Family
ID=75309342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011434870.1A Active CN112637602B (zh) | 2020-12-10 | 2020-12-10 | 一种jpeg接口及数字图像处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112637602B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114615209B (zh) * | 2022-03-11 | 2024-03-08 | 山东云海国创云计算装备产业创新中心有限公司 | 一种动态适应的图像压缩方法、装置、设备及可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1288210A (zh) * | 1999-09-15 | 2001-03-21 | 鸿友科技股份有限公司 | Jpeg接口模块与方法 |
| US6473527B1 (en) * | 1999-06-01 | 2002-10-29 | Mustek Systems Inc. | Module and method for interfacing analog/digital converting means and JPEG compression means |
| JP2002354265A (ja) * | 2001-05-30 | 2002-12-06 | Ricoh Co Ltd | 画像処理装置および画像形成装置 |
-
2020
- 2020-12-10 CN CN202011434870.1A patent/CN112637602B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6473527B1 (en) * | 1999-06-01 | 2002-10-29 | Mustek Systems Inc. | Module and method for interfacing analog/digital converting means and JPEG compression means |
| CN1288210A (zh) * | 1999-09-15 | 2001-03-21 | 鸿友科技股份有限公司 | Jpeg接口模块与方法 |
| JP2002354265A (ja) * | 2001-05-30 | 2002-12-06 | Ricoh Co Ltd | 画像処理装置および画像形成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112637602A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108733344B (zh) | 数据读写方法、装置以及环形队列 | |
| CN112839231B (zh) | 一种视频压缩传输方法和系统 | |
| CN107527317A (zh) | 基于图像处理的数据传输系统 | |
| CN115460414B (zh) | 一种基板管理控制芯片的视频压缩方法、系统及相关组件 | |
| CN107783727B (zh) | 一种内存设备的访问方法、装置和系统 | |
| CN114051145B (zh) | 一种视频压缩处理方法、装置及介质 | |
| CN113873255B (zh) | 一种视频数据传输方法、视频数据解码方法及相关装置 | |
| WO2023124768A1 (zh) | 图像采集卡、图像采集方法及图像采集系统 | |
| CN112637602B (zh) | 一种jpeg接口及数字图像处理系统 | |
| CN114466196B (zh) | 视频数据处理方法、系统、装置及计算机可读存储介质 | |
| CN116225990A (zh) | 基于fpga的多通道ddr读写仲裁装置 | |
| CN113590512A (zh) | 可直连外设设备的自启动dma装置及应用 | |
| CN116089343A (zh) | 一种基于axi的数据存储方法、装置、存储介质及设备 | |
| CN101793557B (zh) | 高分辨率成像仪数据实时采集系统及方法 | |
| CN101901278B (zh) | 一种高速数据采集卡及数据采集方法 | |
| CN110445730A (zh) | 基于WinPcap的网络数据实时采集存储方法和装置 | |
| CN106776374B (zh) | 一种基于fpga的高效数据缓冲方法 | |
| CN117009087A (zh) | 一种图像输出方法、装置、设备及存储介质 | |
| WO2020124347A1 (zh) | Fpga芯片和具有该fpga芯片的电子设备 | |
| US7861007B2 (en) | Method and apparatus for multimedia display in a mobile device | |
| CN114168503A (zh) | 一种接口ip核控制方法、接口ip核、装置及介质 | |
| CN114302087A (zh) | 一种mipi数据传输模式转换方法、装置及电子设备 | |
| CN117234977B (zh) | 数据处理方法、系统、设备及计算机可读存储介质 | |
| CN117032598B (zh) | Yuv视频传输系统、基板管理控制器、方法、设备和介质 | |
| KR20010033660A (ko) | 데이터 전송 제어 장치 및 전자기기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |