CN113129404A - 一种以深度学习加速的迭代式光声图像重建方法 - Google Patents
一种以深度学习加速的迭代式光声图像重建方法 Download PDFInfo
- Publication number
- CN113129404A CN113129404A CN202110424192.9A CN202110424192A CN113129404A CN 113129404 A CN113129404 A CN 113129404A CN 202110424192 A CN202110424192 A CN 202110424192A CN 113129404 A CN113129404 A CN 113129404A
- Authority
- CN
- China
- Prior art keywords
- iteration
- iterative
- gradient
- image reconstruction
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000012804 iterative process Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 238000003384 imaging method Methods 0.000 description 10
- 238000004088 simulation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011541 reaction mixture Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种以深度学习加速的迭代式光声图像重建方法，其特征在于，通过神经网络对迭代过程学习正则项的梯度增量
在每次迭代中让重建图像快速收敛；对于需要手动调整的迭代步长α，通过设置可学习的参数ω使其自主学习最佳参数。本发明提出了一种用深度学习网络加速迭代收敛与自动调整参数的方法，通过训练的网络可以使得仅在5次以下的迭代结果胜于传统的10次以上的迭代效果。
Description
技术领域
本发明涉及一种迭代式光声图像重建方法。
背景技术
光声成像是一种新兴的成像方式，其结合了光学和超声两种成像模态的优点。在保持超声成像的高穿透深度的优点的同时还具备比超声成像更高的空间分辨率和对比度。
光声计算机断层扫描(PACT)系统具备快速大区域的成像性能。现在的研究表明其有许多预临床和临床方面的应用，如早期的肿瘤检测和小动物的全身成像。在不适定条件下(如有限视角、稀疏视角等)的图像重建可能存在较多问题。迭代式重建的方法可在优化条件下实现高质量重建，但其成像时间较久，需要较大的计算资源。
发明内容
本发明要解决的技术问题是：现有的迭代式光声图像重建方法成像时间较久，需要较大的计算资源。
为了解决上述技术问题，本发明的技术方案是提供了一种以深度学习加速的迭代式光声图像重建方法，光声图像重构的目标是从所接收到的信号y恢复初始压力x，通过最小化最小二乘法误差来求解，求解时利用通过优化方法进行迭代，迭代时加入R(x)正则项，使得优化目标变为：
式中，
是数据一致项，R(x)是正则项，λ是超参数，A是前向模型；
设正则项R(x)可微分梯度下降，则第k+1次迭代表示为
式中，
表示梯度增量，则
表示正则项第k次迭代的梯度增量，α表示迭代步长，A*为前向模型A的一个伴随线性模型，xk表示第k次迭代的结果，其特征在于，所述迭代式光声图像重建方法包括以下步骤：
通过神经网络对迭代过程学习正则项的梯度增量
在每次迭代中让重建图像快速收敛；对于需要手动调整的迭代步长α，通过设置可学习的参数ω使其自主学习最佳参数。
优选地，所述神经网络采用卷积神经网络CNN模型替代，若正则项R(x)未确定，则第k+1次迭代表示为xk+1＝xk-ω(A*(Axk-y))+CNN(xk)，式中，CNN(xk)表示神经网络模型的输出；
若正则项R(x)已确定，则第k+1次迭代表示为
使用卷积神经网络CNN模型仅仅学习每次迭代的步长与数据一致项
的梯度与正则项R(x)的梯度的比例，以非线性的形式迭代，表示为
式中，
表示神经网络模型的输出。
优选地，对于所述神经网络的训练，使用均方根MSE误差并以最终高质量图像为标签进行优化：Lrec＝MSE(x-xk+1)，Lrec表示损失函数，x表示标签图像，xk+1是第k+1次迭代的结果。
本发明提出了一种用深度学习网络加速迭代收敛与自动调整参数的方法，通过训练的网络可以使得仅在5次以下的迭代结果胜于传统的10次以上的迭代效果。
附图说明
图1为网络模型参与的正则梯度迭代流程；
图2为用于学习正则梯度的卷积神经网络；
图3为用于非线性迭代的深度学习模型；
图4为学习正则增量的仿真结果展示：(a)、(b)为不同样品的时间反演(TR)重建结果；(c)、(d)为不同样品的全变分的20次迭代结果；(e)、(f)为不同样品的网络参与迭代的5次结果；(g)，(h)为标签图像；
图5为学习迭代比例的仿真结果展示：(a)、(b)为不同样品的时间反演(TR)重建结果；(c)、(d)为不同样品的全变分的20次迭代结果；(e)、(f)为不同样品的网络参与迭代的3次结果；(g)、(h)为标签图像。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
在光声成像中，脉冲激光触发的光声信号的时空函数满足下式：
式(1)中，
表示哈密顿算子，vs表示声波的传播速度，r表示空间位置，p(r，t)表示光声压力场的时空函数，p0(r)表示初始的压力分布，δ(t)表示脉冲函数。定义一个x矩阵等于初始压力分布p0(r)，将x通过一个传感器转换成所接收到的时域光声信号，同时受到采样条件和环境因素影响，所接收到的信号y满足：
y＝A(x) (2)
式(2)中，A(·)表示前向模型。光声图像重构的目标就是从y恢复初始压力x。由于A(·)受限于多个条件(物理性质和采样角度等)，通常无法直接求逆。因此通过y求出精确的x是一个不适定问题。通常可以通过最小化最小二乘法误差来求解：
通常求解式(3)的方法是通过优化方法，如梯度下降，进行迭代。对于典型的第k+1次的迭代可以被表达为：
xk+1＝xk-aA*(Axk-y) (4)
式(4)中，xk表示第k次迭代的结果，α表示迭代步长，A*为前向模型A的一个伴随线性模型。
为降低上述迭代过程的不适定性，常常加入一个正则项，使得优化目标变为：
式(5)中，R(x)是正则项，λ是超参数。
同样的，若正则项可微分梯度下降，可以对式(5)所示的目标函数进行迭代。可以对第k+1次的迭代写为以下形式：
式(6)中，
表示梯度增量，则
表示正则项第k次迭代的梯度增量。
选择合适的正则项有助于重建完整的图像。在光声成像中，全变分(TV)的正则项常常被使用。在迭代中，存在两个需要手动调整的参数：α和λ。本发明提出一种使用深度学习加速迭代的步骤，通过神经网络对迭代过程学习正则项的梯度增量，这部分在每次迭代中让重建图像快速收敛。对于原来需要手动调整的参数，也通过设置可学习的参数使其自主学习最佳参数。该方法允许将传统正则项一起加入迭代过程，或对于已有正则的优化目标，本发明也演示仅仅用神经网络去自动学习参数与部分增量的方案。演示结果表明本发明可以大大减少迭代次数与提高迭代效果，在少于普通迭代次数的情况下得到了更高的质量。
在式(6)的迭代中，若将第三项正则项的梯度项用卷积神经网络(CNN)模型替代，可以得到如下式子：
xk+1＝xk-ω(A*(Axk-y))+CNN(xk) (7)
式(7)中，ω是一个超参数，用以调整梯度步长，CNN(xk)表示神经网络模型的输出。
在这个基础上，将α替换成可学习的参数即可同时免除繁杂的手动调整过程，达到最优的学习速率。其迭代过程可以表示为图1所示，相比于一般用于图像处理的神经网络，用在本发明中的神经网络模型可以相对较小。本实施例的网络如图2所示，网络的结构中，每条黑线表示2个3×3的卷积。网络延迟信号是在延迟叠加重构过程中的一个中间状态的信号。而对于网络的训练，可以使用均方根(MSE)误差并以最终高质量图像为标签进行优化：
Lrec＝MSE(xgt-xk+1) (8)
式(8)中，Lrec表示损失函数，xgt表示真实的压力分布图像，xk+1是第k+1次迭代的结果。这样即可通过神经网络实现迭代过程的正则化，后续演示结果将对比其与传统迭代正则的效果。
针对已确定的正则项，上述方案可进一步演化，以全变分正则TV为例，可将迭代过程描述为：
可以使用卷积神经网络仅仅学习每次迭代的步长与两项的比例，以非线性的形式迭代式(9)，即可表示为如下式子：
可以使用一个简单模型优化迭代，如图3所示。该方法的训练过程可以使用标签图像对输出的xk+1做约束，即：
Lrec＝MSE(x-xk+1) (11)
式(8)及式(10)所示的两个损失函数表达式一致，其针对的是一次迭代的最终结果进行约束，但迭代中CNN所承担的作用略有不同。
为验证本发明的效果，首先通过仿真生成大量分割的血管原始光声信号与初始压力分布。所设置的实验由环型的传感器环绕包围，数量为120个传感器，环绕半径为19mm，声速为1500m/s，所有图片的尺寸为256x256的大小，传感器的中心频率被设置为2.5MHz，整个数据集由4000个训练集和400个测试集组成。所有的实验程序都在深度学习开源框架Pytorch上实现，直接对重建图像进行比较，并比较定量指标的高低判断效果。
实验平台配置为两张Intel Xeon E5-2690(2.6GHz)CPU和四张NVIDIAGTX1080tiGPU。CNN参与正则梯度学习的实验结果如图4所示，与非迭代的TR方法比较，迭代重建的效果非常接近标签图像，TV的结果还存在些模糊的细节，可进一步对比结构相似度(SSIM)与峰值信噪比(PSNR)来定量比较这几个方法的效果，如表1所示的结果是SSIM的定量结果，表2则表示PSNR的定量结果，可以发现本发明方法的定量性能优越。
| SSIM | TR | TV | ours |
| 1 | 0.2924 | 0.9384 | 0.9841 |
| 2 | 0.2233 | 0.9288 | 0.9787 |
表1.图4中各个图像的SSIM值
| PSNR | TR | TV | ours |
| 1 | 20.9028 | 34.7157 | 36.4142 |
| 2 | -11.3896 | 33.3741 | 34.7074 |
表2.图4中各个图像的PSNR值
对于整个测试集，随着迭代次数增加，定量性能变化如表3所示。从表中可以发现每次迭代的提升都很大，这促使该方法可以加速传统迭代重建的收敛速度。
表3.测试集性能随迭代次数变化
针对TV的正则项，若不使用CNN作为正则梯度，其结果如图5所示。在仅仅迭代3次的结果就可看出其性能超越传统线性迭代的TV正则效果。可以进一步比较定量指标的效果，表4和表5分别列出图5中各个图像的SSIM和PSNR值。在相似度上，3次迭代的效果已经超过TV的传统迭代方式。
| SSIM | TR | TV | Ours |
| 1 | 0.2487 | 0.9111 | 0.9545 |
| 2 | 0.2629 | 0.9523 | 0.9636 |
表4.图5中各个图像的SSIM值
| PSNR(dB) | TR | TV | Ours |
| 1 | 17.6558 | 32.1013 | 32.307 |
| 2 | 19.9657 | 35.5058 | 37.1162 |
表5.图5中各个图像的PSNR值
Claims (3)
1.一种以深度学习加速的迭代式光声图像重建方法，光声图像重构的目标是从所接收到的信号y恢复初始压力x，通过最小化最小二乘法误差来求解，求解时利用通过优化方法进行迭代，迭代时加入R(x)正则项，使得优化目标变为：
式中，
是数据一致项，R(x)是正则项，λ是超参数，A是前向模型；
设正则项R(x)可微分梯度下降，则第k+1次迭代表示为
式中，
表示梯度增量，则
表示正则项第k次迭代的梯度增量，α表示迭代步长，A*为前向模型A的一个伴随线性模型，xk表示第k次迭代的结果，其特征在于，所述迭代式光声图像重建方法包括以下步骤：
通过神经网络对迭代过程学习正则项的梯度增量
在每次迭代中让重建图像快速收敛；对于需要手动调整的迭代步长α，通过设置可学习的参数ω使其自主学习最佳参数。
2.如权利要求1所述的一种以深度学习加速的迭代式光声图像重建方法，其特征在于，所述神经网络采用卷积神经网络CNN模型替代，若正则项R(x)未确定，则第k+1次迭代表示为xk+1＝xk-ω(A*(Axk-y))+CNN(xk)，式中，CNN(xk)表示神经网络模型的输出；
若正则项R(x)已确定，则第k+1次迭代表示为
使用卷积神经网络CNN模型仅仅学习每次迭代的步长与数据一致项
的梯度与正则项R(x)的梯度的比例，以非线性的形式迭代，表示为
式中，
表示神经网络模型的输出。
3.如权利要求2所述的一种以深度学习加速的迭代式光声图像重建方法，其特征在于，对于所述神经网络的训练，使用均方根MSE误差并以最终高质量图像为标签进行优化：Lrec＝MSE(x-xk+1)，Lrec表示损失函数，x表示标签图像，xk+1是第k+1次迭代的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110424192.9A CN113129404B (zh) | 2021-04-20 | 2021-04-20 | 一种以深度学习加速的迭代式光声图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110424192.9A CN113129404B (zh) | 2021-04-20 | 2021-04-20 | 一种以深度学习加速的迭代式光声图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113129404A true CN113129404A (zh) | 2021-07-16 |
| CN113129404B CN113129404B (zh) | 2024-10-15 |
Family
ID=76777952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110424192.9A Active CN113129404B (zh) | 2021-04-20 | 2021-04-20 | 一种以深度学习加速的迭代式光声图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113129404B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610193A (zh) * | 2016-06-23 | 2018-01-19 | 西门子保健有限责任公司 | 使用深度生成式机器学习模型的图像校正 |
| CN107895387A (zh) * | 2017-10-11 | 2018-04-10 | 四川大学 | Mri图像重建方法及装置 |
| US20180197317A1 (en) * | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
| US20180285695A1 (en) * | 2017-03-28 | 2018-10-04 | Siemens Healthcare Gmbh | Magnetic Resonance Image Reconstruction System and Method |
| US20190172230A1 (en) * | 2017-12-06 | 2019-06-06 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction with deep reinforcement learning |
| CN110490832A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨工业大学 | 一种基于正则化深度图像先验方法的磁共振图像重建方法 |
| CN110766768A (zh) * | 2019-10-23 | 2020-02-07 | 深圳先进技术研究院 | 一种磁共振图像重建方法、装置、设备和介质 |
| CN111045861A (zh) * | 2019-10-22 | 2020-04-21 | 南京海骅信息技术有限公司 | 一种基于深度神经网络的传感器数据恢复方法 |
| EP3671646A1 (en) * | 2018-12-20 | 2020-06-24 | Canon Medical Systems Corporation | X-ray computed tomography (ct) system and method |
-
2021
- 2021-04-20 CN CN202110424192.9A patent/CN113129404B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610193A (zh) * | 2016-06-23 | 2018-01-19 | 西门子保健有限责任公司 | 使用深度生成式机器学习模型的图像校正 |
| US20180197317A1 (en) * | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
| US20180285695A1 (en) * | 2017-03-28 | 2018-10-04 | Siemens Healthcare Gmbh | Magnetic Resonance Image Reconstruction System and Method |
| CN107895387A (zh) * | 2017-10-11 | 2018-04-10 | 四川大学 | Mri图像重建方法及装置 |
| US20190172230A1 (en) * | 2017-12-06 | 2019-06-06 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction with deep reinforcement learning |
| EP3671646A1 (en) * | 2018-12-20 | 2020-06-24 | Canon Medical Systems Corporation | X-ray computed tomography (ct) system and method |
| CN110490832A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨工业大学 | 一种基于正则化深度图像先验方法的磁共振图像重建方法 |
| CN111045861A (zh) * | 2019-10-22 | 2020-04-21 | 南京海骅信息技术有限公司 | 一种基于深度神经网络的传感器数据恢复方法 |
| CN110766768A (zh) * | 2019-10-23 | 2020-02-07 | 深圳先进技术研究院 | 一种磁共振图像重建方法、装置、设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| JIALI GONG: "Deep Learning Regularized Acceleration for Photoacoustic Image Reconstruction", 2021 IEEE INTERNATIONAL ULTRASONICS SYMPOSIUM（IUS） * |
| LI, ZHUOAN: "Learned Parameters and Increment for Iterative Photoacoustic Image Reconstruction via Deep Learning", 2021 43RD ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY (EMBC) * |
| 陈斌斌: "基于深度学习的CT图像重建研究", 中国优秀硕士学位论文全文数据库 信息科技辑 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113129404B (zh) | 2024-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Back-propagation neural network-based reconstruction algorithm for diffuse optical tomography | |
| JP7359850B2 (ja) | 超音波信号の適応ビームフォーミングの方法及びシステム | |
| CN111127320B (zh) | 基于深度学习的光声图像超分辨重建方法及装置 | |
| US11580381B2 (en) | Complex-valued neural network with learnable non-linearities in medical imaging | |
| CN110880196B (zh) | 基于深度学习的肿瘤光声图像快速重建方法及装置 | |
| CN111999731B (zh) | 一种基于感知生成对抗网络的电磁逆散射成像方法 | |
| CN111956180B (zh) | 一种重建光声内窥层析图像的方法 | |
| CN117011673B (zh) | 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置 | |
| CN117237473A (zh) | 一种基于扩散模型的光声断层成像稀疏重建方法 | |
| CN106803237B (zh) | 一种基于极限学习机的改进自适应加权平均图像去噪方法 | |
| Song et al. | Sparse-view reconstruction for photoacoustic tomography combining diffusion model with model-based iteration | |
| CN111223162B (zh) | 一种用于重建epat图像的深度学习方法及系统 | |
| CN112147571A (zh) | 基于正则正交匹配追踪和蝙蝠算法的声源方位角估计方法 | |
| Yang et al. | Big data driven U-Net based electrical capacitance image reconstruction algorithm | |
| CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 | |
| Liu et al. | Blind source separation method based on neural network with bias term and maximum likelihood estimation criterion | |
| Asgariandehkordi et al. | Deep ultrasound denoising using diffusion probabilistic models | |
| CN112465924B (zh) | 一种基于多特征融合的快速医学图像重构方法 | |
| CN113129404A (zh) | 一种以深度学习加速的迭代式光声图像重建方法 | |
| CN116843825B (zh) | 一种渐进式cbct稀疏视角重建方法 | |
| Tang et al. | Learning spatially variant degradation for unsupervised blind photoacoustic tomography image restoration | |
| CN111462262B (zh) | 一种基于反卷积网络的ect图像重建方法 | |
| CN105608719B (zh) | 一种基于两阶段投影调整的快速ct图像重建方法 | |
| CN117849683A (zh) | 一种基于超复数神经网络的磁共振波谱重建方法 | |
| Gong et al. | Deep learning regularized acceleration for photoacoustic image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |