CN112529791B - 基于浮游生物数字全息图像的自适应性多焦点复原方法 - Google Patents

基于浮游生物数字全息图像的自适应性多焦点复原方法 Download PDF

Info

Publication number
CN112529791B
CN112529791B CN202011279584.2A CN202011279584A CN112529791B CN 112529791 B CN112529791 B CN 112529791B CN 202011279584 A CN202011279584 A CN 202011279584A CN 112529791 B CN112529791 B CN 112529791B
Authority
CN
China
Prior art keywords
image
plankton
images
situ
digital holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011279584.2A
Other languages
English (en)
Other versions
CN112529791A (zh
Inventor
王楠
崔燕妮
杨学文
辛国玲
张兴
胡文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202011279584.2A priority Critical patent/CN112529791B/zh
Publication of CN112529791A publication Critical patent/CN112529791A/zh
Application granted granted Critical
Publication of CN112529791B publication Critical patent/CN112529791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体公开了一种基于浮游生物数字全息图像的自适应性多焦点复原方法，首先拍摄全息原位图像，然后对原位图像进行重建，对重建图像进行边缘检测及阈值分割，得到重建图像中浮游生物的轮廓信息，依照该轮廓信息在重建图像数据集上进行剪切得到目标图像数据集，再基于目标图像的梯度和方差生成清晰度指标，又基于清晰度指标筛选出最清晰的目标图像，将最清晰的目标图像按照原坐标拼接到原位图像，可提取到浮游生物的清晰图像，有效地解决采集系统中存在的庞大的数据处理问题，有效地简化海洋浮游生物检测的工程量，进而有效地监控浮游生物数量变化从而预报赤潮等灾害。

Description

基于浮游生物数字全息图像的自适应性多焦点复原方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于浮游生物数字全息图像的自适应性多焦点复原方法。
背景技术
海洋生态系统是一个复杂多变的大系统，特别是在当前海洋经济快速发展的大背景下，海洋生态系统受到各种人类活动和自然因素的影响，如环境污染、过渡捕捞等，另一方面，海洋生态系统发生的各种变化，也会对人类开发利用海洋产生反作用，因此对海洋生态系统进行实时有效的监控显得尤为重要。
在海洋生态系统和结构中，浮游生物占有极其重要的位置，其数量变动和空间分布对整个海洋生态系统的功能运转，甚至全球气候变化都会产生重要的影响。无论在生物海洋学还是在海洋生态学研究中浮游生物都是重要研究对象。传统的照相术中，只获取的光的强度，而不能获取包含了景物深度或形状的光相位。全息术则弥补了这一缺陷，它能够同时记录光波的振幅和相位，从而达到“完全记录”的目的。从具体操作来看，先用特殊的胶片或电子设备记录来自物体的物光和来自光源的参考光进行相干叠加，形成相干条纹，胶片或电子设备上记录的图像就被称为全息图。再将光源直接照射在该全息图上，光波发生衍射，就能产生一幅表现原来物体全部信息的图像，就是重建图像。
数字全息具有光学全息图的一般特征，信息冗余量大，从任意的全息图碎片都可完整再现原始图像信息，具有很强的抗剪切能力，并且对一般的图像攻击如压缩、缩放、噪声等均具有一定的稳健性。且设备简单，便于记录和重建，这摆脱了光学全息对设备要求复杂，对光路要求严格，实验环境苛刻，实时性差等限制，让全息术更好更快地应用在了各类领域中，因而发展更为迅速，使用范围也更加广泛。
目前，数字全息术在工业生产，生物检测，医学检测，广告等各领域中都有着不俗的应用前景。然而与其他图像一样，数字全息图的获取和传输过程中，图像噪声不可避免，全息图受到噪声干扰，其重建像必然也会受到不良影响。数字全息术的使用核心在于其全息图和重建像的图像质量，因而，如何能快速自动地从多张重建图中自动扫描提取有效目标的清晰图像，是本发明致力于解决的问题。
发明内容
本发明提供一种基于浮游生物数字全息图像的自适应性多焦点复原方法，解决的技术问题在于：如何快速自动地从多张重建图像中自动扫描提取有效目标的清晰图像。
为解决以上技术问题，本发明提供一种基于浮游生物数字全息图像的自适应性多焦点复原方法，包括步骤：
S1.对水下浮游生物进行数字全息原位拍摄，得到原位图像；
S2.对所述原位图像进行全息图重建得到对应的多张重建图像，构成所述原位图像的重建图像数据集；
S3.对每张所述重建图像进行边缘检测及阈值分割，得到每张所述重建图像中浮游生物的轮廓信息，并依照所述轮廓信息在对应的重建图像上进行剪切得到多张目标图像，构成目标图像数据集；
S4.基于所述目标图像的梯度和方差生成清晰度指标，又基于清晰度指标筛选出所述目标图像数据集中最清晰的目标图像；
S5.将最清晰的目标图像拼接到所述原位图像上对应的位置上，得到数字全息复原图像。
进一步地，在所述步骤S1中，一次水下拍摄多张原位图像，构成原位图像数据集。
进一步地，在所述步骤S2中，每张所述原位图像在被重建之前，被处理为相同大小。
进一步地，每张所述原位图像的大小为500×500像素。
进一步地，所述步骤S3具体包括步骤：
S31：利用Sobel算子对所述重建图像进行边缘检测，得到浮游生物的边缘梯度图像；
S32：在所述边缘梯度图像中使用阈值分割以及孔洞填充得到具有闭合轮廓的浮游生物的轮廓区域；
S33：确定所述轮廓区域的外接矩形的坐标值，根据坐标值在重建图像数据集中进行剪切得到目标图像数据集。
进一步地，在所述步骤S4中，基于所述目标图像的梯度和方差生成清晰度指标，具体包括步骤：
S41.根据公式
Figure RE-GDA0002906784220000031
Figure RE-GDA0002906784220000032
对每张所述目标图像进行拉普拉斯变换，得到对应的梯度图像， f(x，y)为坐标(x，y)处像素点的像素灰度值，f(x，y+1)、f(x，y-1)、f(x- 1，y)、f(x+1，y)则代表坐标(x，y)周围上下左右四个像素点的像素灰度值；
S42.根据公式
Figure RE-GDA0002906784220000033
对每张所述梯度图像计算方差以作为清晰度指标，其中，l(x，y)为坐标(x，y)处像素点的梯度值，/>
Figure RE-GDA0002906784220000034
为所述梯度图像中所有坐标梯度值的平均值。
进一步地，在所述步骤S4中，所述筛选条件具体为：
清晰度指标最大的图像即为最清晰的目标图像。
进一步地，所述步骤S5具体包括步骤：
S51.确定所述轮廓区域的外接矩形的坐标值；
S52.将最清晰的目标图像按照原坐标拼接在对应的原位图像上，得到清晰的数字全息复原图像。
本发明提供的一种基于浮游生物数字全息图像的自适应性多焦点复原方法，其效果在于：
对重建图像进行边缘检测及阈值分割，得到重建图像中浮游生物的轮廓信息，依照该轮廓信息在重建图像数据集上进行剪切得到目标图像数据集，再基于目标图像的梯度和方差生成清晰度指标，又基于清晰度指标筛选出最清晰的目标图像，将最清晰的目标图像按照原坐标拼接到原位图像，可提取到浮游生物的清晰图像，有效地解决采集系统中存在的庞大的数据处理问题，有效地简化海洋浮游生物检测的工程量，进而有效地监控浮游生物数量变化从而预报赤潮等灾害；同时，也可以获取浮游生物最清晰的形态特征，为后续生物学家对浮游生物的研究奠定基础。
附图说明
图1是本发明实施例提供的基于浮游生物数字全息图像的自适应性多焦点复原方法的步骤流程图；
图2是本发明实施例提供的一张复原图像的示意图；
图3是本发明实施例提供的图2所示复原图像的重建图像数据集；
图4-1和4-2是本发明实施例提供的图3所示重建图像数据集中提取出的最为清晰的两个目标轮廓；
图5是本发明实施例提供的图3所示重建图像数据集对应的目标图像数据集；
图6-1和6-2是本发明实施例提供的从图5目标图像数据集中选出的两张最清晰的目标图像；
图7是本发明实施例提供的图6-1和6-2两张目标图像对应在原位图像中的坐标；
图8是本发明实施例提供的按照图7所示坐标将图6-1和6-2两张目标图像拼接在其原位图像后得到的数字全息复原图像；
图9是本发明实施例提供的一种基于浮游生物数字全息图像的自适应性多焦点复原系统的框架结构图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为了得到较为清晰的浮游生物数字全息图像，本发明实施例提供一种基于浮游生物数字全息图像的自适应性多焦点复原方法，其步骤流程如图1所示，包括步骤S1～S5。
(1)步骤S1
S1.对水下浮游生物进行数字全息原位拍摄，得到原位图像。
在步骤S1中，一次水下拍摄多张原位图像，构成原位图像数据集，后续对多张原位图像进行集中处理。
原位图像数据集中每张原位图像在被重建之前，被处理为相同大小，优选为本实施例采用的500×500像素。
作为一种举例，一张原位图像如图2所示。
(2)步骤S2
S2.对原位图像进行全息图重建得到对应的多张重建图像，构成原位图像的重建图像数据集。
图2原位图像的重建图像数据集则如图3所示。
(3)步骤S3
S3.对每张重建图像进行边缘检测及阈值分割，得到每张重建图像中浮游生物的轮廓信息，并依照轮廓信息在对应的重建图像上进行剪切得到多张目标图像，构成目标图像数据集。
该步骤S3具体包括步骤：
S31：利用Sobel算子对重建图像进行边缘检测，得到浮游生物的边缘梯度图像；
S32：在边缘梯度图像中使用阈值分割以及孔洞填充得到具有闭合轮廓的浮游生物的轮廓区域；
S33：确定轮廓区域的外接矩形的坐标值，根据坐标值在重建图像数据集中进行剪切得到目标图像数据集。
步骤S31中，图2中有两个浮游生物，则一张重建图像中有两个轮廓区域，其中最清晰完整的两个轮廓区域则分别如图4-1和4-2所示。图3所示重建图像数据集对应的目标图像数据集则如图5所示。
(4)步骤S4
S4.基于目标图像的梯度和方差生成清晰度指标，又基于清晰度指标筛选出目标图像数据集中最清晰的目标图像。
该步骤S4中，基于每张目标图像的梯度与方差生成清晰度指标，具体包括步骤：
S41.根据公式
Figure RE-GDA0002906784220000061
Figure RE-GDA0002906784220000062
对每张目标图像进行拉普拉斯变换，得到对应的梯度图像，f(x，y) 为坐标(x，y)处像素点的像素灰度值，f(x，y+1)、f(x，y-1)、f(x- 1，y)、f(x+1，y)则代表坐标(x，y)周围上下左右四个像素点的像素灰度值；
S42.根据公式
Figure RE-GDA0002906784220000063
对每张梯度图像计算方差以作为清晰度指标，其中，l(x，y)为坐标(x，y)处像素点的梯度值，/>
Figure RE-GDA0002906784220000064
为梯度图像中所有坐标梯度值的平均值。
筛选条件具体为：清晰度指标最大的图像即为最清晰的图像。
对图5进行筛选，筛选出两张最清晰的目标图像，分别如图6-1和6-2所示，分别对应于原位图像中的两个浮游生物。
(5)步骤S5
S5.将最清晰的目标图像拼接到原位图像上对应的位置上，得到数字全息复原图像。
步骤S5具体包括步骤：
S51.确定轮廓区域的外接矩形的坐标值；
S52.将最清晰的目标图像按照原坐标拼接在对应的原位图像上，得到清晰的数字全息复原图像。
目标图像在原位图像中的坐标值如图7所示，按照该坐标值进行拼接后得到的复原图像如图8所示。
将图2与图8进行对比，可以明显看出，复原后的图8中的浮游生物，其轮廓更为清晰。
作为本实施例方法的一种应用，本实施例还提供一种基于浮游生物数字全息图像的自适应性多焦点复原系统，如图9所示，包括依次相连的数字全息图像数据采集单元、数字全息图像重建单元、轮廓提取单元、自适应提取多焦点单元、浮游生物检测单元，分别用于执行本实施例方法中的步骤S1～S5，关于各单元的实施细节，方法步骤中已作说明，这里不再赘述。
本发明实施例提供的一种基于浮游生物数字全息图像的自适应性多焦点复原方法，其效果在于：
对重建图像进行边缘检测及阈值分割，得到重建图像中浮游生物的轮廓信息，依照该轮廓信息在重建图像数据集上进行剪切得到目标图像数据集，再基于目标图像的梯度和方差生成清晰度指标，又基于清晰度指标筛选出最清晰的目标图像，将最清晰的目标图像按照原坐标拼接到原位图像中，可提取到浮游生物的清晰图像，有效地解决采集系统中存在的庞大的数据处理问题，有效地简化海洋浮游生物检测的工程量，进而有效地监控浮游生物数量变化从而预报赤潮等灾害；同时，也可以获取浮游生物最清晰的形态特征，为后续生物学家对浮游生物的研究奠定基础。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.基于浮游生物数字全息图像的自适应性多焦点复原方法，其特征在于，包括步骤：
S1.对水下浮游生物进行数字全息原位拍摄，得到原位图像；
S2.对所述原位图像进行全息图重建得到对应的多张重建图像，构成所述原位图像的重建图像数据集；
S3.对每张所述重建图像进行边缘检测及阈值分割，得到每张所述重建图像中浮游生物的轮廓信息，并依照所述轮廓信息在对应的重建图像上进行剪切得到多张目标图像，构成目标图像数据集；所述步骤S3具体包括步骤：
S31：利用Sobel算子对所述重建图像进行边缘检测，得到浮游生物的边缘梯度图像；
S32：在所述边缘梯度图像中使用阈值分割以及孔洞填充得到具有闭合轮廓的浮游生物的轮廓区域；
S33：确定所述轮廓区域的外接矩形的坐标值，根据坐标值在重建图像数据集中进行剪切得到目标图像数据集；
S4.基于所述目标图像的梯度和方差生成清晰度指标，又基于清晰度指标筛选出所述目标图像数据集中最清晰的目标图像；
S5.将最清晰的目标图像拼接到所述原位图像上对应的位置上，得到数字全息复原图像；
所述步骤S5具体包括步骤：
S51.确定所述轮廓区域的外接矩形的坐标值；
S52.将最清晰的目标图像按照原坐标拼接在对应的原位图像上，得到清晰的数字全息复原图像。
2.如权利要求1所述的基于浮游生物数字全息图像的自适应性多焦点复原方法，其特征在于，在所述步骤S1中，一次水下拍摄多张原位图像，构成原位图像数据集。
3.如权利要求2所述的基于浮游生物数字全息图像的自适应性多焦点复原方法，其特征在于，在所述步骤S2中，每张所述原位图像在被重建之前，被处理为相同大小。
4.如权利要求3所述的基于浮游生物数字全息图像的自适应性多焦点复原方法，其特征在于，每张所述原位图像的大小为500×500像素。
5.如权利要求4所述的基于浮游生物数字全息图像的自适应性多焦点复原方法，其特征在于，在所述步骤S4中，基于所述目标图像的梯度和方差生成清晰度指标，具体包括步骤：
S41.根据公式
Figure FDA0003980728120000021
Figure FDA0003980728120000022
对每张所述目标图像进行拉普拉斯变换，得到对应的梯度图像，f(x，y)为坐标(x，y)处像素点的像素灰度值，f(x，y+1)、f(x，y-1)、f(x-1，y)、f(x+1，y)则代表坐标(x，y)周围上下左右四个像素点的像素灰度值；
S42.根据公式
Figure FDA0003980728120000023
对每张所述梯度图像计算方差以作为清晰度指标，其中，l(x，y)为坐标(x，y)处像素点的梯度值，/>
Figure FDA0003980728120000024
为所述梯度图像中所有坐标梯度值的平均值。/>
6.如权利要求5所述的基于浮游生物数字全息图像的自适应性多焦点复原方法，其特征在于，在所述步骤S4中，所述筛选条件具体为：
清晰度指标最大的图像即为最清晰的目标图像。
CN202011279584.2A 2020-11-16 2020-11-16 基于浮游生物数字全息图像的自适应性多焦点复原方法 Active CN112529791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011279584.2A CN112529791B (zh) 2020-11-16 2020-11-16 基于浮游生物数字全息图像的自适应性多焦点复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279584.2A CN112529791B (zh) 2020-11-16 2020-11-16 基于浮游生物数字全息图像的自适应性多焦点复原方法

Publications (2)

Publication Number Publication Date
CN112529791A CN112529791A (zh) 2021-03-19
CN112529791B true CN112529791B (zh) 2023-05-26

Family

ID=74981342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279584.2A Active CN112529791B (zh) 2020-11-16 2020-11-16 基于浮游生物数字全息图像的自适应性多焦点复原方法

Country Status (1)

Country Link
CN (1) CN112529791B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223142B (zh) * 2021-04-12 2022-10-04 浙江大学 一种实现浮游生物三维成像的改进型灰度层析重构方法
CN113781298B (zh) * 2021-08-05 2023-09-15 中国科学院生物物理研究所 超分辨率图像的处理方法及装置、电子设备、存储介质
CN113591854B (zh) * 2021-08-12 2023-09-26 中国海洋大学 一种浮游生物全息图的低冗余快速重建方法
CN115995078A (zh) * 2021-10-18 2023-04-21 深圳先进技术研究院 一种浮游生物原位观测的图像预处理方法及系统
CN114926635B (zh) * 2022-04-21 2024-06-11 北京工业大学 与深度学习方法相结合的多焦图像中目标分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI557462B (zh) * 2014-11-28 2016-11-11 台灣愛美科股份有限公司 自動聚焦系統與方法
CN109978771A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 基于内容分析的细胞图像快速融合方法
CN111259754A (zh) * 2020-01-10 2020-06-09 中国海洋大学 一种端到端的浮游生物数据库构建系统及方法
CN111723848A (zh) * 2020-05-26 2020-09-29 浙江工业大学 一种基于卷积神经网络和数字全息的海洋浮游生物自动分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"海洋生物测量方法";陈鹰;《海洋技术基础》;20180331;正文第82页 *

Also Published As

Publication number Publication date
CN112529791A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112529791B (zh) 基于浮游生物数字全息图像的自适应性多焦点复原方法
Zhu et al. Estimating spatially varying defocus blur from a single image
Wang et al. UNFusion: A unified multi-scale densely connected network for infrared and visible image fusion
Meng et al. Single-image dehazing based on two-stream convolutional neural network
Lu et al. Deep texture and structure aware filtering network for image smoothing
Cheng et al. Snow mask guided adaptive residual network for image snow removal
KR102311796B1 (ko) 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치
CN107085838B (zh) 全息图噪声的去除方法及装置
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
Zhang et al. Progressive edge-sensing dynamic scene deblurring
Liu et al. Efficient image preprocessing of digital holograms of marine plankton
Hu et al. Zero-shot multi-focus image fusion
Wei et al. Uhd underwater image enhancement via frequency-spatial domain aware network
Zhou et al. Water–land segmentation via structure-aware CNN–transformer network on large-scale SAR data
Liu et al. SACTNet: Spatial attention context transformation network for cloud removal
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN117079117A (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
Qiao et al. Mutual channel prior guided dual-domain interaction network for single image raindrop removal
KR101351132B1 (ko) 이방성의 웨이블릿 변환에 기반한 이미지 분할장치 및 그 방법
Holla et al. EFID: edge-focused image denoising using a convolutional neural network
Ding et al. Watch You Under Low-resolution and Low-illumination: Face Enhancement via Bi-factor Degradation Decoupling
Sharma et al. Multilevel progressive recursive dilated networks with correlation filter (MPRDNCF) for image super-resolution
Shobi et al. Review on Image Inpainting using Intelligence Mining Techniques.
Peng et al. Research on qr 2-d code graphics correction algorithms based on morphological expansion closure and edge detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant