CN107144846B - 一种分块合成孔径声纳图像处理方法 - Google Patents

一种分块合成孔径声纳图像处理方法 Download PDF

Info

Publication number
CN107144846B
CN107144846B CN201710259280.1A CN201710259280A CN107144846B CN 107144846 B CN107144846 B CN 107144846B CN 201710259280 A CN201710259280 A CN 201710259280A CN 107144846 B CN107144846 B CN 107144846B
Authority
CN
China
Prior art keywords
data
synthetic aperture
block
imaging
pulses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710259280.1A
Other languages
English (en)
Other versions
CN107144846A (zh
Inventor
钟何平
唐劲松
徐魁
黄攀
张森
吴浩然
丘昌镇
田振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval University of Engineering PLA
Original Assignee
Naval University of Engineering PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval University of Engineering PLA filed Critical Naval University of Engineering PLA
Priority to CN201710259280.1A priority Critical patent/CN107144846B/zh
Publication of CN107144846A publication Critical patent/CN107144846A/zh
Application granted granted Critical
Publication of CN107144846B publication Critical patent/CN107144846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52003—Techniques for enhancing spatial resolution of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明属于合成孔径声纳图像处理与拼接领域，涉及一种合成孔径声纳回波分块处理与图像拼接方法，其步骤包括：(1)设置系统工作参数；(2)计算单块处理原始声纳回波数据大小，并分配初始回波存储空间；(3)根据传感器数据解算出与当前数据块相对应的载体速度；(4)采用逐点或逐线合成孔径成像算法完成当前数据块成像。(5)去除相邻合成孔径成像数据块的重叠部分，实现相邻数据块的无缝拼接。本发明的特点是充分考虑载体平台运动的速度变化特征，针对不同数据块采用不同速度进行合成孔径成像，以实现高分辨率成像，同时实现不同成像数据块之间的无缝拼接，有利于后续合成孔径声纳图像处理及目标识别。

Description

一种分块合成孔径声纳图像处理方法
技术领域
本发明属于合成孔径声纳图像处理领域，特别是涉及一种分块合成孔径声纳图像处理方法。
背景技术
合成孔径声纳(SAS)是一种高分辨率成像声纳，它具有成像分辨率与成像距离和工作频率无关的优点，可以大幅度提高水下小目标探测能力。
合成孔径声纳高分辨率成像的前提是要求载体满足匀速直线运动这一条件，匀速直线运动是保证平台运动稳定性的前提条件，虽然可以通过优化载体设计来提高平台运动的稳定性，但是仍然不可能达到理想的匀速直线运动状态。此外，为了提高合成孔径声纳成像效率，通常采用逐线算法进行成像，不可避免需要进行原始数据分块处理，进而带来了相邻数据块的拼接问题。在合成孔径成像过程中，为提高成像分辨率，需要使用与当前数据块相匹配的载体速度，而速度变化导致了成像结果方位向大小变化，不能采用固定截取方法。因此，如何在保持高精度成像的同时，实现相邻数据块的无缝拼接是一个技术难题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种合成孔径声纳图像处理方法，能够解决合成孔径声纳分辨率成像过程中相邻数据块间的无缝拼接问题。
为实现上述目的，按照本发明，提供一种分块合成孔径声纳图像处理方法，其特征在于，该方法主要包括如下步骤：
分配原始数据存储空间和传感器数据存储空间；所述原始数据存储空间分配根据设定的单块数据合成孔径长度个数、最大采样距离和脉冲重复间隔，所述传感器数据分配依据获得单块声纳数据时间长度和传感器数据采集频率；
原始声纳数据和传感器数据采集，并执行信号处理，其中所述信号处理的步骤包括：
检测接收的脉冲数据个数，当前接收的声纳脉冲个数等于单块数据脉冲个数，将上述接收的数据块拷贝至待处理数据缓冲区，并修改数据标识，同时将最后一个合成孔径长度数据搬移到下一个接收的数据块的最前面，并修改已接收脉冲个数为一个合成孔径长度脉冲个数；
同时从传感器数据缓冲区中截取与当前接收的数据块相对应的传感器数据；
通过检测所述数据标识发现新接收的数据块，若发现新数据块，首先依据传感器数据计算出当前接收的数据块的平均速度；
根据所述当前平均速度和脉冲间隔计算有效子阵个数，进行有效数据截取，将多子阵信号转换为单子阵信号；
调用单子阵合成孔径成像算法对所述单子阵信号进行合成孔径成像，并对成像结果在距离向和方位向进行截取；所述距离向的截取为在最远处截取一个脉冲宽度数据；所述方位向的截取为依据当前成像所用速度，在首部和尾部各截取半个合成孔径长度数据；
将截取后的成像结果求其幅度作为最终的合成孔径成像结果，并且将上述结果进行合成孔径声纳图像的显示。
进一步地，所述单块数据脉冲个数的计算方法为：计算合成孔径长度其中D表示子阵长度、λ表示波长、Rmax表示最大测绘距离，根据计算出单个合成孔径长度包含的脉冲个数NPluse，PRI表示脉冲重复频率、V表示设定的载体平台运动速度，单块原始数据包含的脉冲个数为N*NPluse，这里N表示设定的单块数据包含的合成孔径个数。
进一步地，所述传感器数据空间长度为其中FsMax表示多类型传感器中的最大传感器数据采集频率。
进一步地，所述载体平均速度的计算采用如下两种方法执行计算：第一种方法为S表示当前数据块所对应时间段内载体运动距离，T表示当前数据块采集总时间；第二种方法为Vi表示前数据块采集时间段内，速度传感器给出的瞬时速度，N表示采集的传感器数据个数。
进一步地，所述有效子阵个数M1的计算方法为：PRI*Vc＝M1*D/2。
进一步地，所述原始声纳数据的截取方式为：
距离向截取：距离向上在最远距离截取Ceil(Fr·Tp)点，其中Fr表示采样频率，Tp表示脉冲宽度；
方位向截取：方位向上首尾各截取NPluse/2*M1行数据，NPluse表示相邻数据块重叠的脉冲个数，M1表示当前数据块处理时所使用的有效子阵个数。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
(1)本发明中单块原始数据进行合成孔径成像时，使用当前数据块获取时间段内载体的平均速度，该参数的使用使得当前数据块成像质量更高。
(2)本发明中所采用的距离向和方位向的截取，该步骤的执行，使得不同成像数据块的拼接处理更加简单方便，并且可实现相邻数据块的无缝拼接。
本发明提供了一种速度可变条件下的分块合成孔径声纳图像无缝拼接方法，有效解决了高分辨率合成孔径成像与相邻数据块之间的无缝拼接问题，可极大提高小目标的识别能力。
附图说明
图1为按照本发明实现的分块合成孔径声纳图像处理方法的流程示意图；
图2为按照本发明实现的分块合成孔径声纳图像处理过程中的有效子阵数据截取示意图；
图3为按照本发明实现的分块合成孔径声纳图像处理过程中的合成孔径成像结果有效数据截取示意图；
图4为按照本发明实现的分块合成孔径声纳图像处理过程中的相邻数据块无缝拼接示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
涉及到一种有效的合成孔径声纳图像处理与拼接方法。为了实现以上目的，本发明采用如下方案：
(1)分配原始数据存储空间和传感器数据存储空间。原始数据存储空间分配根据设定的单块数据合成孔径长度个数、最大采样距离和脉冲重复间隔，传感器数据分配根据获得单块声纳数据时间长度和传感器数据采集频率。
(2)原始声纳数据和传感器数据获取。信号处理接收端不断接收采集到的原始声纳数据和传感器数据，各自按照循环队列方式存储接收的原始数据。
(3)开始进行信号处理。在接收原始声纳数据的同时，接收端不断记录接收的脉冲数据个数。如果当前接收的声纳脉冲数据个数等于单块数据脉冲个数，将当前数据块数据拷贝至待处理数据缓冲区，并修改新数据标识，同时将最后一个合成孔径长度数据搬移到下一个数据块的最前面，并修改已接收脉冲个数为一个合成孔径长度脉冲个数。在这个过程中从传感器数据缓冲区中截取与当前数据块相对应的传感器数据，用于后续处理。
(4)合成孔径成像处理线程不断检测数据块标识，如果发现新数据块，首先根据传感器数据计算出当前数据块的平均速度。合成孔径成像预处理步骤根据当前速度和脉冲重复间隔计算有效子阵个数，然后进行有效数据截取，并将多子阵信号转换为单子阵信号。
(5)调用单子阵合成孔径成像算法对单块数据进行合成孔径成像，并对成像结果在距离向和方位向进行截取。距离向上，在最远处截取一个脉冲宽度数据，方位向上根据当前成像所用速度，在首部和尾部各截取半个合成孔径长度数据。
将截取后的成像结果求其幅度作为最终的合成孔径成像结果，并根据设定的调色板信息生成彩色图像，按照采集先后顺序依次送入图像显示模块，实现合成孔径声纳图像的瀑布式显示。
本发明的流程如附图1所示，下面结合附图和具体实施方式对本发明做进一步的详细说明，
(1)计算单块数据所包含的脉冲个数。首先根据系统设定工作参数计算合成孔径长度其中D表示子阵长度、λ表示波长、Rmax表示最大测绘距离。然后根据计算出单个合成孔径长度包含的脉冲个数NPluse，PRI表示脉冲重复频率、V表示设定的载体平台运动速度。单块原始数据包含的脉冲个数为N*NPluse，这里N表示设定的单块数据包含的合成孔径个数。
(2)根据单块数据包含的脉冲个数分配原始声纳数据存储空间和传感器数据存储空间。传感器数据空间长度为其中FsMax表示多种传感器中最大传感器数据采集频率。
(3)完成单块原始声纳数据采集后，根据这一段时间内对应的传感器数据进行载体平均速度Vc计算，载体平均速度所述载体平均速度采用如下两种方法进行计算：第一种方法为S表示当前数据块所对应时间段内载体运动距离，T表示当前数据块采集总时间；第二种方法为Vi表示前数据块采集时间段内，速度传感器给出的瞬时速度，N表示采集的传感器数据个数。然后根据PRI*Vc＝M1*D/2计算出用于合成孔径成像的有效子阵个数M1，并对原始声纳数据进行截取，其中如图2所示，每个脉冲截取前1到M1个子阵数据，然后按照脉冲数据采集顺序进行重新拼接。使得单块原始声纳数据方位向大小由N*NPluse*NR变为N*NPluse*M1，其中NR表示总接收子阵个数，声基阵设计时已确定。
(4)将截取后的多子阵回波信号转换为单子阵回波信号，调用合成孔径成像算法(如逐点成像算法、距离多普勒成像算法或线频调变标成像算法)完成单块数据的合成孔径成像，成像过程中速度采用获取当前数据块的载体平均速度Vc。
(5)对原始成像结果在距离向上和方位向上进行截取，距离向上从最远采样点向前(即按照采样时间最晚的点)截取Ceil(Fr·Tp)点，其中Fr表示采样频率，Tp表示脉冲宽度，方位向上首尾各截取NPluse/2*M1行数据，这里NPluse表示相邻数据块重叠的脉冲个数，M1表示当前数据块处理时所使用的有效子阵个数。单块数据合成孔径成像结果在距离向和方位向上截取后如图3所示，图中阴影部分即为有效成像区域。
(6)将原始合成孔径声纳成像结果由复数形式通过取模转换为实数形式，并根据设定调色板生成对应的彩色图像，送入图像显示模块按照顺序进行显示。图4为不同成像数据块截取后的拼接示意图，显示过程中，下一块数据第一行直接紧邻在上一块数据末尾一行。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种分块合成孔径声纳图像处理方法，其特征在于，该方法主要包括如下步骤：
分配原始数据存储空间和传感器数据存储空间；所述原始数据存储空间分配根据设定的单块数据合成孔径长度个数、最大采样距离和脉冲重复间隔，所述传感器数据分配依据获得单块声纳数据时间长度和传感器数据采集频率；
原始声纳数据和传感器数据采集，并执行信号处理，其中所述信号处理的步骤包括：
检测接收的脉冲数据个数，当前接收的声纳脉冲个数等于单块数据脉冲个数，将上述接收的数据块拷贝至待处理数据缓冲区，并修改数据标识，同时将最后一个合成孔径长度数据搬移到下一个接收的数据块的最前面，并修改已接收脉冲个数为一个合成孔径长度脉冲个数；
同时从传感器数据缓冲区中截取与当前接收的数据块相对应的传感器数据；
通过检测所述数据标识发现新接收的数据块，若发现新数据块，首先依据传感器数据进行数据块的平均速度的计算；
根据所述当前平均速度和脉冲间隔计算有效子阵个数，进行有效数据截取，将多子阵信号转换为单子阵信号；
调用单子阵合成孔径成像算法对所述单子阵信号进行合成孔径成像，并对成像结果在距离向和方位向进行截取；所述距离向的截取为在最远处截取一个脉冲宽度数据；所述方位向的截取为依据当前成像所用速度，在首部和尾部各截取半个合成孔径长度数据；
将截取后的成像结果求其幅度作为最终的合成孔径成像结果，并且将上述结果进行合成孔径声纳图像的显示；
所述数据块的平均速度采用如下两种方法进行计算：第一种方法为S表示当前数据块所对应时间段内载体运动距离，T表示当前数据块采集总时间；第二种方法为Vi表示前数据块采集时间段内，速度传感器给出的瞬时速度，N表示采集的传感器数据个数。
2.如权利要求1中所述的分块合成孔径声纳图像处理方法，其特征在于，所述单块数据脉冲个数的计算方法为：计算合成孔径长度其中D表示子阵长度、λ表示波长、Rmax表示最大测绘距离，根据计算出单个合成孔径长度包含的脉冲个数NPluse，PRI表示脉冲重复频率、V表示设定的载体平台运动速度，单块原始数据包含的脉冲个数为N*NPluse，这里N表示设定的单块数据包含的合成孔径个数。
3.如权利要求2中所述的分块合成孔径声纳图像处理方法，其特征在于，所述传感器数据空间长度为其中FsMax表示多类型传感器中的最大传感器数据采集频率。
4.如权利要求3所述的分块合成孔径声纳图像处理方法，其特征在于，所述有效子阵个数M1的计算方法为：PRI*Vc＝M1*D/2。
5.如权利要求4所述的分块合成孔径声纳图像处理方法，其特征在于，所述原始声纳数据的截取方式为：
距离向截取：距离向上在最远距离截取Ceil(Fr·Tp)点，其中Fr表示采样频率，Tp表示脉冲宽度；
方位向截取：方位向上首尾各截取NPluse/2*M1行数据，NPluse表示相邻数据块重叠的脉冲个数，M1表示当前数据块处理时所使用的有效子阵个数。
CN201710259280.1A 2017-04-20 2017-04-20 一种分块合成孔径声纳图像处理方法 Active CN107144846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710259280.1A CN107144846B (zh) 2017-04-20 2017-04-20 一种分块合成孔径声纳图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710259280.1A CN107144846B (zh) 2017-04-20 2017-04-20 一种分块合成孔径声纳图像处理方法

Publications (2)

Publication Number Publication Date
CN107144846A CN107144846A (zh) 2017-09-08
CN107144846B true CN107144846B (zh) 2019-12-17

Family

ID=59774451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710259280.1A Active CN107144846B (zh) 2017-04-20 2017-04-20 一种分块合成孔径声纳图像处理方法

Country Status (1)

Country Link
CN (1) CN107144846B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101165510A (zh) * 2006-10-18 2008-04-23 中国科学院电子学研究所 星载合成孔径雷达可变位数baq压缩系统及方法
CN102609701A (zh) * 2012-01-10 2012-07-25 河海大学 基于最佳尺度的高分辨率合成孔径雷达遥感检测方法
CN102721948A (zh) * 2012-07-06 2012-10-10 西安电子科技大学 一种大场景sar欺骗干扰实现方法
CN103809180A (zh) * 2014-03-12 2014-05-21 西安电子科技大学 用于InSAR地形测量的方位向预滤波处理方法
CN104076359A (zh) * 2014-06-25 2014-10-01 西安电子科技大学 一种基于几何校正的多级后投影合成孔径雷达成像方法
CN106023075A (zh) * 2016-05-11 2016-10-12 中国人民解放军海军工程大学 一种干涉合成孔径声纳图像的处理和拼接方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101165510A (zh) * 2006-10-18 2008-04-23 中国科学院电子学研究所 星载合成孔径雷达可变位数baq压缩系统及方法
CN102609701A (zh) * 2012-01-10 2012-07-25 河海大学 基于最佳尺度的高分辨率合成孔径雷达遥感检测方法
CN102721948A (zh) * 2012-07-06 2012-10-10 西安电子科技大学 一种大场景sar欺骗干扰实现方法
CN103809180A (zh) * 2014-03-12 2014-05-21 西安电子科技大学 用于InSAR地形测量的方位向预滤波处理方法
CN104076359A (zh) * 2014-06-25 2014-10-01 西安电子科技大学 一种基于几何校正的多级后投影合成孔径雷达成像方法
CN106023075A (zh) * 2016-05-11 2016-10-12 中国人民解放军海军工程大学 一种干涉合成孔径声纳图像的处理和拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Improved Quality-Guided Phase-Unwrapping Algorithm Based on Priority Queue;Heping Zhong et al.;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20100331;第364-368页 *
多接收阵元合成孔径声纳波数域成像算法研究;李海,肖军;《声学技术》;20150430;第455-458页 *

Also Published As

Publication number Publication date
CN107144846A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
US9182486B2 (en) Sonar rendering systems and associated methods
CN108919195B (zh) 一种交替优化搜索脉组参差中重频pd系统设计方法
WO2021062914A1 (zh) 一种基于mimo体制的提高雷达角度分辨率的布局及方法
CN101887120B (zh) 一种用于单波束机械扫描雷达测量目标方位角的方法
CN103592650B (zh) 基于图形处理器的三维声纳成像系统及其三维成像方法
CN106125078B (zh) 一种水下多维声学成像系统和方法
CN107037408A (zh) 车辆用雷达设备及去除其重影的方法
CN112748443B (zh) 一种动态目标三维成像装置及方法
CN103576156A (zh) 一种基于频分mimo的合成孔径声纳成像系统及方法
JP2014089058A (ja) 追尾処理装置、及び追尾処理方法
CN101900808B (zh) 一种多通道扫描延时参数计算方法
CN107144846B (zh) 一种分块合成孔径声纳图像处理方法
CN110412561B (zh) 一种基于tas精跟波束的低空高速目标快速建航方法
CN110261852B (zh) 一种频率分集逆合成孔径雷达成像系统及方法
CN206546434U (zh) 一种水下多维声学成像系统
CN109633587B (zh) 一种组网雷达信号带宽的自适应调整方法
CN104569950B (zh) 基于相对功率和相位线性度的海面目标凝聚方法
CN108731795A (zh) 一种基于声成像技术的野外鸟类数量估计方法
WO2021189206A1 (zh) 雷达信号处理方法和雷达信号处理装置
KR102185307B1 (ko) Sar 영상의 객체 응답 초해상도화 방법 및 객체 응답 초해상도화 장치
JP5662671B2 (ja) 物標探知装置、物標探知方法、および物標探知プログラム
WO2020133041A1 (zh) 车速计算方法、系统、设备及存储介质
CN114280567A (zh) 一种x波段多脉冲雷达回波高速并行处理系统
CN112698280B (zh) 一种基于dsp和fpga架构的双基sar实时回波模拟方法
CN110954904B (zh) 一种单发正交分时发射合成孔径声纳、成像方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant