CN111752754A - 一种用于存储器中雷达图像数据恢复的方法 - Google Patents

一种用于存储器中雷达图像数据恢复的方法 Download PDF

Info

Publication number
CN111752754A
CN111752754A CN202010506828.XA CN202010506828A CN111752754A CN 111752754 A CN111752754 A CN 111752754A CN 202010506828 A CN202010506828 A CN 202010506828A CN 111752754 A CN111752754 A CN 111752754A
Authority
CN
China
Prior art keywords
neural network
matrix
self
radar image
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010506828.XA
Other languages
English (en)
Other versions
CN111752754B (zh
Inventor
张雷
张博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010506828.XA priority Critical patent/CN111752754B/zh
Publication of CN111752754A publication Critical patent/CN111752754A/zh
Application granted granted Critical
Publication of CN111752754B publication Critical patent/CN111752754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种用于存储器中雷达图像数据恢复的方法，属于数据恢复领域。本发明首先采集雷达图像构建雷达图像矩阵，然后生成一个大小一样的噪声图像矩阵，将两个矩阵合成加噪声后的雷达图像矩阵；构建一个自编码‑解码神经网络，将加噪声后的雷达图像矩阵输入该神经网络，得到自编码‑解码后的雷达图像矩阵；利用损失函数最小化训练该神经网络，得到训练完毕的神经网络；将受损雷达图像输入该训练完毕的神经网络，即可得到恢复后的雷达图像。本发明可在基于神经网络算法的雷达应用中提高对雷达图像存储数据的容错率，降低雷达应用的成本和功耗，在可穿戴物联网场景具有广泛的应用前景。

Description

一种用于存储器中雷达图像数据恢复的方法
技术领域
本发明涉及一种用于存储器中雷达图像数据恢复的方法，属于数据恢复领域。
背景技术
近年来，雷达应用成为一个研究热点，产生了很多基于雷达原理的发明，如基于深度学习和雷达的手势识别方法(CN110348288A一种基于77GHz毫米波雷达信号的手势识别方法，CN111108408A手势识别雷达系统和方法，CN110647803A一种手势识别方法、系统以及存储介质)。这些发明的实施往往需要构建嵌入智能算法的硬件系统。在工作时，系统将采集到的雷达图像存储到存储器中，由负责计算的芯片从存储器中读取图像数据完成后续的运算并产生结果。为了降低整个系统的功耗，存储器芯片也需要工作在低功耗条件下。而工作在低功耗情况下存储器容易发生数据丢失进而影响计算结果。为了避免数据丢失对电子系统的影响，需要对存储器中的数据进行恢复。现有数据恢复方法是利用数据校验方法完整的恢复被丢失的数据(CN 106528321B数据恢复电路、半导体存储装置及数据恢复方法)，但这一方法增加了额外的系统功耗。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种用于存储器中雷达图像数据恢复的方法。本发明可在基于神经网络算法的雷达应用中提高对雷达图像存储数据的容错率，本方法在实施时不需要为存储器设置额外的数据校验和恢复电路，即使存储器中的数据没有100％完全恢复也能保证系统正常工作。
本发明提出一种用于存储器中雷达图像数据恢复的方法，其特征在于，该方法包括以下步骤：
(1)任意采集M张雷达图像，将M张雷达图像构成一个雷达图像矩阵B，矩阵B是一个M*(W*H)的矩阵，其中，每张雷达图像包含W*H个像素，W为雷达图像的像素列数，H为雷达图像的像素行数，每个像素数值以S位二进制整数形式保存在存储器中；
(2)生成一个噪声图像矩阵N，矩阵N是一个M*(W*H)的矩阵，其中，矩阵N中包含了M张噪声图像，每张噪声图像包含W*H个噪声像素，每个噪声像素数值采用S位二进制整数形式，其中生成每个噪声像素的数值时满足如下概率分布：
Figure BDA0002526858640000021
其中，CPMF(NOISE)表示噪声数值为NOISE的概率，βi为数值NOISE的二进制形式中的第i位，i＝0,1,…S-1，即NOISE＝(βS-1……β1β0)2；ρ表示存储器中单个存储单元出现错误的几率，0<ρ<1；
(3)利用步骤(1)得到的矩阵B和步骤(2)得到的矩阵N，生成加噪声后的雷达图像矩阵BN，BN＝B^N，^表示矩阵BN中的每个元素为矩阵B中的每个元素和矩阵N中每个元素在二进制形式下按位异或产生；
(4)构建一个自编码-解码神经网络E，所述神经网络E由依次连接10层网络构成，具体如下：
自编码-解码神经网络E的第1层为卷积神经网络EL1，卷积神经网络EL1的卷积核权重参数W1为一个Lw1*Pw1*Qw1矩阵，其中，Lw1为该卷积核的通道数，Pw1为该卷积核的宽度，Qw1为该卷积核的高度；
自编码-解码神经网络E的第2层为池化神经网络EL2，池化神经网络EL2的卷积核权重参数W2为2*2矩阵；
自编码-解码神经网络E的第3层为卷积神经网络EL3，卷积神经网络EL3的卷积核权重参数W3为一个LW3*PW3*QW3矩阵，其中，LW3为该卷积核的通道数，PW3为该卷积核的宽度，QW3为该卷积核的高度；
自编码-解码神经网络E的第4层为池化神经网络EL4，池化神经网络EL4参数W4为2*2矩阵；，
自编码-解码神经网络E的第5层为全连接神经网EL5，EL5的神经元个数为F5，神经元权重参数为W5；
自编码-解码神经网络E的第6层为全连接神经网络EL6，EL6的神经元个数为F6，神经元权重参数为W6；
自编码-解码神经网络E的第7层为上采样神经网络EL7，上采样神经网络EL7的卷积核参数W7为2*2矩阵；
自编码-解码神经网络E的第8层为卷积神经网络EL8，卷积神经网络EL8的卷积核权重参数W8为一个LW8*PW8*QW8矩阵，其中，LW8为该卷积核的通道数，PW8为该卷积核的宽度，QW8为该卷积核的高度；
自编码-解码神经网络E的第9层为上采样神经网络EL9，上采样神经网络EL9的卷积核参数W9为2*2矩阵；
自编码-解码神经网络的第10层为卷积神经网络EL10，卷积神经网络EL10的卷积核权重参数W10为一个LW10*PW10*QW10矩阵，其中，LW10为该卷积核的通道数，PW10为该卷积核的宽度，QW10为该卷积核的高度；
其中，上述各层网络的参数Wi的初始值为随机数，i＝1,2…10；
(5)将步骤(3)生成的加噪声后的雷达图像矩阵BN输入步骤(4)的自编码-解码神经网络E，网络输出自编码-解码后的雷达图像矩阵E(BN)；
(6)以损失函数B2-{E(BN)}2达到最小值为训练目标，使用梯度下降法训练自编码-解码神经网络E，得到训练完毕的各层网络对应的参数Wi’，i＝1,2…10，自编码-解码神经网络训练完毕，；
(7)从存储器缓冲区中读取受损雷达图像X，将受损雷达图像X输入到步骤(6)训练完毕的自编码-解码神经网络，得到对应的输出图像E(X)，E(X)即为恢复后的雷达图像。
本发明的特点及有益效果：
本方法只针对于深度学习应用中，对信息熵低的数据尤其是雷达图像数据具有很好地恢复能力。本发明考虑到由于雷达图像数据的信息熵比其他图像低很多，即使图像的像素数据在存储后发生了大量的丢失或出错，它依然可以保留大部分信息。本发明可恢复在存储器中的有用的雷达信息，即使存储器中的数据出现大量丢失无法被完整恢复，也能保证雷达系统正常工作。本发明不需要存储器芯片内部对所存储数据做校验和恢复，降低雷达应用的成本和功耗，本发明在基于雷达的低功耗、物联网等智能场景具有广泛的应用前景。
附图说明
图1为本发明的整体流程图。
图2是本发明实施例中雷达图像示意图。
图3是本发明实施例中在存储后丢失大量信息的雷达图像示意图。
图4是本发明实施例中通过算法恢复后的雷达图像示意图。
具体实施方式
本发明提出一种用于存储器中雷达图像数据恢复的方法，下面结合附图和具体实施例对本发明进一步详细说明如下。
本发明提出一种用于存储器中雷达图像数据恢复的方法，整体流程如图1所示，该方法包括以下步骤：
(1)任意采集M张雷达图像，(本实施例中每张雷达图像的效果如图2所示)，所有雷达图像构成一个雷达图像矩阵B，矩阵B是一个M*(W*H)的矩阵，其中，矩阵B中包含了M张雷达图像(M取值大于1000，本实施例的取值10000)，每张雷达图像包含W*H个像素(实例中为46×46)，每个像素数值以S位二进制整数形式保存在存储器中(S取值范围一般为8<S<32，本实施例的取值8)，其中W为雷达图像的像素列数，H为雷达图像的像素行数；
(2)生成一个噪声图像矩阵N，矩阵N是一个M*(W*H)的矩阵，其中，矩阵N中包含了M张噪声图像，每张噪声图像包含W*H个噪声像素，每个噪声像素数值采用S位二进制整数形式，其中生成每个噪声像素的数值时需满足如下概率分布：
Figure BDA0002526858640000041
其中，CPMF(NOISE)表示噪声数值为NOISE的概率，βi为数值NOISE的二进制形式中的第i位，i＝0,1,…S-1。即NOISE＝(βS-1……β1β0)2。ρ表示存储器中单个存储单元出现错误的几率，0<ρ<1。(3)利用步骤(1)得到的矩阵B和步骤(2)得到的矩阵N，生成加噪声后的雷达图像矩阵BN，BN满足BN＝B^N，^表示矩阵BN中的每个元素为矩阵B中的每个元素和矩阵N中每个元素在二进制形式下按位异或产生的。(本实施例中加噪声后的雷达图像效果如图3所示。)
(4)构建一个自编码-解码神经网络E，所述神经网络E由10层网络逐层依次连接，各层结构如下：
自编码-解码神经网络E的第1层为卷积神经网络EL1，卷积神经网络EL1的卷积核权重参数W1为一个Lw1*Pw1*Qw1矩阵，其中，Lw1为该卷积核的通道数，Pw1为该卷积核的宽度，Qw1为该卷积核的高度；
自编码-解码神经网络E的第2层为池化神经网络EL2，池化神经网络EL2的卷积核权重参数W2为2*2矩阵；
自编码-解码神经网络E的第3层为卷积神经网络EL3，卷积神经网络EL3的卷积核权重参数W3为一个LW3*PW3*QW3矩阵，其中，LW3为该卷积核的通道数，PW3为该卷积核的宽度，QW3为该卷积核的高度；
自编码-解码神经网络E的第4层为池化神经网络EL4，池化神经网络EL4的卷积核参数W4为2*2矩阵；，
自编码-解码神经网络E的第5层为全连接神经网EL5，EL5的神经元个数为F5，神经元权重参数为W5；
自编码-解码神经网络E的第6层为全连接神经网络EL6，EL6的神经元个数为F6，神经元权重参数为W6；
自编码-解码神经网络E的第7层为上采样神经网络EL7，上采样神经网络EL7的卷积核参数W7为2*2矩阵；
自编码-解码神经网络E的第8层为卷积神经网络EL8，卷积神经网络EL8的卷积核权重参数W8为一个LW8*PW8*QW8矩阵，其中，LW8为该卷积核的通道数，PW8为该卷积核的宽度，QW8为该卷积核的高度；
自编码-解码神经网络E的第9层为上采样神经网络EL9，上采样神经网络EL9的卷积核参数W9为2*2矩阵；
自编码-解码神经网络的第10层为卷积神经网络EL10，卷积神经网络EL10的卷积核权重参数W10为一个LW10*PW10*QW10矩阵，其中，LW10为该卷积核的通道数，PW10为该卷积核的宽度，QW10为该卷积核的高度；
上述各层网络的参数Wi的初始值被设定为随机数，i＝1,2…10。
(5)将步骤(3)生成的加噪声后的雷达图像矩阵BN输入步骤(4)的自编码-解码神经网络E，网络输出自编码-解码后的雷达图像矩阵E(BN)；
(6)以损失函数B2-{E(BN)}2达到最小值为训练目标，使用梯度下降法训练自编码-解码神经网络E，得到训练完毕的各层网络对应的参数Wi’，i＝1,2…10，自编码-解码神经网络训练完毕，；
(7)使用步骤(6)训练完毕的自编码-解码神经网络即可以实现存储器中雷达图像数据的恢复。具体方法为：从存储器缓冲区中读取受损雷达图像X，将受损雷达图像X输入到训练完毕的自编码-解码神经网络，得到对应的输出图像E(X)。E(X)即为为恢复后的雷达图像，本实施例中恢复后的雷达图像效果如图4所示。训练完毕的各层网络参数W1’、W2’，……W10’可以单独用于构建神经网络实现对受损雷达图像的特征提取。

Claims (1)

1.一种用于存储器中雷达图像数据恢复的方法，其特征在于，该方法包括以下步骤：
(1)任意采集M张雷达图像，将M张雷达图像构成一个雷达图像矩阵B，矩阵B是一个M*(W*H)的矩阵，其中，每张雷达图像包含W*H个像素，W为雷达图像的像素列数，H为雷达图像的像素行数，每个像素数值以S位二进制整数形式保存在存储器中；
(2)生成一个噪声图像矩阵N，矩阵N是一个M*(W*H)的矩阵，其中，矩阵N中包含了M张噪声图像，每张噪声图像包含W*H个噪声像素，每个噪声像素数值采用S位二进制整数形式，其中生成每个噪声像素的数值时满足如下概率分布：
Figure FDA0002526858630000011
其中，CPMF(NOISE)表示噪声数值为NOISE的概率，βi为数值NOISE的二进制形式中的第i位，i＝0,1,…S-1，即NOISE＝(βS-1……β1β0)2；ρ表示存储器中单个存储单元出现错误的几率，0<ρ<1；
(3)利用步骤(1)得到的矩阵B和步骤(2)得到的矩阵N，生成加噪声后的雷达图像矩阵BN，BN＝B^N，^表示矩阵BN中的每个元素为矩阵B中的每个元素和矩阵N中每个元素在二进制形式下按位异或产生；
(4)构建一个自编码-解码神经网络E，所述神经网络E由依次连接10层网络构成，具体如下：
自编码-解码神经网络E的第1层为卷积神经网络EL1，卷积神经网络EL1的卷积核权重参数W1为一个Lw1*Pw1*Qw1矩阵，其中，Lw1为该卷积核的通道数，Pw1为该卷积核的宽度，Qw1为该卷积核的高度；
自编码-解码神经网络E的第2层为池化神经网络EL2，池化神经网络EL2的卷积核权重参数W2为2*2矩阵；
自编码-解码神经网络E的第3层为卷积神经网络EL3，卷积神经网络EL3的卷积核权重参数W3为一个LW3*PW3*QW3矩阵，其中，LW3为该卷积核的通道数，PW3为该卷积核的宽度，QW3为该卷积核的高度；
自编码-解码神经网络E的第4层为池化神经网络EL4，池化神经网络EL4参数W4为2*2矩阵；，
自编码-解码神经网络E的第5层为全连接神经网EL5，EL5的神经元个数为F5，神经元权重参数为W5；
自编码-解码神经网络E的第6层为全连接神经网络EL6，EL6的神经元个数为F6，神经元权重参数为W6；
自编码-解码神经网络E的第7层为上采样神经网络EL7，上采样神经网络EL7的卷积核参数W7为2*2矩阵；
自编码-解码神经网络E的第8层为卷积神经网络EL8，卷积神经网络EL8的卷积核权重参数W8为一个LW8*PW8*QW8矩阵，其中，LW8为该卷积核的通道数，PW8为该卷积核的宽度，QW8为该卷积核的高度；
自编码-解码神经网络E的第9层为上采样神经网络EL9，上采样神经网络EL9的卷积核参数W9为2*2矩阵；
自编码-解码神经网络的第10层为卷积神经网络EL10，卷积神经网络EL10的卷积核权重参数W10为一个LW10*PW10*QW10矩阵，其中，LW10为该卷积核的通道数，PW10为该卷积核的宽度，QW10为该卷积核的高度；
其中，上述各层网络的参数Wi的初始值为随机数，i＝1,2…10；
(5)将步骤(3)生成的加噪声后的雷达图像矩阵BN输入步骤(4)的自编码-解码神经网络E，网络输出自编码-解码后的雷达图像矩阵E(BN)；
(6)以损失函数B2-{E(BN)}2达到最小值为训练目标，使用梯度下降法训练自编码-解码神经网络E，得到训练完毕的各层网络对应的参数Wi’，i＝1,2…10，自编码-解码神经网络训练完毕，；
(7)从存储器缓冲区中读取受损雷达图像X，将受损雷达图像X输入到步骤(6)训练完毕的自编码-解码神经网络，得到对应的输出图像E(X)，E(X)即为恢复后的雷达图像。
CN202010506828.XA 2020-06-05 2020-06-05 一种用于存储器中雷达图像数据恢复的方法 Active CN111752754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010506828.XA CN111752754B (zh) 2020-06-05 2020-06-05 一种用于存储器中雷达图像数据恢复的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010506828.XA CN111752754B (zh) 2020-06-05 2020-06-05 一种用于存储器中雷达图像数据恢复的方法

Publications (2)

Publication Number Publication Date
CN111752754A true CN111752754A (zh) 2020-10-09
CN111752754B CN111752754B (zh) 2022-10-18

Family

ID=72674940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010506828.XA Active CN111752754B (zh) 2020-06-05 2020-06-05 一种用于存储器中雷达图像数据恢复的方法

Country Status (1)

Country Link
CN (1) CN111752754B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447039A (zh) * 2016-09-28 2017-02-22 西安交通大学 基于自编码神经网络的无监督特征提取方法
CN108169745A (zh) * 2017-12-18 2018-06-15 电子科技大学 一种基于卷积神经网络的钻孔雷达目标识别方法
CN110275163A (zh) * 2019-06-28 2019-09-24 清华大学 一种基于神经网络的毫米波雷达探测目标成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447039A (zh) * 2016-09-28 2017-02-22 西安交通大学 基于自编码神经网络的无监督特征提取方法
CN108169745A (zh) * 2017-12-18 2018-06-15 电子科技大学 一种基于卷积神经网络的钻孔雷达目标识别方法
CN110275163A (zh) * 2019-06-28 2019-09-24 清华大学 一种基于神经网络的毫米波雷达探测目标成像方法

Also Published As

Publication number Publication date
CN111752754B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
US10834415B2 (en) Devices for compression/decompression, system, chip, and electronic device
CN109816615B (zh) 图像修复方法、装置、设备以及存储介质
CN110570346B (zh) 一种基于循环生成对抗网络对书法进行风格迁移的方法
CN110826593A (zh) 融合图像处理模型的训练方法、图像处理方法、装置及存储介质
CN114677304B (zh) 一种基于知识蒸馏和深度神经网络的图像去模糊算法
Zhang et al. Wireless transmission of images with the assistance of multi-level semantic information
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN113362242B (zh) 基于多特征融合网络的图像修复方法
CN110414520A (zh) 通用字符识别方法、装置、计算机设备和存储介质
CN105787867A (zh) 基于神经网络算法的处理视频图像的方法和装置
CN113222818A (zh) 一种使用轻量化多通道聚合网络重建超分辨率图像的方法
CN107463932A (zh) 一种使用二进制瓶颈神经网络来抽取图片特征的方法
CN116778165A (zh) 基于多尺度自适应语义分割的遥感影像灾害检测方法
CN116740121A (zh) 一种基于专用神经网络和图像预处理的秸秆图像分割方法
CN115170985A (zh) 一种基于阈值注意力的遥感图像语义分割网络及分割方法
Lin et al. Multistage spatial context models for learned image compression
CN111752754B (zh) 一种用于存储器中雷达图像数据恢复的方法
JP6528349B1 (ja) 情報処理装置及び情報処理方法
CN113962861A (zh) 图像重建方法、装置、电子设备和计算机可读介质
CN116434039B (zh) 一种基于多尺度拆分注意力机制的目标检测方法
CN116994264A (zh) 一种文本识别方法、芯片及终端
CN113691863A (zh) 一种提取视频关键帧的轻量化方法
CN116188652A (zh) 一种基于双尺度循环生成对抗的人脸灰度图像着色方法
CN115170807A (zh) 一种图像分割、模型训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant