CN112669386A - 基于三维光学扫描的脑磁图自动化定位配准方法及装置 - Google Patents

基于三维光学扫描的脑磁图自动化定位配准方法及装置 Download PDF

Info

Publication number
CN112669386A
CN112669386A CN202110076677.3A CN202110076677A CN112669386A CN 112669386 A CN112669386 A CN 112669386A CN 202110076677 A CN202110076677 A CN 202110076677A CN 112669386 A CN112669386 A CN 112669386A
Authority
CN
China
Prior art keywords
probe
dimensional image
image
cap
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110076677.3A
Other languages
English (en)
Other versions
CN112669386B (zh
Inventor
高家红
古闻宇
盛经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kunmai Medical Technology Co ltd
Peking University
Original Assignee
Beijing Kunmai Medical Technology Co ltd
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kunmai Medical Technology Co ltd, Peking University filed Critical Beijing Kunmai Medical Technology Co ltd
Publication of CN112669386A publication Critical patent/CN112669386A/zh
Application granted granted Critical
Publication of CN112669386B publication Critical patent/CN112669386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于三维光学扫描的脑磁图自动化定位配准方法及装置,通过获得脑磁帽及被试头部的三维图像,分割基本形状从而提取图像特征,通过图像识别算法实现探头的自动定位,利用图像配准算法完成与被试结构像的匹配。本发明整个配准过程全自动化,快速且精准,摆脱了传统配准技术中的贴线圈、找基准点等操作,可一键式操作,大幅缩短了脑磁图测量前的准备时间,且避免了人为误差,获得高精度配准结果,助力新一代脑磁图的推广应用。

Description

基于三维光学扫描的脑磁图自动化定位配准方法及装置
技术领域
本发明涉及脑磁图成像领域,尤其涉及一种基于三维光学扫描的脑磁图自动化定位配准方法及装置。
背景技术
脑磁图(Magnetoencephalography,MEG)是一种通过测量神经电流在头外产生的磁场来推断头内脑活动的无损脑功能,脑成像和脑疾病诊断的技术。它具有小于一毫秒的高时间分辨率以及2-4毫米的高空间分辨率。利用测量的脑磁场分布,在合适的源模型下,可以唯一地确定皮层上因受到刺激而产生活动的神经元位置。脑磁图可用以研究包括脑的自发和诱发活动在内的多种脑神经活动过程,在临床上用以精神疾病诊断、癫痫病灶的定位等。脑磁图的研究对于人类认识脑,开发脑,治愈脑疾病都有重要的意义。
近年来,随着高温超导量子干涉磁强计以及原子磁强计等小型化的常温灵敏磁强计技术的成熟,脑磁探头阵列愈发的轻便可调,推动了新一代脑磁图系统的发展。在脑磁图的溯源分析中,需要得知每一个探头和被试大脑皮层的相对位置,该过程又称为脑磁图的配准。在传统脑磁图仪器中,以低温超导量子干涉磁强计组成的探头阵列浸泡在杜瓦瓶中,内嵌在一台大型设备中。由于探头阵列固定,仅需四个不共面的参考点就能获知所有探头的相对位置。比如在被试头部贴通电线圈,就能通过磁强计探测特定频段的信号获得探头阵列与被试头部的相对位置。再利用三维电磁示踪系统手动定位被试面部的三个基准点,与被试包含大脑皮层图像的脑部磁共振结构像进行基准点匹配,最终获得所有探头相对于被试大脑皮层的位置。然而,在新型脑磁图系统中,由于探头阵列不固定,而是分别插在脑磁帽上,相对位置不固定,且插入深度可调,需要定位的点数量相较于固定阵列高出两个数量级。如何快速且精准定位所有的探头,是一个必须克服的困难。此外,传统脑磁图中利用电磁示踪系统进行基准点匹配的操作,极易因手抖、皮肤扭曲等因素引入较大误差,而为了提高精度而增加基准点的数量又使得配准过程更加繁琐,费时费力,也不利于新型脑磁图推广应用。
发明内容
为了解决上述困难,本发明公开了一种基于三维光学扫描的脑磁图自动化定位配准方法及装置,其引入三维光学扫描成像,利用三维图像识别算法进行快速且准确的探头识别与定位,并通过被试面部的图像配准算法,实现了高精度的脑磁图快速配准。且上述流程均自动化,可一键式操作,快捷方便。
为实现上述目的,本发明采取下述技术方案:
一种基于三维光学扫描的脑磁图自动化定位配准方法,其步骤包括:
1)获取包含脑磁帽的被试头部三维图像,提取包含脑磁帽的被试头部三维图像中点云的信息,并依据点云信息,将点云分割为若干小点云,其中每一小点云代表一基本形状;
2)基于小点云的包围盒中一矩形平面的几何特征,计算各小点云之间的几何关系,获取组成脑磁帽探头的小点云,得到包含脑磁帽的被试头部三维图像中各探头位置;
3)获取被试头部的解剖结构像,并将解剖结构像分别转化为头皮三维图像与大脑皮层三维图像;
4)分别计算包含脑磁帽的被试头部三维图像与头皮三维图像的全局特征,选取拥有相似全局特征的点对,计算得到最优空间变换;
5)根据仪器坐标系及头皮三维图像中被试头皮的边界,得到头皮三维图像中的面部图像,并依据最优空间变换,得到包含脑磁帽的被试头部三维图像中的面部图像;
6)分别计算上述两个面部图像的全局特征,选取拥有相似全局特征的点对,计算得到最优空间变换;
7)将该空间变换作用于一面部图像,以初始化局部优化配准算法,输出优化后的配准结果对应的空间变化矩阵。
8)通过空间变换矩阵,将各探头位置与大脑皮层三维图像排布在同一坐标系下,得到各探头相对于被试大脑皮层的位置。
进一步地,所述基本形状包括:平面、球面、锥面和柱面。
进一步地,通过以下步骤得到小点云的包围盒:
1)计算小点云坐标的协方差矩阵;
2)以协方差矩阵的特征值作为边长,特征向量方向作为边的朝向,得到小点云的包围盒。
进一步地,所述矩形平面包括:包围盒的中心矩形平面。
进一步地,所述几何特征包括:小点云中的各点与矩形平面的法向、矩形平面的坐标边界和矩形平面的尺寸。
进一步地,通过以下步骤得到包含脑磁帽的被试头部三维图像中各探头位置:
1)根据设定的上表面尺寸阈值及侧表面尺寸阈值,对各矩形平面进行筛选,得到可能的探头上表面与探头侧表面;
2)依据设定中心点距阈值,在若干可能的探头侧表面中,找到各可能的探头上表面的相应可能的探头侧表面;
3)通过计算可能的探头上表面与相应可能的探头侧表面的几何特征,判断可能的探头上表面与相应可能的探头侧表面组成一无底面长方体;若能够组成无底面长方体,则该可能的探头上表面属于一探头,从而得到各探头位置。
进一步地,可能的探头上表面与相应可能的探头侧表面的几何特征包括:边界夹角、法向夹角和中心距离。
进一步地,通过图像分割算法和三维重建算法对解剖结构像进行处理,将解剖结构像分别转化为头皮三维图像与大脑皮层三维图像。
进一步地,通过以下步骤得到最优空间变换:
1)通过快速点特征直方图方法,获取包含脑磁帽的被试头部三维图像与头皮三维图像的全局特征;
2)选取拥有相似全局特征的点对,根据最小二乘法,计算得到最优空间变换。
进一步地,通过迭代最近邻算法优化图像配准结果。
一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述所述的方法。
一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机以执行上述所述的方法。
与现有技术相比,本发明的有益效果如下:
1)本发明着重解决头戴式脑磁图在实际应用中会遇到的问题,提出了针对头戴式脑磁帽的探头定位方法,以及与解剖结构像的匹配方法。
2)针对探头阵列灵活可调这一特性,提出了利用三维光学扫描实现头戴式脑磁帽和佩戴者面部的数字化方法,具有快速、方便、准确的优势。
3)对脑磁帽三维图像利用基本形状提取算法进行分割,进行特征提取从而识别出探头位置。在重建图像准确无破损的情况下,该方法识别准确率100%,且可塑性强,适用于不同形状的探头。
4)从三维图像中自动分割出面部进行图像配准,无须预设基准点,全自动化的流程避免了手动操作带来误差,配准更加精确。
5)本发明为头戴式脑磁图提供的配准方法,具有自动化、高精度、适应性强的特点,能提高脑磁图的空间分辨率,为新一代头戴式脑磁图的推广应用助力。
附图说明
图1为本发明的流程框图。
图2为脑磁帽的三维光学扫描成像结果以及探头定位示意图;其中白色部分为被试佩戴着脑磁帽,黑色方框代表自动化定位确定的探头上表面。
图3为光学扫描成像结果图与磁共振扫描成像结果图配准过程;其中左上图分别为光学扫描成像结果图,左下图为磁共振扫描成像结果图,右侧为截取的两面部图像匹配结果。
图4为自动化定位配准结果示意图;其中1代表被试头部磁共振结构像重建而得的头皮部分,2代表大脑皮层,3代表探头。
具体实施方式
下面结合附图,通过实施例对本发明作进一步的说明。
本发明的脑磁图自动化定位配准方法,其流程框图如图1所示,包括:
步骤1:被试佩戴主体为硅胶材质的脑磁帽,外部插有长方体形探头。使用激光扫描仪,绕被试一周,获得包含脑磁帽的被试头部三维图像,提取其中的点云坐标及法向,如图2中的白色部分所示。
步骤2:基于随机抽样一致性算法(RANSAC)对步骤1所得点云进行基本形状提取,所述基本形状包括:平面、球面、锥面和柱面。本例中提取三维图像中的平面,从该点云中分割出多个小点云。每一个小点云可近似拟合一个平面,小点云中所有点距离拟合的平面的距离以及小点云中所有点的法向与拟合的平面的法向之间的角度都小于阈值。
步骤3:对上一步骤中得到的小点云,进行主成分分析。计算小点云坐标的协方差矩阵,以协方差矩阵的特征值作为边长,特征向量方向作为边的朝向,由此得到小点云的包围盒。选取包围盒的中心矩形平面,计算该矩形平面的几何特征,包括法向、坐标边界、尺寸。主成分分析计算过程如下:
点云P=[X1 X2 X3],
Figure BDA0002907869900000041
的协方差矩阵
Figure BDA0002907869900000042
Figure BDA0002907869900000043
其中C(i,j)=Cov(Xi,Xj)。分解特征值得到Cv=λ,v作为边的朝向,λ作为边长。
步骤4:预设两个宽松的尺寸阈值并应用于上一步骤得到的所有平面,所有满足尺寸要求的平面被分别视为可能的探头的上表面和侧表面;接着设定中心点距阈值,对每一个可能的上表面,找到满足该阈值的分布在其附近的侧表面;根据上表面与众多侧表面之间的边界夹角、法向夹角、中心距离等特征继续筛选出可与该上表面共同组成一个长方体的侧面;最终若某上表面有四个侧面可与其组成一个无底面长方体,则该上表面确实属于某一探头,即通过寻找上表面定位到该探头,如图2中的黑框所示。
步骤5:在磁共振设备上获得被试头部的T1结构像,调用图像分割算法和三维重建算法对该结构像进行处理,分别得到被试头皮和大脑皮层三维结构像。
步骤6:计算步骤1和步骤5所得图像的快速点特征直方图FPFH,得到两三维图像的全局特征,在两三维图像中选取相似全局特征的点对,根据最小二乘估计计算最优空间变换,使得
Figure BDA0002907869900000051
最小,其中pi为步骤1所得图像中的点集,
Figure BDA0002907869900000052
为步骤5所得图像中所得点集,(c,R,T)定义一个三维空间仿射变换。最优解为:
定义
Figure BDA0002907869900000053
pc代表质心,对H奇异值分解得到UΛVT,则R=UVT
Figure BDA0002907869900000054
步骤7:根据磁共振设备采集图像时设备预设的坐标系以及被试头皮三维图像的边界,大致得到被试面部区域,将该部分图像分割出来。将步骤6得到的最优空间变换作用于该面部区域,得到包含脑磁帽的被试头部三维图像中的脸部区域,分割出面部图像。
步骤8:如图3所示,继续使用上述全局匹配算法配准两面部图像,得到的空间变换矩阵用于初始化迭代最近点(ICP)算法,继续优化两面部图像的配准结果,输出优化后的图像配准结果对应的空间变换矩阵。
步骤9:将步骤8输出的空间变换矩阵作用于探头位置,从而将其转换至大脑皮层三维结构像同一坐标系下,得到探头相对于被试大脑皮层的位置,完成脑磁图与核磁结构像的配准,如图4所示。
实验数据
对佩戴同一个脑磁帽的同一个被试重复十次脑磁图的自动化配准,取十次结果的平均值与单次测量值进行比较,得到探头的位置误差小于1mm,朝向误差小于0.6°。目前常用的配准方法引入的位置误差高达5-7mm,本发明的技术方案在精度上有很大提升。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于三维光学扫描的脑磁图自动化定位配准方法,其步骤包括:
1)获取包含脑磁帽的被试头部三维图像,提取包含脑磁帽的被试头部三维图像中点云的信息,并依据点云信息,将点云分割为若干小点云,其中每一小点云代表一基本形状;
2)基于小点云的包围盒中一矩形平面的几何特征,计算各小点云之间的几何关系,获取组成脑磁帽探头的小点云,得到包含脑磁帽的被试头部三维图像中各探头位置;
3)获取被试头部的解剖结构像,并将解剖结构像分别转化为头皮三维图像与大脑皮层三维图像;
4)分别计算包含脑磁帽的被试头部三维图像与头皮三维图像的全局特征,选取拥有相似全局特征的点对,计算得到最优空间变换;
5)根据仪器坐标系及头皮三维图像中被试头皮的边界,得到头皮三维图像中的面部图像,并依据最优空间变换,得到包含脑磁帽的被试头部三维图像中的面部图像;
6)分别计算上述两个面部图像的全局特征,选取拥有相似全局特征的点对,计算得到空间变换;
7)将该空间变换作用于一面部图像,以初始化局部优化配准算法,输出优化后的配准结果对应的空间变化矩阵。
8)通过空间变换矩阵,将各探头位置与大脑皮层三维图像排布在同一坐标系下,得到各探头相对于被试大脑皮层的位置。
2.如权利要求1所述的方法,其特征在于,所述基本形状包括:平面、球面、锥面和柱面。
3.如权利要求1所述的方法,其特征在于,通过以下步骤得到小点云的包围盒:
1)计算小点云坐标的协方差矩阵;
2)以协方差矩阵的特征值作为边长,特征向量方向作为边的朝向,得到小点云的包围盒。
4.如权利要求1所述的方法,其特征在于,所述矩形平面包括:包围盒的中心矩形平面;所述几何特征包括:小点云中的各点与矩形平面的法向、矩形平面的坐标边界和矩形平面的尺寸。
5.如权利要求1所述的方法,其特征在于,通过以下步骤得到包含脑磁帽的被试头部三维图像中各探头位置:
1)根据设定的上表面尺寸阈值及侧表面尺寸阈值,对各矩形平面进行筛选,得到可能的探头上表面与探头侧表面;
2)依据设定中心点距阈值,在若干可能的探头侧表面中,找到各可能的探头上表面的相应可能的探头侧表面;
3)通过计算可能的探头上表面与相应可能的探头侧表面的几何特征,判断可能的探头上表面与相应可能的探头侧表面组成一无底面长方体;若能够组成无底面长方体,则该可能的探头上表面属于一探头,从而得到各探头位置。
6.如权利要求5所述的方法,其特征在于,可能的探头上表面与相应可能的探头侧表面的几何特征包括:边界夹角、法向夹角和中心距离。
7.如权利要求1所述的方法,其特征在于,通过图像分割算法和三维重建算法对解剖结构像进行处理,将解剖结构像分别转化为头皮三维图像与大脑皮层三维图像。
8.如权利要求1所述的方法,其特征在于,通过以下步骤得到最优空间变换:
1)通过快速点特征直方图方法,获取包含脑磁帽的被试头部三维图像与头皮三维图像的全局特征;
2)选取拥有相似全局特征的点对,根据最小二乘法,计算得到最优空间变换。
9.一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。
10.一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。
CN202110076677.3A 2020-12-29 2021-01-20 基于三维光学扫描的脑磁图自动化定位配准方法及装置 Active CN112669386B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020115932451 2020-12-29
CN202011593245 2020-12-29

Publications (2)

Publication Number Publication Date
CN112669386A true CN112669386A (zh) 2021-04-16
CN112669386B CN112669386B (zh) 2022-09-23

Family

ID=75415789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110076677.3A Active CN112669386B (zh) 2020-12-29 2021-01-20 基于三维光学扫描的脑磁图自动化定位配准方法及装置

Country Status (1)

Country Link
CN (1) CN112669386B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114041797A (zh) * 2022-01-12 2022-02-15 北京航空航天大学杭州创新研究院 一种脑磁测量头盔的传感器布局方法及系统
CN114820489A (zh) * 2022-04-15 2022-07-29 北京昆迈医疗科技有限公司 一种基于空间标记点的opm阵列快速光学扫描定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000010454A1 (en) * 1998-08-24 2000-03-02 Ctf Systems Inc. Functional brain imaging from magnetoencephalographic data
US20090093706A1 (en) * 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automatic Alignment of Magnetic Resonance Imaging (MRI) Brain Scan By Anatomic Landmarks
WO2013026749A1 (en) * 2011-08-24 2013-02-28 Universite Libre De Bruxelles Method of locating eeg and meg sensors on a head
CN103778620A (zh) * 2012-10-23 2014-05-07 上海联影医疗科技有限公司 医学图像的处理方法和装置
CN106447708A (zh) * 2016-10-10 2017-02-22 吉林大学 一种oct眼底图像数据配准方法
CN110728704A (zh) * 2019-11-13 2020-01-24 北京航空航天大学 一种基于mri和opm的脑磁多模态影像配准系统及方法
CN111164375A (zh) * 2017-10-06 2020-05-15 亚伦·伯恩斯坦 生成一个或多个亮度边缘以形成物体的三维模型

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000010454A1 (en) * 1998-08-24 2000-03-02 Ctf Systems Inc. Functional brain imaging from magnetoencephalographic data
US20090093706A1 (en) * 2007-10-04 2009-04-09 Siemens Corporate Research, Inc. Automatic Alignment of Magnetic Resonance Imaging (MRI) Brain Scan By Anatomic Landmarks
WO2013026749A1 (en) * 2011-08-24 2013-02-28 Universite Libre De Bruxelles Method of locating eeg and meg sensors on a head
CN103778620A (zh) * 2012-10-23 2014-05-07 上海联影医疗科技有限公司 医学图像的处理方法和装置
CN106447708A (zh) * 2016-10-10 2017-02-22 吉林大学 一种oct眼底图像数据配准方法
CN111164375A (zh) * 2017-10-06 2020-05-15 亚伦·伯恩斯坦 生成一个或多个亮度边缘以形成物体的三维模型
CN110728704A (zh) * 2019-11-13 2020-01-24 北京航空航天大学 一种基于mri和opm的脑磁多模态影像配准系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTOPH PFEIFFER等: "On-scalp MEG sensor localization using magnetic dipole-like coils: A method for highly accurate co-registration", 《NEUROIMAGE》 *
RASMUS ZETTER等: "Optical Co-registration of MRI and On-scalp MEG", 《CC-BY-NC-ND 4.0 INTERNATIONAL LICENSE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114041797A (zh) * 2022-01-12 2022-02-15 北京航空航天大学杭州创新研究院 一种脑磁测量头盔的传感器布局方法及系统
CN114041797B (zh) * 2022-01-12 2022-04-19 北京航空航天大学杭州创新研究院 一种脑磁测量头盔的传感器布局方法及系统
CN114820489A (zh) * 2022-04-15 2022-07-29 北京昆迈医疗科技有限公司 一种基于空间标记点的opm阵列快速光学扫描定位方法
WO2023197441A1 (zh) * 2022-04-15 2023-10-19 北京昆迈医疗科技有限公司 一种基于空间标记点的opm阵列快速光学扫描定位方法

Also Published As

Publication number Publication date
CN112669386B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN112669386B (zh) 基于三维光学扫描的脑磁图自动化定位配准方法及装置
CN105395196B (zh) Eeg或meg电极在脑mr图像中的定位装置和方法
CN111289926B (zh) 一种脑磁测量头盔的设计和标定方法
CN103049901A (zh) 磁共振弥散张量成像纤维束追踪装置
CN111223133A (zh) 一种异源图像的配准方法
CN115349863A (zh) 一种脑磁测量装置以及脑磁测量装置与mri配准的方法
WO2023197441A1 (zh) 一种基于空间标记点的opm阵列快速光学扫描定位方法
CN110009745B (zh) 根据平面基元和模型驱动对点云提取平面的方法
Wetzel et al. Registering large volume serial-section electron microscopy image sets for neural circuit reconstruction using FFT signal whitening
CN113850883A (zh) 基于注意力机制的磁粒子成像重建方法
CN104867104A (zh) 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法
CN112515653B (zh) 一种基于核磁共振图像的脑网络构建方法
CN111968224A (zh) 船舶3d扫描点云数据处理方法
CN115797293A (zh) 一种基于磁共振成像的脑影像基准点自动化标注方法
CN111839515B (zh) 利用磁共振成像的胎儿胼胝体体积的测量方法及磁共振成像装置
CN114065825A (zh) 一种基于结构相似性的脑磁meg源定位方法
CN117257312B (zh) 一种机器学习中增广脑磁图数据的方法
CN112950600B (zh) 脑标识提取方法、装置、计算机设备和存储介质
CN111563880A (zh) 一种基于目标检测与聚类的横突棘突检测定位方法
Nazib et al. Towards extreme-resolution image registration with deep learning
CN113222887A (zh) 基于深度学习的纳米铁标记神经干细胞示踪的方法
CN114300096B (zh) 一种基于trus图像的前列腺活动表观模型建立方法
CN118415642A (zh) 一种可穿戴脑磁图仪的磁强计深度调节方法
CN116630384A (zh) 一种serf原子磁强计与头部核磁共振影像的自动配准方法
CN109615605B (zh) 基于量子势能模型的功能磁共振成像脑分区方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant