CN116433967B - 一种面向无创神经调控技术的个性化靶点选择方法 - Google Patents

一种面向无创神经调控技术的个性化靶点选择方法 Download PDF

Info

Publication number
CN116433967B
CN116433967B CN202310279372.1A CN202310279372A CN116433967B CN 116433967 B CN116433967 B CN 116433967B CN 202310279372 A CN202310279372 A CN 202310279372A CN 116433967 B CN116433967 B CN 116433967B
Authority
CN
China
Prior art keywords
data
voxels
characteristic
subtype
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310279372.1A
Other languages
English (en)
Other versions
CN116433967A (zh
Inventor
张锡哲
王菲
董帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Brain Hospital
Original Assignee
Nanjing Brain Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Brain Hospital filed Critical Nanjing Brain Hospital
Priority to CN202310279372.1A priority Critical patent/CN116433967B/zh
Publication of CN116433967A publication Critical patent/CN116433967A/zh
Application granted granted Critical
Publication of CN116433967B publication Critical patent/CN116433967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种面向无创神经调控技术的个性化靶点选择方法,包括:对当前患者的核磁共振扫描数据中的fMRI数据进行预处理,获取fMRI脑影像特征数据,并输入预先训练的亚型间分类模型,获取当前患者所属的亚型标签及其所有特征体素;对当前患者的核磁共振扫描数据中的sMRI数据的T1加权磁共振成像数据进行预处理,获取颅骨外轮廓线及与fMRI数据的变换矩阵;将特征体素进行坐标变换,计算每个颅骨外轮廓线上的体素与特征体素之间的距离,标记响应特征体素并统计其数量;根据数量进行排序,最终选择响应特征体素最多的颅骨外轮廓线上的体素作为候选脑区靶点。上述方法减少了人为主观干预对治疗靶点选择的影响,提高了靶点选择的客观性和准确性。

Description

一种面向无创神经调控技术的个性化靶点选择方法
技术领域
本发明涉及核磁共振脑影像图像处理技术领域,尤其涉及一种面向无创神经调控技术的个性化靶点选择方法。
背景技术
无创神经调控是一种利用物理性信号(光、磁、电、超声)非侵入性改变神经系统功能的生物医学工程技术。神经调控(脑刺激)是通过对特定脑区的电场或磁场进行调控、从而缓解精神症状的物理疗法。与侵入性的深部脑刺激相比,无创神经调控技术由于副作用小、效果显著。典型的无创神经调控技术,如重复经颅磁刺激(repetitive transcranialmagnetic stimulation,rTMS),经颅直流电刺激(transcranial direct currentstimulation,tDCS)等,通过刺激特定脑区,调控大脑神经活动,从而改善抑郁症等重性精神疾病的症状。
核磁共振成像MRI是一种非侵入性的成像技术,可以通过监测脑部活动和结构来帮助研究大脑的功能和疾病。功能磁共振成像fMRI技术可以通过监测血液氧合水平的变化来识别与特定任务相关的脑区。结构磁共振成像sMRI技术可以提供大脑结构的信息,包括灰质、白质和脑室。而T1数据则是用于描述sMRI扫描结果的图像格式,可以显示脑组织的分布和密度,常用于建立三维大脑模型。
在无创神经调控技术中,fMRI和sMRI技术可以帮助确定无创神经调控刺激的位置。fMRI可以检测出脑活动的变化,从而确定刺激脑区的位置。sMRI则可以提供脑结构的信息,帮助确定刺激位置与关键脑区的距离,以及避免对重要脑区的干扰。而T1数据可以用来建立个体化的大脑模型,帮助确定刺激的位置和强度,以便进行更准确的刺激治疗。当前,无创神经调控在治疗抑郁症患者时通常采用固定的治疗靶点来治疗患者,其中治疗靶点包括:背外侧前额叶(DLPFC),而背内侧前额叶(DMPFC)、腹外侧前额叶(VLPFC)及腹内侧前额叶(VMPFC)等区域,上述各靶点在部分患者上可以成功地调节患者的情绪反应。
基于上述靶点在实际的治疗过程中,治疗有效率仅在10%-60%之间。而且不同的患者可能对同一种治疗方式的反应存在差异。因此,需要进一步的研究来深入了解并确定个体化最佳的治疗方法和靶点选择。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足,本发明提供一种面向无创神经调控的个性化脑区靶点选择方法。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括:
第一方面,本发明实施例还提供一种面向无创神经调控技术的个性化靶点选择方法,包括:
S10、对当前患者的核磁共振扫描数据中的功能磁共振数据(即fMRI数据)进行预处理,获取预处理后的fMRI脑影像特征数据;
S20、将预处理后的fMRI脑影像特征数据输入预先训练的亚型间分类模型,获取当前患者所属的亚型标签及该亚型标签所属的所有特征体素;
S30、对当前患者的核磁共振扫描数据中的sMRI数据的T1加权磁共振成像数据进行预处理(对当前患者的核磁共振扫描数据中的结构磁共振数据(即sMRI数据)进行预处理),获取颅骨外轮廓线;对sMRI与fMRI数据进行配准,得到变换矩阵T;
S40、基于变换矩阵T,将亚型标签所属的所有特征体素进行坐标转换,计算颅骨外轮廓线上每个体素b与坐标转换后的每个特征体素之间的距离,距离小于指定长度的特征体素被标记为b的响应特征体素;统计每个颅骨外轮廓线上体素对应的响应特征体素数量,响应特征体素最多的颅骨外轮廓线上的体素作为对应个性化靶点的候选靶点;
其中,采用预设数量的患者核磁共振扫描数据训练给定的分类模型,获得亚型间分类模型。
可选地,所述S20之前,所述方法还包括:
S001、对预先获取的指定数量患者的功能磁共振脑影像数据进行预处理,获得每一患者的fMRI数据的脑影像特征;
S002、对每一脑影像特征降维处理,获得低维影像特征数据,并使用聚类算法对所有低维影像特征数据进行聚类,得到k个亚型;每个患者标注一个亚型标签;
S003、将具有亚型标签的低维影像特征数据作为第一训练数据,训练分类模型,获得训练后的亚型间分类模型。
可选地,fMRI数据的脑影像特征包括:低频振幅ALFF、局部一致性ReHo,或功能连接FC;
对每一脑影像特征降维处理,获得低维影像特征数据,包括:
采用t-SNE、PCA或UMAP对每一脑影像特征进行降维处理,获得低维影像特征数据;
分类模型为支持向量机或卷积神经网络。
可选地,所述S30之前,所述方法还包括:
针对单一亚型,选取所属亚型标签的所有患者的脑影像特征数据,以及,获取一定量的健康人的核磁共振fMRI数据,基于患者的数据预处理方法获得健康人的脑影像特征数据;以是否患病作为分类标签,训练二分类机器学习模型,采用递归特征消除算法找到对应亚型的特征体素;将找到的特征体素记入SList。
可选地,所述S30包括:
采用核磁共振脑影像颅骨分割算法对所述T1加权磁共振成像数据进行分割,获得颅骨的外轮廓线;
采用脑影像分析方法,将当前患者的sMRI与fMRI数据进行配准,得到变换矩阵T;
fMRI数据为对当前患者的核磁共振数据中的部分数据。
可选地,针对SList中每一体素按照变换矩阵T进行坐标变换,得到T1加权磁共振成像数据相同坐标系下的特征体素列表SListT
采用遍历的方法计算颅骨轮廓线上的每个体素b与SListT中每个特征体素aT之间的距离,当b与aT的距离小于D时,将aT记作b的响应体素,统计体素b的响应体素个数;
将患者颅骨外轮廓线上的体素的响应体素个数进行排序,在距离范围D内,包含最多响应特征体素的颅骨外轮廓线上的体素即为候选治疗靶点。
可选地,所述S10中的对当前患者的fMRI数据进行预处理,获取预处理后的脑影像特征包括:
针对当前患者的fMRI数据进行预处理,并按照ALFF计算方法选择频率在0.01-0.08Hz之间的低频信号来计算ALFF值,如公式(1)所示:
其中,ALFFi表示体素即脑影像特征数据的三维空间坐标点i的ALFF值,Yi表示体素i的时域数据经过傅里叶变换得到的频域数据,而N1和N2分别为选取的频率最低频和最高频所对应离散频率谱的数据索引位置;
最后,将每个体素ALFF值除以全脑ALFF均值,得到标准化的ALFF结果,将标准化的ALFF结果作为预处理后的脑影像特征。
第二方面,本发明实施例还提供一种计算设备,其包括:存储器和处理器,所述存储器中存储计算机程序,所述处理器中执行所述存储器中的计算机程序并执行如上第一方面任一所述的一种面向无创神经调控技术的个性化靶点选择方法的步骤。
第三方面,一种计算机可读存储介质,用于存储有计算机程序,所述计算机程序被处理器执行时实现上述如上第一方面任一所述的一种面向无创神经调控技术的个性化靶点选择方法的步骤。
(三)有益效果
本实施例提出的治疗靶点选择方法采用磁共振脑影像技术,并结合机器学习算法进行精神疾病的分型,以便为每个亚型自动找到适宜的反复经颅磁刺激治疗的潜在靶点。通过对患者的脑影像数据进行分析,选定最佳治疗靶点,从而减少了人为主观干预对治疗效果的影像,提高了治疗的客观性和准确性。本发明提供的治疗靶点选择方法具有非常广阔的应用前景,为精神疾病患者的治疗带来了新的希望。
附图说明
图1和图5分别为本发明实施例提供的一种面向无创神经调控技术的个性化靶点选择方法的流程示意图;
图2是本发明实施例中亚型与健康人t检验的脑影像特征图;
图3是本发明实施例中top-50体素和全脑体素分类表现图;
图4是本发明实施例中亚型靶点图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
现有技术中的临床实践往往根据医生的经验和偏好,为所有患者选择固定的单一治疗靶点,例如DLPFC来进行治疗。然而抑郁症等精神疾病是一种典型复杂性疾病,具有较强的异质性,其症状和病因往往存在很大差异。同时人体大脑是一个高度复杂的系统,特定的靶点只能影像特定的神经网络,而忽略了其他可能与疾病相关的神经网络,因此只选择一个特定的靶点治疗并不一定能够有效地治疗所有的病人。因此,针对不同病人的不同病情,需要个体化的靶点选择和治疗方案。
为了解决无创神经调控技术中的靶点选择难题,本发明提出了一种新的解决方案,即基于磁共振脑影像技术的个性化调控靶点选择方法。该方法不同于传统的靶点选择方法,是一种基于大数据分析的个体化靶点选择方法,可以为不同的患者找到最适合其特定情况的靶点位置,从而为治疗精神疾病提供合理帮助。具体而言,本方法利用磁共振脑影像数据,通过分析患者内部不同大脑区域之间的联系和与健康对照人群的差异,找出患者特定的大脑区域,将其作为个性化靶点的候选者。相比于传统的靶点选择方法,该个性化靶点选择方法不仅可以提高靶点选择的准确性,精准性,还促进后续调控的效果,具有很高的临床应用价值。
本发明实施例提出的无创神经调控靶点选择方法,基于磁共振脑影像数据,通过机器学习的方法对疾病进行分型。针对不同的疾病亚型,本发明可以自动找到合适的反复经颅磁刺激对应的潜在靶点。这一方法摆脱了传统治疗方法的主观因素干扰,为精神疾病的治疗提供了更加客观和准确的方案。
实施例一
如图1和图5所示,本发明实施例提供一种面向无创神经调控技术的个性化靶点选择方法的流程示意图,本实施例的方法的执行主体可为任意计算设备,其具体实现方法包括下述步骤:
S10、对当前患者的核磁共振扫描数据中的fMRI数据进行预处理,获取预处理后的fMRI脑影像特征数据。
本实施例中,患者扫描的磁共振数据包含有fMRI-功能数据、sMRI-结构数据等,sMRI又包含T1,T2等加权数据。
S20、将预处理后的fMRI脑影像特征数据输入预先训练的亚型间分类模型,获取当前患者所属的亚型标签及该亚型标签所属的所有特征体素。
也就是说,针对指定患者,扫描磁共振脑影像,利用前述亚型分类模型对患者fMRI数据进行分类,得到患者的亚型类型以及对应的亚型特征体素。
S30、对当前患者的核磁共振扫描数据中的sMRI数据的T1加权磁共振成像数据进行预处理,获取颅骨外轮廓线。
也就是说,采用通用核磁共振脑影像颅骨分割算法,对指定患者的T1加权磁共振成像数据进行分割,找到指定患者脑影像中的颅骨的外轮廓线。
S40、对fMRI功能脑影像和sMRI结构脑影像数据进行配准,得到二者之间的变换矩阵T。
S50、基于变换矩阵T,将亚型标签所属的所有特征体素进行坐标转换,计算颅骨外轮廓线上每个体素b与坐标转换后的每个特征体素之间的距离,距离小于指定长度的特征体素被标记为b的响应特征体素;统计每个颅骨外轮廓线上体素的响应特征体素数量;选择响应特征体素最多的颅骨外轮廓线上的体素作为对应个性化靶点的候选靶点。
也就是说,对患者所属亚型的每一个特征体素进行坐标变换,得到T1相同坐标系下的特征体素列表SlistT。特征体素即SList是属于亚型的,亚型间分类模型对单个患者进行分类后,患者获得了亚型标签也就获得了该亚型对应的特征体素即SList。
采用遍历的方法计算颅骨轮廓线上的每个体素b与SListT中每个特征体素aT之间的距离,当b与aT的距离小于D时,将aT记作b的响应体素,统计体素b的响应体素个数。
将患者颅骨外轮廓线上的体素的响应体素个数进行排序,在距离范围D内,包含最多响应特征体素的颅骨外轮廓线上的体素即为候选治疗靶点。
本实施例中对SList进行坐标转换是为了将SList转换到T1的数据空间即颅骨外轮廓线所在空间。经过转换得到的SListT已经与颅骨轮廓线上的体素处于同一空间因此可以计算距离。
本实施例中,采用预设数量的患者核磁共振数据训练给定的分类模型,获得亚型间分类模型;例如,对预先获取的指定数量患者的磁共振数据进行预处理,获得每一患者的fMRI数据及fMRI数据的脑影像特征;对每一脑影像特征降维处理,获得低维影像特征数据,并使用聚类算法对所有低维影像特征数据进行聚类,得到k个亚型;每个患者标注一个亚型标签;将具有亚型标签的低维影像特征数据作为第一训练数据,训练分类模型,获得训练后的亚型间分类模型。
本实施例中,提供一种精神疾病人群的疾病人群子类(以下简称亚型)分类模型,模型的获取主要分为亚型聚类和分类模型训练两步。
在亚型聚类步骤中,采用了降维算法和聚类算法相结合的方法,以获取精神疾病亚型。具体而言,针对患者人群fMRI(functional magnetic resonance imaging)功能磁共振影像数据(以下简称fMRI数据),首先采用降维算法将fMRI数据降到指定维度,以减少维度的同时保留重要信息。然后,采用聚类算法对降维后的数据进行聚类,以获得精神疾病亚型。
在亚型分类模型训练步骤中,采用上述步骤获得的聚类亚型标签结合患者fMRI数据训练亚型分类模型,建立的分类模型用于预测患者的亚型类型。
另外,针对每个亚型,还寻找了其与健康人群fMRI数据的差异,用于后续的治疗靶点计算。首先,引入健康人群fMRI数据,针对每个亚型,利用患者和健康人fMRI数据的三维空间坐标点(以下简称体素)的值作为特征结合分类模型,采用递归特征消除的方式找到分类过程中最重要的体素作为特征体素。
实施例二
本实施例提供一种更具体的面向无创神经调控技术的个性化靶点选择方法,该方法可通过三个阶段实现,以下对每个阶段的步骤进行详细说明,本实施例的方法的执行主体均为任一计算设备。
第一阶段:基于磁共振脑影像,获取用于进行精神疾病亚型划分的亚型分类模型。
步骤11:预先获取指定数量的核磁共振脑影像数据即MRI数据,并对MRI数据中fMRI(functional magnetic resonance imaging,功能磁共振影像数据,简称fMRI数据)进行预处理。
MRI数据可以是从医院的数据库中调取,或者在某一段时间内采集的影像数据。MRI数据可包括:第一预设数量的患有某种指定型疾病的患者的MRI数据,第二预设数量的健康人的静息态功能磁共振脑影像数据。
本实施例中是针对每一例fMRI数据均进行单独的预处理。预处理可包括:去除前10个时间点数据、头动校正、配准到标准脑空间、平滑等方式。本实施例中每一个预处理的方式均为现有的方式,本实施例不对其限定,根据实际需要进行处理。
步骤12:针对预处理后的每一例fMRI数据,获取每一例fMRI数据的脑影像特征。
本实施例中脑影像特征可包括:ALFF(Amplitude ofLow FrequencyFluctuations,低频振幅)、ReHo(Regional Homogeneity,局部一致性)、FC(FunctionalConnectivity,功能连接)等特征;本实施例不限定仅为这三种特征,根据实际需要进行设置。
步骤13:对步骤12中获取的所有患者的脑影像特征进行降维,获得每个脑影像特征数据的d维表示(d远小于脑影像原始维度)的低维影像特征数据。
本实施例中可以利用降维算法如t-SNE、PCA、UMAP进行降维处理,还可选择其他降维算法进行降维处理,本实施例不对其限定。该步骤中的d维可根据实际需要选择,d大于等于2,小于等于5的自然数。
步骤14:针对所有患者fMRI数据的低维影像特征数据,使用聚类算法进行聚类,得到k个疾病人群子类,本实施例中将上述疾病人群子类称为亚型;每个患者将得到一个亚型标签,即每一患者fMRI数据的低维影像特征数据具有一个亚型标签。
本实施例所用的聚类算法可包括高斯混合聚类(GMM)、k均值聚类(k-means)、谱聚类等算法等。
步骤15:基于步骤13中所有患者fMRI数据的低维影像特征数据,以及步骤14中的亚型标签,训练预先给定的分类模型,获得亚型间分类模型。
本实施例的训练过程中可以使用五折交叉验证、参数网格搜索等方法保证分类模型训练效果。上述的分类算法可为SVM或卷积神经网络等。
上述的步骤13、步骤14、步骤15处理的对象是只对一定数量的患者对应的数据进行处理,不包含健康人的数据。
第二阶段:筛选不同精神疾病亚型的候选特征体素。
步骤16:针对第一类亚型标签的患者,获取该患者数量基本相同的健康人的fMRI数据的影像特征数据。
可理解的是,上述步骤12的方式获取健康人的fMRI数据的影像特征数据。
步骤17:对于第一类亚型标签的患者的影像特征数据增加患病标签,对健康人的影像特征数据增加不患病标签;
采用增加患病标签和不患病标签的影像特征数据,训练二分类机器学习模型(如SVM、随机森林等),基于训练的二分类机器学习模型,采用递归特征消除的方式找到分类过程中最重要的体素(MRI数据的三维空间坐标点)作为特征体素,并将上述得到特征体素记录在SList列表一中。
这里处理的对象是上述步骤12中的3维空间的影像特征数据(如ALFF、ReHo等),因此存在体素即三维空间坐标点。
第三阶段:筛选个性化靶点。
步骤18:采用通用核磁共振脑影像颅骨分割算法,对指定分析患者的sMRI数据的T1加权磁共振成像数据脑影像进行分割,找到患者脑影像中的颅骨的外轮廓线。
MRI数据即磁共振影像数据包含有fMRI-功能影像数据和sMRI-结构影像数据。
步骤19:采用通用脑影像分析软件,如SPM12的coregister模块,将指定分析患者的sMRI数据与fMRI数据进行对齐,得到变换矩阵T。
步骤20:对指定分析患者所属亚型的每一个特征体素进行坐标变换,即对于SList中的任一特征体素a,进行如下变换:aT=a*T,得到T1坐标下的特征体素列表SListT
对患者数据进行分类后,患者获得对于的亚型标签同时也获得了亚型对应的SList。
步骤21:遍历指定分析患者颅骨轮廓线上的每个体素b,计算b与SlistT中每个特征体素aT之间的距离,当b与aT的距离小于D时,将aT记作b的响应体素,统计体素b的响应体素个数。
步骤22:将指定分析患者颅骨外轮廓线上的体素的响应体素个数进行排序,在距离范围D内,包含最多响应特征体素的颅骨外轮廓线上的体素即为候选治疗靶点。
本实施例的方法采用磁共振脑影像技术,并结合机器学习算法进行精神疾病的分型,以便为每个亚型自动找到适宜的反复经颅磁刺激治疗的潜在靶点。通过对患者的脑影像数据进行分析,选定最佳治疗靶点,从而减少了人为主观干预对治疗效果的影像,提高了治疗的客观性和准确性。本发明提供的治疗靶点选择方法具有非常广阔的应用前景,为精神疾病患者的治疗带来了新的希望。
实施例三
本实施例提供一种更具体的面向无创神经调控技术的个性化靶点选择方法,该方法可通过三个阶段实现,以下对每个阶段的步骤进行详细说明,本实施例的方法的执行主体均为任一计算设备。
步骤031:以采集的重性抑郁患者和健康人为例,对所有人进行脑部核磁共振扫描,磁共振扫描仪采用GE Signa HDxt 3.0T。
本次实验共采集重性抑郁患者数据372例,健康人254例。采用梯度回波平面成像(EPI)序列采集功能图像。
参数为:TR=500ms,TE=30ms,翻转角度=60°,视野=224×224mm2,矩阵=64×64。收集35个轴向切片,厚度3.5mm,间隙为0.5mm。参与者被要求闭上眼睛休息,但在扫描过程中保持清醒。
步骤032:针对患者和健康人中的每一例fMRI数据,利用matlab(数字分析与计算软件)中DPABI(Data Processing Assistant for Resting-State fMRI,静息态功能磁共振处理助手)插件fMRI数据进行预处理;预处理方式包括:去除前10个扫描时间点数据、调整扫描层顺序、头动校正、扫描顺序调整、配准到标准蒙特利尔空间、平滑处理以提高信噪比并减少配准的不准确性、去除线性飘逸等。
步骤033:利用步骤032预处理得到的数据,继续计算患者和健康人中的每一例脑影像特征如ALFF数据,
按照ALFF计算方法选择频率在0.01-0.08Hz之间的低频信号来计算ALFF值,如下公式(1)所示:
其中,ALFFi表示体素(脑影像特征数据的三维空间坐标点)i的ALFF值,Yi表示体素i的时域数据经过傅里叶变换得到的频域数据,而N1和N2分别为选取的频率最低频和最高频所对应离散频率谱的数据索引位置。最后,将每个体素ALFF值除以全脑ALFF均值,得到标准化的ALFF结果。
第一阶段:基于磁共振脑影像,获取用于对精神疾病亚型分类的亚型间分类模型。
亚型间分类模型可以对特定患者的fMRI数据进行分类,找到其对应的亚型(疾病人群子类),进而找到患者个性化的无创神经调控的治疗靶点。
步骤034:使用t-SNE算法对全体患者的ALFF数据进行降维,将数据降到2维。
上述降维算法具体参数设置如下:模型中与最近邻数相关的复杂度参数设置为30,模型的学习率设置为200,模型的最大迭代次数设置为1000,模型的距离评价标准为欧氏距离。
步骤035:使用高斯混合聚类算法对上述步骤034降维得到的患者2维数据进行聚类,得到2个亚型,每个患者将得到一个亚型标签。
上述聚类算法具体参数设置如下:模型中每个亚型都设置一个广义协方差矩阵,并且当下限平均增益低于0.001阈值时,模型迭代将停止,最大迭代次数设置为100,使用k-mean算法初始化模型的权重、均值等。之后分别命名两个亚型为0和1。亚型与健康人的ALFF数据进行两样本t检验的脑影像结果如图2所示。
步骤036:基于步骤034得到的所有患者的2维数据,以及步骤035的得到的患者对应亚型作为分类标签,将此数据按照8比2的比例进行划分,80%作为训练集,剩下20%作为测试集。采用SVM分类算法,在训练集基础上,利用网格搜索结合5折交叉验证算法得到最优的模型参数,搜索的模型参数包括核函数(线性、非线性),核系数(0.01,0.03,0.05),然后测试集测试亚型间分类模型性能,最终获得亚型间分类模型。
步骤037:针对某一特定亚型的患者,同时选取一定数量的健康人群。结合亚型的患者和健康人的ALFF数据以及是否患病作为分类标签,将此数据按照8比2的比例进行划分,80%作为训练集,剩下20%作为测试集。
首先,在训练集基础上,利用递归特征消除算法RFE找到亚型与健康人的分类贡献度最高的top-50体素作为特征体素。递归特征消除是一种流行的特征选择算法,它可以根据每个体素的重要性来递归地削减体素集合,最终留下重要的核心体素。以下是RFE的详细步骤:
1)初始化:将ALFF所有体素作为初始体素集合,设置要选择的特征体素数量-50。
2)体素权重计算:使用SVM分类器对上述训练集数据进行训练,并计算每个体素的权重得分。SVM分类器使用训练集数据将特定亚型的患者和健康人的数据分隔开来,并根据每个体素在分类中的贡献度来计算其权重得分。
3)体素排序:将体素按照其权重得分从高到低排序。
4)体素剔除:从体素集合中剔除权重得分最低的体素,重复此过程,直到只剩下预定的体素数量。
5)模型训练和评估:使用剩余的体素重新训练SVM分类器,并使用测试集数据评估模型的性能。可以使用交叉验证等技术来评估模型的泛化能力。
6)结束条件:如果已经选择了所需数量的体素,则停止算法;否则返回第2)步继续迭代。
以上算法全部来自scikit-learn软件包。
其次,在测试集基础上,利用找到的top-50特征体素结合亚型与健康人标签训练与上述相同的线性SVM分类模型,然后在测试集上测试分类效果,并与使用全部素特征训练的模型效果做对比。从结果来看,top-50特征体素接近或者超过了全部大脑体素区域体素的分类效果,说明top-50特征体素有作为生物标志物的潜力,因此可以作为治疗靶点。具体结果如图3所示。
上述是寻找每个亚型的特征体素,这些特征体素可以用于后续的靶点计算。
第二阶段:筛选患者个性化治疗靶点
步骤038:针对特定患者,对其进行磁共振扫描,并采集扫描数据;
步骤039:对上述患者的核磁共振扫描数据中的fMRI数据进行预处理,得到ALFF数据。针对上述患者的核磁共振扫描数据中的sMRI数据的T1加权磁共振成像数据,使用FreeSurfer软件进行预处理,处理过程包括去噪、校正等步骤;
步骤040:针对上述预处理后的T1加权磁共振成像数据,使用FreeSurfer软件中的skullstrip模块对所述T1加权磁共振成像数据进行颅骨分割,并获得颅骨的外轮廓线,将颅骨外轮廓线上的体素列表记作OVList。
步骤041:采用通用脑影像分析软件,如SPM12的coregister模块,该模块可以在自动和半自动模式下执行图像对齐任务。这个模块使用归一化互信息(normalized mutualinformation)作为图像配准的相似性度量。在本发明的方法中,sMRI数据和fMRI数据通过该模块进行配准,从而得到变换矩阵T。
步骤042:首先利用步骤034中相同的方法对该患者的ALFF数据进行降维,得到2维数据,然后步骤037获得的亚型间分类模型对此2维数据进行分类,得到患者的亚型标签以及该亚型所对应的特征体素列表SList。
步骤043:对患者所属亚型的每一个特征体素进行坐标变换,即对于SList中的任一体素a,进行如下变换:aT=a*T,得到T1坐标下的特征体素列表SListT
步骤044:遍历步骤040获得的患者颅骨外轮廓线上的所有体素OVList,计算颅骨轮廓线上的每个体素b与SlistT中每个特征体素aT之间的距离,当b与aT的距离小于D时,将aT记作b的响应体素,统计体素b的响应体素个数。
步骤045:将患者颅骨外轮廓线上的体素的响应体素个数进行排序,在距离范围D内,包含最多响应特征体素的颅骨外轮廓线上的体素即为候选治疗靶点,如图4所示。
上述方法采用磁共振脑影像技术,并结合机器学习算法进行精神疾病的分型,以便为每个亚型自动找到适宜的反复经颅磁刺激治疗的潜在靶点。通过对患者的脑影像数据进行分析,选定最佳治疗靶点,从而减少了人为主观干预对治疗效果的影像,提高了治疗的客观性和准确性。本发明提供的治疗靶点选择方法具有非常广阔的应用前景,为精神疾病患者的治疗带来了新的希望。
另一方面,本发明实施例还提供一种计算机可读存储介质,其用于存储有计算机程序,所述计算机程序被处理器执行时实现如上任意实施例所述的一种面向无创神经调控的个性化脑区靶点选择方法的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中,这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用,仅是为了表述方便,而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外,需要说明的是,在本说明书的描述中,术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例,但本领域的技术人员在得知了基本创造性概念后,则可对这些实施例作出另外的变更和修改。所以,权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也应该包含这些修改和变型在内。

Claims (9)

1.一种面向无创神经调控技术的个性化靶点选择方法,其特征在于,包括:
S10、对当前患者的核磁共振扫描数据中的fMRI数据进行预处理,获取预处理后的fMRI脑影像特征数据;
S20、将预处理后的fMRI脑影像特征数据输入预先训练的亚型间分类模型,获取当前患者所属的亚型标签及该亚型标签所属的所有特征体素;
S30、对当前患者的核磁共振扫描数据中的sMRI数据的T1加权磁共振成像数据进行预处理,获取颅骨外轮廓线;对sMRI与fMRI数据进行配准,得到变换矩阵T;
S40、基于变换矩阵T,将亚型标签所属的所有特征体素进行坐标转换,计算颅骨外轮廓线上每个体素b与坐标转换后的每个特征体素之间的距离,距离小于指定长度的特征体素被标记为b的响应特征体素;统计每个颅骨外轮廓线上体素对应的响应特征体素数量,响应特征体素最多的颅骨外轮廓线上的体素作为对应个性化靶点的候选靶点;
其中,采用预设数量的患者核磁共振扫描数据训练给定的分类模型,获得亚型间分类模型。
2.根据权利要求1所述的方法,其特征在于,所述S20之前,所述方法还包括:
S001、对预先获取的指定数量患者的功能磁共振脑影像数据进行预处理,获得每一患者的fMRI数据的脑影像特征;
S002、对每一脑影像特征降维处理,获得低维影像特征数据,并使用聚类算法对所有低维影像特征数据进行聚类,得到k个亚型;每个患者标注一个亚型标签;
S003、将具有亚型标签的低维影像特征数据作为第一训练数据,训练分类模型,获得训练后的亚型间分类模型。
3.根据权利要求2所述的方法,其特征在于,
fMRI数据的脑影像特征包括:低频振幅ALFF、局部一致性ReHo,或功能连接FC;
对每一脑影像特征降维处理,获得低维影像特征数据,包括:
采用t-SNE、PCA或UMAP对每一脑影像特征进行降维处理,获得低维影像特征数据;
分类模型为支持向量机或卷积神经网络。
4.根据权利要求2所述的方法,其特征在于,所述S30之前,所述方法还包括:
针对单一亚型,选取所属亚型标签的所有患者的脑影像特征数据,以及,获取一定量的健康人的核磁共振fMRI数据,基于患者的数据预处理方法获得健康人的脑影像特征数据;以是否患病作为分类标签,训练二分类机器学习模型,采用递归特征消除算法找到对应亚型的特征体素;将找到的特征体素记入SList。
5.根据权利要求4所述的方法,其特征在于,所述S30包括:
采用核磁共振脑影像颅骨分割算法对所述T1加权磁共振成像数据进行分割,获得颅骨的外轮廓线;
采用脑影像分析方法,将当前患者的sMRI与fMRI数据进行配准,得到变换矩阵T;
fMRI数据为对当前患者的核磁共振数据中的部分数据。
6.根据权利要求5所述的方法,其特征在于,
针对SList中每一体素按照变换矩阵T进行坐标变换,得到T1加权磁共振成像数据相同坐标系下的特征体素列表SListT
采用遍历的方法计算颅骨轮廓线上的每个体素b与SListT中每个特征体素aT之间的距离,当b与aT的距离小于D时,将aT记作b的响应体素,统计体素b的响应体素个数;
将患者颅骨外轮廓线上的体素的响应体素个数进行排序,在距离范围D内,包含最多响应特征体素的颅骨外轮廓线上的体素即为候选治疗靶点。
7.根据权利要求5所述的方法,其特征在于,所述S10中的对当前患者的fMRI数据进行预处理,获取预处理后的脑影像特征包括:
针对当前患者的fMRI数据进行预处理,并按照ALFF计算方法选择频率在0.01-0.08Hz之间的低频信号来计算ALFF值,如公式(1)所示:
其中,ALFFi表示体素即脑影像特征数据的三维空间坐标点i的ALFF值,Yi表示体素i的时域数据经过傅里叶变换得到的频域数据,而N1和N2分别为选取的频率最低频和最高频所对应离散频率谱的数据索引位置;
最后,将每个体素ALFF值除以全脑ALFF均值,得到标准化的ALFF结果,将标准化的ALFF结果作为预处理后的脑影像特征。
8.一种计算设备,其特征在于,包括:存储器和处理器,所述存储器中存储计算机程序,所述处理器中执行所述存储器中的计算机程序并执行如上权利要求1至7任一所述的一种面向无创神经调控技术的个性化靶点选择方法的步骤。
9.一种计算机可读存储介质,用于存储有计算机程序,所述计算机程序被处理器执行时实现如上权利要求1至7任一所述的一种面向无创神经调控技术的个性化靶点选择方法的步骤。
CN202310279372.1A 2023-03-21 2023-03-21 一种面向无创神经调控技术的个性化靶点选择方法 Active CN116433967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310279372.1A CN116433967B (zh) 2023-03-21 2023-03-21 一种面向无创神经调控技术的个性化靶点选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310279372.1A CN116433967B (zh) 2023-03-21 2023-03-21 一种面向无创神经调控技术的个性化靶点选择方法

Publications (2)

Publication Number Publication Date
CN116433967A CN116433967A (zh) 2023-07-14
CN116433967B true CN116433967B (zh) 2024-03-26

Family

ID=87093539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310279372.1A Active CN116433967B (zh) 2023-03-21 2023-03-21 一种面向无创神经调控技术的个性化靶点选择方法

Country Status (1)

Country Link
CN (1) CN116433967B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117594193B (zh) * 2024-01-17 2024-06-18 西安电子科技大学 基于深度学习的经颅直流电个体化刺激靶点定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063569A (zh) * 2010-12-29 2011-05-18 深圳市海博科技有限公司 一种治疗计划中靶点布置方法和治疗计划系统
CN110170111A (zh) * 2018-02-21 2019-08-27 医科达有限公司 逆向计划方法
CN111407276A (zh) * 2019-12-23 2020-07-14 杭州师范大学 一种任务态功能磁共振个体化靶点定位方法
CN112294339A (zh) * 2020-10-14 2021-02-02 中国科学院苏州生物医学工程技术研究所 基于种群多样性控制的脑电源定位方法、系统及设备
CN113017868A (zh) * 2021-02-26 2021-06-25 西安交通大学口腔医院 一种正畸前后头颅侧位片配准方法及设备
CN113367681A (zh) * 2021-07-05 2021-09-10 北京银河方圆科技有限公司 靶点确定方法、装置、设备及存储介质
CN114399483A (zh) * 2022-01-07 2022-04-26 中国医学科学院生物医学工程研究所 皮层靶点确定方法、装置、电子设备及存储介质
WO2022266000A1 (en) * 2021-06-14 2022-12-22 The Board Of Trustees Of The Leland Stanford Junior University Methods of targeting neural circuit for personalized neuromodulation for impulsivity-related or uncontrollable behaviors

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624921A4 (en) * 2003-04-28 2008-12-31 Univ Vanderbilt DEVICE AND METHOD FOR THE OPTIMUM PLACEMENT OF A DEEP BRAIN STIMULATOR
US20130030499A1 (en) * 2011-07-28 2013-01-31 The Regents Of The University Of California Method for deep brain stimulation targeting based on brain connectivity

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063569A (zh) * 2010-12-29 2011-05-18 深圳市海博科技有限公司 一种治疗计划中靶点布置方法和治疗计划系统
CN110170111A (zh) * 2018-02-21 2019-08-27 医科达有限公司 逆向计划方法
CN111407276A (zh) * 2019-12-23 2020-07-14 杭州师范大学 一种任务态功能磁共振个体化靶点定位方法
CN112294339A (zh) * 2020-10-14 2021-02-02 中国科学院苏州生物医学工程技术研究所 基于种群多样性控制的脑电源定位方法、系统及设备
CN113017868A (zh) * 2021-02-26 2021-06-25 西安交通大学口腔医院 一种正畸前后头颅侧位片配准方法及设备
WO2022266000A1 (en) * 2021-06-14 2022-12-22 The Board Of Trustees Of The Leland Stanford Junior University Methods of targeting neural circuit for personalized neuromodulation for impulsivity-related or uncontrollable behaviors
CN113367681A (zh) * 2021-07-05 2021-09-10 北京银河方圆科技有限公司 靶点确定方法、装置、设备及存储介质
CN114399483A (zh) * 2022-01-07 2022-04-26 中国医学科学院生物医学工程研究所 皮层靶点确定方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Visualizing Protein Kinase A Activity In Head-fixed Behaving Mice Using In Vivo Two-photon Fluorescence Lifetime Imaging Microscopy;Bart C. Jongbloets et al.;PMC;20200701;第1-22页 *
基于导航的立体定向脑电图在癫痫外科中的应用;王昌泉 等;立体定向和功能性神经外科杂志;20151231;第28卷(第3期);第129-133页 *
神经外科医疗机器人Remebot 在立体定向活检术中的应用及精确度分析;徐力 等;哈尔滨医科大学学报;20220228;第56卷(第1期);第91-94页 *

Also Published As

Publication number Publication date
CN116433967A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
JP7405818B2 (ja) 変形可能テンプレートを使用して最適化された電極位置を有するttフィールドを用いて患者を治療する
CN106340021B (zh) 血管提取方法
CN108428233B (zh) 基于知识的自动图像分割
US8634614B2 (en) System and method for volumetric analysis of medical images
Parihar A study on brain tumor segmentation using convolution neural network
Kim et al. Automatic localization of the subthalamic nucleus on patient‐specific clinical MRI by incorporating 7 T MRI and machine learning: Application in deep brain stimulation
US20210369147A1 (en) Multimodal Neuroimaging-Based Diagnostic Systems and Methods for Detecting Tinnitus
CN116433967B (zh) 一种面向无创神经调控技术的个性化靶点选择方法
CN112233086B (zh) 基于脑区功能连接的fMRI数据分类识别方法及装置
CN112508902B (zh) 白质高信号分级方法、电子设备及存储介质
Tourville et al. Functional parcellation of the speech production cortex
Li et al. BrainK for structural image processing: creating electrical models of the human head
Ahmad et al. Review on image enhancement techniques using biologically inspired artificial bee colony algorithms and its variants
CN111488934A (zh) 脑影像数据处理方法、存储介质、计算机设备和装置
CN109816665A (zh) 一种光学相干断层扫描图像的快速分割方法及装置
Kamber Automated detection of multiple sclerosis lesions in magnetic resonance images of the human brain
Arslan Connectivity-driven parcellation methods for the human cerebral cortex
WO2024011647A1 (zh) 群组先验引导的基于深度学习的丘脑个体化图谱绘制方法
Cheng et al. A neural geometry theory comprehensively explains apparently conflicting models of visual perceptual learning
Martins Unsupervised brain anomaly detection in MR images
Chen Computer-aided detection of Parkinson's Disease using transcranial sonography.
Sille Real time segmentation of medical images
Berto Supervised Learning for White Matter Bundle Segmentation
Arora et al. Study of Deep Learning-Based Segmentation and Classification of Brain Tumors in MRI Images
Ali Interrogating autism from a multidimensional perspective: an integrative framework.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant