CN111728610A - 一种闭环认知反馈形式的脑电神经反馈系统 - Google Patents

一种闭环认知反馈形式的脑电神经反馈系统 Download PDF

Info

Publication number
CN111728610A
CN111728610A CN202010562382.2A CN202010562382A CN111728610A CN 111728610 A CN111728610 A CN 111728610A CN 202010562382 A CN202010562382 A CN 202010562382A CN 111728610 A CN111728610 A CN 111728610A
Authority
CN
China
Prior art keywords
electroencephalogram
cognitive
feedback
signals
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010562382.2A
Other languages
English (en)
Inventor
卜俊杰
何长乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Medical University
Original Assignee
Anhui Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Medical University filed Critical Anhui Medical University
Priority to CN202010562382.2A priority Critical patent/CN111728610A/zh
Publication of CN111728610A publication Critical patent/CN111728610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种闭环认知反馈形式的脑电神经反馈系统,涉及认知神经科学和生物医学工程相结合技术领域,具体方案为:包括脑电采集模块、脑电分析模块和反馈模块;脑电采集模块用于采集受试者在相应认知实验任务下的头皮脑电信号;脑电分析模块用于对采集的脑电信号进行预处理,并针对的提取认知活动信号特征,并利用机器学习模型建立相关特征脑活动信号与认知心理行为之间的关系,并建立相应的预测模型;其中,认知活动信号特征至少包括脑电的特定导联下的事件相关电位幅度信息,事件相关频率的能量信息和事件相关频率的相位信息,本发明能够进一步提高受试者在脑电神经反馈训练中的调节控制能力达到更加有效的改善认知能力的结果。

Description

一种闭环认知反馈形式的脑电神经反馈系统
技术领域
本发明涉及认知神经科学和生物医学工程相结合技术领域,更具体地说,它涉及一种闭环认知反馈形式的脑电神经反馈系统。
背景技术
神经反馈是一项无创性的认知训练治疗技术,目前被广泛的应用于精神障碍疾病,认知能力的改善等多个领域,其原理是受试者通过自我调控实时反馈的脑活动生理信号,经过一定时间的训练,从而达到认知心理行为和精神障碍疾病改善的结果。20世纪60年代左右出现的基于头皮脑电信号的反馈是最早的神经反馈,目前用于测量脑活动生理信息包括磁共振信号,近红外光谱信号等多种信号。相对于磁共振和近红外光谱信号,脑电信号具有很高的时间分辨率,人的许多认知活动的发生基本都在毫秒级别,所以脑电信号能很好的捕捉到更丰富的时间信息。同时脑电记录仪要远远低于磁共振系统的价格,所以脑电神经反馈更广阔的应用前景。
神经反馈形式的有效性将直接影响受试者能否在反馈训练中掌握调节脑活动信号的能力进而改善自己的认知心理行为结果。目前,神经反馈训练中呈现给受试者的是一种非闭合的反馈形式,主要包括直接的脑活动信号动态曲线(基于功能磁共振信号的神经反馈系统),将相关脑电信号转换成柱状图和条形图(用于大脑记忆功能改善的基于脑电信号的神经反馈训练仪)。由于用于反馈的脑活动特异性信号一般是根据相应的认知实验任务获得的,即通过相应的外在刺激得到相应的脑活动信号,而在上述反馈系统的反馈形式都是与诱发该脑活动信号无关的中性刺激(包括动态曲线,柱状图和条形图等),所以受试者在反馈训练中改变的状态可能和我们关心的认知状态并没有直接的关系,结合闭环认知反馈形式的神经反馈系统将会进一步提高受试者的认知训练结果。
发明内容
本发明的目的是提供一种闭环认知反馈形式的脑电神经反馈系统,能够进一步提高受试者在脑电神经反馈训练中的调节控制能力达到更加有效的改善认知能力的结果。
本发明的上述技术目的是通过以下技术方案得以实现的:
一种闭环认知反馈形式的脑电神经反馈系统,包括脑电采集模块、脑电分析模块和反馈模块;
脑电采集模块用于采集受试者在相应认知实验任务下的头皮脑电信号;
脑电分析模块用于对采集的脑电信号进行预处理,并针对的提取认知活动信号特征,并利用机器学习模型建立相关特征脑活动信号与认知心理行为之间的关系,并建立相应的预测模型;其中,认知活动信号特征至少包括脑电的特定导联下的事件相关电位幅度信息,事件相关频率的能量信息和事件相关频率的相位信息;
反馈模块用于通过脑电分析模块建立的预测模型,对受试者采集的脑电信号进行相应认知状态的预测,然后将预测的值转换为相应等级的刺激类型并呈现给受试者,通过将该刺激类型再次作为刺激源刺激激活相应的脑活动信号,形成闭环反馈。
作为一种优选方案,学习模型建立的过程为:基于采集到的脑电信号,提取相应认知任务试验下的脑电时域和频域特征并输入至分类器,通过小波分析算法得到时频率的能量特征,选取最终特征并通过基于簇的统计检验形成时间信息和导联信息的时空簇特征基于形成的电压和能量簇特征,将个簇中的信息平均,得到代表每个簇的电压和能量特征值,这些值将被融合在一起放入线性软间隔的支持向量机分类器中。
作为一种优选方案,脑电采集模块在信号采集过程中,首先将信号分为特异性认知事物、中性认知事物和无关认知事物;然后将同类型事物中不符合范围要求的事物进行剔除。
作为一种优选方案,脑电分析模块预处理过程包括高斯滤波、数据分段、伪影矫正和去除,脑电信号经预处理后得到刺激认知任务的脑电信号特征,然后将得到的电压簇和能量簇的特征的平均信号放入线性软间隔的向量机分类器中,通过向量机模型建立特异性认知事物的特异性程度与心理上相应认知程度的对应关系,得到此种多变量脑模式的数学模型。
作为一种优选方案,脑电信号特征包括时域的电压信息、频域的能量信息和空间域。
作为一种优选方案,闭环反馈过程包括:首先通过经多变量脑模式的数学模型得到受试者的大脑活动状态和特异性认知脑状态的吻合概率值,然后受试者通过得知自身脑活动信号与吻合概率值来调节自身特异性状态的实时脑电信号,再将实时脑电信号投入到下一轮脑电信号预处理,进而让受试者不断下调脑电信号与特异性脑活动状态信号的吻合度。
综上所述,本发明具有以下有益效果:
该反馈系统能让被试在反馈训练中更快速的掌握调控相关脑活动信号的能力,从而更加有效的提高认知能力或者改善认知障碍疾病。
附图说明
图1是本发明实施例的闭环认知反馈形式的脑电神经反馈系统流程图。
具体实施方式
本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包括”为一开放式用语,故应解释成“包括但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。
脑电采集模块,用于采集受试者在相应认知实验任务下的头皮脑电信号;
离线脑电分析模块,对相应任务下采集的脑电数据进行预处理,并提取我们关心的认知活动信号特征,主要包括脑电的时-频-空特征,即特定导联下的事件相关电位幅度信息,事件相关频率的能量信息以及事件相关频率的相位信息,然后利用机器学习模型(支持向量机)建立相关特征脑活动信号和认知心理行为之间的关系,为后续神经反馈奠定基础;
在线反馈模块,通过离线脑电分析模块建立的预测模型,对受试者在线采集的脑电信号进行相应认知状态的预测,将预测的值转换为相应等级的刺激类型,呈现给被试,此时该刺激类型又作为外在刺激激活我们关心的脑活动信号,以此反复循环下去,从而完成闭环认知反馈。
(1)特异性认知任务的脑电信号采集模块,为了获得被试特异性的认知脑状态的脑电活动信号及其脑电活动模式,我们完成在相应认知实验任务下脑电信号的采集:在该任务中,被试主要的任务是注意每一个特异性认知事物呈现且其能引发的特异性的认知脑状态,例如针对吸烟成瘾患者的特异性认知事物是香烟图片,此外还有一些引发中性的脑活动状态的中性认知事物,以及一些额外的为了确保被试注意力集中的无关认知事物,且同种类的认知事物的引发程度要保持相近,例如以图片为主的视觉上的认知事物的选择上我们通过matlab计算图片的明暗度和复杂度来剔除掉不符合范围要求的图片来确保图片的视觉匹配度尽量一致。
(2)离线脑电数据分析部分,在完成特异性的认知任务后此步骤主要完成脑电信号的预处理工作,并提取我们关心的认知信号,主要包括:高斯滤波(阈值设定为0.5Hz),数据分段(0ms~1000ms),伪影矫正和去除,经过处理后能得到刺激认知任务的脑电信号特征,该特征主要包括时域的电压信息,频域的能量信息以及空间域等特征(通过特异性的认知脑状态信号和中性认知的脑状态信号时域上的电压统计比较得到时域特征信号,主要基于小波算法得到频域特征的能量信息,通过结合时域-频域信号在头皮上分布的特点得出空间域信息)。接下来主要通过将上述的电压簇和能量簇的特征的平均信息放入线性软间隔的向量机分类器中来通过向量机模型来建立这些特异性认知事物的特异性程度与心理上的相应认知状态的程度的对应关系,进而得到此种多变量脑模式的数学模型。
(3)在线反馈模块,通过离线数据分析后我们建立了对特异性认知脑状态信号的预测后,在闭环神经反馈系统前我们先完成被试的神经反馈调控训练,之后开始闭环反馈:通过将脑电信号采集并预处理且经过多变量脑模式的数学模型来得到被试者的大脑活动状态和特异性认知脑状态的吻合概率值,并通过一定的曲线值反馈给被试和通过计算得到的与这个概率输出等级相匹配的特异性认知事物呈现给被试,被试通过之前训练习得的策略来进行神经反馈调控自身的特异性认知状态来降低吻合概率,这种被试通过得知自身脑活动信号与特异性认知脑状态信号吻合概率来调节自身特异性状态的实时脑电信号又投入到下一轮脑电数据处理预测中,让被试不断下调大脑信号与特异性脑活动状态信号的吻合度,经过此闭环反馈系统来提升被试的改善认知的能力。
基于采集到的脑电信号,相应认知任务试验下的脑电时域和频域特征将被提取然后这些特征将被输入到分类器中,从而对吸烟和非吸烟的刺激脑电反应进行区分。在进行相应的脑电特征提取之前,原始的脑电信号通过脑电分析软件EEGLAB进行预处理,预处理过程主要包括以下步骤:高通滤波(阈值设定为0.5Hz),数据分段(0ms~1000ms),以及眨眼伪迹的矫正和去除(基于常用的递归最小二乘算法)。在经过这些预处理步骤之后,相应认知任务实验下的脑电特征将被提取,该特征主要包括时域的电压信息以及频域的能量信息,具体是通过相应特异性任务脑电信号和非特异性任务进行对比,基于非参检验中的permutationtest得到显著的时频区域,该分析在头皮上的所有电极都进行了,除了垂直眼电和水平眼电,以及左侧乳突和右侧乳突,这些电极被排除分析的原因是他们被认为是远离脑内源的信号而且被认为可以当成零参考电位。时频域的能量特征主要是基于小波分析算法得到,脑电的频率主要被分成5个范围:alpha波,低beta波,高beta波,低gamma波以及高gamma波。最终特征的选取主要基于permutation test下的阈值低于0.05得到的,这些阈值下得到的显著时域电压以及频域能量信息进一步通过基于广泛使用的基于簇的统计检验(maximum cluster-level mass)形成时间信息和导联信息的时空簇特征基于形成的电压和能量簇特征,我们将每个簇中的信息平均,从而得到代表每个簇的电压和能量特征值,这些值将被融合在一起放入线性软间隔的支持向量机分类器中(软间隔的惩罚系数C=1),具体实现过程通过Matlab软件中的fitcsvm获得。上述构建的分类器主要用来从60个脑电电极活动信号模式中区分出对吸烟刺激反应和非吸烟刺激反应,最终用来预测的分类器是由吸烟刺激反应任务的所有数据分析而得到的模型。为了评估该分类器的预测分类效力,在单独的线下分析中,我们通过留一验证(leave-one-block)的交叉验证方式来计算该分类器模型的分类准确率。上述构建好的分类器将被用于接下来实时降低调控反馈神经信号的训练中,该分类器能实时计算出当前被试所处于的脑反应状态,具体的来说,对于神经反馈训练中实时得到的每1秒脑电信号,构建好的分类器模型能够实时计算出当前大脑反应模式接近之前吸烟刺激脑电反应模式的程度,基于该分类器计算的概率值(0~1)将用于表征该相近程度,该值主要通过matlab软件中的fitSVMPosterior计算得到。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.一种闭环认知反馈形式的脑电神经反馈系统,其特征在于,包括脑电采集模块、脑电分析模块和反馈模块;
脑电采集模块用于采集受试者在相应认知实验任务下的头皮脑电信号;
脑电分析模块用于对采集的脑电信号进行预处理,并针对的提取认知活动信号特征,并利用机器学习模型建立相关特征脑活动信号与认知心理行为之间的关系,并建立相应的预测模型;其中,认知活动信号特征至少包括脑电的特定导联下的事件相关电位幅度信息,事件相关频率的能量信息和事件相关频率的相位信息;
反馈模块用于通过脑电分析模块建立的预测模型,对受试者采集的脑电信号进行相应认知状态的预测,然后将预测的值转换为相应等级的刺激类型并呈现给受试者,通过将该刺激类型再次作为刺激源刺激激活相应的脑活动信号,形成闭环反馈。
2.根据权利要求1所述的闭环认知反馈形式的脑电神经反馈系统,其特征在于,所述学习模型建立的过程为:基于采集到的脑电信号,提取相应认知任务试验下的脑电时域和频域特征并输入至分类器,通过小波分析算法得到时频率的能量特征,选取最终特征并通过基于簇的统计检验形成时间信息和导联信息的时空簇特征基于形成的电压和能量簇特征,将个簇中的信息平均,得到代表每个簇的电压和能量特征值,这些值将被融合在一起放入线性软间隔的支持向量机分类器中。
3.根据权利要求1所述的闭环认知反馈形式的脑电神经反馈系统,其特征在于,所述脑电采集模块在信号采集过程中,首先将信号分为特异性认知事物、中性认知事物和无关认知事物;然后将同类型事物中不符合范围要求的事物进行剔除。
4.根据权利要求2或3所述的闭环认知反馈形式的脑电神经反馈系统,其特征在于,所述脑电分析模块预处理过程包括高斯滤波、数据分段、伪影矫正和去除,脑电信号经预处理后得到刺激认知任务的脑电信号特征,然后将得到的电压簇和能量簇的特征的平均信号放入线性软间隔的向量机分类器中,通过向量机模型建立特异性认知事物的特异性程度与心理上相应认知程度的对应关系,得到此种多变量脑模式的数学模型。
5.根据权利要求4所述的闭环认知反馈形式的脑电神经反馈系统,其特征在于,所述脑电信号特征包括时域的电压信息、频域的能量信息和空间域。
6.根据权利要求5所述的闭环认知反馈形式的脑电神经反馈系统,其特征在于,所述闭环反馈过程包括:首先通过经多变量脑模式的数学模型得到受试者的大脑活动状态和特异性认知脑状态的吻合概率值,然后受试者通过得知自身脑活动信号与吻合概率值来调节自身特异性状态的实时脑电信号,再将实时脑电信号投入到下一轮脑电信号预处理,进而让受试者不断下调脑电信号与特异性脑活动状态信号的吻合度。
CN202010562382.2A 2020-06-18 2020-06-18 一种闭环认知反馈形式的脑电神经反馈系统 Pending CN111728610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010562382.2A CN111728610A (zh) 2020-06-18 2020-06-18 一种闭环认知反馈形式的脑电神经反馈系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010562382.2A CN111728610A (zh) 2020-06-18 2020-06-18 一种闭环认知反馈形式的脑电神经反馈系统

Publications (1)

Publication Number Publication Date
CN111728610A true CN111728610A (zh) 2020-10-02

Family

ID=72649844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010562382.2A Pending CN111728610A (zh) 2020-06-18 2020-06-18 一种闭环认知反馈形式的脑电神经反馈系统

Country Status (1)

Country Link
CN (1) CN111728610A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112690806A (zh) * 2020-12-28 2021-04-23 苏州大学 脑损伤病人伤后认知功能的评价方法和系统
CN113261980A (zh) * 2021-05-14 2021-08-17 清华大学 一种基于脑电联合特征学习的大规模视觉分类方法及装置
CN113499085A (zh) * 2021-06-16 2021-10-15 南京曦光信息科技研究院有限公司 一种自学习型慢性神经疾病风险评估与调控装置
CN115640827A (zh) * 2022-09-27 2023-01-24 首都师范大学 对电刺激数据处理的智能闭环反馈网络方法及系统
WO2023201863A1 (zh) * 2022-04-18 2023-10-26 北京理工大学 一种闭环自适应交流电刺激神经网络调控方法及系统
CN117899363A (zh) * 2024-03-20 2024-04-19 江西朴拙医疗设备有限公司 结合erp的闭环电刺激治疗仪
CN117899363B (zh) * 2024-03-20 2024-05-24 江西朴拙医疗设备有限公司 结合erp的闭环电刺激治疗仪

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102319067A (zh) * 2011-05-10 2012-01-18 北京师范大学 用于大脑记忆功能改善的基于脑电信号的神经反馈训练仪

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102319067A (zh) * 2011-05-10 2012-01-18 北京师范大学 用于大脑记忆功能改善的基于脑电信号的神经反馈训练仪

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112690806A (zh) * 2020-12-28 2021-04-23 苏州大学 脑损伤病人伤后认知功能的评价方法和系统
CN112690806B (zh) * 2020-12-28 2022-03-01 苏州大学 脑损伤病人伤后认知功能的评价方法和系统
CN113261980A (zh) * 2021-05-14 2021-08-17 清华大学 一种基于脑电联合特征学习的大规模视觉分类方法及装置
CN113499085A (zh) * 2021-06-16 2021-10-15 南京曦光信息科技研究院有限公司 一种自学习型慢性神经疾病风险评估与调控装置
WO2023201863A1 (zh) * 2022-04-18 2023-10-26 北京理工大学 一种闭环自适应交流电刺激神经网络调控方法及系统
CN115640827A (zh) * 2022-09-27 2023-01-24 首都师范大学 对电刺激数据处理的智能闭环反馈网络方法及系统
CN117899363A (zh) * 2024-03-20 2024-04-19 江西朴拙医疗设备有限公司 结合erp的闭环电刺激治疗仪
CN117899363B (zh) * 2024-03-20 2024-05-24 江西朴拙医疗设备有限公司 结合erp的闭环电刺激治疗仪

Similar Documents

Publication Publication Date Title
CN111728610A (zh) 一种闭环认知反馈形式的脑电神经反馈系统
WO2021203719A1 (zh) 结合脑电检测分析控制的声电刺激神经调控方法及装置
CN102319067B (zh) 用于大脑记忆功能改善的基于脑电信号的神经反馈训练仪
US7460903B2 (en) Method and system for a real time adaptive system for effecting changes in cognitive-emotive profiles
Blinowska et al. Electroencephalography (eeg)
US20040267152A1 (en) Method and system for predicting and preventing seizures
Pun et al. Brain-computer interaction research at the Computer Vision and Multimedia Laboratory, University of Geneva
Peng et al. User-centered depression prevention: An EEG approach to pervasive healthcare
Yeh et al. Extraction of single-trial cortical beta oscillatory activities in EEG signals using empirical mode decomposition
Alamdari et al. A review of methods and applications of brain computer interface systems
CN115640827B (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
Pfabigan et al. Blocked versus randomized presentation modes differentially modulate feedback-related negativity and P3b amplitudes
Li et al. Emotion recognition of subjects with hearing impairment based on fusion of facial expression and EEG topographic map
Zeng et al. Classifying driving fatigue by using EEG signals
Singh et al. Emotion recognition using electroencephalography (EEG): a review
KR20080107961A (ko) 오감 정보 처리기법 및 뇌파를 활용한 사용자 적응형임상진단/치료시스템
Coyle et al. Extracting features for a brain-computer interface by self-organising fuzzy neural network-based time series prediction
Aydemir Odor and Subject Identification Using Electroencephalography Reaction to Olfactory.
Molina Direct brain-computer communication through scalp recorded EEG signals
Xu et al. Brain network regional synchrony analysis in deafness
CN114237383B (zh) 基于前额单导联脑电信号的多状态识别方法
Liu et al. Sparse multi-task inverse covariance estimation for connectivity analysis in EEG source space
Abdelfattah et al. Eye movements as information markers in EEG data
Bulagang et al. Tuning support vector machines for improving four-class emotion classification in virtual reality (vr) using heart rate features
Liu et al. Emotion recognition based on EEG changes in movie viewing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002