CN110772249A - 注意力特征识别方法及应用 - Google Patents
注意力特征识别方法及应用 Download PDFInfo
- Publication number
- CN110772249A CN110772249A CN201911167595.9A CN201911167595A CN110772249A CN 110772249 A CN110772249 A CN 110772249A CN 201911167595 A CN201911167595 A CN 201911167595A CN 110772249 A CN110772249 A CN 110772249A
- Authority
- CN
- China
- Prior art keywords
- attention
- state
- user
- support vector
- rest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000012706 support-vector machine Methods 0.000 claims description 77
- 210000004556 brain Anatomy 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 28
- 230000004397 blinking Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 210000001061 forehead Anatomy 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 6
- 206010021118 Hypotonia Diseases 0.000 claims description 4
- 210000003205 muscle Anatomy 0.000 claims description 4
- 230000036640 muscle relaxation Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 230000003183 myoelectrical effect Effects 0.000 claims description 3
- 238000010183 spectrum analysis Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 8
- 238000013145 classification model Methods 0.000 description 5
- 230000035484 reaction time Effects 0.000 description 5
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 4
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003557 neuropsychological effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/375—Electroencephalography [EEG] using biofeedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Fuzzy Systems (AREA)
- Social Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
注意力特征识别方法,设置注意力范式模型,其特征在于,注意力范式模型包括交替布置的注意力集中期间和间隔休息期间,注意力集中期间属于让用户处于注意状态从而训练用户的注意力,间隔休息期间属于让用户处于休息状态;与现有技术对比可以发现其有益的技术效果在于,第一,利用注意力范式模型所构建的注意状态、休息状态的交错设置,该结构本身不仅可以为用户提供中间休息时间,又能协助训练提高用户快速从嘈杂、休息状态进入到注意状态的能力,另外本系统又能借助于该循环结构在时间轴上实现的数据区分,便于数据对比机制的实施并尽可能多的发现非注意状态的数据从而提高对注意状态的判断。
Description
技术领域
本发明属于人机交互技术领域,具体涉及一种注意力特征识别方法。即利用拾取用户脑电信号的方式,表达用户的注意力水平,并利用该表达的用户注意力水平实施控制和管理,例如对用户注意力训练过程予以监控、显示反馈从而提高训练效果和训练的管理效果,或者对眼电等控制行为予以控制等。脑电信号(Electroencephalograph,EEG)伴随我们生命的始终,是脑细胞群的自发性、节律性电活动在大脑皮层和头皮的总体反应,可以通过放置在头皮上的电极检测得到。EEG按照不同的频率可分为δ、θ、α、β四种节律波。很多国外的学者专家经过大量实验分析发现,人体脑电波中的α波段是在安静、觉醒状态下的主要活动频率。注意力缺陷多动症儿童表现出θ脑电活动以及θ/β功率比值增加,α和β活动降低。因此,通常认为θ慢波活动增加、θ/β功率比增加,α和β活动减弱是注意力下降的主要特征,但其它波段往往也存在一些影响。而眼电信号 (electro-oculogram,EOG)膜眼电图是眼球运动的电学记录,它是一种检测眼睛电位。
背景技术
注意力是选择和集中于相关刺激的能力,是一个心理学概念,属于认知过程的一部分。注意力表现为对某对象的指向和集中,因此具有指向性和集中性两个特点。在我们的日常生活中,注意力也扮演着重要的角色。注意力缺陷多动障碍或多动症(AttentionDeficit Hyperactivity Disorder,ADHD)在儿童和青少年中较为常见,其特征是“容易分心,难以专注”、“过度活动”或“难以控制自身的言行举止”,会严重影响患者在学表现,甚至可能会导致其他心理疾病。幸运的是,我们的注意力属于思维运动,能够通过头皮脑电(electroencephalogram,EEG)信号检测出来,并且可以由适当的认知训练来训练和改进注意力。
人机接口(human machine interface, HMI)的目的是在人和外部设备之间建立直接的交流通道,从而将人的意图转化为控制命令。眼电信号(electrooculography, EOG)因其稳定性高,传输速率快,常常被用在人机交互系统中,譬如基于眼电控制的轮椅系统,眼电字符输入系统等。
目前注意力的检测主要是使用多通道的电极帽采集数据,然后进行离线的分析,不具有实时性。而且多通道电极帽的佩戴以及使用不方便,也不便于携带。另外,目前对注意力的训练,并没有有效的、有趣味性的范式,可以让使用者在轻松、有趣的游戏中训练注意力。目前基于眼电控制的人机交互系统通常是给残障人士进行设计的,譬如轮椅系统、环境控制系统等。正常人使用的眼电控制系统因为常常缺乏“可玩性”和“学习性”而相对较少。
现有涉及对人脑注意力的训练和测试上,目前已有的专利技术如申请号为201020206845.3,名称为“注意力训练仪”的中国专利申请,披露了一种用于治疗多动症的注意力训练仪,其包括佩戴于头部采集脑电波的头盔和固定于头盔内的电极、将所采集脑电波转换成电信号并对该信号进行处理的脑电波处理电路、内置训练软件的电脑;电极分布在头盔内正对人脑的顶部和后枕部位并且电极通过脑电波处理电路与电脑电连接,电脑中装有患者脑电波数据库和对头盔采集到的脑电信号处理后进行对比并反馈到电极的电路,同时具有为处理电路提供电源的电源适配器。该技术采取对大脑特定领域的训练,提升注意力,进而达到矫正以至于治疗多动症,提高学习成绩的目的。
其次,申请号为201710164162.2,名称为“一种基于EEG的实时人脑注意力测试和训练系统”的发明专利申请,同样也是利用脑机接口技术拾取脑电信号并予以显示注意力信号。该发明通过实时反馈,用户可以实时知晓自己的注意力水平从而对自己进行心理暗示去提高注意力,从而能够有效地帮助注意力存在缺陷的人群提高注意力水平。
发明内容
总结上述两项现有技术方案所披露的注意力测试方法及其系统的结构,可以发现其实质是专注于将训练过程中产生的脑电信号提取出来并予以显示反馈,从而认为可以达到提高训练能力的作用。进一步研究就可以发现上述专利所定义的测试方法存在以下问题:第一,其主要作用在于测试和反馈脑电信号,但并未进一步披露脑电信号取样步骤及取样系统设备与提高训练能力之间存在何种内在关联性和逻辑性,而是认为通过外部的信息反馈就可以提高训练能力;第二,信号取样过程会受到噪音的大量干扰,为此取样数据不一定完全准确,现有技术虽然采用了噪音过滤机制但缺少对数据的甄别机制;第三,在整个训练过程中,在线检测得到的数据在时间轴上是连续呈现的,它包含了注意力高度集中阶段的数据也包含了注意力并不是特别集中阶段甚至可能是休息阶段的数据,为此仅有噪音的过滤机制缺少甄别机制显然不能真实地反应与注意力集中程度训练有关的相关数据,也就不能为提高注意力或利用注意力集中程度信息提供客观、准确的数据。
根据现有技术的不足,为了进一步提高所获取的注意力的集中程度信息的可靠性和确实性,本发明提出一种注意力特征识别方法,设置注意力范式模型,其特征在于,所述注意力范式模型包括交替布置的注意力集中期间和间隔休息期间,所述注意力集中期间属于让用户处于注意力集中的注意状态从而构建用户的注意力,所述间隔休息期间属于让用户处于休息状态;设置第一信号采集模块并构建支持向量机SVM(support vectormachine),利用所述第一信号采集模块采集用户头部在所述注意力集中期间和间隔休息期间所呈现的不同脑电信号并对所述脑电信号进行处理得到脑电特征向量,将实时获得的所述脑电特征向量提供给所述支持向量机进行分析计算,并由所述支持向量机预测判断用户的当前状态是否属于注意状态。
进一步的特征在于,所述支持向量机预测判断用户的当前状态为注意状态时,根据所述支持向量机输出值的大小来判断注意力集中的程度。
其中,所述注意力范式模型,是一种用于建构、训练注意力的一套包含规则管理或游戏的活动,它可以包括一些道具、场景、显示等装备以及运用这些硬件的管理规则。在构建的所述注意力范式模型中,至少包括有交替布置的注意力集中期间和间隔休息期间,所述注意力集中期间属于让用户处于注意力集中的注意状态从而构建或训练用户的注意力,所述间隔休息期间属于让用户处于休息状态。在现有的注意力范式模型中,比较典型的是威斯康辛卡片分类测验(Wisconsin Card Sorting Test,WCST),首先由Berg于1948提出,是一种单项神经心理测定,也经常被运用于评量和训练注意力表现。
在构建的上述模型中,可以发现,将休息时间穿插在前后布置的所述注意力集中期间之间,不仅能够让用户得到中场休息,更重要的是可以训练用户从休息模式快速转变为注意力集中状态的能力。在该种训练中对于计划参加重大比赛的选手来说,获得和提高这种快速进入注意力状态的能力,对于赢得最后的决定性胜利显然具有重要意义。
另外,在实施的任何注意力训练中,注意力集中状态或休息状态,该二种状态在不断的切换过程中所对应的脑电信号特征值在时间轴上是连续的因而导致它们之间的边界难以区分,特别是在实际的场景中由于噪音的存在,更是如此。为此,如果提高计算能力和区别能力就显得非常重要。
其中,所述第一信号采集模块是一种可穿戴式设备,能够拾取脑额部的脑电信号数据并在计算用软件的驱动下完成特征值提取,得到脑电特征向量。在现有技术中大量文献已经披露了各种拾取脑电信号的方法和设备。
其中,所述支持向量机SVM(support vector machine),通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,利用间隔最大化求最优分离超平面模型,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解,它的基本模型是定义在特征空间上的间隔最大的线性分类器。利用所述支持向量机SVM,就可以将时间轴上各种连续的信号特别是注意力集中状态或休息状态下所表现的难以区分的各种脑电信号予以预测和对比甄别,提高鉴别质量。
就所述支持向量机SVM输出的检测信号,除了可以用于显示和反馈,还可以输出给智能控制器,所述智能控制器可以借助这种信号学习用户的注意力状态分布,从而反过来控制所述注意力训练装置合理安排用户的注意力训练期间的长短、训练用的内容以及提示信息等。
根据上述技术方案,与现有技术对比可以发现其有益的技术效果在于,第一,利用所述注意力范式模型所构建的注意状态、休息状态的交错设置,该结构本身不仅可以为用户提供中间休息时间,又能协助训练提高用户快速从嘈杂、休息状态进入到注意状态的能力,另外本系统又能借助于该循环结构在时间轴上实现的数据区分,便于数据对比机制的实施并尽可能多的发现非注意状态的数据从而提高对注意状态的判断;第二,拾取这种不同状态的脑电信号并将它们以二分法在所述支持向量机SVM中予以预测、甄别和相对的比较挑选,进一步提高对注意状态的判断从而提高后续利用、应用的能力例如训练、控制等。
进一步的技术方案还可以是,所述注意力范式模型还包括安静或放松两种状态,所述安静状态是指主要让大脑停止注意并且没有明显的身体肌肉动作,所述放松状态不仅让大脑停止注意而且容许肌肉放松动作,让用户采取安静或放松两种状态中的一种状态度过任一的所述间隔休息期间;构建两个所述支持向量机,将实时获得的所述脑电特征向量同时提供给两个所述支持向量机分别进行分析计算,当两个所述支持向量机同时预测判断用户的当前状态为注意状态时,最终才确认为注意状态,并且根据两个所述支持向量机输出值的大小来判断注意力集中的程度。这样能够将在时间轴上连续的各种脑电信号予以区别、比较并且真正地区分出注意状态及其脑电信号特征数值,排除非注意状态的脑电信号数据。
进一步的技术方案还可以是,所述注意力范式模型还包括提示刺激,用户跟随所述提示刺激的提示进入相应的注意状态或休息状态;所述提示刺激包括语音提示、灯光提示或动作提示。
进一步的技术方案还可以是,还包括前置的注册训练,利用所述注意力范式模型对用户进行注册训练,拾取对应于所述注册训练时的注意状态、休息状态的注册训练脑电信号,基于所述第一信号采集模块对所述注册训练脑电信号进行处理得到注册训练脑电特征向量,利用所述注册训练脑电特征向量构建所述支持向量机。即以注册训练的数据作为基础构建所述支持向量机;在另一种使用方案还可以是,还可以利用当次的注意力测试结果中相对比较优秀的数据重新构建新的支持向量机。
进一步的技术方案还可以是,将所述注册训练脑电特征向量按照注意状态和安静休息状态、注意状态和放松休息状态划分为二组数据,以注意状态和放松休息状态的数据为基础构建第一支持向量机,以注意状态和安静休息状态的数据为基础构建第二支持向量机,从而合并构建两个所述支持向量机。
进一步的技术方案还可以是,将计算得到的特征向量输入到两个所述支持向量机中,第一支持向量机主要判断区分是否含有放松状态导致的脑部肌电信号,第二支持向量机主要判断区分是否含有安静状态导致的脑部非注意特征的脑电信号,从而综合判断注意力水平的高低。
进一步的技术方案还可以是,构建对应于特定用户的两个所述支持向量机之后,就可以为所述特定用户提供在线的注意力训练和向该特定用户显示反馈注意力集中程度。
进一步的技术方案还可以是,采用三个电极采集所述脑电信号,其中一个电极采集前额的脑电信号,另外两个电极分别采集左、右耳突位置的脑电信号并以所述另外两个电极所采集脑电信号的平均值作为所述前额的脑电信号的参照。
进一步的技术方案还可以是,所述电极以250Hz的频率采样脑电信号,并通过50Hz陷波滤波器去除工频干扰后输出所采样的脑电信号。
进一步的技术方案还可以是,将脑电信号以10秒为一个单元划分为一个数据集单元(epoch),下一个数据单元与上一个的重叠为90%;对每个epoch的数据进行频谱分析,并计算以下几个频带的功率谱:δ波(1-4Hz)、θ波(4-8Hz)、α波(8-13Hz)、β波(13-30Hz)、γ波(30-50Hz),以及不同频带的功率比值((α+θ)/β、θ/β、α/β),最后由以上计算得到的数值组成所述脑电特征向量。
应用所述注意力特征识别方法的第一种应用,其特征在于,包括所述注意力特征识别方法,用户的注意力集中程度通过显示界面以显示表达和反馈。
进一步的技术方案还可以是,所述显示界面是显示屏,用户的注意力集中程度通过能够在所述显示屏中显示的进度条图形予以显示反馈,所述进度条越满,表示用户注意力水平越高,反之表示用户注意力水平越低而处于休息状态。
应用所述注意力特征识别方法的第二种应用,其特征在于,包括所述注意力特征识别方法,还包括第二信号采集模块,所述第二信号采集模块用于检测因眨眼引起的眼电信号,提取所述眼电信号的特征值并提供给眼电控制器,所述第二信号采集模块信号连接所述支持向量机,其中当所述支持向量机检测到用户的注意力水平超过阈值且连续保持一段时间t之后,所述第二信号采集模块或所述眼电控制器才启动眼电控制任务。
根据本方案,即还可以利用注意力信号本身作为眼电控制的控制条件,在注意力没有足够集中前拒绝进行眼电控制从而提高眼电控制的效能。
进一步的技术方案还可以是,包括闪烁灯光提示,每一轮灯光闪烁会输出一个候选标的供用户以眨眼方式表达是否同意选取该候选标的;只有在连续的三轮闪烁中,该候选标的被用户眨眼示意至少两次选中,才会判断为用户选取的标的,并输出结果;如果连续的三轮闪烁中没有发现满足条件的标的,则系统进行下一轮闪烁,不输出结果。
进一步的技术方案还可以是,用户需要先进行初始校准,测出眨眼的反应时间:即原始信号最大值出现时刻相对于标的闪烁时刻的时延的平均值;在线决策中,获取该轮闪烁中每个标的时延,依照以下公式对每个标的进行评估:
由于本发明具有上述特点和优点,为此可以应用到基于注意力特征所构建的各种注意力特征识别方法和应用方案中。
附图说明
图1 为注意力训练范式示意图。
图2 为第一种应用的注意力训练系统方案示意图。
图3 为第二种应用的眼电控制系统方案示意图。
具体实施方式
下面结合附图对具体应用本发明技术方案的实施方式作进一步说明。
如图1到图3所示,本实施例所述的注意力特征识别方法,设置注意力范式模型,其特征在于,所述注意力范式模型包括交替布置的注意力训练期间和间隔休息期间,所述注意力训练期间用于让用户处于注意状态从而训练用户的注意力,所述间隔休息期间用于让用户处于休息状态;设置第一信号采集模块并构建支持向量机SVM,当实施注意力训练,采集在所述注意力训练期间和间隔休息期间用户头部所呈现的不同脑电信号,利用所述第一信号采集模块对所述脑电信号进行处理得到脑电特征向量,将实时获得的所述脑电特征向量提供给所述支持向量机进行分析计算,并由所述支持向量机预测判断用户的当前状态是否属于注意状态。
进一步的特征在于,所述支持向量机预测判断用户的当前状态为注意状态时,根据所述支持向量机输出值的大小来判断注意力集中的程度。
其具体情况如下:
1)注意力训练范式的设计
威斯康辛卡片分类测验(Wisconsin Card Sorting Test,WCST)首先由Berg于1948提出,是一种单项神经心理测定,也经常被运用于评量注意力表现。本实施方案设计中,WCST共有4张目标卡片(刺激卡片)和若干张测试卡片(反应卡片),每张目标卡片上都包含有红、绿、蓝、黄4种颜色,画有1~4个正方形、星形、十字形或圆形。然后要求被试者根据4张目标卡片对测试卡片进行分类,分类的顺序是按数量、形状、颜色依次进行。每次进入测试选取前,还包括提示刺激,用户跟随所述提示刺激的提示集中注意力进入相应的注意力集中训练,会认真思考应选取的卡片,操作时不把分类顺序的原则告诉被试者,系统会自动告诉被试者每一次选择是正确还是错误的。每五次卡牌选取组成一个章节Block,每个章节Block内部分类的原则(形状、颜色、个数)是一致的,但不同章节Block 的分类原则是随机的。每个章节Block之间有60s的休息时间,要求受试者静坐休息或者放松休息,即让用户随机地采取安静或放松两种状态中的一种状态度过任一的所述间隔休息期间。所述安静状态是指主要让大脑停止注意并且没有明显的身体肌肉动作,所述放松状态不仅让大脑停止注意而且容许肌肉放松动作。所述安静状态是指主要让大脑停止注意并且没有明显的身体肌肉动作,所述放松状态不仅让大脑停止注意而且容许肌肉放松动作;为此用户也可以跟随所述提示刺激,进入到休息状态。所述提示刺激包括语音提示、灯光提示或动作提示。使用者第一次使用时,都会被要求至少进行一次注意力的注册(校准)训练,通常包括4个章节Block,每个Block内部有5次卡牌选取游戏,总时间控制在10min左右(根据使用者选取卡牌的速度略有差别)。利用注册所采集到的数据用来建立模型,为之后实时的注意力检测和反馈做好准备。
还包括前置的注册训练,在正式训练开始前,利用所述注意力范式模型对用户进行注册训练,拾取对应于所述注册训练时的注意状态、休息状态的注册训练脑电信号,基于所述第一信号采集模块对所述注册训练脑电信号进行处理得到注册训练脑电特征向量,利用所述注册训练脑电特征向量构建所述支持向量机。其中,按照注意和安静、注意和放松构建两个所述支持向量机SVM模型。即,将所述注册训练脑电特征向量按照注意状态和安静休息状态、注意状态和放松休息状态划分为二组数据,以注意状态和放松休息状态的数据为基础构建第一支持向量机,以注意状态和安静休息状态的数据为基础构建第二支持向量机,从而合并构建两个所述支持向量机。构建对应于1个特定用户的两个所述支持向量机之后,就可以为所述特定用户提供在线的注意力训练和向该特定用户显示反馈注意力集中程度。
在利用所述注册训练方法和程序构建二个所述支持向量机之后,再利用二个所述支持向量机所实时预测分析的数据,既可以用于后续的注意力训练的显示监控和反馈,还可以用于其它控制例如后面将要提及的眼电控制。
例如,当采用威斯康辛卡牌实验界面和范式实施注意力训练,利用所述第一信号采集模块采集在所述注意力训练期间和间隔休息期间用户头部所呈现的不同脑电信号,并对所采集的脑电信号进行处理得到脑电特征向量,将实时获得的所述脑电特征向量提供给所述支持向量机进行分析计算,并由所述支持向量机预测判断用户的当前状态是否属于注意状态,当所述支持向量机预测判断用户的当前状态为注意状态时,根据所述支持向量机输出值的大小来判断注意力集中的程度,进而可实施第一种应用即进行相应的显示和用户反馈,例如利用设置在显示界面中的条状图进行显示。
2)脑电信号数据采集
所述第一信号采集模块是一种可穿戴式设备,能够拾取脑额部的脑电信号数据并在计算用软件的驱动下完成特征值提取,得到脑电特征向量。其中,所述第一信号采集模块采用自制的三个电极采集所述脑电信号,其中一个电极采集前额的脑电信号,另外两个电极分别采集左、右耳突位置的脑电信号并以所述另外两个电极所采集脑电信号的平均值作为所述前额的脑电信号的参照。所述电极以250Hz的频率采样脑电信号,并通过50Hz陷波滤波器去除工频干扰后输出所采样的脑电信号。
3)算法设计
所述第一信号采集模块对采集到的数据进行实时处理,注意力检测算法对数据进行处理,并根据分析结果进行反馈,注意力检测算法具体如下:
①由头环采集到原始EEG脑电信号以10秒为一个单元划分为一个数据集单元(epoch),下一个数据单元与上一个的重叠为90%,然后每个epoch经过50Hz的陷波滤波器,去除电源等工频干扰;
②对每个epoch的数据进行频谱分析,其中的程序算法中的技术方案,例如包括:
1、计算EEG电信号的在以下几个频带的功率谱:δ波(1-4Hz)、θ波(4-8Hz)、α波(8-13Hz)、β波(13-30Hz)、γ波(30-50Hz);
2、计算EEG电信号的不同频带的功率比值((α+θ)/β、θ/β、α/β);
3、最后由以上计算得到的数值组成EEG电信号的特征向量。
具体计算如下:
第二步:根据帕塞瓦尔定理,就是说函数平方的和(或积分)等于其傅里叶变换式平方之和(或者积分)。
第三步,计算各个频段内的谱密度,譬如δ频带内谱密度为:
③利用注册时按照注意和安静、注意和放松二个类别已经构建的SVM模型,在线检测的时候,将实时获得的所述脑电特征向量同时提供给两个所述支持向量机分别进行分析计算,第一支持向量机主要判断区分是否含有放松状态导致的脑部肌电信号,第二支持向量机主要判断区分是否含有安静状态导致的脑部非注意特征的脑电信号,从而综合判断注意力水平的高低,当两个所述支持向量机同时预测判断用户的当前状态为注意状态时,最终才确认为注意状态,并且根据两个所述支持向量机输出值的大小来判断注意力集中的程度。
4)注意力水平反馈应用设计
用户在经过威斯康辛卡牌实验游戏采集到了注意力模型之后,便可以开始在线的注意力反馈调节。用户的注意力集中程度通过显示界面以显示表达和反馈并被反馈在所述显示界面中布置的进度条图形上,所述显示界面是显示屏,用户的注意力集中程度通过能够在所述显示屏中显示的进度条图形予以显示反馈,所述进度条越满,表示用户注意力水平越高,反之表示用户注意力水平越低而处于休息状态。
就所述支持向量机SVM输出的检测信号,除了可以用于直观显示,还可以输出给智能控制器,所述智能控制器可以借助这种信号学习用户的注意力状态分布,从而反过来控制所述注意力训练装置合理安排用户的注意力训练期间的长短、训练的内容等。
如图3所示,在上述技术方案的基础上,进一步拓展的应用方案为,还包括第二信号采集模块,所述第二信号采集模块用于检测因眨眼引起的眼电信号,提取所述眼电信号的特征值并提供给眼电控制器,所述第二信号采集模块信号连接所述支持向量机,其中当所述支持向量机检测到用户的注意力水平超过阈值且连续保持一段时间t之后,所述第二信号采集模块或所述眼电控制器才启动眼电控制任务。所述眼电控制器用于对控制对象予以控制,所述控制对象包括游戏、注意力训练装置、空调、电视、窗帘、轮椅等任何需要控制的对象。所述眼电控制器与上述的智能控制器具有相类似的功能和用途。
所述第二信号采集模块也是一种可穿戴式设备,能够拾取脑眼部的脑电信号数据并在计算用软件的驱动下完成特征值提取,得到脑电特征向量。所述第一信号采集模块与所述第二信号采集模块也可以合二为一成一个集成式穿戴设备例如测试训练用的头盔。
还包括闪烁灯光提示,每一轮灯光闪烁会输出一个候选标的供用户以眨眼方式表达是否同意选取该候选标的;其中,用户需要先进行初始校准,测出眨眼的反应时间:即原始信号最大值出现时刻相对于标的闪烁时刻的时延的平均值;在线决策中,获取该轮闪烁中每个标的时延,依照以下公式对每个标的进行评估:
;
其中,为标的的评估值,为标的的眼电数据段中原始信号最大值出现时刻相对于标的闪烁时刻的时延,为当前用户的眨眼反应时间;然后,选取评估值最小的标的,即和用户眨眼反应时间最相近的作为本轮闪烁的识别结果。所述标的也称为按键,是一种对所述控制对象的抽象表达。
但是上述方法依据的是每个用户对于闪烁的反应时间相对稳定(譬如280-320ms,时间窗宽度是40ms左右),而相邻的按键闪烁间隔被设计为300ms,远大于稳定的范围宽度。因此,只有目标按键的时延有可能位于反应时间附近,故可以区分目标键和非目标键。
因为眼电控制系统普遍存在难以区分无意识眨眼动作和有意识眨眼动作,往往会使系统误报率增大(当用户不想输出控制指令时,系统错误的输出指令的概率),从而导致系统不稳定。所以,如果仅仅依靠一轮闪烁得出的结果来决定最终的输出,那么用户无意识的一次眨眼就可能导致错误的输出指令。为了解决这一问题,本发明提出了一种“确认决策机制”:只有当某个按键在最近的连续三轮闪烁中至少两次被选中作为识别结果,系统才判断为用户正在跟随该按键的闪烁同步眨眼,进而输出控制指令;如果不存在满足条件的按键,系统进入新一轮闪烁,不输出任何控制指令。这种“确认决策机制”强调用户多次眨眼和按键多次闪烁的同步性,而随机的无意识的眨眼几乎不可能和某个按键的闪烁多次同步,从而基本消除了无意识眨眼导致错误输出的影响。为此,进一步的技术方案还可以是,只有在连续的三轮闪烁中,该候选标的被用户眨眼示意至少两次选中,才会判断为用户选取的标的,并输出结果;如果连续的三轮闪烁中没有发现满足条件的标的,则系统进行下一轮闪烁,不输出结果。
Claims (15)
1.注意力特征识别方法,设置注意力范式模型,其特征在于,所述注意力范式模型包括交替布置的注意力集中期间和间隔休息期间,所述注意力集中期间属于让用户处于注意状态从而训练用户的注意力,所述间隔休息期间属于让用户处于休息状态;设置第一信号采集模块并构建支持向量机SVM,利用所述第一信号采集模块采集用户头部在所述注意力集中期间和间隔休息期间所呈现的不同脑电信号并对所述脑电信号进行处理得到脑电特征向量,将实时获得的所述脑电特征向量提供给所述支持向量机进行分析计算,并由所述支持向量机预测判断用户的当前状态是否属于注意状态。
2.根据权利要求1所述的注意力特征识别方法,其特征在于,所述支持向量机预测判断用户的当前状态为注意状态时,根据所述支持向量机输出值的大小来判断注意力集中的程度。
3.根据权利要求1或2所述的注意力特征识别方法,其特征在于, 所述注意力范式模型还包括提示刺激,用户跟随所述提示刺激的提示进入相应的注意状态或休息状态。
4.根据权利要求3所述的注意力特征识别方法,其特征在于, 所述提示刺激包括语音提示、灯光提示或动作提示。
5.根据权利要求1或2所述的注意力特征识别方法,其特征在于,所述注意力范式模型还包括安静或放松两种状态,所述安静状态是指主要让大脑停止注意并且没有明显的身体肌肉动作,所述放松状态不仅让大脑停止注意而且容许肌肉放松动作,让用户采取安静或放松两种状态中的一种状态度过任一的所述间隔休息期间;构建两个所述支持向量机,将实时获得的所述脑电特征向量同时提供给两个所述支持向量机分别进行分析计算,当两个所述支持向量机同时预测判断用户的当前状态为注意状态时,最终才确认为注意状态,并且根据两个所述支持向量机输出值的大小来判断注意力集中的程度。
6.根据权利要求5所述的注意力特征识别方法,其特征在于,还包括前置的注册训练,利用所述注意力范式模型对用户进行注册训练,拾取对应于所述注册训练时的注意状态、休息状态的注册训练脑电信号,基于所述第一信号采集模块对所述注册训练脑电信号进行处理得到注册训练脑电特征向量,利用所述注册训练脑电特征向量构建所述支持向量机。
7.根据权利要求6所述的注意力特征识别方法,其特征在于,将所述注册训练脑电特征向量按照注意状态和安静休息状态、注意状态和放松休息状态划分为二组数据,以注意状态和放松休息状态的数据为基础构建第一支持向量机,以注意状态和安静休息状态的数据为基础构建第二支持向量机,从而合并构建两个所述支持向量机。
8.根据权利要求7所述的注意力特征识别方法,其特征在于,将计算得到的特征向量输入到两个所述支持向量机中,第一支持向量机主要判断区分是否含有放松状态导致的脑部肌电信号,第二支持向量机主要判断区分是否含有安静状态导致的脑部非注意特征的脑电信号,从而综合判断注意力水平的高低。
9.根据权利要求1或2所述的注意力特征识别方法,其特征在于,所述第一信号采集模块采用三个电极采集所述脑电信号,其中一个电极采集前额的脑电信号,另外两个电极分别采集左、右耳突位置的脑电信号并以所述另外两个电极所采集脑电信号的平均值作为所述前额的脑电信号的参照。
10.根据权利要求9所述的注意力特征识别方法,其特征在于,所述电极以250Hz的频率采样脑电信号,并通过50Hz陷波滤波器去除工频干扰后输出所采样的脑电信号。
11.根据权利要求9所述的注意力特征识别方法,其特征在于,将脑电信号以10秒为一个单元划分为一个数据集单元(epoch),下一个数据单元与上一个的重叠为90%;对每个epoch的数据进行频谱分析,并计算以下几个频带的功率谱:δ波(1-4Hz)、θ波(4-8Hz)、α波(8-13Hz)、β波(13-30Hz)、γ波(30-50Hz),以及不同频带的功率比值((α+θ)/β、θ/β、α/β),最后由以上计算得到的数值组成所述脑电特征向量。
12.应用权利要求1到11任一所述注意力特征识别方法的第一种应用,其特征在于,包括权利要求1到11任一所述注意力特征识别方法,用户的注意力集中程度通过显示界面以显示表达和反馈。
13.根据权利要求12所述的第一种应用,其特征在于,所述显示界面是显示屏,用户的注意力集中程度通过能够在所述显示屏中显示的进度条图形予以显示反馈,所述进度条越满,表示用户注意力水平越高,反之表示用户注意力水平越低而处于休息状态。
14.应用权利要求1到11任一所述注意力特征识别方法的第二种应用,其特征在于,包括权利要求1到11任一所述注意力特征识别方法,还包括第二信号采集模块,所述第二信号采集模块用于检测因眨眼引起的眼电信号,提取所述眼电信号的特征值并提供给眼电控制器,所述第二信号采集模块信号连接所述支持向量机,其中当所述支持向量机检测到用户的注意力水平超过阈值且连续保持一段时间t之后,所述第二信号采集模块或所述眼电控制器才启动眼电控制任务。
15.根据权利要求14所述的注意力特征识别方法,其特征在于,包括闪烁灯光提示,每一轮灯光闪烁会输出一个候选标的供用户以眨眼方式表达是否同意选取该候选标的;只有在连续的三轮闪烁中,该候选标的被用户眨眼示意至少两次选中,才会判断为用户选取的标的,并输出结果;如果连续的三轮闪烁中没有发现满足条件的标的,则系统进行下一轮闪烁,不输出结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911167595.9A CN110772249A (zh) | 2019-11-25 | 2019-11-25 | 注意力特征识别方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911167595.9A CN110772249A (zh) | 2019-11-25 | 2019-11-25 | 注意力特征识别方法及应用 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110772249A true CN110772249A (zh) | 2020-02-11 |
Family
ID=69392444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911167595.9A Pending CN110772249A (zh) | 2019-11-25 | 2019-11-25 | 注意力特征识别方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110772249A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111671419A (zh) * | 2020-06-12 | 2020-09-18 | 山东大学 | 一种基于脑电信号的癫痫早期检测与识别方法及系统 |
CN112244767A (zh) * | 2020-09-25 | 2021-01-22 | 华南理工大学 | 一种基于脑电的认知功能评估方法 |
CN112656431A (zh) * | 2020-12-15 | 2021-04-16 | 中国科学院深圳先进技术研究院 | 基于脑电的注意力识别方法、装置、终端设备和存储介质 |
CN112860073A (zh) * | 2021-03-17 | 2021-05-28 | 华南脑控(广东)智能科技有限公司 | 人机交互的闭环性鼠标标识控制系统 |
CN113110738A (zh) * | 2021-04-02 | 2021-07-13 | 天津理工大学 | 一种基于阈值判别方法的多模态脑电信号检测方法 |
CN113192601A (zh) * | 2021-04-15 | 2021-07-30 | 杭州国辰迈联机器人科技有限公司 | 基于脑机接口的注意力缺陷多动障碍康复训练方法及训练任务 |
CN113208632A (zh) * | 2021-04-07 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于卷积神经网络的注意力检测方法、系统 |
CN113208634A (zh) * | 2021-04-07 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于eeg脑波的注意力检测方法、系统 |
CN113679386A (zh) * | 2021-08-13 | 2021-11-23 | 北京脑陆科技有限公司 | 对注意力进行识别的方法、装置、终端及介质 |
CN115445047A (zh) * | 2022-08-25 | 2022-12-09 | 石海龙 | 一种注意力训练终端及注意力训练服务器 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521505A (zh) * | 2011-12-08 | 2012-06-27 | 杭州电子科技大学 | 用于控制意图识别的脑电和眼电信号决策融合方法 |
CN104571504A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 一种基于想象动作的在线脑-机接口方法 |
CN107595306A (zh) * | 2017-08-22 | 2018-01-19 | 南京邮电大学 | 一种基于脑电信号分析的疲劳驾驶预警系统 |
-
2019
- 2019-11-25 CN CN201911167595.9A patent/CN110772249A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521505A (zh) * | 2011-12-08 | 2012-06-27 | 杭州电子科技大学 | 用于控制意图识别的脑电和眼电信号决策融合方法 |
CN104571504A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 一种基于想象动作的在线脑-机接口方法 |
CN107595306A (zh) * | 2017-08-22 | 2018-01-19 | 南京邮电大学 | 一种基于脑电信号分析的疲劳驾驶预警系统 |
Non-Patent Citations (1)
Title |
---|
燕楠等: "基于样本熵的注意力相关脑电特征信息提取与分类", 《西安交通大学学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111671419A (zh) * | 2020-06-12 | 2020-09-18 | 山东大学 | 一种基于脑电信号的癫痫早期检测与识别方法及系统 |
CN112244767A (zh) * | 2020-09-25 | 2021-01-22 | 华南理工大学 | 一种基于脑电的认知功能评估方法 |
CN112656431A (zh) * | 2020-12-15 | 2021-04-16 | 中国科学院深圳先进技术研究院 | 基于脑电的注意力识别方法、装置、终端设备和存储介质 |
CN112860073A (zh) * | 2021-03-17 | 2021-05-28 | 华南脑控(广东)智能科技有限公司 | 人机交互的闭环性鼠标标识控制系统 |
CN113110738A (zh) * | 2021-04-02 | 2021-07-13 | 天津理工大学 | 一种基于阈值判别方法的多模态脑电信号检测方法 |
CN113208632A (zh) * | 2021-04-07 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于卷积神经网络的注意力检测方法、系统 |
CN113208634A (zh) * | 2021-04-07 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于eeg脑波的注意力检测方法、系统 |
CN113192601A (zh) * | 2021-04-15 | 2021-07-30 | 杭州国辰迈联机器人科技有限公司 | 基于脑机接口的注意力缺陷多动障碍康复训练方法及训练任务 |
CN113679386A (zh) * | 2021-08-13 | 2021-11-23 | 北京脑陆科技有限公司 | 对注意力进行识别的方法、装置、终端及介质 |
CN115445047A (zh) * | 2022-08-25 | 2022-12-09 | 石海龙 | 一种注意力训练终端及注意力训练服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110772249A (zh) | 注意力特征识别方法及应用 | |
CN108236464B (zh) | 基于脑电信号的特征提取方法及其检测提取系统 | |
US20200367800A1 (en) | Method for identifying driving fatigue based on cnn-lstm deep learning model | |
CN106108894A (zh) | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 | |
CN107981997B (zh) | 一种基于人脑运动意图的智能轮椅控制方法及系统 | |
WO2008097201A1 (en) | A system and method for processing brain signals in a bci system | |
JP2018033974A (ja) | 脳の状態の意図的および非意図的な変化と脳信号との関連付け | |
Ko et al. | Enhancing the hybrid BCI performance with the common frequency pattern in dual-channel EEG | |
Prueckl et al. | A brain-computer interface based on steady state visual evoked potentials for controlling a robot | |
CN112328072A (zh) | 一种基于脑电和眼电的多模态字符输入系统及方法 | |
Jarvis et al. | Multimodal person independent recognition of workload related biosignal patterns | |
CN117918863A (zh) | 一种脑电信号实时伪迹处理与特征提取的方法和系统 | |
CN115399771A (zh) | 一种新型的基于脑电信号的人员专注程度检测方法及系统 | |
CN114557708A (zh) | 基于脑电双特征融合的体感刺激意识检测装置和方法 | |
Smitha et al. | Classifying subjective emotional stress response evoked by multitasking using EEG | |
Khok et al. | Deep multi-task learning for SSVEP detection and visual response mapping | |
Ghasemy et al. | Detection of sustained auditory attention in students with visual impairment | |
CN117876807A (zh) | 基于模拟情境多模态数据的人员状态调节训练方法和装置 | |
CN113397482A (zh) | 一种人类行为分析方法及系统 | |
CN116098634A (zh) | 一种基于刺激事件的脑功能检测评估方法、装置及系统 | |
Akhanda et al. | Detection of cognitive state for brain-computer interfaces | |
CN110192878A (zh) | 基于多导脑电信号定向转移函数的测谎方法 | |
CN114983434A (zh) | 一种基于多模态脑功能信号识别的系统及方法 | |
CN113807402A (zh) | 抑制mi-bci系统误触发的系统及其训练和测试方法 | |
Farabbi et al. | EEG analysis of selective attention during error potential BCI experiments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |
|
RJ01 | Rejection of invention patent application after publication |