CN113360876A - 基于ssvep的身份识别方法、装置、电子装置和存储介质 - Google Patents

基于ssvep的身份识别方法、装置、电子装置和存储介质 Download PDF

Info

Publication number
CN113360876A
CN113360876A CN202110744376.3A CN202110744376A CN113360876A CN 113360876 A CN113360876 A CN 113360876A CN 202110744376 A CN202110744376 A CN 202110744376A CN 113360876 A CN113360876 A CN 113360876A
Authority
CN
China
Prior art keywords
identity recognition
electroencephalogram data
ssvep
electroencephalogram
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110744376.3A
Other languages
English (en)
Inventor
徐敏馨
陈子豪
易昊翔
戴万利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Enter Electronic Technology Co ltd
Original Assignee
Hangzhou Enter Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Enter Electronic Technology Co ltd filed Critical Hangzhou Enter Electronic Technology Co ltd
Priority to CN202110744376.3A priority Critical patent/CN113360876A/zh
Publication of CN113360876A publication Critical patent/CN113360876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请涉及一种基于SSVEP的身份识别方法,其中,该基于SSVEP的身份识别方法包括:获取身份识别指令;基于所述身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,所述视觉交互图形包括刺激图形以及焦点图形;基于所述脑电数据进行身份识别。通过本申请,解决了相关技术中存在基于SSVEP进行身份识别时,采集到的脑电信号特征不明显,需要采集时间较长、易导致眼部不适的问题,实现了在更短的时间内获取到包含足够特征可以被识别身份的脑电数据,提高了在身份识别时的识别效率以及准确率,进而提高眼部舒适度。

Description

基于SSVEP的身份识别方法、装置、电子装置和存储介质
技术领域
本申请涉及身份识别领域,特别是一种基于SSVEP的身份识别方法、装置、电子装置和存储介质。
背景技术
不同个体对于同一个外部刺激,或思考同一事件,以及静息状态时,大脑所产生的脑电信号是不同的(在空间上对不同位点的脑电信号进行特征提取后个体之间具有很高的聚类程度),这说明人的脑电信号具有唯一性。此外每个人都可以被采集脑电信号,且脑电信号相对来说较为稳定,这符合通过生物特征进行身份识别的基本条件。稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP)是一种由周期性视觉刺激诱发的脑电信号,具备可控、稳定的特性,因此利用SSVEP进行身份识别具有较高的可行性。
但传统通过SSVEP进行身份识别的方法中,其主要采用的视觉范式(视觉交互图形)是一种会在每一时刻进行单频刺激的视觉范式,从而可以使被采集者产生单一频率的SSVEP,并基于此进行信号采集,基于此,采集到的脑电信号中可供识别的脑电数据特征较少,因此在刺激以及采集的过程中可能需要消耗较长时间,而较长的刺激时间会导致用户产生视觉疲劳以及不适。
针对相关技术中存在基于SSVEP进行身份识别时,需要采集时间较长、易导致眼部不适的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种基于SSVEP的身份识别方法、装置和电子装置,以解决相关技术中基于SSVEP进行身份识别时,需要采集时间较长、易导致眼部不适的问题。
第一个方面,在本实施例中提供了一种基于SSVEP的身份识别方法,其特征在于,包括获取身份识别指令;基于所述身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,所述视觉交互图形包括刺激图形以及焦点图形;基于脑电数据进行身份识别。
在另一个实施例中,所述基于所述脑电数据进行身份识别包括:对所述脑电数据进行特征值提取,得到所述脑电数据对应的特征值;基于所述特征值,对所述脑电数据进行身份识别。
在其中的一些实施例中,基于所述脑电数据进行身份识别之前还包括:对所述脑电数据进行预处理,所述预处理至少包括去噪、去除无效数据以及分组中其中一种。
在另一个实施例中,对所述脑电数据进行特征值提取包括:对所述脑电数据进行快速傅里叶变换,获取预设频率对应的功率密度;和/或;对所述脑电数据进行相关性分析,获取所述预设频率对应的相关系数。
在其中一个实施例中,基于所述脑电数据进行身份识别包括:将所述脑电数据输入经训练的神经网络模型,获取识别结果。
在另一个实施例中,将所述脑电数据输入经训练的神经网络模型,获取识别结果之前包括:获取训练数据以及初始神经网络模型,所述训练数据包括训练脑电数据以及对应的训练身份信息,所述训练脑电数据包括所述被采集者基于所述视觉交互图形产生的历史脑电数据;基于所述训练数据训练所述初始神经网络模型,得到所述神经网络模型。
在其中一个实施例中,所述刺激图形以第一预设频率进行第一变换,所述第一变换包括颜色变换,所述颜色变换包括亮度变换、饱和度变换或色彩变换;所述焦点图形以第一预设频率进行第一变换,以第二预设频率进行第二变换,所述第二变换包括形状变换,所述刺激图形与所述焦点图形具有相同中心点,且所述焦点图形叠加在所述刺激图形上方。
第二个方面,在本实施例中提供了一种身份识别装置,其特征在于,包括:身份识别指令获取模块:用于获取身份识别指令;脑电数据获取模块:用于基于所述身份识指令,获取脑电数据,所述脑电数据采集自注视视觉交互图形的被采集者,所述视觉交互图形包括刺激图形以及焦点图形;身份识别模块:用于基于所述脑电数据进行身份识别。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的基于SSVEP的身份识别方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的基于SSVEP的身份识别方法。
与相关技术相比,在本实施例中提供的基于SSVEP的身份识别方法,通过获取身份识别指令;基于所述身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,所述视觉交互图形包括刺激图形以及焦点图形;基于所述脑电数据进行身份识别,解决了相关技术中存在基于SSVEP进行身份识别时,需要采集时间较长、易导致眼部不适的问题,实现了在更短的时间内获取到包含足够特征可以被识别身份的脑电数据,提高了在身份识别时的识别效率以及准确率,进而提高眼部舒适度。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请一实施例中基于SSVEP的身份识别方法的终端的硬件结构框图;
图2是本申请一实施例中基于SSVEP的身份识别方法的流程图;
图3是本申请一实施例中基于SSVEP的身份识别方法的视觉交互图形示意图;
图4是本申请其中一些实施例中基于SSVEP的身份识别方法的视觉交互图形示意图;
图5为本申请一实施例中基于SSVEP的身份识别方法的采集数据示意图;
图6为本申请一实施例中基于SSVEP的身份识别方法的功率密度提取示意图;
图7为本申请一实施例中基于SSVEP的身份识别方法的CCA相关系数提取示意图;
图8为本申请一实施例中基于SSVEP的身份识别方法中采集训练用特征值示意图;
图9为本申请一实施例中基于SSVEP的身份识别方法中训练模型示意图;
图10为本申请一实施例中基于SSVEP的身份识别方法中已有用户ID时身份验证示意图;
图11为本申请一实施例中基于SSVEP的身份识别方法中无用户ID时身份验证示意图;
图12是本申请一实施例的身份识别装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本申请一实施例中基于SSVEP的身份识别方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的基于SSVEP的身份识别方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种基于SSVEP的身份识别方法,图2是本申请一实施例中基于SSVEP的身份识别方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取身份识别指令。
本实施例是一种基于SSVEP的身份识别方法,目的是为了基于被识别者关于稳态视觉诱发电位的某些特征来进行身份识别,身份识别指令可以由工作人员输入,还可以由设备基于某一动作发出,目的是使目标设备开始进行身份识别,可以理解的,在本步骤中,基于已获取到的身份识别指令,接着开始进行身份识别。
步骤S202,基于身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,视觉交互图形包括刺激图形以及焦点图形。
可以理解的,本实施例中对于被采集者的身份识别是基于稳态视觉诱发电位进行的,而稳态视觉诱发电位是一种由周期性视觉刺激诱发的脑电信号,也就是说,在获取被采集者的稳态视觉诱发电位之前,首先需要给予被采集者周期性视觉刺激,在本实施例中由视觉交互图形来进行视觉刺激,基于视觉交互图形可以使得被采集者产生稳态视觉诱发电位,接着获取被采集者的脑电数据,可以理解的,相同个体在注视不同的视觉刺激产生的脑电信号不同,不同个体基于相同的视觉交互图形产生的脑电信号也并不同,因此可以通过获取被采集者基于相同视觉交互图形产生的脑电数据进行身份识别,在本实施例中,视觉交互图形包括刺激图形以及焦点图形,如图3所示,图3是本申请一实施例中基于SSVEP的身份识别方法的视觉交互图形示意图。可以理解的,刺激图形主要是可以给予被采集者周期性视觉刺激的图形,焦点图形为吸引被采集者注意,使得更易集中注意力的图形,基于此可以使被采集者更易集中注意力,且更易触发稳态视觉诱发电位,还可以使两个图形通过不同频率不同的变换,另外,在同一个视觉交互图形中,若刺激图形和焦点图形的变换频率不同,当两种图形同时呈现时,会产生幅值调制现象,基于幅值调制现象可以产生具有更多可识别特征的稳态视觉诱发电位,本实施例即通过被采集者的幅值调制现象提供更多用来身份识别的特征,以此,通过不同频率的两种图形使得被采集者在相同时间产生更易被识别的稳态视觉诱发电位,可以提高识别效果,在其中一些实施例中,焦点图形可以有多个,如图4所示,图4是本申请其中一些实施例中基于SSVEP的身份识别方法的视觉交互图形示意图,基于多个焦点图形可以在相同时间内获得更易被识别的稳态视觉诱发电位。
步骤S203,基于脑电数据进行身份识别。
在本实施例中,通过被采集者基于视觉交互图形产生的脑电数据,对被采集者进行身份识别,可以理解的,每个被采集者基于相同视觉交互图形产生的脑电数据并不相同,但同一个被采集者基于相同视觉交互图形产生的脑电数据则是相似或具有相同特征的,易被识别和分辨,因此,基于被采集者的脑电数据即可以对被采集者的身份进行识别,识别的方式可以是将脑电数据输入到训练过的神经网络模型中,由神经网络模型输出判断结果,还可以是其他方法,只需要可以基于特征值对被采集者的身份进行识别或判断是否为录入过数据的被采集者即可,本实施例中不做具体限定。
通过上述步骤,首先获取身份识别指令,接着基于身份识别指令获取被采集者基于注视视觉交互图形而产生的脑电数据,该视觉交互图形由刺激图形以及焦点图形组成,基于脑电数据进行身份识别,即可以识别被采集者的身份。解决了相关技术中基于SSVEP进行身份识别时需要采集时间较长、易导致眼部不适的问题,实现了在更短的时间内获取更易进行身份识别的脑电信号,提高在进行身份识别时的识别效率以及准确率,进而提高用户的眼部舒适度。
在另一个实施例中,所述基于所述脑电数据进行身份识别包括:对所述脑电数据进行特征值提取,得到所述脑电数据对应的特征值;基于所述特征值,对所述脑电数据进行身份识别。
在本实施例中,已经获取到被采集者基于视觉交互图形产生的脑电数据,但基于脑电数据进行身份识别所需要的计算过程较为复杂,计算时间较长,计算资源占用较多。在本实施例中为了缩短计算时间以及减少计算资源的占用,对采集到的脑电数据进行特征值提取,通过提取到脑电数据的特征值,再基于特征值进行特征比对以及身份识别,可以更简单且更精确的对被采集者的脑电数据进行识别,因此,在本实施例中,会对脑电数据进行特征值提取,可以理解的,特征值可以是在各频率峰值的功率密度、相关系数,还可以是其他可以用于识别脑电数据的特征值,本实施例不做特殊限定,只需要保证是从脑电数据中提取相应可以代表脑电数据的特征值即可,通过此方法,可以减少基于脑电数据进行身份识别所需的计算资源以及缩短了计算时间。
在其中的一些实施例中,基于脑电数据进行身份识别之前还包括:对脑电数据进行预处理,预处理至少包括去噪、去除无效数据以及分组中其中一种。
在本实施例中,在基于脑电数据进行身份识别之前还需要对脑电数据进行预处理,可以理解的,预处理即在不破坏脑电数据特征的情况下对脑电数据进行加工完善,在本实施例中,预处理至少包括去噪、去除无效数据以及分组中其中一种,去噪即采用基于线性回归的方法去除眼电、肌电干扰,利用陷波器去除工频干扰,可以使得脑电信号更清晰,更易分辨,去除无效数据可以是去除正在刺激时其余时间采集到的脑电数据,可以理解的,在非刺激期间采集到的脑电数据为无效数据,无法帮助进行身份识别;还可以是去除刺激刚开始后预设时间的脑电数据,为了避免视觉刺激呈现时诱发的瞬态响应干扰;分组就是将被采集者注视视觉交互图形时采集到的多组脑电数据,基于每个周期进行分组,可以理解的,若是周期过长或过短都可能导致识别错误,另外,由于现实因素影响,每个周期采集到的脑电数据都有可能不同,可能存在其中一个周期的脑电数据识别成功但另一个周期的脑电数据的情况,因此需要对脑电数据进行分组,便于多组比对,对脑电数据进行预处理后可以提高身份识别的效率以及准确性。
在另一个实施例中,对脑电数据进行特征提取包括:对脑电数据进行快速傅里叶变换,获取预设频率对应的功率密度;和/或;对脑电数据进行相关性分析,获取预设频率对应的相关系数。
在本实施例中,对脑电数据进行特征提取的方法为快速傅里叶变换,通过快速傅里叶变换得到相应频谱的功率密度信息,接着可以获取预设频率对应的功率密度,可以理解的,每段脑电数据在预设频率对应的功率密度并不同,基于此,脑电数据在预设频率对应的功率密度可以作为特征值,另外,还可以是对脑电数据进行典型相关性分析(CCA),同样的,接着获取在预设频率预定的相关系数,容易理解的,每段脑电数据在预设频率对应的相关系数也并不同,因此,在本实施例中,相关系数也可以作为特征值。另外,在本实施例中,对脑电数据进行特征值提取可以是提取其中一种特征值,还可以是将两种特征值都提取,只需要保证可以通过脑电数据提取相应的特征值并可以基于特征值进行身份识别即可。
在其中一个实施例中,基于脑电数据进行身份识别包括:将脑电数据输入经训练的神经网络模型,获取识别结果。
在本实施例中,基于脑电数据进行身份识别的方式为将脑电数据输入到经训练的神经网络模型中,接着获取神经网络模型的判断结果,基于判断结果来对被采集者的身份进行识别。但在不同的实施例中,不同神经网络模型的判断方式并不同,当每个神经网络模型用来判断一个被采集者的身份时,则该神经网络模型是用来判断输入的脑电数据对应的被采集者与训练脑电数据对应的被采集者是否为同一个被采集者,基于此可以判断输入进去的脑电数据对应的被采集者的身份,并输出输入脑电数据与训练脑电数据对应同一个被采集者的概率,或者输出是否为同一个被采集者的结论;当每个神经网络模型用来判断多个被采集者的身份时,则该神经网络模型是用来基于输入到神经网络模型中的脑电数据识别该脑电数据属于哪个被采集者,并输出判断结果,若判断结果为训练脑电数据对应的被采集者中存在输入脑电数据对应的被采集者,则输出该输入脑电数据对应的被采集者的身份,若不存在,则输出无的结论,即该脑电数据不属于任意一个用于训练该神经网络模型的脑电数据对应的被采集者,可以理解的,本实施例中对于基于脑电数据对被采集者身份判断的方法并不是唯一的,只需要保证可以基于神经网络模型对被识别者的身份进行判断即可。
在其他实施例中,还可以存在基于脑电信号提取出的特征值进行训练的神经网络模型,因此,在其他实施例中,首先需要将脑电数据提取出特征值,再将特征值输入到经训练的神经网络模型中,获取识别结果,可以理解的,当每个神经网络模型用来判断一个被采集者的身份时,用基于特征值进行身份识别的神经网络模型可以通过输入特征值,输出该特征值与训练特征值对应同一个被采集者的概率,或者输出是否为同一个被采集者的身份;当每个神经网络模型用来判断多个被采集者的身份时,则该神经网络模型是用来基于输入到神经网络模型中的特征值识别该特征值属于哪个被采集者,并输出判断结果,若判断结果为训练特征值对应的被采集者中存在输入特征值对应的被采集者,则输出该输入特征值对应的被采集者的身份,若不存在,则输出无的结论,即该特征值不属于任意一个用于训练该神经网络模型的特征值对应的被采集者,可以理解的,本实施例中对于基于特征值对被采集者身份判断的方法并不是唯一的,只需要保证可以基于神经网络模型对被识别者的身份进行判断即可。
在另一个实施例中,将脑电数据输入经训练的神经网络模型,获取识别结果之前包括:获取训练数据以及初始神经网络模型,训练数据包括训练脑电数据以及对应的训练身份信息,训练脑电数据包括被采集者基于视觉交互图形产生的历史脑电数据;基于训练数据训练初始神经网络模型,得到神经网络模型。
可以理解的,在获取身份识别指令前,也就是在开始对被采集者进行身份识别之前,需要获取初始神经网络模型,接着基于训练数据以及训练身份信息对该神经网络模型进行训练,以得到一个能够基于脑电数据对用户身份进行识别的神经网络模型;另外,在不同的实施例中,针对不同类型的识别规则,对于神经网络模型可以有不同的训练方式,在本实施例中,若是通过一个神经网络模型识别多个被采集者的身份,则需要以不同被采集者的脑电数据以及每个被采集者对应的输出身份结果作为训练集,对神经网络模型进行训练,可以理解的,以此训练的神经网络模型可以通过输入其中一个被采集者的脑电数据输出对应的被采集者的身份;若是对每个被采集者都设置对应的神经网络模型用来验证是否是本人,即只有目标被采集者的脑电数据可以使其对应的神经网络模型通过验证,则对该神经网络模型的训练方式可以是将多组训练脑电数据以及每组脑电数据是否属于目标被采集者的结论作为训练集,对神经网络模型进行训练,基于此,训练出的神经网络模型可以识别输入的脑电数据是否属于目标被采集者。容易理解的,对于每个神经网络模型的训练还可以是基于多组训练数据进行的,也就是每个被采集者都对应有多组脑电数据作为训练数据,基于多组训练数据进行训练,得到的神经网络模型相对于单组训练数据训练的神经网络模型而言,可以提高身份识别的准确度,通过上述步骤,可以得到经训练的神经网络模型,基于该经训练的神经网络模型可以基于被采集者脑电数据对被采集者的身份进行有效识别。
在其他实施例中,还可以存在通过对脑电数据提取出来的特征值对被采集者的身份进行识别的方法,是通过将特征值输入到神经网络模型中进行身份识别的,因此,在本实施例中,对神经网络模型的训练方法是将被采集者脑电数据提取出来的特征值以及对应被采集者的身份作为训练集,同样,基于不同的识别规则有不同的训练方法,若是通过一个神经网络模型识别多个被采集者的身份,则需要输入不同被采集者的脑电数据对应的特征值以及每个被采集者对应的输出身份结果进行训练,可以理解的,以此训练的神经网络模型可以通过输入其中一个被采集者的脑电数据对应的特征值,输出对应的被采集者的身份;若是通过一个神经网络模型仅判断输入的脑电数据特征值与神经网络模型中目标脑电数据对应的特征值是否属于同一个被采集者,基于此判断被采集者的身份,则需要通过将多组被采集者的脑电数据对应的特征值以及每组脑电数据对应的特征值是否属于目标被采集者的结论作为训练集,以训练神经网络模型,基于此,训练出的神经网络模型可以基于被采集者脑电数据提取出来的特征值对被采集者的身份进行有效识别。
在其中一个实施例中,刺激图形以第一预设频率进行第一变换,第一变换包括颜色变换,颜色变换包括亮度变换、饱和度变换或色彩变换;焦点图形以第一预设频率进行第一变换,以第二预设频率进行第二变换,第二变换包括形状变换,刺激图形与焦点图形具有相同中心点,且焦点图形叠加在刺激图形上方。
在本实施例中,需要基于视觉交互图形诱发稳态视觉诱发电位,因此该视觉交互图形的刺激图形以及焦点图形可以有多种周期性变换,可以增加对被采集者的刺激程度、增加特征值的数量以及使被采集者具有更清晰的注视焦点,本实施例的刺激图形与现有技术中用来诱发稳态视觉诱发电位的一些图形相似,均是通过以某一频率周期性变换图形的颜色,以达到诱发稳态视觉诱发电位的目的。可以理解的,颜色可以是以亮度为基准的无彩黑白颜色,还可以为彩色,以及以色彩饱和度为基准的其他颜色,本实施例中不做特殊限定,只需要满足使视觉色差感知较为明显即可;另外,还存在一个以相同频率进行第一变换,且具有其他频率第二变换动态效果的焦点图形,叠加在刺激图形上方,基于此,还可以通过焦点图形达到吸引注视者注意力的目的,另外,还对焦点图形进行第二变换设置了第二预设频率,基于此,注视者将会将视线集中在焦点图形上,且以第二预设频率进行第二变换的焦点图形可以减少视觉疲劳以及眼部不适的发生,以及在本实施例中通过在刺激图形中叠加焦点图形,可以有效的帮助用户建立视觉焦点,更易集中注意力,基于此可以通过提高被采集者对于刺激图形的注意力,增大身份识别时效率;可以理解的,第二变换可以有多种方式,以缩放为例,刺激图形以第一预设频率进行第一变换,焦点图形以第一预设频率进行第一变换的同时以第二预设频率对焦点图形进行缩放,可以理解的,在同一个视觉交互图形中,若刺激图形和焦点图形的变换频率不同,当两种图形同时呈现时,会使得被采集者产生幅值调制现象,幅值调制现象可以使被采集者在相同时间内产生更多可用于采集特征的稳态视觉诱发电位,也就是获得更多可以用来身份识别的特征,以此,通过不同频率的两种图形使得在相同时间内获取到更多可以用来身份识别的特征值,可以增加识别效率以及识别准确率。另外,本实施例中是以焦点图形达到吸引注视者注意力且减少视觉疲劳的效果,所以焦点图形需要叠加在刺激图形上方,以达到本申请的目的,在其他实施例中,刺激图形和焦点图形的形状除了圆形,还可以是方形等其他图形,颜色以某一频率周期性的变换波形可以是正弦波,还可以是方波以及其他周期性波形,焦点图形的动态变换除了缩放还可以是旋转、图形移动等动态变换,本实施例不做具体限定,只需要保证可以通过刺激图形和焦点图形组合成的视觉交互图形诱发出被采集者的稳态视觉诱发脑电信号即可。
在另一个实施例中,第一预设频率大于第二预设频率。
可以理解的,本实施例希望在加强稳态视觉诱发电位诱发的同时还希望不引起视觉疲劳,以及不适,因此焦点图形进行第二变换时,需要使第二预设频率小于第一预设频率,这样可以保证刺激图形和焦点图形以同频进行第一变换,且焦点图形以低频进行第二变换,进而保证稳态视觉诱发电位的稳定诱发,且以频率更低的焦点图形的变换还可以减小视觉疲劳的引发,减少不适。
在本实施例中还提供了一种基于SSVEP的身份识别方法。在本实施例中,用来诱发稳态视觉诱发电位的图形是在原有固定频率视觉刺激的基础上增添一个位于中心的、按一定频率缓慢缩放的焦点图形,该焦点图形进行缩放的同时,其亮度也随刺激图形以相同频率进行变化,焦点图形与刺激图形的亮度调制公式为L=La(cos(2πfAt)+1),其中La为亮度的变化幅度,fA为变化频率,t为屏幕刷新的时间,焦点图形缩放的直径调制公式为:D=Do+Da sin(2πfBt),其中Do为焦点图形的初始直径,Da为焦点图形的直径变化幅度,fB为焦点图形缩放的频率,可以理解的,刺激图形是一个以fA为变化频率进行亮度变化的圆形,焦点图形为一个以fA为变化频率进行亮度变化,同时以fB为频率缩放的比刺激图形小的圆形。
另一方面,不同频率的视觉刺激在同时呈现时会产生幅值调制现象,即在视觉刺激本身包含诱发频率在fA、fB以及fA+fB、fA-fB处均会诱发出SSVEP,相较于单一特征值来说,更有利于利用脑电进行身份识别,特征值相对于单一诱发频率的诱发图形而言不仅是叠加倍数增长。
在进行身份识别前,首先需要采集用户数据库,包括采集脑电数据、数据预处理以及提取特征值,先利用脑电采集设备采集被采集者的脑电波形数据,在采集过程中,被采集者注视视觉交互图形m次,每次4s,注视的时间窗内的脑电波形被打上标记,如图5,图5为本申请一实施例中基于SSVEP的身份识别方法的采集数据示意图。可以理解的,每个时间窗(即诱发窗口)内的脑电波型为每个试次(即每个周期的采集数据)。在预处理模块,对连续记录的原始脑电数据进行SSVEP范围的带通滤波,采用基于线性回归的方法去除眼电、肌电干扰,利用陷波器去除工频干扰,并去除每段刺激开始后1s数据,目的是为了避免视觉刺激呈现时诱发的瞬态响应干扰;在特征提取模块,对每段数据进行快速傅里叶变换后得到相应频谱功率密度信息,提取fA、fB以及fA+fB、fA-fB处的功率密度,如图6,图6为本申请一实施例中基于SSVEP的身份识别方法的功率密度提取示意图,记录为PfA、PfB以及Pf(A+B)、Pf(A-B);同时对每段数据进行典型相关性分析(CCA),提取fA、fB以及fA+fB、fA-fB处的相关系数,如图7,图7为本申请一实施例中基于SSVEP的身份识别方法的CCA相关系数提取示意图,记录为RfA、RfB以及Rf(A+B)、Rf(A-B);综上,每段试次都能得到8个特征值(特征数组),每个系统用户在采集阶段注视m次视觉交互图形后得到m组含8个特征值的数据,如图8所示,图8为本申请一实施例中基于SSVEP的身份识别方法中采集训练用特征值示意图。这样的n个系统用户的数据形成系统用户的数据库。用数据库里的数据为每一个系统用户训练一个神经网络模型,如图9所示,图9为本申请一实施例中基于SSVEP的身份识别方法中训练模型示意图。在本实施例中,训练的模型可以为二分类支持向量机(SVM)模型,训练集的正例为该用户m组含8个特征值的数据,负例为从其余n-1名系统用户的(n-1)*m组数据中抽取的m组数据。模型对是否为用户本身进行判断:是该用户则输出1,否则输出0。对检测用户进行识别时,采集相同由视觉交互图形刺激的一个试次数据段(4s)后,用同样的方法对数据进行预处理和特征提取,得到一组特征值。对于已有用户ID、需通过SSVEP进行身份验证的场景,调取ID对应模型,将用户特征值输入模型进行验证,如图10,图10为本申请一实施例中基于SSVEP的身份识别方法中已有用户ID时身份验证示意图,首先获取用户ID以及用户特征数组(基于脑电数据提取出的特征值数组),接着将用户特征数组输入到该用户ID对应的神经网络模型中,判断特征数组对应的用户为该用户的概率,若模型输出≥0.5,即验证成功,否则失败;对于没有用户ID、需通过SSVEP进行系统用户身份认证的场景,首先获取用户数组,接着将用户数组从第一个神经网络模型中,识别该用户能否通过该神经网络模型的识别,若识别为否,即模型输出没有≥0.5,则继续输入到第二个、第三个、第n个神经网络模型中,若有其中一个神经网络模型输出为≥0.5,则视为识别成功,则该用户的身份确定,若未有一个神经网络模型为识别成功,则该用户非当前系统已录入的用户,如图11所示,图11为本申请一实施例中基于SSVEP的身份识别方法中无用户ID时身份验证示意图,在将特征值,也就是特征数组输入到模型中后,当模型输出≥0.5,则说明身份识别成功。可以理解的当系统用户需要更改时,只需要在数据库中添加/删除变更用户的模型即可。
通过上述实施例,与相关技术中通过单一视觉交互图形诱发SSVEP相比,通过刺激图形和焦点图形可以在相同时间内获得更多的特征值,也就是可以在获取相同数量特征值的前提下使用更短的采集时间,可以有效的减少被采集者由于闪烁刺激时间较长导致视觉疲劳以及不适的问题,另外,与传统的诱发方法相比,由于增加了焦点图形作为注视焦点,可以提高被采集者在注视时的专注度,使得被采集者更易聚焦,提高了识别效率。
在本实施例中还提供了一种身份识别装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图12是本申请一实施例的身份识别装置的结构框图。如图12所示,该装置包括:身份识别指令获取模块10、脑电数据获取模块20、身份识别模块30、特征值获取模块、预处理模块、神经网络模型训练模块。
身份识别指令获取模块10:用于获取身份识别指令。
脑电数据获取模块20:用于基于身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,视觉交互图形包括刺激图形以及焦点图形。
身份识别模块30:用于基于身份识别指令及特征值,基于脑电数据进行身份识别。
身份识别模块30:还用于将特征值输入经训练的神经网络模型,获取识别结果,神经网络模型可以基于特征值识别被采集者的身份。
特征值获取模块:用于对脑电数据进行特征值提取,得到脑电数据对应的特征值;基于特征值,对脑电数据进行身份识别。
特征值获取模块:还用于对脑电数据进行快速傅里叶变换,获取预设频率对应的功率密度;对脑电数据进行相关性分析,获取预设频率对应的相关系数;特征值至少包括功率密度以及相关系数的其中一种。
预处理模块:用于对脑电数据进行预处理,预处理至少包括去噪、去除无效数据以及分组中其中一种。
神经网络模型训练模块:用于获取训练数据以及初始神经网络模型,训练数据包括训练脑电数据以及对应的训练身份信息;基于训练数据训练初始神经网络模型,得到神经网络模型。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取身份识别指令。
S2,基于身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,视觉交互图形包括刺激图形以及焦点图形。
S3,基于脑电数据进行身份识别。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的基于SSVEP的身份识别方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种基于SSVEP的身份识别方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于SSVEP的身份识别方法,其特征在于,包括:
获取身份识别指令;
基于所述身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,所述视觉交互图形包括刺激图形以及焦点图形;
基于所述脑电数据进行身份识别。
2.根据权利要求1所述的基于SSVEP的身份识别方法,其特征在于,所述基于所述脑电数据进行身份识别包括:
对所述脑电数据进行特征值提取,得到所述脑电数据对应的特征值;
基于所述特征值,对所述脑电数据进行身份识别。
3.根据权利要求1或2所述的基于SSVEP的身份识别方法,其特征在于,所述基于所述脑电数据进行身份识别之前还包括:
对所述脑电数据进行预处理,所述预处理至少包括去噪、去除无效数据以及分组中其中一种。
4.根据权利要求2所述的基于SSVEP的身份识别方法,其特征在于,所述对所述脑电数据进行特征值提取包括:
对所述脑电数据进行快速傅里叶变换,获取预设频率对应的功率密度;
和/或;
对所述脑电数据进行相关性分析,获取所述预设频率对应的相关系数。
5.根据权利要求1所述的基于SSVEP的身份识别方法,其特征在于,所述基于所述脑电数据进行身份识别包括:
将所述脑电数据输入经训练的神经网络模型,获取识别结果。
6.根据权利要求5所述的基于SSVEP的身份识别方法,其特征在于,所述将所述脑电数据输入经训练的神经网络模型,获取识别结果之前包括:
获取训练数据以及初始神经网络模型,所述训练数据包括训练脑电数据以及对应的训练身份信息,所述训练脑电数据包括所述被采集者基于所述视觉交互图形产生的历史脑电数据;
基于所述训练数据训练所述初始神经网络模型,得到所述神经网络模型。
7.根据权利要求1所述的基于SSVEP的身份识别方法,其特征在于,所述刺激图形以第一预设频率进行第一变换,所述第一变换包括颜色变换,所述颜色变换包括亮度变换、饱和度变换或色彩变换;
所述焦点图形以第一预设频率进行第一变换,以第二预设频率进行第二变换,所述第二变换包括形状变换,所述刺激图形与所述焦点图形具有相同中心点,且所述焦点图形叠加在所述刺激图形上方。
8.一种身份识别装置,其特征在于,包括:
身份识别指令获取模块:用于获取身份识别指令;
脑电数据获取模块:用于基于所述身份识别指令,获取被采集者基于视觉交互图形产生的脑电数据,所述视觉交互图形包括刺激图形以及焦点图形;
身份识别模块:用于基于所述脑电数据进行身份识别。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于SSVEP的身份识别方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于SSVEP的身份识别方法的步骤。
CN202110744376.3A 2021-06-30 2021-06-30 基于ssvep的身份识别方法、装置、电子装置和存储介质 Pending CN113360876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110744376.3A CN113360876A (zh) 2021-06-30 2021-06-30 基于ssvep的身份识别方法、装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110744376.3A CN113360876A (zh) 2021-06-30 2021-06-30 基于ssvep的身份识别方法、装置、电子装置和存储介质

Publications (1)

Publication Number Publication Date
CN113360876A true CN113360876A (zh) 2021-09-07

Family

ID=77537826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110744376.3A Pending CN113360876A (zh) 2021-06-30 2021-06-30 基于ssvep的身份识别方法、装置、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN113360876A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138108A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155323A (zh) * 2016-07-05 2016-11-23 西安交通大学 基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法
CN107437011A (zh) * 2016-05-26 2017-12-05 华为技术有限公司 基于脑电信号的身份识别的方法和装置
CN108803873A (zh) * 2018-05-22 2018-11-13 西安交通大学 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
CN109784023A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于深度学习的稳态视觉诱发脑电身份识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437011A (zh) * 2016-05-26 2017-12-05 华为技术有限公司 基于脑电信号的身份识别的方法和装置
CN106155323A (zh) * 2016-07-05 2016-11-23 西安交通大学 基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法
CN108803873A (zh) * 2018-05-22 2018-11-13 西安交通大学 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
CN109784023A (zh) * 2018-11-28 2019-05-21 西安电子科技大学 基于深度学习的稳态视觉诱发脑电身份识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
夏阳: "《神经信息学基础》", 30 September 2015, 电子科技大学出版社 *
由育阳: "《机器学习智能诊断理论与应用》", 30 September 2020, 北京理工大学出版社 *
邓铸: "《实验心理学导论》", 31 July 2012, 中国轻工业出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138108A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、系统和方法

Similar Documents

Publication Publication Date Title
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
Petrantonakis et al. Emotion recognition from brain signals using hybrid adaptive filtering and higher order crossings analysis
Pasqualotto et al. Toward functioning and usable brain–computer interfaces (BCIs): A literature review
CN109784023B (zh) 基于深度学习的稳态视觉诱发脑电身份识别方法及系统
CN113515195A (zh) 基于ssvep的脑机交互方法、装置、电子装置和存储介质
CN103092340B (zh) 一种脑-机接口视觉刺激方法及信号识别方法
CN107656612B (zh) 基于p300-ssvep的大指令集脑-机接口方法
CN104571504B (zh) 一种基于想象动作的在线脑‑机接口方法
CN104536573B (zh) 一种基于高频闪烁情感刺激的脑‑机接口方法
CN103970273A (zh) 基于随机共振增强的稳态运动视觉诱发电位脑机接口方法
CN115640827B (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
CN110442244A (zh) 一种基于脑机接口的虚拟现实游戏交互方法及系统
Xu et al. Emotion recognition based on double tree complex wavelet transform and machine learning in Internet of Things
CN110262658B (zh) 一种基于强化注意的脑机接口字符输入系统及实现方法
CN113349778B (zh) 基于经颅直流电刺激的情绪分析方法、装置和电子装置
CN112732082A (zh) 基于附加汉字默读运动想象方式的脑-机接口方法
CN106502404A (zh) 一种基于稳态体感诱发电位的新型脑‑机接口方法及系统
CN108304074A (zh) 显示控制方法及相关产品
Yudhana et al. Recognizing human emotion patterns by applying Fast Fourier Transform based on brainwave features
CN113360876A (zh) 基于ssvep的身份识别方法、装置、电子装置和存储介质
CN109009098A (zh) 一种运动想象状态下的脑电信号特征识别方法
Yosi et al. Emotion recognition using electroencephalogram signal
CN113749656A (zh) 基于多维生理信号的情感识别方法和装置
CN111882036A (zh) 卷积神经网络训练方法、脑电信号识别方法、装置和介质
CN114366101B (zh) 运动想象脑电信号分类方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210907