CN118034504A - 脑电数据交互方法、系统及存储介质 - Google Patents
脑电数据交互方法、系统及存储介质 Download PDFInfo
- Publication number
- CN118034504A CN118034504A CN202410430719.2A CN202410430719A CN118034504A CN 118034504 A CN118034504 A CN 118034504A CN 202410430719 A CN202410430719 A CN 202410430719A CN 118034504 A CN118034504 A CN 118034504A
- Authority
- CN
- China
- Prior art keywords
- acquisition
- interaction
- electroencephalogram
- data
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 280
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012360 testing method Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 47
- 230000002452 interceptive effect Effects 0.000 claims abstract description 22
- 238000004088 simulation Methods 0.000 claims description 56
- 210000004556 brain Anatomy 0.000 claims description 39
- 238000002360 preparation method Methods 0.000 claims description 24
- 230000005611 electricity Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000010224 classification analysis Methods 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000002329 infrared spectrum Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 7
- 238000002582 magnetoencephalography Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012098 association analyses Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000238366 Cephalopoda Species 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明实施例涉及脑电交互技术领域，具体公开了脑电数据交互方法、系统及存储介质。本发明实施例通过构建VR采集场景；按照VR采集场景，与用户进行虚拟交互，获取脑电采集数据；生成多个交互采集数据；创建训练集和测试集，构建脑电交互模型；获取应用脑电数据，导入脑电交互模型中，输出应用交互指令，并进行交互控制。能够构建VR采集场景，与用户进行虚拟交互与脑电采集记录，获取脑电采集数据，进而创建训练集和测试集，测试训练构建脑电交互模型，通过与用户对应的脑电交互模型进行脑电数据交互，输出应用交互指令并进行交互控制，从而提高脑电数据分析的精确性，能够生成准确的交互指令，实现对脑电数据的有效应用。
Description
技术领域
本发明属于脑电交互技术领域，尤其涉及脑电数据交互方法、系统及存储介质。
背景技术
现代科技的快速发展已经给我们带来了很多方便和便利，如智能手机、平板电脑、电子游戏等。但是，这些设备既需要手指触摸操控，又需要我们看着屏幕上的信息才能操作，这与我们人类的思维方式有所不同。基于脑电信号的人机交互技术的出现，可以让人们更加自然地操作设备。
现有技术中，由于不同人的脑电信号具有一定的差异，很难通过通用的方式进行脑电数据的分析，且脑电信号中具有噪声和干扰，会影响脑电数据分析的精确性，因此，无法通过脑电数据分析确定准确的交互指令，不能实现对脑电数据的有效应用。
发明内容
本发明实施例的目的在于提供脑电数据交互方法、系统及存储介质，旨在解决背景技术中提出的问题。
为实现上述目的，本发明实施例提供如下技术方案：
脑电数据交互方法，所述方法具体包括以下步骤：
获取多个脑电采集模式，进行VR场景规划，构建VR采集场景；
按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据；
对所述脑电采集数据进行分类处理，生成多个交互采集数据；
基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型；
获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制。
作为本发明实施例技术方案进一步的限定，所述获取多个脑电采集模式，进行VR场景规划，构建VR采集场景具体包括以下步骤：
接收管理人员的脑电采集请求；
根据所述脑电采集请求，生成并展示模式选择界面；
通过所述模式选择界面，选择多个脑电采集模式；
按照多个所述脑电采集模式，进行VR场景规划，构建VR采集场景。
作为本发明实施例技术方案进一步的限定，所述按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据具体包括以下步骤：
对用户进行VR采集准备监测，获取准备监测数据；
根据所述准备监测数据，在完成VR采集准备时，播放所述VR采集场景，与用户进行虚拟交互；
生成采集记录指令；
按照所述采集记录指令，对用户进行脑电采集记录，获取脑电采集数据。
作为本发明实施例技术方案进一步的限定，所述对所述脑电采集数据进行分类处理，生成多个交互采集数据具体包括以下步骤：
根据多个所述脑电采集模式，生成多个分类类型；
按照多个所述分类类型，对所述脑电采集数据进行分类分析，生成分类分析结果；
根据所述分类分析结果，进行分类处理，生成多个交互采集数据。
作为本发明实施例技术方案进一步的限定，所述基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型具体包括以下步骤：
按照预设的创建比例，生成创建信号；
根据所述创建信号，将多个所述交互采集数据进行处理，创建生成训练集和测试集；
获取待训练的基础脑电模型；
通过所述训练集和所述测试集对所述基础脑电模型进行训练与测试，构建脑电交互模型。
作为本发明实施例技术方案进一步的限定，所述获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制具体包括以下步骤：
采集获取应用脑电数据；
将所述应用脑电数据导入所述脑电交互模型中；
输出所述应用脑电数据对应的应用交互指令；
通过所述应用交互指令，进行相应的交互控制。
脑电数据交互系统，所述系统包括VR场景规划单元、虚拟交互记录单元、数据分类处理单元、模型测试训练单元和脑电交互控制单元，其中：
VR场景规划单元，用于获取多个脑电采集模式，进行VR场景规划，构建VR采集场景；
虚拟交互记录单元，用于按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据；
数据分类处理单元，用于对所述脑电采集数据进行分类处理，生成多个交互采集数据；
模型测试训练单元，用于基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型；
脑电交互控制单元，用于获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制。
作为本发明实施例技术方案进一步的限定，所述VR场景规划单元具体包括：
请求接收模块，用于接收管理人员的脑电采集请求；
界面生成模块，用于根据所述脑电采集请求，生成并展示模式选择界面；
模式选择模块，用于通过所述模式选择界面，选择多个脑电采集模式；
规划构建模块，用于按照多个所述脑电采集模式，进行VR场景规划，构建VR采集场景。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述脑电数据交互方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明实施例通过构建VR采集场景；按照VR采集场景，与用户进行虚拟交互，获取脑电采集数据；生成多个交互采集数据；创建训练集和测试集，构建脑电交互模型；获取应用脑电数据，导入脑电交互模型中，输出应用交互指令，并进行交互控制。能够构建VR采集场景，与用户进行虚拟交互与脑电采集记录，获取脑电采集数据，进而创建训练集和测试集，测试训练构建脑电交互模型，通过与用户对应的脑电交互模型进行脑电数据交互，输出应用交互指令并进行交互控制，从而提高脑电数据分析的精确性，能够生成准确的交互指令，实现对脑电数据的有效应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1示出了本发明实施例提供的方法的流程图。
图2示出了本发明实施例提供的方法中规划构建VR采集场景的流程图。
图3示出了本发明实施例提供的方法中与用户进行虚拟交互的流程图。
图4示出了本发明实施例提供的方法中脑电采集数据分类处理的流程图。
图5示出了本发明实施例提供的方法中构建脑电交互模型的流程图。
图6示出了本发明实施例提供的方法中应用交互指令交互控制的流程图。
图7示出了本发明实施例提供的系统的应用架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解的是，现有技术中，由于不同人的脑电信号具有一定的差异，很难通过通用的方式进行脑电数据的分析，且脑电信号中具有噪声和干扰，会影响脑电数据分析的精确性，因此，无法通过脑电数据分析确定准确的交互指令，不能实现对脑电数据的有效应用。
为解决上述问题，本发明实施例通过构建VR采集场景；按照VR采集场景，与用户进行虚拟交互，获取脑电采集数据；生成多个交互采集数据；创建训练集和测试集，构建脑电交互模型；获取应用脑电数据，导入脑电交互模型中，输出应用交互指令，并进行交互控制。能够构建VR采集场景，与用户进行虚拟交互与脑电采集记录，获取脑电采集数据，进而创建训练集和测试集，测试训练构建脑电交互模型，通过与用户对应的脑电交互模型进行脑电数据交互，输出应用交互指令并进行交互控制，从而提高脑电数据分析的精确性，能够生成准确的交互指令，实现对脑电数据的有效应用。
图1示出了本发明实施例提供的方法的流程图。
具体的，在本发明提供的一个优选实施方式中，脑电数据交互方法，包括以下步骤：
步骤S101，获取多个脑电采集模式，进行VR场景规划，构建VR采集场景。
在本发明实施例中，在用户具有脑电数据交互的需求时，可以通过对应的管理人员进行请求操作，通过接收管理人员的脑电采集请求，按照脑电采集请求进行初始化处理，生成模式选择界面，并展示模式选择界面，管理人员可以在模式选择界面上进行模式选择操作，按照管理人员的模式选择操作，确定多个脑电采集模式，进而以预设的多个基础VR场景，进行与多个脑电采集模式相关的VR场景规划，构建VR采集场景。
具体的，图2示出了本发明实施例提供的方法中规划构建VR采集场景的流程图。
其中，在本发明提供的优选实施方式中，所述获取多个脑电采集模式，进行VR场景规划，构建VR采集场景具体包括以下步骤：
步骤S1011，接收管理人员的脑电采集请求；
步骤S1012，根据所述脑电采集请求，生成并展示模式选择界面；
步骤S1013，通过所述模式选择界面，选择多个脑电采集模式；
步骤S1014，按照多个所述脑电采集模式，进行VR场景规划，构建VR采集场景。
在本发明中，统一采用非侵入式脑电采集的方式进行脑电采集。其中，步骤S1014包括如下子步骤：
S1014a，获取可执行的多个脑电采集模式，其中多个脑电采集模式包括脑电图采集模式、脑磁图采集模式以及近红外光谱成像采集模式；
在此需要说明的是，（1）脑电图（EEG）：EEG是最常用的非侵入式脑电采集技术，通过放置在头皮上的电极记录大脑的电活动。EEG具有较高的时间分辨率，可以捕捉到毫秒级别的脑电变化，但空间分辨率相对较低。（2）脑磁图（MEG）：MEG利用超导量子干涉仪（SQUID）记录大脑产生的微弱磁场变化，从而反映脑电活动。MEG的空间分辨率高于EEG，但时间分辨率略低。（3）近红外光谱成像（NIRS）：NIRS通过测量大脑组织中的血红蛋白浓度变化来间接反映脑血流和脑代谢的变化。NIRS的空间分辨率较低，但可以用于长时间连续监测。
S1014b，根据脑电图采集模式进行VR场景规划以建立第一类VR采集场景，根据脑磁图采集模式进行VR场景规划以建立第二类VR采集场景，根据近红外光谱成像采集模式进行VR场景规划以建立第三类VR采集场景；
S1014c，获取第一类VR采集场景中的多个第一类VR采集子场景，获取第二类VR采集场景中的多个第二类VR采集子场景以及获取第三类VR采集场景中的多个第三类VR采集子场景；
S1014d，基于多个第一类VR采集子场景、多个第二类VR采集子场景以及多个第三类VR采集子场景，构建得到VR采集场景。
在本发明中，为了对所构建的VR采集场景进行场景模拟的完整度评价，通过计算VR采集场景的场景模拟完整度综合指数来进行评价。其中，对所构建的VR采集场景进行场景模拟的完整度评价的方法包括如下步骤：
S101a，获取VR采集场景的场景模拟所包含的场景模拟项目，其中所述场景模拟项目包括环境模拟项、设备模拟项以及交互模拟项；
其中，环境模拟项用于评估VR场景对真实环境的模拟程度，包括视觉、听觉和触觉等方面。设备模拟项用于确保VR场景中的设备模拟真实且功能完整，如脑电采集设备的外观和操作。交互模拟项用于检查用户与VR场景中设备和环境的交互是否真实和自然。
S101b，获取环境模拟项对应的环境模拟项完整度、设备模拟项对应的设备模拟项完整度以及交互模拟项对应的交互模拟项完整度；
S101c，根据环境模拟项完整度、设备模拟项完整度以及交互模拟项完整度计算得到VR采集场景的场景模拟完整度综合指数。
其中，VR采集场景的场景模拟完整度综合指数的计算公式表示为：
其中，表示VR采集场景的场景模拟完整度综合指数，/>表示VR采集场景的场景模拟完整度综合指数的基准值，/>表示第/>类VR采集场景中的第/>项场景模拟项目对应的完整度，/>表示第/>类 VR 采集场景中的第/>项场景模拟项目的完整度的校正因子，/>表示VR采集场景的类别最大数量，/>表示每种VR采集场景中场景模拟项目的最大数量。在本实施例中，/>的最大值为3，/>的最大值也为3。可以理解的，也即在本实施例中，VR采集场景的类别最大数量为3，也即包括第一类VR采集场景、第二类VR采集场景以及第三类VR采集场景。每种VR采集场景中场景模拟项目均包括环境模拟项、设备模拟项以及交互模拟项。
进一步的，所述脑电数据交互方法还包括以下步骤：
步骤S102，按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据。
在本发明实施例中，通过对用户进行VR采集准备监测，获取准备监测数据，再对准备监测数据进行分析，判断用户是否完成VR采集准备，在判定用户完成VR采集准备的情况下，将VR采集场景对用户进行播放，与用户进行虚拟交互，并生成采集记录指令，按照采集记录指令，对用户在VR采集场景中的虚拟交互过程中进行脑电采集记录，获取脑电采集数据。
具体的，图3示出了本发明实施例提供的方法中与用户进行虚拟交互的流程图。
其中，在本发明提供的优选实施方式中，所述按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据具体包括以下步骤：
步骤S1021，对用户进行VR采集准备监测，获取准备监测数据；
步骤S1022，根据所述准备监测数据，在完成VR采集准备时，播放所述VR采集场景，与用户进行虚拟交互；
在本实施例中，由于上述的VR采集场景包括第一类VR采集场景、第二类VR采集场景以及第三类VR采集场景。在播放所述VR采集场景，与用户进行虚拟交互的方法中，为了确定出哪种VR 采集场景与当前用户进行虚拟交互时更吻合，通过如下步骤实现：
步骤S102a，分别播放第一类VR采集场景、第二类VR采集场景以及第三类VR采集场景，获取与用户进行虚拟交互时对应的虚拟交互数据，其中所述虚拟交互数据包括用户生理指标数据、技术性能指标数据以及交互稳定性数据；
步骤S102b，获取用户生理指标数据、技术性能指标数据以及交互稳定性数据，其中所述用户生理指标数据包括心率与皮肤电导参数，所述技术性能指标数据包括帧率、延迟率与交互响应时间，所述交互稳定性数据包括系统崩溃频率；
步骤S102c，根据用户生理指标数据、技术性能指标数据以及交互稳定性数据，计算在播放每一类VR采集场景时对应用户的虚拟交互质量指数，并将最大的虚拟交互质量指数对应的VR采集场景作为当前用户匹配的VR采集场景。
在本步骤中，用户的虚拟交互质量指数的计算公式表示为：
其中，表示用户的虚拟交互质量指数，/>表示用户的虚拟交互质量指数的基准值，/>表示用户生理指标数据项的质量指数，/>表示技术性能指标数据项的质量指数，/>表示交互稳定性数据项的质量指数，/>表示用户生理指标数据项的权重因子，/>表示技术性能指标数据项的权重因子，/>表示交互稳定性数据项的权重因子。
具体的，用户生理指标数据项的质量指数的计算公式表示为：
其中，表示心率项的质量指数的换算因子，/>表示当前用户进行虚拟交互时的心率值，/>表示当前用户在未进行虚拟交互时的心率值，/>表示皮肤电导项的质量指数的换算因子，/>表示当前用户进行虚拟交互时皮肤电导的变化值，/>表示多个用户进行虚拟交互时皮肤电导的变化值的平均值。
技术性能指标数据项的质量指数的计算公式表示为：
其中，表示帧率项的质量指数的换算因子，/>表示延迟率项的质量指数的换算因子，/>表示交互响应时间项的质量指数的换算因子，/>表示当前VR采集场景下进行虚拟交互时对应的帧率，/>表示在多种VR采集场景下进行虚拟交互时的平均帧率，/>表示当前VR采集场景下进行虚拟交互时对应的延迟率，/>表示在多种VR采集场景下进行虚拟交互时的平均延迟率，/>表示当前VR采集场景下进行虚拟交互时对应的交互响应时间，表示在多种VR采集场景下进行虚拟交互时的平均交互响应时间。
交互稳定性数据项的质量指数的计算公式表示为：
其中，表示系统崩溃频率项的质量指数的换算因子，/>表示当前VR采集场景下进行虚拟交互时对应的系统崩溃频率，/>表示在多种VR采集场景下进行虚拟交互时的系统崩溃平均频率，/>表示频率项的校正因子。
可以理解的，通过上述步骤设置，可通过计算得到用户的虚拟交互质量指数，根据计算得到的用户的虚拟交互质量指数，选择最大的用户的虚拟交互质量指数对应的VR采集场景作为当前用户最吻合的VR采集场景，从而最大程度上保证VR采集数据的质量与采集效果。
步骤S1023，生成采集记录指令；
步骤S1024，按照所述采集记录指令，对用户进行脑电采集记录，获取脑电采集数据。
进一步的，所述脑电数据交互方法还包括以下步骤：
步骤S103，对所述脑电采集数据进行分类处理，生成多个交互采集数据。
在本发明实施例中，按照多个脑电采集模式，生成多个对应的分类类型，进而按照多个分类类型，对脑电采集数据分类分析，生成分类分析结果，再根据分类分析结果，对脑电采集数据进行分类标记，按照分类标记，将脑电采集数据进行分类划分，生成多个交互采集数据，使得多个交互采集数据与多个脑电采集模式对应的分类类型一致，能够反映用户在不同场景交互下的脑电波动情况。
具体的，图4示出了本发明实施例提供的方法中脑电采集数据分类处理的流程图。
其中，在本发明提供的优选实施方式中，所述对所述脑电采集数据进行分类处理，生成多个交互采集数据具体包括以下步骤：
步骤S1031，根据多个所述脑电采集模式，生成多个分类类型；
步骤S1032，按照多个所述分类类型，对所述脑电采集数据进行分类分析，生成分类分析结果；
其中，步骤S1032具体包括如下子步骤：
S1032a，对所述脑电采集数据进行数据预处理以得到脑电波信号；
其中，数据预处理包括去除直流偏移、滤除肌电干扰和眼动干扰等，以减少噪声对后续分析的影响。
S1032b，提取所述脑电波信号的特征，脑电波信号的特征包括频率特征、幅度特征以及相位特征；
S1032c，采用支持向量机分类模型进行训练，将训练好的分类模型对所述脑电波信号的特征进行处理以生成分类分析结果。
在此需要补充说明的是，对于分类分析结果，对分类结果进行评估以了解其性能和准确性。评估指标可能包括准确率、召回率、F1分数等。如果发现性能不佳，可能需要对模型进行优化，如调整模型参数、添加或删除特征等。
此外，为了对分类分析结果进行结果质量的评估，通过计算分析结果整体质量指数进行评价。具体的，分析结果整体质量指数的计算公式表示为：
其中，表示分析结果整体质量指数，/>表示分析结果整体质量指数的基准值，/>表示准确率项的权重值，/>表示召回率项的权重值，/>表示F1分数项的权重值，/>表示准确率项的质量指数，/>表示召回率项的质量指数，/>表示F1分数项的质量指数。
步骤S1033，根据所述分类分析结果，进行分类处理，生成多个交互采集数据。
进一步的，所述脑电数据交互方法还包括以下步骤：
步骤S104，基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型。
在本发明实施例中，按照预设的创建比例，生成创建信号，再根据创建信号，将多个交互采集数据分别进行比例划分，进而将比例划分的多个交互采集数据进行整理，创建生成训练集和测试集，且获取待训练的基础脑电模型（可以是CS-CNN算法模型），按照训练集对基础脑电模型进行训练，再按照测试集对训练之后的基础脑电模型进行测试，完成测试之后，构建与用户关联的脑电交互模型。
具体的，图5示出了本发明实施例提供的方法中构建脑电交互模型的流程图。
其中，在本发明提供的优选实施方式中，所述基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型具体包括以下步骤：
步骤S1041，按照预设的创建比例，生成创建信号；
步骤S1042，根据所述创建信号，将多个所述交互采集数据进行处理，创建生成训练集和测试集；
步骤S1043，获取待训练的基础脑电模型；
步骤S1044，通过所述训练集和所述测试集对所述基础脑电模型进行训练与测试，构建脑电交互模型。
进一步的，所述脑电数据交互方法还包括以下步骤：
步骤S105，获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制。
在本发明实施例中，在用户的脑电数据交互的应用场景中，通过采集获取用户的应用脑电数据，再将应用脑电数据导入至脑电交互模型中，通过脑电交互模型对应用脑电数据进行关联分析，导出与应用脑电数据对应的应用交互指令，进而通过应用交互指令，进行相应的交互控制。
具体的，图6示出了本发明实施例提供的方法中应用交互指令交互控制的流程图。
其中，在本发明提供的优选实施方式中，所述获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制具体包括以下步骤：
步骤S1051，采集获取应用脑电数据；
步骤S1052，将所述应用脑电数据导入所述脑电交互模型中；
步骤S1053，输出所述应用脑电数据对应的应用交互指令；
其中，步骤S1053具体包括如下子步骤：
步骤S1053a，基于所述应用脑电数据，提取与特定交互意图相关的目标应用特征数据；
其中，特征提取方法可包括时域分析、频域分析或时频域分析。可以理解的，目标应用特征数据是基于应用脑电数据提取的。
步骤S1053b，确认每个目标应用特征数据与所述特定交互意图之间的特征关联度；
步骤S1053c，筛选出特征关联度大于预设特征关联度的目标应用特征数据，并输入至所述脑电交互模型中进行模型推理以得到模型推理结果；
在此需要说明的是，模型推理结果指代的是在目标应用特征数据所识别出的用户的意图或状态。
步骤S1053d，根据所述模型推理结果，在预设指令集中查找与所述模型推理结果相对应的应用交互指令。步骤S1054，通过所述应用交互指令，进行相应的交互控制。
进一步的，图7示出了本发明实施例提供的系统的应用架构图。
其中，在本发明提供的又一个优选实施方式中，脑电数据交互系统，具体包括：
VR场景规划单元101，用于获取多个脑电采集模式，进行VR场景规划，构建VR采集场景。
在本发明实施例中，在用户具有脑电数据交互的需求时，可以通过对应的管理人员进行请求操作，VR场景规划单元101通过接收管理人员的脑电采集请求，按照脑电采集请求进行初始化处理，生成模式选择界面，并展示模式选择界面，管理人员可以在模式选择界面上进行模式选择操作，按照管理人员的模式选择操作，确定多个脑电采集模式，进而以预设的多个基础VR场景，进行与多个脑电采集模式相关的VR场景规划，构建VR采集场景。
虚拟交互记录单元102，用于按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据。
在本发明实施例中，虚拟交互记录单元102通过对用户进行VR采集准备监测，获取准备监测数据，再对准备监测数据进行分析，判断用户是否完成VR采集准备，在判定用户完成VR采集准备的情况下，将VR采集场景对用户进行播放，与用户进行虚拟交互，并生成采集记录指令，虚拟交互记录单元102按照采集记录指令，对用户在VR采集场景中的虚拟交互过程中进行脑电采集记录，获取脑电采集数据。
数据分类处理单元103，用于对所述脑电采集数据进行分类处理，生成多个交互采集数据。
在本发明实施例中，数据分类处理单元103按照多个脑电采集模式，生成多个对应的分类类型，进而按照多个分类类型，对脑电采集数据分类分析，生成分类分析结果，再根据分类分析结果，对脑电采集数据进行分类标记，按照分类标记，将脑电采集数据进行分类划分，生成多个交互采集数据，使得多个交互采集数据与多个脑电采集模式对应的分类类型一致，能够反映用户在不同场景交互下的脑电波动情况。
模型测试训练单元104，用于基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型。
在本发明实施例中，模型测试训练单元104按照预设的创建比例，生成创建信号，再根据创建信号，将多个交互采集数据分别进行比例划分，进而将比例划分的多个交互采集数据进行整理，创建生成训练集和测试集，且获取待训练的基础脑电模型（可以是CS-CNN算法模型），按照训练集对基础脑电模型进行训练，再按照测试集对训练之后的基础脑电模型进行测试，完成测试之后，构建与用户关联的脑电交互模型。
脑电交互控制单元105，用于获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制。
在本发明实施例中，在用户的脑电数据交互的应用场景中，脑电交互控制单元105通过采集获取用户的应用脑电数据，再将应用脑电数据导入至脑电交互模型中，通过脑电交互模型对应用脑电数据进行关联分析，导出与应用脑电数据对应的应用交互指令，进而通过应用交互指令，进行相应的交互控制。
在又一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器能够执行以下步骤：
获取多个脑电采集模式，进行VR场景规划，构建VR采集场景；
按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据；
对所述脑电采集数据进行分类处理，生成多个交互采集数据；
基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型；
获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
Claims (10)
1.脑电数据交互方法，其特征在于，所述方法具体包括以下步骤：
获取多个脑电采集模式，进行VR场景规划，构建VR采集场景；
按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据；
对所述脑电采集数据进行分类处理，生成多个交互采集数据；
基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型；
获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制；
所述获取多个脑电采集模式，进行VR场景规划，构建VR采集场景具体包括以下步骤：
接收管理人员的脑电采集请求；
根据所述脑电采集请求，生成并展示模式选择界面；
通过所述模式选择界面，选择多个脑电采集模式；
按照多个所述脑电采集模式，进行VR场景规划，构建VR采集场景；
按照多个所述脑电采集模式，进行VR场景规划，构建VR采集场景的方法包括如下子步骤：
获取可执行的多个脑电采集模式，其中多个脑电采集模式包括脑电图采集模式、脑磁图采集模式以及近红外光谱成像采集模式；
根据脑电图采集模式进行VR场景规划以建立第一类VR采集场景，根据脑磁图采集模式进行VR场景规划以建立第二类VR采集场景，根据近红外光谱成像采集模式进行VR场景规划以建立第三类VR采集场景；
获取第一类VR采集场景中的多个第一类VR采集子场景，获取第二类VR采集场景中的多个第二类VR采集子场景以及获取第三类VR采集场景中的多个第三类VR采集子场景；
基于多个第一类VR采集子场景、多个第二类VR采集子场景以及多个第三类VR采集子场景，构建得到VR采集场景。
2.根据权利要求1所述的脑电数据交互方法，其特征在于，对所构建的VR采集场景进行场景模拟的完整度评价，通过计算VR采集场景的场景模拟完整度综合指数来进行评价，对所构建的VR采集场景进行场景模拟的完整度评价的方法包括如下步骤：
获取VR采集场景的场景模拟所包含的场景模拟项目，其中所述场景模拟项目包括环境模拟项、设备模拟项以及交互模拟项；
获取环境模拟项对应的环境模拟项完整度、设备模拟项对应的设备模拟项完整度以及交互模拟项对应的交互模拟项完整度；
根据环境模拟项完整度、设备模拟项完整度以及交互模拟项完整度计算得到VR采集场景的场景模拟完整度综合指数；
其中，VR采集场景的场景模拟完整度综合指数的计算公式表示为：
；
其中，表示VR采集场景的场景模拟完整度综合指数，/>表示VR采集场景的场景模拟完整度综合指数的基准值，/>表示第/>类VR采集场景中的第/>项场景模拟项目对应的完整度，/>表示第/>类 VR 采集场景中的第/>项场景模拟项目的完整度的校正因子，/>表示VR采集场景的类别最大数量，/>表示每种VR采集场景中场景模拟项目的最大数量。
3.根据权利要求2所述的脑电数据交互方法，其特征在于，所述按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据具体包括以下步骤：
对用户进行VR采集准备监测，获取准备监测数据；
根据所述准备监测数据，在完成VR采集准备时，播放所述VR采集场景，与用户进行虚拟交互；
生成采集记录指令；
按照所述采集记录指令，对用户进行脑电采集记录，获取脑电采集数据。
4.根据权利要求3所述的脑电数据交互方法，其特征在于，在根据所述准备监测数据，在完成VR采集准备时，播放所述VR采集场景，与用户进行虚拟交互的步骤中，通过以下方法确定其中一种VR采集场景作为与当前用户进行虚拟交互的最佳VR采集场景，具体方法包括：
分别播放第一类VR采集场景、第二类VR采集场景以及第三类VR采集场景，获取与用户进行虚拟交互时对应的虚拟交互数据，其中所述虚拟交互数据包括用户生理指标数据、技术性能指标数据以及交互稳定性数据；
获取用户生理指标数据、技术性能指标数据以及交互稳定性数据，其中所述用户生理指标数据包括心率与皮肤电导参数，所述技术性能指标数据包括帧率、延迟率与交互响应时间，所述交互稳定性数据包括系统崩溃频率；
根据用户生理指标数据、技术性能指标数据以及交互稳定性数据，计算在播放每一类VR采集场景时对应用户的虚拟交互质量指数，并将最大的虚拟交互质量指数对应的VR采集场景作为当前用户匹配的VR采集场景；
用户的虚拟交互质量指数的计算公式表示为：
；
其中，表示用户的虚拟交互质量指数，/>表示用户的虚拟交互质量指数的基准值，/>表示用户生理指标数据项的质量指数，/>表示技术性能指标数据项的质量指数，/>表示交互稳定性数据项的质量指数，/>表示用户生理指标数据项的权重因子，/>表示技术性能指标数据项的权重因子，/>表示交互稳定性数据项的权重因子。
5.根据权利要求4所述的脑电数据交互方法，其特征在于，用户生理指标数据项的质量指数的计算公式表示为：
；
其中，表示心率项的质量指数的换算因子，/>表示当前用户进行虚拟交互时的心率值，/>表示当前用户在未进行虚拟交互时的心率值，/>表示皮肤电导项的质量指数的换算因子，/>表示当前用户进行虚拟交互时皮肤电导的变化值，/>表示多个用户进行虚拟交互时皮肤电导的变化值的平均值；
技术性能指标数据项的质量指数的计算公式表示为：
；
其中，表示帧率项的质量指数的换算因子，/>表示延迟率项的质量指数的换算因子，/>表示交互响应时间项的质量指数的换算因子，/>表示当前VR采集场景下进行虚拟交互时对应的帧率，/>表示在多种VR采集场景下进行虚拟交互时的平均帧率，/>表示当前VR采集场景下进行虚拟交互时对应的延迟率，/>表示在多种VR采集场景下进行虚拟交互时的平均延迟率，/>表示当前VR采集场景下进行虚拟交互时对应的交互响应时间，/>表示在多种VR采集场景下进行虚拟交互时的平均交互响应时间；
交互稳定性数据项的质量指数的计算公式表示为：
；
其中，表示系统崩溃频率项的质量指数的换算因子，/>表示当前VR采集场景下进行虚拟交互时对应的系统崩溃频率，/>表示在多种VR采集场景下进行虚拟交互时的系统崩溃平均频率，/>表示频率项的校正因子。
6.根据权利要求5所述的脑电数据交互方法，其特征在于，所述对所述脑电采集数据进行分类处理，生成多个交互采集数据具体包括以下步骤：
根据多个所述脑电采集模式，生成多个分类类型；
按照多个所述分类类型，对所述脑电采集数据进行分类分析，生成分类分析结果；
根据所述分类分析结果，进行分类处理，生成多个交互采集数据；
按照多个所述分类类型，对所述脑电采集数据进行分类分析，生成分类分析结果的方法包括：
对所述脑电采集数据进行数据预处理以得到脑电波信号；
提取所述脑电波信号的特征，脑电波信号的特征包括频率特征、幅度特征以及相位特征；
采用支持向量机分类模型进行训练，将训练好的分类模型对所述脑电波信号的特征进行处理以生成分类分析结果；
其中，通过计算分析结果整体质量指数对分类分析结果进行结果质量的评估，分析结果整体质量指数的计算公式表示为：
；
其中，表示分析结果整体质量指数，/>表示分析结果整体质量指数的基准值，/>表示准确率项的权重值，/>表示召回率项的权重值，/>表示F1分数项的权重值，/>表示准确率项的质量指数，/>表示召回率项的质量指数，/>表示F1分数项的质量指数。
7.根据权利要求6所述的脑电数据交互方法，其特征在于，所述基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型具体包括以下步骤：
按照预设的创建比例，生成创建信号；
根据所述创建信号，将多个所述交互采集数据进行处理，创建生成训练集和测试集；
获取待训练的基础脑电模型；
通过所述训练集和所述测试集对所述基础脑电模型进行训练与测试，构建脑电交互模型；
所述获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制具体包括以下步骤：
采集获取应用脑电数据；
将所述应用脑电数据导入所述脑电交互模型中；
输出所述应用脑电数据对应的应用交互指令；
通过所述应用交互指令，进行相应的交互控制。
8.根据权利要求7所述的脑电数据交互方法，其特征在于，输出所述应用脑电数据对应的应用交互指令的方法包括如下步骤：
基于所述应用脑电数据，提取与特定交互意图相关的目标应用特征数据；
确认每个目标应用特征数据与所述特定交互意图之间的特征关联度；
筛选出特征关联度大于预设特征关联度的目标应用特征数据，并输入至所述脑电交互模型中进行模型推理以得到模型推理结果；
根据所述模型推理结果，在预设指令集中查找与所述模型推理结果相对应的应用交互指令。
9.一种脑电数据交互系统，其特征在于，应用如权利要求1至8任一项所述的脑电数据交互方法，所述系统包括VR场景规划单元、虚拟交互记录单元、数据分类处理单元、模型测试训练单元和脑电交互控制单元，其中：
VR场景规划单元，用于获取多个脑电采集模式，进行VR场景规划，构建VR采集场景；
虚拟交互记录单元，用于按照所述VR采集场景，与用户进行虚拟交互，并进行脑电采集记录，获取脑电采集数据；
数据分类处理单元，用于对所述脑电采集数据进行分类处理，生成多个交互采集数据；
模型测试训练单元，用于基于多个所述交互采集数据，创建训练集和测试集，进行模型测试训练，构建脑电交互模型；
脑电交互控制单元，用于获取应用脑电数据，导入所述脑电交互模型中，输出应用交互指令并进行交互控制；
所述VR场景规划单元具体包括：
请求接收模块，用于接收管理人员的脑电采集请求；
界面生成模块，用于根据所述脑电采集请求，生成并展示模式选择界面；
模式选择模块，用于通过所述模式选择界面，选择多个脑电采集模式；
规划构建模块，用于按照多个所述脑电采集模式，进行VR场景规划，构建VR采集场景。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至8中任一项权利要求所述脑电数据交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410430719.2A CN118034504B (zh) | 2024-04-11 | 脑电数据交互方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410430719.2A CN118034504B (zh) | 2024-04-11 | 脑电数据交互方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118034504A true CN118034504A (zh) | 2024-05-14 |
| CN118034504B CN118034504B (zh) | 2024-07-12 |
Family
ID=
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018120638A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳市超级人生科技有限公司 | 一种vr场景的控制方法和装置 |
| CN109166374A (zh) * | 2018-09-30 | 2019-01-08 | 广州邦彦信息科技有限公司 | 基于虚拟现实技术的教学系统 |
| CN109215804A (zh) * | 2018-10-09 | 2019-01-15 | 华南理工大学 | 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统 |
| US20190307356A1 (en) * | 2018-04-09 | 2019-10-10 | Massachusetts Institute Of Technology | Brain-computer interface for user's visual focus detection |
| CN111026267A (zh) * | 2019-11-29 | 2020-04-17 | 北方工业大学 | Vr脑电意念控制接口系统 |
| CN114237391A (zh) * | 2021-12-10 | 2022-03-25 | 上海工程技术大学 | 一种城市轨道交通调度虚拟训练测试系统及其方法 |
| CN116301473A (zh) * | 2023-01-19 | 2023-06-23 | 佛山创视嘉科技有限公司 | 基于虚拟现实的用户行为预测方法、装置、设备及介质 |
| CN116700495A (zh) * | 2023-06-13 | 2023-09-05 | 上海大学 | 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备 |
| CN116994697A (zh) * | 2023-08-04 | 2023-11-03 | 首都医科大学宣武医院 | 基于完全性脊髓损伤患者训练评估的脑机交互方法 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018120638A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳市超级人生科技有限公司 | 一种vr场景的控制方法和装置 |
| US20190307356A1 (en) * | 2018-04-09 | 2019-10-10 | Massachusetts Institute Of Technology | Brain-computer interface for user's visual focus detection |
| CN109166374A (zh) * | 2018-09-30 | 2019-01-08 | 广州邦彦信息科技有限公司 | 基于虚拟现实技术的教学系统 |
| CN109215804A (zh) * | 2018-10-09 | 2019-01-15 | 华南理工大学 | 基于虚拟现实技术与生理参数检测的精神类疾病辅助诊断系统 |
| CN111026267A (zh) * | 2019-11-29 | 2020-04-17 | 北方工业大学 | Vr脑电意念控制接口系统 |
| CN114237391A (zh) * | 2021-12-10 | 2022-03-25 | 上海工程技术大学 | 一种城市轨道交通调度虚拟训练测试系统及其方法 |
| CN116301473A (zh) * | 2023-01-19 | 2023-06-23 | 佛山创视嘉科技有限公司 | 基于虚拟现实的用户行为预测方法、装置、设备及介质 |
| CN116700495A (zh) * | 2023-06-13 | 2023-09-05 | 上海大学 | 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备 |
| CN116994697A (zh) * | 2023-08-04 | 2023-11-03 | 首都医科大学宣武医院 | 基于完全性脊髓损伤患者训练评估的脑机交互方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨帮华;刘丽;陆文宇;李海飞;: "基于虚拟现实技术的脑机交互反馈系统设计", 北京生物医学工程, no. 04, 15 August 2011 (2011-08-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ozel et al. | Synchrosqueezing transform based feature extraction from EEG signals for emotional state prediction | |
| US20220093215A1 (en) | Discovering genomes to use in machine learning techniques | |
| CN111956212B (zh) | 基于频域滤波-多模态深度神经网络的组间房颤识别方法 | |
| CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
| Er et al. | A new approach to recognition of human emotions using brain signals and music stimuli | |
| US20230080175A1 (en) | Method and device for predicting user state | |
| Fu et al. | Conditional generative adversarial network for EEG-based emotion fine-grained estimation and visualization | |
| Kauppi et al. | Decoding magnetoencephalographic rhythmic activity using spectrospatial information | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| Deng et al. | SparNet: a convolutional neural network for EEG space-frequency feature learning and depression discrimination | |
| Gordon et al. | Informed decomposition of electroencephalographic data | |
| Zhu et al. | Emotion recognition based on dynamic energy features using a Bi-LSTM network | |
| CN118034504B (zh) | 脑电数据交互方法、系统及存储介质 | |
| Shi et al. | Categorizing objects from MEG signals using EEGNet | |
| Nogueira et al. | Heart sounds classification using images from wavelet transformation | |
| CN118034504A (zh) | 脑电数据交互方法、系统及存储介质 | |
| KR102094936B1 (ko) | Bci 시스템의 신뢰성 향상 방법 | |
| CN115969392A (zh) | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 | |
| CN114742107A (zh) | 信息服务中的感知信号的识别方法及相关设备 | |
| Berge et al. | ENIGMA–enhanced interactive general movement assessment | |
| CN114970641A (zh) | 情感类别的识别方法、装置、处理器及电子设备 | |
| Llanes-Jurado et al. | Automatic artifact recognition and correction for electrodermal activity based on LSTM-CNN models | |
| KR20150095967A (ko) | 뇌파신호 및 눈 깜빡임 신호의 획득과 분석 기술을 이용한 문화 콘텐츠 평가 방법 및 장치 | |
| CN115715677B (zh) | 情绪识别模型的训练方法、训练装置、设备及存储介质 | |
| Zougagh et al. | A New Approach for Epileptic Seizure Detection from EEG and ECG Signals Using Wavelet Decomposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |