CN113282180A - 一种基于脑机接口的交互系统、方法及装置 - Google Patents
一种基于脑机接口的交互系统、方法及装置 Download PDFInfo
- Publication number
- CN113282180A CN113282180A CN202110770042.3A CN202110770042A CN113282180A CN 113282180 A CN113282180 A CN 113282180A CN 202110770042 A CN202110770042 A CN 202110770042A CN 113282180 A CN113282180 A CN 113282180A
- Authority
- CN
- China
- Prior art keywords
- service
- electroencephalogram
- page
- module
- target client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003993 interaction Effects 0.000 title claims description 20
- 230000002452 interceptive effect Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 25
- 210000004556 brain Anatomy 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000000763 evoking effect Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 3
- 210000003710 cerebral cortex Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本说明书实施例提供了一种基于脑机接口的交互系统、方法及装置，可用于物联网技术领域。所述系统包括显示设备，用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；脑电采集模块，用于采集所述目标客户产生的脑电信号，并发送给服务器；服务器，用于接收所述脑电采集模块发送的脑电信号，根据所述脑电信号确定所述目标客户的意图信息；还用于根据所述意图信息刷新所述显示设备展示的页面。利用本说明书实施例可以使线上服务更加便捷、服务范围更广泛，客户体更好。
Description
技术领域
本申请涉及物联网技术领域，特别涉及一种基于脑机接口的交互系统、方法及装置。
背景技术
随着通信技术和互联网技术的不断发展，越来越多的银行业务都在往线上发展(如，网上银行、手机银行、电话银行、自动存取款机等)，这种方式不仅可以不受地理位置的约束，为客户提供7×24小时、全方位的服务，而且可以有效地降低企业运营成本。因此，线上服务变得越来越重要。
现有技术中的线上服务主要是通过客户与终端机器进行交互来完成业务的办理，其中，交互方式可以是肢体动作(如客户点击网上银行/手机银行上的某个功能栏)、语言(如客户说出自己的业务需求)等。然而，这种线上服务不支持特殊客户(如存在语言障碍、运动障碍但意识清醒的客户)独立完成业务办理，从而使得其应用范围较窄，客户体验较差。
因此，业内亟需一种可以解决上述技术问题的技术方案。
发明内容
本说明书实施例提供了一种基于脑机接口的交互系统、方法及装置，可以支持特殊客户独立完成业务办理，应用范围更广泛，而且可以使线上服务更加便捷，客户体验好。
本说明书提供的一种基于脑机接口的交互系统、方法及装置是包括以下方式实现的。
一种基于脑机接口的交互系统，包括：显示设备，用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；脑电采集模块，用于采集所述目标客户产生的脑电信号，并发送给服务器；服务器，用于接收所述脑电采集模块发送的脑电信号，根据所述脑电信号确定所述目标客户的意图信息；还用于根据所述意图信息刷新所述显示设备展示的页面。
一种基于脑机接口的交互系统，包括：浏览器，用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；脑电采集模块，用于采集所述目标客户产生的脑电信号，并发送给信号处理模块；信号处理模块，用于根据所述脑电信号确定所述目标客户的意图信息；还用于将所述意图信息发送至服务器；服务器，用于根据所述意图信息刷新所述浏览器展示的页面。
一种基于脑机接口的交互方法，包括：展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；采集所述目标客户产生的脑电信号；根据所述脑电信号确定所述目标客户的意图信息；根据所述意图信息刷新显示设备展示的页面。
一种基于脑机接口的交互装置，包括：展示模块，用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；采集模块，用于采集所述目标客户产生的脑电信号；确定模块，用于根据所述脑电信号确定所述目标客户的意图信息；刷新模块，用于根据所述意图信息刷新显示设备展示的页面。
一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现本说明书实施例中任意一个方法实施例的步骤。
本说明书提供的一种基于脑机接口的交互系统、方法及装置。一些实施例中可以展示服务页面；其中，服务页面中包括至少一个业务模块，业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号。还可以采集目标客户产生的脑电信号，根据脑电信号确定目标客户的意图信息，进而根据意图信息刷新显示设备展示的页面。由于本申请只需用户注视自己需要办理业务对应的业务模块，就会自动识别出用户想要办理的业务，跳转到该业务对应的页面完成相应业务，这样，不仅可以支持特殊客户独立完成业务办理，应用范围更广泛，而且可以使线上服务更加便捷，客户体验好。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：
图1是本说明书提供的一种基于脑机接口的交互系统的框架图；
图2是本说明书提供的一种网上银行首页示意图；
图3是本说明书提供的一种周期性方波信号示意图；
图4是本说明书提供的一种转账汇款业务页面的示意图；
图5是本说明书提供的另一种基于脑机接口的交互系统的框架图；
图6是本说明书提供的一种基于脑机接口的交互方法的一个实施例的流程示意图；
图7是本说明书提供的一种基于脑机接口的交互装置的一个实施例的模块结构示意图；
图8是本说明书提供的一种基于脑机接口的交互服务器的一个实施例的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书中的一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例保护的范围。
脑机接口是一项绕过外围肌肉神经，实现人脑与外界设备直接交互的技术，目前可应用于医疗、军工、智能家居等领域。按照脑电信号(Electroencephalogram，EEG)诱发方式可以分为诱发信号和自发信号。诱发信号是人体感官系统受到特定设计的外界声音、光等类型的刺激，大脑会产生相应的编码过的脑电信号。在视觉刺激领域，目前常用的诱发脑电信号有事件相关电位(Event-related Potential，ERP)、稳态视觉诱发电位(Steady-State Visual Evoked Potential，SSVEP)。与事件相关电位相比，稳态视觉诱发电位具有更高的信息传输率、无需训练模型、高信噪比等优势，因此说明书实施例中的诱发信号选用稳态视觉诱发电位。
下面以一个具体的应用场景为例对本说明书实施方案进行说明。需要说明的是，下述实施例描述并不对基于本说明书的其他可扩展到的应用场景中的技术方案构成限制。具体的一种实施例如图1所示，本说明书提供的一种基于脑机接口的交互系统可以包括显示设备101、脑电采集模块102和服务器103。
所述显示设备101，可以用于展示服务页面；其中，所述服务页面中可以包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
脑电采集模块102，可以用于采集所述目标客户产生的脑电信号，并发送给服务器；
服务器103，可以用于接收所述脑电采集模块发送的脑电信号，根据所述脑电信号确定所述目标客户的意图信息；还可以用于根据所述意图信息刷新所述显示设备展示的页面。
上述显示设备101可以是目标用户操作使用的终端设备或者软件。具体的，显示设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表或者其它可穿戴设备等终端设备，也可以是机器人设备等。当然，显示设备101也可以是能运行于终端设备中的软件。例如：系统应用、支付应用、浏览器、微信小程序等应用软件。
上述脑电采集模块102可以是脑电帽、采集脑电信号的设备等。
上述服务器103可以是单一的服务器，也可以是服务器集群，当然，服务器的功能也可以是通过云计算技术实现的。服务器103可以与一个或多个显示设备101连接，用于根据意图信息刷新显示设备101展示的页面。服务器103还可以与一个或多个脑电采集模块102连接，用于接收脑电采集模块102发送的脑电信号，根据脑电信号确定目标客户的意图信息。其中，服务器103与显示设备101的连接方式、服务器103与脑电采集模块102的连接可以是有线，也可以是无线，如WIFI、局域网技术、网线等。
一些实施场景中，所述显示设备展示服务页面，可以包括：所述显示设备从所述服务器获取所需展示的页面内容；对所述页面内容进行渲染处理，获得服务页面；展示所述服务页面。其中，服务页面可以是网上银行上首页、各项业务对应的办理页面以及用于输入信息的软键盘等。
一些实施场景中，显示设备101(如浏览器)可以通过HTTP协议从服务器获取所需展示的页面内容，然后通过前端技术对获取的页面内容进行渲染，最后展示渲染后的结果。
一些实施场景中，服务页面对应的信息可以预先存储在服务器的内存中或与服务器连接的数据库中，这样，在需要时，可以直接从中获取信息，从而可以提高数据获取效率。其中，数据库可以是Mysql、Sql server等关系型数据库。当然，服务器的内存中或与服务器连接的数据库中还可以存储其他数据，如客户账户信息、身份信息、资金信息、生活缴费等信息。
一些实施场景中，服务页面中可以包括至少一个业务模块，所述业务模块可以通过闪烁频率来诱发目标客户产生相应的脑电信号。例如，网上银行首页中的每个业务模块可以以固定频率闪烁来诱发客户大脑皮层的稳定视觉诱发电位，这样，用户在注视网上银行首页中某一业务模块时，大脑就会产生与该业务模块闪烁频率相对应的脑电信号。
一些实施场景中，当服务页面中包括多个业务模块时，不同业务模块对应的闪烁频率不同且为非倍频关系。如图2所示，是本说明书提供的一种网上银行首页示意图，其包括存款、登录、我的账户、转账汇款、生活缴费、我的资产六个业务模块，每个业务模块以固定的频率闪烁，每个业务模块的闪烁频率可以在8-40Hz内选择(可以不是整数，如9.25Hz)。为了保证系统性能不受影响，每个业务模块对应的闪烁频率各不相同且每个业务模块的闪烁频率的倍频在40Hz以内不能相同，如24Hz是12Hz和8Hz的倍频，所以12Hz、8Hz的闪烁频率在同一个页面(如网上银行首页)中不能同时出现。
一些实施场景中，每个业务模块的呈现时间可以基于预设square函数生成的方波序列控制。
一些实施场景中，可以基于下述方式生成方波序列：
present-situation(f,i)＝square[2πf(i/refreshrate)]
其中，f表示业务模块的闪烁频率，i表示显示器的帧数索引，i≥0，refreshrate表示显示器的刷新率，present-situation(f,i)表示生成的生成方波序列，present-situation(f,i)∈[-1,1]。一些实施场景中，当present-situation(f,i)为1时表示该业务模块呈现，当present-situation(f,i)为-1时表示该业务模块不呈现。square是一种生成周期性方波信号的函数。
以某个业务模块闪烁频率为11.25Hz为例，通过square可以生成如图3所示的周期性方波信号，其中，横坐标为帧数索引(时间长度为1s)，纵坐标为信号幅值。假设当前显示器的刷新率为60Hz，生成的周期性方波信号的频率为11.25Hz，若值为1，那么该业务模块呈现，若值为-1，那么该业务模块不呈现。模块呈现与不呈现交错，形成闪烁的效果。
本说明书实施例中，通过基于预设square函数生成的方波序列控制每个业务模块的呈现时间，不仅可以让业务模块的闪烁频率精确到0.25Hz(当前显示器的刷新频率为60Hz)，而且可以实现业务模块的闪烁频率不被显示器的刷新率整除(如闪烁频率为11Hz，显示器的刷新频率为60Hz)，从而提高系统性能。
一些实施场景中，每个业务模块可以对应一个闪烁频率，相应的每个闪烁频率可以对应一个指令，该指令用于实现相应的操作，如页面跳转、页面刷新等。如表1是首页各业务模块对应的闪烁频率及对应指令。
表1首页各业务模块对应的闪烁频率及对应指令
| 业务名称 | 闪烁频率(Hz) | 指令类型 |
| 存款 | 9 | 跳转到存款页面指令 |
| 登录 | 10 | 跳转到登录页面指令 |
| 我的账户 | 11 | 跳转到我的账户页面指令 |
| 转账汇款 | 12 | 跳转到转账汇款页面指令 |
| 生活缴费 | 13 | 跳转到生活缴费页面指令 |
| 我的资产 | 14 | 跳转到我的资产页面指令 |
当然，上述只是进行示例性说明，每个页面中包括的业务模块、业务模块对应的闪烁频率及对应指令不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。
一些实施场景中，脑电采集模块102可以实时获取客户注视的业务模块所产生的脑电信号，并实时转发给服务器。
需要说明的是，本说明书实施例中，用户通过接收外界刺激(即诱发式)可以产生相对应的脑电信号。例如一些实施场景中，当用户一直注视某个业务模块时，大脑皮层会产生与所注视业务模块频率相同或倍频的脑电信号，例如当用户注视闪烁频率为9Hz的转账模块时，大脑会产生9Hz、18Hz、27Hz等频率的脑电信号。
一些实施场景中，可以采用脑电帽对用户大脑皮层枕区部分的脑电信号进行采集。具体的，可以选择neurocle博睿康公司的NeuSen W系列8导联无线脑电采集设备对采集的脑电信号进行滤波、放大、模数转换等，然后通过WIFI、蓝牙等实时发送给服务器。当然，上述只是进行示例性说明，本说明书实施例不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。
一些实施场景中，服务器103接收脑电采集模块发送的脑电信号后，可以根据脑电信号确定目标客户的意图信息。
一些实施场景中，所述根据所述脑电信号确定所述目标客户的意图信息，可以包括：获取与所述脑电信号满足预设关系的闪烁频率对应的业务模块的业务信息；基于所述业务信息，利用典型成分分析法确定所述目标客户的意图信息。其中，业务信息可以包括业务基本信息(如业务名称、业务标识等)、业务属性信息(如业务功能等)等。
一些实施场景中，所述基于所述业务信息，利用典型成分分析法确定所述目标客户的意图信息前，可以利用独立分量分析法滤除脑电信号中的干扰信号。
由于脑电采集模块102采集到的原始脑电信号中可能会包含大量的环境噪声、工频干扰、眼电伪迹、肌电伪迹等噪声，因此，一些实施场景中，为了提高系统性能，提高对用户意图的识别准确率，在确定目标客户的意图信息前，可以去除噪声信号。例如一些实施场景中，可以利用独立分量分析法(Independent Component Analysis，PCA)滤除脑电信号中的干扰信号。
一些实施场景中，在滤除脑电信号中的干扰信号后，为了确定脑电信号是哪个业务模块诱发的，可以获取与脑电信号满足预设关系的闪烁频率对应的业务模块的业务信息，然后基于业务信息确定用户意图。其中，预设关系可以包括与脑电信号相同的闪烁频率，或者，与脑电信号呈倍频关系的闪烁频率。
一些实施场景中，可以利用典型成分分析法(Canonical correlation Analysis，CCA)确定目标客户的意图信息。当然，上述只是进行示例性说明，去除噪声信号的方式以及确定用户意图的方式不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。
一些实施场景中，服务器103根据脑电信号确定目标客户的意图信息后，可以根据意图信息刷新显示设备101展示的页面。其中，此处刷新可以包括页面跳转、页面更新等。
一些实施场景中，所述服务页面还可以包括软键盘；其中，通过所述软键盘中行和列的闪烁频率确定输入字符。一些实施场景中，可以预先确定软键盘中每行的闪烁频率和每列的闪烁频率。
例如一些实施场景中，若根据客户的意图信息确定该客户要进行转账汇款，则可以将显示设备的服务页面跳转到转账汇款业务页面，如图4所示是本说明书提供的一种转账汇款业务页面的示意图，其包括汇款信息(如收款姓名、收款银行、收款卡号、汇款金额、付款卡号、付款密码、完成)、软键盘信息(如26个小写字母a-z、阿拉伯数字0-9、小数点、删除Del、中英文切换Shift、大小写切换Caps、X1、X2、……、X8、Y1、Y2、……、Y5)。此时，客户可以使用软键盘实现收款人姓名、收款银行、收款卡号等转账相关信息的输入，转账页面各业务模块对应的闪烁频率及对应指令如表2所示。这样，通过输入字符或命令所占行列进行二维编码可以实现26个小写字母(a-z)、阿拉伯数字(0-9)、小数点、删除、中英文切换、大小写切换等40个输入字符或指令构成。例如，若客户要输入数字1，那么客户可以先注视1所在的横坐标(所在列)X4，然后注视纵坐标(所在行)Y4。相应的，其他如存款页面、生活缴费等页面按照类似方式可以实现，本说明书对此不做赘述。
当然，一些实施场景中，也可以通过软键盘上的每个字符或指令以不同的频率闪烁来实现不同字符或指令的输入。由于使用这种方式，整个页面至少有40个闪烁模块同时闪烁，所以为了避免给用户带来视觉疲劳，降低用户体验，本说明书实施例优选采用简单的二维编码方式来实现40个字符或指令的输入。
表2转账页面各业务模块对应的闪烁频率及对应指令
本说明书实施例利用脑机接口这种新型的交互技术可以辅助特殊客户人群(如患有脑卒中、中风造成的行为能力、语言能力散失的客户)独立使用网上银行办理银行业务。
本说明书实施例中，采用square函数生成的方波序列来控制闪烁模块何时呈现，有效的实现了那些闪烁频率不能被刷新率整除的业务模块按照设计的频率呈现，进而增加了可选择的闪烁频率的个数，增加更多的指令类型，提供更多的服务类型，让系统的性能功能变得更加强大。
本说明书实施例，充分考虑网上银行系统的用户体验，通过二维编码的方式来实现软键盘中某个字符的输入，可以大大减少刺激业务模块的个数，避免给用户带来更大的视觉疲劳。同时，为了提供一个更多丰富多彩的页面，给客户提供一个更加舒适的业务办理环境，本说明书实施例中可以设置不同颜色、不同颜色深浅的业务模块。
本说明书实施例提供的基于脑机接口的交互系统不仅适用于健康人群，也支持特殊客户(如存在语言障碍、运动障碍但意识清醒的客户)独立完成业务办理，从而使得其应用范围较窄，客户体验较好。
本说明书实施例利用数字处理技术对采集到的脑电信号进行解码分析，获取受到外界刺激时大脑想要表达的信息，从而与网上银行的服务器进行交互，这种跨越外围肌肉神经直接与外界设备进行交互的技术使得特殊用户可以独立完成线上业务，提高用户体验。
如图5所示，是本说明书提供的另一种基于脑机接口的交互系统的框架图，其可以包括浏览器501、脑电采集模块502、信号处理模块503、服务器504。
浏览器501，可以用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
脑电采集模块502，可以用于采集所述目标客户产生的脑电信号，并发送给信号处理模块；
信号处理模块503，可以用于根据所述脑电信号确定所述目标客户的意图信息；还用于将所述意图信息发送至服务器；
服务器504，可以用于根据所述意图信息刷新所述浏览器展示的页面。
本实施场景中，浏览器501可以通过网络协议(如HTTP协议)从服务器获取网页展示内容，通过前端技术对其渲染、呈现，然后用户注视页面中某一业务模块，大脑产生与闪烁频率相对应的脑电信号，进一步脑电采集装置502对脑电信号进行实时采集，通过网络(如WiFi)实时转发给信号处理模块503。信号处理模块503可以对脑电信号进行实时分析、处理，并将处理结果通过网络协议传输给服务器504。服务器504根据处理结果中包括的用户意图，对页面进行跳转、刷新等操作，进而实现网上银行中各项业务的办理。其中，服务器是否与数据库交互，取决于当前处理结果所对应的业务是否要在数据库中存储、获取、更新、删除数据。
本实施场景中，将对脑电信号处理部分从服务器中独立出来，这样可以减轻服务器压力，提高处理效率。
需要说明的，上述所述的系统根据前述系统实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关前述系统实施例的描述，在此不作一一赘述。
如图6所示，图6是本说明书提供的一种基于脑机接口的交互方法的一个实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。
具体的，如图6所示，本说明书提供的一种基于脑机接口的交互方法的一种实施例中，所述方法可以包括以下步骤。
S601：展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
S602：采集所述目标客户产生的脑电信号；
S603：根据所述脑电信号确定所述目标客户的意图信息；
S604：根据所述意图信息刷新显示设备展示的页面。
一些实施场景中，所述根据所述脑电信号确定所述目标客户的意图信息，可以包括：获取与所述脑电信号满足预设关系的闪烁频率对应的业务模块的业务信息；其中，预设关系包括与所述脑电信号相同的闪烁频率，或者，与所述脑电信号呈倍频关系的闪烁频率；基于所述业务信息，利用典型成分分析法确定所述目标客户的意图信息。
本说明书实施例，只需用户注视自己需要办理业务对应的业务模块，就会自动识别出用户想要办理的业务，跳转到该业务对应的页面完成相应业务，这样，不仅可以支持特殊客户(如存在语言障碍、运动障碍但意识清醒的客户)独立完成业务办理，应用范围更广泛，而且可以使得线上服务更加便捷，客户体验好。
下面以基于脑机接口的网上银行交互方法(BCI-based Online Bank，BOB)为例对本说明书实施例进行说明。其中，浏览器呈现的网上银行首页中每个业务模块对应的执行命令如表1第1列和第3列所示，假设客户已经处于登录的状态。一些实施场景中，若得知用户意图信息是办理存款，服务器可以指示浏览器跳转到存款页面，然后响应用户通过软键盘输入的存款金额、存款年限等信息实时刷新浏览器呈现的页面，将输入的信息呈现在页面上，给用户视觉反馈。相应的，完成存款的业务后，服务器可以对用户在数据库中的账户、存款等信息进行更新，然后指示浏览器跳转到网上银行首页。
一些实施场景中，若得知用户意图信息是转账，服务器可以指示浏览器跳转到转账页面，然后响应用户通过软键盘输入的与转账相关的信息如收款人、转账金额等信息实时刷新浏览器呈现的页面，将输入的相关信息呈现在页面上，给用户视觉反馈。一旦用户完成转账业务，服务器可以更新数据库中转账人和收款人相关的账户信息，然后指示浏览器跳转到网上银行首页。相应的，其他业务(如我的资产、我的账户等)对应的流程可以结合业务需求进行具体实现。为了保证应用服务能够满足大量用户的请求使用，应用程序可以部署在计算机集群上。
需要说明的，上述所述的方法根据系统实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
当然，上述只是进行示例性说明，本说明书实施例不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。
从以上的描述中，可以看出，本申请实施例可以展示服务页面；其中，服务页面中包括至少一个业务模块，业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号。还可以采集目标客户产生的脑电信号，根据脑电信号确定目标客户的意图信息，进而根据意图信息刷新显示设备展示的页面。由于本申请只需用户注视自己需要办理业务对应的业务模块，就会自动识别出用户想要办理的业务，跳转到该业务对应的页面完成相应业务，这样，不仅可以支持特殊客户独立完成业务办理，应用范围更广泛，而且可以使线上服务更加便捷，客户体验好。
本说明书中上述各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参照即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
基于上述所述一种基于脑机接口的交互方法，本说明书一个或多个实施例还提供一种基于脑机接口的交互装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
具体地，图7是本说明书提供的一种基于脑机接口的交互装置的一个实施例的模块结构示意图，如图7所示，本说明书提供的一种基于脑机接口的交互装置可以包括：展示模块701，采集模块702，确定模块703，刷新模块704。
展示模块701，可以用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
采集模块702，可以用于采集所述目标客户产生的脑电信号；
确定模块703，可以用于根据所述脑电信号确定所述目标客户的意图信息；
刷新模块704，可以用于根据所述意图信息刷新显示设备展示的页面。
需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本说明书所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图8是本说明书提供的一种基于脑机接口的交互服务器的一个实施例的硬件结构框图，该服务器可以是上述实施例中的基于脑机接口的交互装置或基于脑机接口的交互设备。如图8所示，服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图8中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、GPU，或者具有与图8所示不同的配置。
存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的基于脑机接口的交互方法对应的程序指令/模块，处理器100通过运行存储在存储器200内的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果。所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
本说明书提供的上述基于脑机接口的交互系统、方法或装置实施例可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在PC端实现、linux系统实现，或其他例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。
需要说明的是说明书上述所述的方法、装置根据相关系统实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应系统实施例的描述，在此不作一一赘述。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参照即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把部分模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。
本发明是根据本发明实施例的系统、方法、装置的流程图和/或方框图来描述的。应理解可由计算机程序指令实现，可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。
以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。
Claims (11)
1.一种基于脑机接口的交互系统，其特征在于，包括：
显示设备，用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
脑电采集模块，用于采集所述目标客户产生的脑电信号，并发送给服务器；
服务器，用于接收所述脑电采集模块发送的脑电信号，根据所述脑电信号确定所述目标客户的意图信息；还用于根据所述意图信息刷新所述显示设备展示的页面。
2.根据权利要求1所述的系统，其特征在于，所述显示设备展示服务页面，包括：
所述显示设备从所述服务器获取所需展示的页面内容；
对所述页面内容进行渲染处理，获得服务页面；
展示所述服务页面。
3.根据权利要求1所述的系统，其特征在于，所述服务页面中包括多个业务模块时，不同业务模块对应的闪烁频率不同且为非倍频关系。
4.根据权利要求1所述的系统，其特征在于，每个业务模块的呈现时间基于预设square函数生成的方波序列控制。
5.根据权利要求1所述的系统，其特征在于，所述根据所述脑电信号确定所述目标客户的意图信息，包括：
获取与所述脑电信号满足预设关系的闪烁频率对应的业务模块的业务信息；其中，预设关系包括与所述脑电信号相同的闪烁频率，或者，与所述脑电信号呈倍频关系的闪烁频率；
基于所述业务信息，利用典型成分分析法确定所述目标客户的意图信息。
6.根据权利要求1所述的系统，其特征在于，所述服务页面还包括软键盘；其中，通过所述软键盘中行和列的闪烁频率确定输入字符。
7.一种基于脑机接口的交互系统，其特征在于，包括：
浏览器，用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
脑电采集模块，用于采集所述目标客户产生的脑电信号，并发送给信号处理模块；
信号处理模块，用于根据所述脑电信号确定所述目标客户的意图信息；还用于将所述意图信息发送至服务器；
服务器，用于根据所述意图信息刷新所述浏览器展示的页面。
8.一种基于脑机接口的交互方法，其特征在于，包括：
展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
采集所述目标客户产生的脑电信号；
根据所述脑电信号确定所述目标客户的意图信息；
根据所述意图信息刷新显示设备展示的页面。
9.根据权利要求8所述的方法，其特征在于，所述根据所述脑电信号确定所述目标客户的意图信息，包括：
获取与所述脑电信号满足预设关系的闪烁频率对应的业务模块的业务信息；其中，预设关系包括与所述脑电信号相同的闪烁频率，或者，与所述脑电信号呈倍频关系的闪烁频率；
基于所述业务信息，利用典型成分分析法确定所述目标客户的意图信息。
10.一种基于脑机接口的交互装置，其特征在于，包括：
展示模块，用于展示服务页面；其中，所述服务页面中包括至少一个业务模块，所述业务模块通过闪烁频率来诱发目标客户产生相应的脑电信号；
采集模块，用于采集所述目标客户产生的脑电信号；
确定模块，用于根据所述脑电信号确定所述目标客户的意图信息；
刷新模块，用于根据所述意图信息刷新显示设备展示的页面。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求8-9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770042.3A CN113282180A (zh) | 2021-07-07 | 2021-07-07 | 一种基于脑机接口的交互系统、方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770042.3A CN113282180A (zh) | 2021-07-07 | 2021-07-07 | 一种基于脑机接口的交互系统、方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113282180A true CN113282180A (zh) | 2021-08-20 |
Family
ID=77286545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110770042.3A Pending CN113282180A (zh) | 2021-07-07 | 2021-07-07 | 一种基于脑机接口的交互系统、方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113282180A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138108A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114138107A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN115277665A (zh) * | 2022-08-08 | 2022-11-01 | 北京视友科技有限责任公司 | 基于互联网的脑机接口系统 |
| CN116540883A (zh) * | 2023-07-07 | 2023-08-04 | 之江实验室 | 一种信号采集的方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260025A (zh) * | 2015-10-15 | 2016-01-20 | 中国兵器科学研究院 | 基于移动终端的稳态视觉诱发电位脑机接口系统 |
| CN107329571A (zh) * | 2017-06-29 | 2017-11-07 | 华南理工大学 | 一种面向虚拟现实应用的多通道自适应脑机交互方法 |
| CN112116422A (zh) * | 2020-09-10 | 2020-12-22 | 湖南工商大学 | 基于脑机接口的网上购物系统及方法 |
-
2021
- 2021-07-07 CN CN202110770042.3A patent/CN113282180A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260025A (zh) * | 2015-10-15 | 2016-01-20 | 中国兵器科学研究院 | 基于移动终端的稳态视觉诱发电位脑机接口系统 |
| CN107329571A (zh) * | 2017-06-29 | 2017-11-07 | 华南理工大学 | 一种面向虚拟现实应用的多通道自适应脑机交互方法 |
| CN112116422A (zh) * | 2020-09-10 | 2020-12-22 | 湖南工商大学 | 基于脑机接口的网上购物系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138108A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN114138107A (zh) * | 2021-10-19 | 2022-03-04 | 杭州回车电子科技有限公司 | 脑机交互装置、系统和方法 |
| CN115277665A (zh) * | 2022-08-08 | 2022-11-01 | 北京视友科技有限责任公司 | 基于互联网的脑机接口系统 |
| CN116540883A (zh) * | 2023-07-07 | 2023-08-04 | 之江实验室 | 一种信号采集的方法、装置、存储介质及电子设备 |
| CN116540883B (zh) * | 2023-07-07 | 2023-09-19 | 之江实验室 | 一种信号采集的方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113282180A (zh) | 一种基于脑机接口的交互系统、方法及装置 | |
| Chen et al. | Implementing a calibration-free SSVEP-based BCI system with 160 targets | |
| Chen et al. | A high-itr ssvep-based bci speller | |
| Varnum et al. | Social class affects Mu-suppression during action observation | |
| Moon et al. | Extraction of User Preference for Video Stimuli Using EEG‐Based User Responses | |
| Forget et al. | Temporal integration in visual word recognition | |
| Oralhan et al. | The effect of duty cycle and brightness variation of visual stimuli on SSVEP in brain computer interface systems | |
| CN113050939A (zh) | 页面生成方法及装置 | |
| CN105979283A (zh) | 视频转码方法和装置 | |
| CN112783314B (zh) | 基于ssvep的脑机接口刺激范式生成、检测方法、系统、介质、终端 | |
| Oralhan | 2 stages-region-based P300 speller in brain–computer interface | |
| Wei et al. | Grouping modulation with different codes for improving performance in cVEP‐based brain–computer interfaces | |
| Chaurasiya et al. | Multi-objective binary DE algorithm for optimizing the performance of Devanagari script-based P300 speller | |
| Zhang et al. | Effect of background luminance of visual stimulus on elicited steady-state visual evoked potentials | |
| CN114169366B (zh) | 神经反馈训练系统和方法 | |
| KR20210146459A (ko) | 멀티미디어 신호에 대한 기억 유지 확률 측정 방법 | |
| CN104700305A (zh) | 一种安卓平台下任意输入框中获取二维码数据的方法 | |
| Martínez-Cagigal et al. | A brain–computer interface web browser for multiple sclerosis patients | |
| CN113421141A (zh) | 基于脑机、脑神经信号的购物处理方法、装置及电子设备 | |
| Neghabi et al. | Novel frequency-based approach for detection of steady-state visual evoked potentials for realization of practical brain computer interfaces | |
| Álvarez et al. | A platform for user empowerment through self ecological momentary assessment/intervention | |
| CN116483872B (zh) | 一种复杂数据处理方法、装置及电子设备 | |
| Keen | Fleshy motions, temporal sinks: affect and animated gifs | |
| Gusev et al. | MindGym strategies for elderly people | |
| Saffari et al. | A deep learning method for classification of steady-state visual evoked potentials in a brain-computer interface speller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |