CN111297379A - 一种基于感官传递的脑机结合系统和方法 - Google Patents
一种基于感官传递的脑机结合系统和方法 Download PDFInfo
- Publication number
- CN111297379A CN111297379A CN202010084420.8A CN202010084420A CN111297379A CN 111297379 A CN111297379 A CN 111297379A CN 202010084420 A CN202010084420 A CN 202010084420A CN 111297379 A CN111297379 A CN 111297379A
- Authority
- CN
- China
- Prior art keywords
- brain
- information
- computer
- sensory
- emotional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000009209 sensory transmission Effects 0.000 title claims abstract description 12
- 210000004556 brain Anatomy 0.000 claims abstract description 79
- 230000001953 sensory effect Effects 0.000 claims abstract description 46
- 230000006998 cognitive state Effects 0.000 claims abstract description 34
- 230000002996 emotional effect Effects 0.000 claims abstract description 34
- 230000000638 stimulation Effects 0.000 claims abstract description 32
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 20
- 230000001537 neural effect Effects 0.000 claims abstract description 20
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 230000008451 emotion Effects 0.000 claims description 23
- 230000001149 cognitive effect Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 9
- 230000004424 eye movement Effects 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000013186 photoplethysmography Methods 0.000 claims description 4
- 210000003403 autonomic nervous system Anatomy 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 45
- 230000009286 beneficial effect Effects 0.000 abstract description 7
- 210000000697 sensory organ Anatomy 0.000 abstract description 4
- 208000010877 cognitive disease Diseases 0.000 abstract description 3
- 238000007428 craniotomy Methods 0.000 abstract description 3
- 230000002265 prevention Effects 0.000 abstract description 2
- 241000282414 Homo sapiens Species 0.000 description 36
- 230000006399 behavior Effects 0.000 description 11
- 238000011282 treatment Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 208000019899 phobic disease Diseases 0.000 description 4
- 210000003710 cerebral cortex Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009225 cognitive behavioral therapy Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002629 virtual reality therapy Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 241000239290 Araneae Species 0.000 description 1
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013542 behavioral therapy Methods 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 208000013407 communication difficulty Diseases 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 231100000206 health hazard Toxicity 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007996 neuronal plasticity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 208000028173 post-traumatic stress disease Diseases 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000001671 psychotherapy Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000011491 transcranial magnetic stimulation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
Abstract
本发明提供一种基于感官传递的脑机结合系统和方法。该系统包括：大脑信息终端解码单元，其用于以非侵入方式解读目标对象经由感官传递的神经信息，获得心理和生理数据；心理情感建模单元，其用于基于所采集的心理和生理数据利用机器学习识别目标对象的情感认知状态；物理输出信号刺激单元，其用于基于所述情感认知状态生成具有感官刺激效应的人机交互信息，以促使目标对象产生期望的情感认知状态。本发明提供基于感官信号流进行解码识别的无创性脑机接口技术，无需进行开颅，也无需受限于脑电信号，有利于实现对脑认知疾病的及时预测、预防和干预。
Description
技术领域
本发明涉及医疗器械和智能产品技术，尤其涉及一种基于感官传递的脑机结合系统和方法。
背景技术
脑机结合(brain-computer interface，简称BCI)技术被认为是在未来将深刻影响人类世界的最重要科学技术之一。目前主要有两种脑机结合技术，第一种是植入式脑机结合技术，即通过微电路芯片直接植入大脑内部去读取和调控大脑的神经元电信号。例如近期马斯克Neuralink公司开发的柔性电极丝(threads)，可植入到老鼠和猴子的大脑中进行神经活动实验，其成功率为87％。第二种是非植入式脑机结合技术，通过在头部安置或佩戴一些检测设备，以解读从大脑内部发出来的EEG(脑电波)信号并进行相关操作。例如Facebook公司采用脑皮层电图(ECoG)技术从大脑暴露的表面记录大脑皮层的信号，通过跟踪大脑负责语言和说话的区域信号，并根据人类发声器官的运动规则，将这些信息解码成文本句子，其准确率约为61％。
上述两种脑机结合技术的发展都受制于大脑神经信号的解码能力，这是因为人类的大脑是一个异常复杂的神经网络系统(至少870亿个神经元，100万亿个神经连接)，从大脑发出的大部分电信号目前都无法精确解读，尤其若与复杂的思想和行为联系在一起时难度更大。
经研究分析，现有技术的脑机结合技术都有明显的共同缺点，即不能精确解读具有完全意义水平的人类脑电波信号。另外，植入式脑机结合技术，需要通过开颅手术植入异物，具有伤害大脑功能的风险，尤其在人类对自身大脑理解还不够深刻的情形下。例如近期马斯克Neuralink公司开发的柔性电极丝(threads)就不宜直接对人的大脑进行实验。而第二种非植入式脑机结合技术，通过在头部安置或佩戴一些检测设备，可以解读到的大脑神经信号也非常受限，一般都局限在大脑皮层，而且容易与眼动和肌电信号混淆。例如Facebook公司采用脑皮层电图(ECoG)技术其实更多是根据人类发声器官的肌肉运动规律去解码文意。
在传统的微创脑刺激技术方面，众多技术都还要进一步完善精度和提升效果。经颅直接电刺激由于电场存在扩散效应，其在脑区的时空分辨率受限。深脑电刺激虽有一定疗效，但也有不足处，包括不可预知性，甚至产生副作用，因为该刺激缺乏神经元选择性和特异性，并且往往对治疗机理还不明确。光遗传学刺激虽然证明具有神经元特异性和选择性的优势，但需要特殊光感基因和蛋白的表达，目前还不可能用在人类大脑里。重复经颅磁刺激则由于磁场强度随着距离的增加很快衰减，因此诱发的电流基本上也只能作用在大脑皮层。超声刺激技术几乎无创而且似乎可以到达一些深脑区，但该技术刺激脑部核团的准确度和疗效还有待进一步探索。
综上，现有的脑机结合技术，在大脑神经信号解读方面，大部分围绕着脑电波信号(EEG)来开展。但不容忽视的是，目前为止，对人类大脑信号解读最为清晰的还是来自我们自主地感官终端的输出表达，例如通过我们嘴巴的语音语言表达，以及通过肢体行为的肢体语言表达，而不是通过信噪比较低的脑电信号记录。
发明内容
本发明的目的在于克服上述现有技术的缺陷，提供一种基于感官传递的脑机结合系统和方法，能够基于感官传递的信息进行无创性的大脑调控技术，对于大脑情感认知状态的解析和调节可以发挥独特优势。
根据本发明的第一方面，提供一种基于感官传递的脑机结合系统。该系统包括：
大脑信息终端解码单元，用于以非侵入方式解读目标对象经由感官传递的神经信息，获得心理和生理数据；
心理情感建模单元，用于基于所采集的心理和生理数据利用机器学习识别目标对象的情感认知状态；
物理输出信号刺激单元，用于基于所述情感认知状态生成具有感官刺激效应的人机交互信息，以促使目标对象产生期望的情感认知状态。
在一个实施例中，所述大脑信息终端解码单元包括视频采集装置、声音采集装置、皮肤电采集装置、肌电采集装置中的一种或多种。
在一个实施例中，所述感官传递的信息包括表情信息、声音信息、眼动信息、心跳信息和皮电信息中的一项或多项。
在一个实施例中，所述情感认知状态包括情绪状态、疲劳度状态、注意力状态、压力状态中的一项或多项。
在一个实施例中，所述具有感官刺激效应的人机交互信息包括文字交流、语音对话、游戏互动、图片播放、短视频播放中一项或多项。
在一个实施例中，所述心理情感建模单元将获得的心理和生理数据输入至经训练的深度学习模型，输出目标对象的情感认知状态。
在一个实施例中，所述深度学习模型包括卷积神经网络、循环神经网络。
在一个实施例中，所述物理输出信号刺激单元根据以下步骤生成具有感官刺激效应的交互信息：
基于所述情感认知状态判断需要生成的具有感官刺激效应的人机交互信息类型；
通过对已有的人机交互信息类型进行分类和排序，并结合对抗性生成网络算法合成新的相关人机交互信息，构成人机交互信息库；
根据所需要生成的人机交互信息类型具有的特征，从人机交互信息库中选择向目标对象展示的人机交互信息。
根据本发明的第二方面，提供一种基于感官传递的脑机结合方法。该方法包括：以非侵入方式解读目标对象经由感官传递的神经信息，获得心理和生理数据；基于所采集的心理和生理数据利用机器学习识别目标对象的情感认知状态；基于所述情感认知状态生成具有感官刺激效应的交互信息，以促使目标对象产生期望的情感认知状态。
根据本发明的第三方面，提供一种电子设备。该电子设备包括本发明的基于感官传递的脑机结合系统，用于执行以下步骤中的一项或多项：基于用户在该电子设备的软件程序的使用频率、使用时长和关注取向中一项或多项，向用户提供匹配的内容；基于人脸表情特征和语音交流状态识别用户的情感认知信息；利用识别手指生物电信号的感应器结合光电容积描记法，计算使用者的生理数据，获取自主神经系统信息。
根据本发明的第四方面，提供一种电子设备。该电子设备包括本发明的基于感官传递的脑机结合系统，用于执行：基于已有数据使用有监督机器学习建立视听感情库；根据用户选择的视听感情库，筛选其个性取向和特征；向该用户提供有针对性的视听场景。
与现有技术相比，本发明的优点在于：提供一种新型的脑机结合技术系统和应用开发，通过感官终端的神经信息流对大脑进行解码和编码，并且结合电脑端的深度学习和人工智能，实现基于感官传递的无创性大脑调控技术。本发明这种感官式、无创性的方式实现脑机结合，对于人类大脑情感和认知状态的解析和调节可以发挥独特优势，尤其对于情感认知障碍患者在实施认知行为治疗时，可提供很好的智能辅助工具，起到事半功倍的效果。
附图说明
以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：
图1是根据本发明一个实施例的脑机结合技术的基本理论模型示意图；
图2是根据本发明一个实施例的具有生物感应功能的智能终端设备的示意图；
图3是根据本发明一个实施例的人工智能辅助的认知行为治疗过程的示意图；
图4是根据本发明一个实施例的脑机结合技术的基本工作技术框架示意图。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
在本文示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
为便于理解，下文将从本发明的基本构思、应用转化能力、与现有技术的对比和实际应用场景等方面进行介绍。
本发明提出的新型脑机结合技术，通过人类已有感受器(即各种感官，例如视觉、听觉、触觉等)进行信息的输入和输出的操控，可巧妙绕开目前脑机结合难于精确解码的技术障碍，应用大数据和机器算法实现对大脑进行无创性地精细刺激和调控，这种结合人工神经网络的深度学习有望将现有脑机结合技术推进到更精准的水平。利用这种感官式且无创性的脑机结合新技术能够实现对人脑情感和认知状态的深入解读以及相关脑疾病的调控，例如针对人类情感障碍如焦虑症、抑郁症、创伤后应激障碍等可提供一种全新的干预和治疗方案。
另一方面，从应用角度来看，脑机结合技术离我们现实生活并不遥远，目前几乎人手一部的智能手机就是实现脑机结合的一个最形象生动的例子。智能手机通过视听觉系统每天输入大量的信息到使用者的大脑认知中枢，对大脑皮层控制着的情感、认知以及行为产生潜移默化的深刻影响。智能手机对大脑产生的刺激是通过感官来实现，而且相对其它脑机接口技术来说是无创的，如再对这类感官信息输入进行基于深度学习的智能计算以及个体脑部反馈输出的即时解读，则是本发明提供的这种新型脑机结合技术的典型应用之一。
相比于现有技术的两种主要脑机接口技术，本发明提供的脑机结合技术离实际应用最为贴近，应用转化能力也是最强悍，这是因为本发明直接绕开针对信噪比较差的脑电波(electroencephalography，简称EEG)的解读。据悉最近刚被美国Facebook公司收购的CTRL-Labs公司也尝试采用入侵性较小的方法来实现脑机结合。他们通过配备一个可穿戴肌电图(electromyogram，简称EMG)设备来监控用户手腕上的各种神经元信号，并将这些信号转换为数字信号。该设备如同一个智能腕带，内置有轻量级皮肤传感器和神经电极采集信号，再结合AI算法可区分由大脑到手部肌肉的每个神经脉冲。该设备能将人们的意念转换为行动信号，通过蓝牙将信息无线传输到电脑和智能手机。另外，应用在心理治疗的虚拟现实暴露疗法(virtual reality exposure therapy，简称VERT)系统，结合计算机视听媒介技术，可给来访者提供近似真实的、可以沉浸和交互的3D虚拟环境。该系统在一些特殊恐惧症的治疗上例如蜘蛛恐惧症、恐高症、飞行恐惧症等表现出一定的效果，但由于虚拟疗法的制作和过程成本比较大，目前并没有得到很好的推广。
现有的两种脑机接口技术包括侵入式和非侵入式在脑科学实际应用上都还面临巨大的挑战。对于异常复杂的脑神经网络系统，不管是侵入式还是非侵入式的脑机接口方法都只能解读大脑局部区域的部分信息，很难读取人类真正意义上的情感状态和认知思维。参见图1所示，其中，A表示现有脑机结合模式中的侵入式方法、B表示现有脑机结合模式中的非侵入式方法，C表示本发明提供的方法。可以看出，在整个大脑神经网络的系统模型中，A表示的侵入式方法和B表示的非侵入式方法都只能获取大脑中部分区域的部分信息，即使侵入式可能某天可以读取深脑区信息，非侵入式也许某天也可以解析皮层的众多脑电信号，但是都不如本发明提供的方法，即在神经系统各终端直接读取更清晰的输出信息，尤其应用于人类认知行为解读方面，本发明的优势更为明显。因为至今对人类大脑信息解读最为清晰的还是来自我们自身的感官系统，例如，语音语言表达和肢体语言表达。因此本发明提供的脑机结合技术更加注重我们自身的各感官信息的输入和输出的对应解码，例如包括来自表情、声音、皮电和眼动等各感官肢体的信息解码，并且结合认知神经科学、心理学、以及关于人类情感计算的最新机器学习算法。应用各感官直接传递的信息包括视听觉等，可以直接理解大脑的情感状态和认知反应，尤其结合肢体方面如生物电表达的间接信号。另外，在通过感官终端有效解读大脑信息的前提下，还可以输入有效的感官刺激信息去主动改变大脑的情感和认知状态，例如结合基于人工神经网络的深度学习方法。总之，本发明提供的脑机结合技术的理论依据在于，有效的感官信息输入可以产生有利的大脑输出，并应用机器学习例如深度学习产生足够的人工智能去找到有效的信息输入。
在实际应用场景上，相比于现有的两种脑机接口技术，本发明提供的脑机结合技术将最具有可行性和安全性，参见图2和图3所示的应用开发实例。图2是一种具有生物感应功能的智能设备(在本文中称为BIAI-PC，BIAI-based Personal Computer)，使用智能设备时机器可以同时感应使用者的使用状态，并根据需要作出有益的配合或适当的调节，具体可分为工作模式、休闲模式和儿童模式等。可有效解决人们使用智能设备时，注意力易分散、工作和休息互相混淆、长期使用电子设备造成健康危害等现代信息社会主要问题。
图3是一种可有效提高认知治疗效果的人工智能辅助工具(在本文中称为BIAI-CBT，BIAI-aided cognitive behavior therapy)。在实行认知治疗过程中，遇到比较多的问题往往是来访者注意力不够集中，不容易进入心理场景交流状态，难于准确表达自己的心理认知状况。应用本发明提供的脑机接合技术开发的BIAI-CBT辅助工具，可以通过来访者的感官终端信息输出的解读来认识和理解其大脑的真实想法和状态，此外再结合机器学习产生的有效刺激信息的感官输入，可以辅助治疗师更好地对来访者进行认知行为矫正。
应理解的是，在一些应用场景中，本发明提供的技术不排除与现有脑机接口技术的结合，只是本发明强调不通过直接解读大脑局部的神经信号来解读整个大脑的复杂内容，而是通过各感官终端处神经信息的解码和编码去认识和改变大脑。如图4所示，来自视觉、听觉、躯体触觉等感官终端的神经信息交流是解读和影响大脑讯息的最好手段之一，尤其结合人体大数据的积累和模型算法的建立，本发明的脑机结合技术完全有可能实现优良的泛化能力，并且在众多应用场景中比现有的脑机接口技术更胜一筹。
综上，针对目前在大脑神经信号解读方面，大部分研究围绕着脑电信号(EEG)的解码来开展，但是EEG信噪比差一直难于解决的技术问题，本发明提供的脑机结合技术更注重感官终端神经信息的解码，例如来自表情、声音、皮电和眼动等感官肢体的神经信息，并且结合人脸情感识别、自然语言处理、人体生物电特征识别等最新的人工智能算法进行信息计算、处理以及交互。
下文将具体介绍本发明的基于感官传递的脑机结合系统及其应用实例。
根据本发明的一个实施例，提供一种基于感官传递的脑机结合系统，该系统包括：大脑信息终端解码单元，其用于以非侵入方式解读目标对象经由感官传递的神经信息，获得心理和生理数据；心理情感建模单元，其用于基于所采集的心理和生理数据利用机器学习识别目标对象的情感认知状态；物理输出信号刺激单元，其用于基于所述情感认知状态生成具有感官刺激效应的交互信息，以促使目标对象产生期望的情感认知状态。
在本发明的系统中，大脑信息终端解码单元主要通过精细型和人体友好型的各种感受器采集各种生理和心理数据，包括但不限于隐形摄像头、眼动跟踪仪、声频采集仪、皮电收集仪等，以及相关的数据处理软件；心理情感建模单元是指通过数据采集，建立模型以及算法优化，结合基于人工神经网络的深度学习方法创造出一种涉及情感和认知状态计算的系统方法；物理输出信号刺激单元是指结合相关软硬件尤其智能算法生成的一些图片、声音、视频刺激的生成系统及其配套装置。概括而言，本发明提供基于神经系统终端信号即感官信号流进行解码识别的无创性脑机接口，无需进行开颅，也无需受限于脑电信号。
具体地，本发明实施例提供的基于感官传递的脑机结合方案的功能执行主要分两部分，一部分是电脑端的输入，另一部分是人脑端的输出，而且电脑端循环读取人脑端的输出反馈后可做出更有益的输入。每部分都有主要基于人工神经网络的机器智能算法。
电脑端的输入主要实现整合和生成算法，例如通过对抗性生成式网络算法(GAN)，根据大数据合成各种具有感官刺激效应的视听输入信息(或称人机交互信息)，包括各类图画、音乐、短视频甚至互动游戏。
人脑端的输出主要涉及读取和处理算法，例如通过CNN(卷积神经网络)、RNN(循环神经网络)的机器算法对人们表情、声音、眼动以及皮电信号进行采集和解读。
例如，电脑端识别到人脑端需要看一些开心的短视频，电脑端会判断人脑端喜欢的搞笑短视频类型，然后通过算法和网络生出更多更好的搞笑短视频输入给人脑端。在一个实施例中，合成过程是，通过GAN算法，首先对1000-10000个搞笑短视频进行搞笑排列和打分，再合成更多更搞笑的具有相同特征的短视频，并形成一个视频库。当人脑端显示其需要搞笑短视频并且带有某种特征取向时，电脑端读取其特征和取向，然后输出更多类似的短视频。关于电脑端识别人脑端需求的过程是，通过人脑端输出的各种生物信号以及行为特征，包括手动和语音的直接输出，以及忧虑或疲惫信号通过表情、眼动和皮电的间接输出，得以准确识别使用者当前的状态和需求。
基于本发明提供的脑机结合系统的发明构思，能够实现多种类型的功能产品，可以灵活识别目标对象的情感认知状态，并且给予配合和帮助；或者可以跟踪目标对象的心身健康状态，主动防治疾病等。具体的产品形式仍参见图2和图3所示。
对于图2的具有生物感应功能的智能终端设备：在感知模式下，使用者在工作时可以更好工作，休闲时可以更好休闲。有效解决智能设备使人们工作与休息经常混淆一起、互相干扰和互相影响的问题。结合采集到的设备使用者的表情、肢体和声音等信息特征，可智能计算出人的当前情感认知状态，并主动提供有益的配合以及帮助。具体应用可设不同的模式或场景，比如工作场景、学习模式、休闲状态以及儿童模式等。不同模式之间可以自动识别和切换。具体技术方案包括：1)、在智能感知模式下，通过用户在软件程序上的使用频率、使用时长以及关注取向，可直接计算用户的需求，提供匹配的内容；2)、利用智能设备包括手机、ipad和个人电脑等已有的硬件配置，结合计算机视觉技术和自然语言处理技术，通过人脸表情特征和语音交流状态可以计算人的大部分情感认知参数；3)、另外，再结合在键盘上或触摸屏上安装可识别手指生物电信号的感应器，例如结合PPG(photoplethysmography，光电容积描记法)技术，可进一步计算使用者的脉搏、心率等生理参数，获取自主神经系统的一些重要信息。通过这些技术，综合各感官的信号采集，可实现更高效的人机互动以及脑机结合。
对于图3所示的人工智能辅助的认知行为治疗过程，解决在认知行为治疗过程中，良好咨访关系的尽快建立，以及更高效的沟通。通过结合人工智能技术，在认知行为治疗过程中，来访者大脑里的认知意象或潜在意识可以在电脑上虚拟呈现出来，这将帮助心理沟通和治疗过程更顺畅、更有效，可显著降低沟通难度、缩短治疗时间以及提升矫正效果。这种认知行为治疗的理论依据例如是，一首歌、一幅画甚至一个短视频有时可以恰到好处击中某个人某个时刻的情感认知状态的临界点，引起最大的共鸣值，可使大脑发生强烈的反应以及带来最有可能的神经可塑性，或者是改变执念的最佳时间窗口，此时心理治疗师再给予适当的引导和矫正，可以收到事半功倍的效果。因此本发明的关键点是，通过机器算法在有效时间内找到最符合来访者心境(或意象)的视听刺激，有利于来访者在最短时间内实现意念(或注意力)集中并打开心扉进行问题交流。具体方案包括：1)、根据已有数据(例如七情六欲大数据)，使用有监督机器学习算法建立感情库，包括图库、音库和短视频等，可结合Google、Bing等搜索已有视图数据；2)、来访者自行选择一个感情库，并对多个场景(例如10个)进行打分排列，以筛选其个性取向和特征；3)、AI赋能使其人工合成新的视听场景，以提供更多、更有效、更具针对性的视听场景；4)、围绕最接近内容场景，双方进行交流、讨论和矫正认知行为中的若干直觉信念和核心信念。
需说明的是，在本发明所提供的脑机结合系统的基础上，再添加各种新的软硬件功能，例如各类健康指数监测仪，并结合最新的人工智能技术应用等，可实现多种类型的智能设备或电子设备，以识别目标对象的情感认知状态并提供针对性的干预或治疗。例如，情感认知状态包括但不限于情绪状态、疲劳度状态、注意力状态和压力状态等，如通过在智能设备上的触屏动作分析可以提早预测帕金森症风险，通过基于机器视觉的眼动扫描分析可以提早预测小孩自闭症和老年痴呆症，以及通过声音波谱分析可以提早预测抑郁症风险等。智能设备包括但不限于智能手机、电脑、智能宠物、智能医学仪器和智能机器人等。
综上，本发明提出的脑机结合新技术不限制于针对脑电波信号的解码，而是更注重针对整个神经系统的终端输出信号的解码，包括来自人的表情、声音、眼动、心跳和皮电等整体感官肢体的信息解码，并且通过结合使用最新的人脸表情识别、自然语言处理、人体生物电特征识别等人工智能技术。不仅有利于对人脑情感和认知状态的更精准解读和调节，而且也有利于脑认知疾病的及时预测、预防和干预。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (15)
1.一种基于感官传递的脑机结合系统，包括：
大脑信息终端解码单元，用于以非侵入方式解读目标对象经由感官传递的神经信息，获得心理和生理数据；
心理情感建模单元，用于基于所采集的心理和生理数据利用机器学习识别目标对象的情感认知状态；
物理输出信号刺激单元，用于基于所述情感认知状态生成具有感官刺激效应的人机交互信息，以促使目标对象产生期望的情感认知状态。
2.根据权利要求1所述的基于感官传递的脑机结合系统，其特征在于，所述大脑信息终端解码单元包括视频采集装置、声音采集装置、皮肤电采集装置、肌电采集装置中的一种或多种。
3.根据权利要求1所述的基于感官传递的脑机结合系统，其特征在于，所述感官传递的信息包括表情信息、声音信息、眼动信息、心跳信息和皮电信息中的一项或多项。
4.根据权利要求1所述的基于感官传递的脑机结合系统，其特征在于，所述情感认知状态包括情绪状态、疲劳度状态、注意力状态、压力状态中的一项或多项。
5.根据权利要求1所述的基于感官传递的脑机结合系统，其特征在于，所述具有感官刺激效应的人机交互信息包括文字交流、语音对话、游戏互动、图片播放、短视频播放中一项或多项。
6.根据权利要求1所述的基于感官传递的脑机结合系统，其特征在于，所述心理情感建模单元将获得的心理和生理数据输入至经训练的机器学习或深度学习模型，输出目标对象的情感认知状态。
7.根据权利要求6所述的基于感官传递的脑机结合系统，其特征在于，所述深度学习模型包括卷积神经网络、循环神经网络。
8.一种基于感官传递的脑机结合系统，其特征在于，物理输出信号刺激单元根据以下步骤生成具有感官刺激效应的交互信息：
基于所述情感认知状态判断需要生成的具有感官刺激效应的人机交互信息类型；
通过对已有的人机交互信息类型进行分类和排序，并结合对抗性生成网络算法合成新的相关人机交互信息，构成人机交互信息库；
根据所需要生成的人机交互信息类型具有的特征，从人机交互信息库中选择向目标对象展示的人机交互信息。
9.一种基于感官传递的脑机结合方法，包括以下步骤：
以非侵入方式解读目标对象经由感官传递的神经信息，获得心理和生理数据；
基于所采集的心理和生理数据利用机器学习识别目标对象的情感认知状态；
基于所述情感认知状态生成具有感官刺激效应的交互信息，以促使目标对象产生期望的情感认知状态。
10.根据权利要求9所述的基于感官传递的脑机结合方法，其特征在于，所述心理和生理数据包括利用摄像头采集的表情信息、利用眼动跟踪仪采集的眼动信息、利用声频采集仪采集的声音信息、利用皮电收集仪获得的皮电信息、利用生物电信号感应器获得的心跳信息中的一项或多项。
11.一种电子设备，包括根据权利要求1至8任一项所述的基于感官传递的脑机结合系统，该电子设备执行以下步骤中的一项或多项：
基于用户在该电子设备的软件程序的使用频率、使用时长和关注取向中一项或多项，向用户提供匹配的内容；
基于人脸表情特征和语音交流状态识别用户的情感认知信息；
利用识别手指生物电信号的感应器结合光电容积描记法，计算使用者的生理数据，获取自主神经系统信息。
12.一种电子设备，包括根据权利要求1至8任一项所述的基于感官传递的脑机结合系统，该电子设备执行以下步骤中一项或多项：
基于已有数据使用有监督机器学习建立视听感情库；
根据用户选择的视听感情库，筛选其个性取向和特征；
向该用户提供有针对性的视听场景。
13.一种电子设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求9所述的方法的步骤。
14.根据权利要求13所述的电子设备，该电子设备包括智能手机、电脑、智能宠物、智能医学仪器或智能机器人。
15.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求9所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084420.8A CN111297379A (zh) | 2020-02-10 | 2020-02-10 | 一种基于感官传递的脑机结合系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084420.8A CN111297379A (zh) | 2020-02-10 | 2020-02-10 | 一种基于感官传递的脑机结合系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111297379A true CN111297379A (zh) | 2020-06-19 |
Family
ID=71154741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010084420.8A Pending CN111297379A (zh) | 2020-02-10 | 2020-02-10 | 一种基于感官传递的脑机结合系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111297379A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112691292A (zh) * | 2021-01-12 | 2021-04-23 | 天津大学 | 基于可穿戴智能设备的帕金森闭环深部脑刺激系统 |
| CN112764526A (zh) * | 2020-12-29 | 2021-05-07 | 浙江大学 | 一种基于多模型动态集成的自适应脑机接口解码方法 |
| CN115576430A (zh) * | 2022-11-10 | 2023-01-06 | 中国科学院自动化研究所 | 脑电通讯方法、系统和电子设备 |
| CN115641943A (zh) * | 2022-12-22 | 2023-01-24 | 北京智精灵科技有限公司 | 基于tms技术的妄想性精神障碍训练方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120150545A1 (en) * | 2009-06-15 | 2012-06-14 | Adam Jay Simon | Brain-computer interface test battery for the physiological assessment of nervous system health |
| WO2014052938A1 (en) * | 2012-09-28 | 2014-04-03 | The Regents Of The University Of California | Systems and methods for sensory and cognitive profiling |
| US20140324749A1 (en) * | 2012-03-21 | 2014-10-30 | Alexander Peters | Emotional intelligence engine for systems |
| CN104462454A (zh) * | 2014-12-17 | 2015-03-25 | 上海斐讯数据通信技术有限公司 | 一种性格分析方法 |
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
| US20160196490A1 (en) * | 2015-01-02 | 2016-07-07 | International Business Machines Corporation | Method for Recommending Content to Ingest as Corpora Based on Interaction History in Natural Language Question and Answering Systems |
| CN109471528A (zh) * | 2018-10-19 | 2019-03-15 | 天津大学 | 一种用于脑-机接口系统的脑-机互适应系统 |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN109933677A (zh) * | 2019-02-14 | 2019-06-25 | 厦门一品威客网络科技股份有限公司 | 图像生成方法和图像生成系统 |
| CN110522983A (zh) * | 2018-05-23 | 2019-12-03 | 深圳先进技术研究院 | 基于人工智能的脑刺激系统、方法、设备和存储介质 |
-
2020
- 2020-02-10 CN CN202010084420.8A patent/CN111297379A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120150545A1 (en) * | 2009-06-15 | 2012-06-14 | Adam Jay Simon | Brain-computer interface test battery for the physiological assessment of nervous system health |
| US20140324749A1 (en) * | 2012-03-21 | 2014-10-30 | Alexander Peters | Emotional intelligence engine for systems |
| WO2014052938A1 (en) * | 2012-09-28 | 2014-04-03 | The Regents Of The University Of California | Systems and methods for sensory and cognitive profiling |
| CN104462454A (zh) * | 2014-12-17 | 2015-03-25 | 上海斐讯数据通信技术有限公司 | 一种性格分析方法 |
| US20160196490A1 (en) * | 2015-01-02 | 2016-07-07 | International Business Machines Corporation | Method for Recommending Content to Ingest as Corpora Based on Interaction History in Natural Language Question and Answering Systems |
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
| CN110522983A (zh) * | 2018-05-23 | 2019-12-03 | 深圳先进技术研究院 | 基于人工智能的脑刺激系统、方法、设备和存储介质 |
| CN109471528A (zh) * | 2018-10-19 | 2019-03-15 | 天津大学 | 一种用于脑-机接口系统的脑-机互适应系统 |
| CN109730701A (zh) * | 2019-01-03 | 2019-05-10 | 中国电子科技集团公司电子科学研究院 | 一种情绪数据的获取方法及装置 |
| CN109933677A (zh) * | 2019-02-14 | 2019-06-25 | 厦门一品威客网络科技股份有限公司 | 图像生成方法和图像生成系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112764526A (zh) * | 2020-12-29 | 2021-05-07 | 浙江大学 | 一种基于多模型动态集成的自适应脑机接口解码方法 |
| CN112691292A (zh) * | 2021-01-12 | 2021-04-23 | 天津大学 | 基于可穿戴智能设备的帕金森闭环深部脑刺激系统 |
| CN112691292B (zh) * | 2021-01-12 | 2023-01-31 | 天津大学 | 基于可穿戴智能设备的帕金森闭环深部脑刺激系统 |
| CN115576430A (zh) * | 2022-11-10 | 2023-01-06 | 中国科学院自动化研究所 | 脑电通讯方法、系统和电子设备 |
| CN115641943A (zh) * | 2022-12-22 | 2023-01-24 | 北京智精灵科技有限公司 | 基于tms技术的妄想性精神障碍训练方法及系统 |
| CN115641943B (zh) * | 2022-12-22 | 2023-05-12 | 北京智精灵科技有限公司 | 基于tms技术的妄想性精神障碍训练系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kohli et al. | A review on Virtual Reality and Augmented Reality use-cases of Brain Computer Interface based applications for smart cities | |
| Thiam et al. | Multi-modal pain intensity recognition based on the senseemotion database | |
| Ramadan et al. | Basics of brain computer interface | |
| CN111297379A (zh) | 一种基于感官传递的脑机结合系统和方法 | |
| Stangl et al. | Mobile cognition: imaging the human brain in the ‘real world’ | |
| Yannakakis et al. | Psychophysiology in games | |
| Lin et al. | Direct-sense brain–computer interfaces and wearable computers | |
| Kamińska et al. | Stress reduction using bilateral stimulation in virtual reality | |
| Miri et al. | PIV: Placement, pattern, and personalization of an inconspicuous vibrotactile breathing pacer | |
| Korik et al. | Decoding imagined 3D arm movement trajectories from EEG to control two virtual arms—a pilot study | |
| Rahman et al. | A blockchain-based non-invasive cyber-physical occupational therapy framework: BCI perspective | |
| Hinkle et al. | Physiological measurement for emotion recognition in virtual reality | |
| Bastos-Filho | Introduction to non-invasive EEG-Based brain-computer interfaces for assistive technologies | |
| Kawala-Janik | Efficiency evaluation of external environments control using bio-signals | |
| US20230347100A1 (en) | Artificial intelligence-guided visual neuromodulation for therapeutic or performance-enhancing effects | |
| Yadollahpour et al. | Brain computer interface: principles, recent advances and clinical challenges | |
| Shatilov et al. | Emerging exg-based nui inputs in extended realities: A bottom-up survey | |
| Tivatansakul et al. | Healthcare system design focusing on emotional aspects using augmented reality—Relaxed service design | |
| WO2021159230A1 (zh) | 一种基于感官传递的脑机结合系统和方法 | |
| Laport López | Novel developments of brain-computer interfaces for smart home control | |
| Bansal et al. | EEG Based BCI—Control Applications | |
| Jindal et al. | Introduction: Brain–Computer Interface and Deep Learning | |
| Jishad et al. | Brain computer interfaces: the basics, state of the art, and future | |
| Sripian et al. | Emotion-sensitive voice-casting care robot in rehabilitation using real-time sensing and analysis of biometric information | |
| Miri | Using Technology to Regulate Affect: A Multidisciplinary Perspective |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |