CN112217939B - 基于脑电波的信息处理方法、设备及即时通信客户端 - Google Patents

基于脑电波的信息处理方法、设备及即时通信客户端 Download PDF

Info

Publication number
CN112217939B
CN112217939B CN202010891003.4A CN202010891003A CN112217939B CN 112217939 B CN112217939 B CN 112217939B CN 202010891003 A CN202010891003 A CN 202010891003A CN 112217939 B CN112217939 B CN 112217939B
Authority
CN
China
Prior art keywords
information
user
brain wave
wave signals
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010891003.4A
Other languages
English (en)
Other versions
CN112217939A (zh
Inventor
马宇尘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Liangming Technology Development Co Ltd
Original Assignee
Shanghai Liangming Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Liangming Technology Development Co Ltd filed Critical Shanghai Liangming Technology Development Co Ltd
Priority to CN202010891003.4A priority Critical patent/CN112217939B/zh
Priority to PCT/CN2020/112408 priority patent/WO2022041178A1/zh
Publication of CN112217939A publication Critical patent/CN112217939A/zh
Application granted granted Critical
Publication of CN112217939B publication Critical patent/CN112217939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了基于脑电波的信息处理方法、设备及即时通信客户端,涉及信息处理技术领域。一种基于脑电波的信息处理方法,包括如下步骤:获取用户触发信息录制的操作信息;在用户录制信息时采集用户的脑电波信号;识别所述脑电波信号对应的思维信息作为该信息的关联信息;将所述关联信息与录制信息一起输出,或者对所述关联信息和录制信息进行推演获得符合用户情绪的信息输出。利用本发明,能够在用户录制信息时采集用户的脑电波信号,并获取所述脑电波信号对应的思维信息作为关联信息输出,提高了信息处理的便捷度、智能度和趣味性。

Description

基于脑电波的信息处理方法、设备及即时通信客户端
技术领域
本发明涉及信息处理技术领域。
背景技术
在使用智能手机、平板电脑、个人电脑等终端设备的辅助操作功能(包括但不限于Voiceover、Talkback等读屏软件和其他类似功能的应用)时,用户界面元素及其功能会被提取出来并通过TTS(Text to Speech,文字转语音技术)把所选择的文字用语音播放出来,以帮助用户了解手机屏幕当前显示的内容;并且,用户可以通过在触摸屏上进行点击、滑动等操作,对终端进行操作,给用户带来了更全面更丰富的使用体验。
现有终端的操作系统,大都停留在用户输入、机器一一对应响应的水平上,并不能按照人类的思维方式进行智能化思考,以便前导性地为用户提供与输入相关联的其它信息。指令的输入工具,表现在计算机上,主要是键盘和鼠标以及其它语音输入工具,表现在便携式交互设备上,则主要为键盘和语音,无论具体的输入工具及其输入方法如何,均为人类思维的表达工具,现有技术均不能改变人们进行单一表达而机器进行单一反馈的习惯。
现在,人类已经开发了脑电波翻译器、虹膜识别器等设备,并且将其应用为输入设备,其中机器人领域已有试验性应用。随着脑电波检测技术的发展越来越完善,我们可以将脑电波检测技术应用到智能终端交互领域中,通过脑电波感应结构,直接将用户的想法传输到智能终端上,通过智能终端处理用户思维的相关信息。
如何结合上述现有技术向用户提供一种更智能便捷的通信方式是亟待解决的问题。
发明内容
本发明的目的在于:克服现有技术的不足,提供了一种基于脑电波的信息处理方法、设备及即时通信客户端。利用本发明,能够在用户录制信息时采集用户的脑电波信号,并获取所述脑电波信号对应的思维信息作为关联信息输出,提高了信息处理的便捷度、智能度和趣味性,尤其在通信交互时,能够获取用户的思维信息作为消息输出,使聊天交互变得智能有趣而生动。
为实现上述目标,本发明提供了如下技术方案:
一种基于脑电波的信息处理方法,包括如下步骤:
获取用户触发信息录制的操作信息;
在用户录制信息时采集用户的脑电波信号;
识别所述脑电波信号对应的思维信息作为该信息的关联信息;
将所述关联信息与录制信息一起输出,或者对所述关联信息和录制信息进行推演获得符合用户情绪的信息输出。
进一步,所述信息为用于通信交互的流媒体消息。
进一步,所述用户为多个,在多个用户聊天交互时获取两个以上用户的脑电波信号进行识别。
进一步,采集用户对输出的信息的选择操作,将选择的信息作为消息发送至目标客户端。
进一步,将所述关联信息与录制信息作为消息一起发送至目标客户端,或者将符合用户情绪的信息作为消息发送至目标客户端。
进一步,识别所述脑电波信号对应的思维信息的方式为,
基于用户的特征信息获取该用户的个人信息存储部,所述个人信息是基于该用户的脑电波测试数据生成的个人固有信息,其包括该用户脑电波信号与目标特征信息的映射关系;
在所述个人信息存储部,获取与前述采集的脑电波信号匹配的目标特征信息;
获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息。
进一步,还包括存储群信息的群信息存储部,所述群信息是基于其他被检测者的脑电波测试数据统计获得的统计信息,其包括对被检测者脑电波信号进行有效性统计后获得的脑电波信号与目标特征信息的映射关系;
当基于用户特征无法获得其个人的个人信息存储部时,在所述群信息存储部中获取与前述采集的脑电波信号匹配的目标特征信息;
获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息。
优选的,所述被检测者为不特定的多数人。
优选的,所述被检测者为与该用户属性匹配度达到预设匹配度阈值的多数人,所述属性包括性别、年龄、职业、教育程度、居住地、求学地和/或兴趣爱好信息。
所述目标特征信息包括目标字符、目标关键词、目标图元、目标动作/手势和目标符号中的一种或多种。
进一步,用户通过输入法工具触发信息录制的操作信息,并通过该输入法工具输出关联信息。
本发明还提供了一种基于脑电波的信息处理设备,包括如下结构:
信息采集模块,用以获取用户触发信息录制的操作信息;
脑电波采集电极,用以在用户录制信息时采集用户的脑电波信号;
处理器模块,用以识别所述脑电波信号对应的思维信息作为该信息的关联信息;
信息输出模块,将所述关联信息与录制信息一起输出,或者对所述关联信息和录制信息进行推演获得符合用户情绪的信息输出。
本发明还提供了一种即时通信客户端,用以进行即时通信交互,其包括:
语音消息触发模块,用以采集用户的语音触发操作;
脑电波采集模块,用以在用户录制语音时采集用户的脑电波信号;
处理器模块,用以识别所述脑电波信号对应的思维信息作为该语音的关联信息;
输出模块,将所述关联信息与语音一起输出,或者对所述关联信息和语音进行推演获得符合用户情绪的信息输出;
消息发送模块,用以根据用户的选择操作将前述输出的信息发送至目标客户端,或者将前述输出的信息结合语音消息发送至目标客户端。
本发明由于采用以上技术方案,与现有技术相比,作为举例,具有以下的优点和积极效果:能够在用户录制信息时采集用户的脑电波信号,并获取所述脑电波信号对应的思维信息作为关联信息输出,提高了信息处理的便捷度、智能度和趣味性,尤其在通信交互时,能够获取用户的思维信息作为消息输出,使聊天交互变得智能有趣而生动。
附图说明
图1为本发明实施例提供的基于脑电波的信息处理方法的流程图。
图2为本发明实施例提供的即时通信客户端的模块结构图。
图3至图7为本发明实施例提供的即时通信交互的操作示例图。
图8至图10为本发明实施例提供的包含关联信息的语音消息接收时的示例图。
图11为本发明实施例提供的在文档编辑时通过输入法工具输出关联信息的示例图。
附图标记说明:
即时通信客户端100,语音消息触发模块110,脑电波采集模块120,处理器模块130,输出模块140,消息发送模块150;
用户终端200,桌面210,即时通信工具图标211,联系人220,话筒230;
通信交互界面300。
具体实施方式
以下结合附图和具体实施例对本发明提供的基于脑电波的信息处理方法、设备及即时通信客户端作进一步详细说明。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中,各附图所出现的相同标号代表相同的特征或者部件,可应用于不同实施例中。因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
需说明的是,本说明书所附图中所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定发明可实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在不影响发明所能产生的功效及所能达成的目的下,均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现,其中可以不按所述的或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
实施例
参见图1所示,公开了一种基于脑电波的信息处理方法,包括如下步骤:
S100,获取用户触发信息录制的操作信息。
本实施例中,所述录制的信息优选为用于通信交互的流媒体消息。所述流媒体信息,作为举例而非限制,可以是语音信息、动画信息、唇语视频、手语视频信息等。
以语音信息为例,用户需要发送语音消息时,可以启动音频采集设备录制语音。以即时通信工具(IM工具)微信为例进行说明,此时所述消息为即时通信消息。用户进入微信后,可以触发语音录制按钮来启动所在终端的音频采集设备,拾音器被启动后即可以录制用户的声音信息。
所述终端,作为举例而非限制,可以为手机、掌上电脑、平板电脑等各种常用的移动终端,以及各种智能穿戴式电子设备,比如智能眼镜、智能手表等。在本实施例中,采用手机作为移动终端,所述手机具有音频采集结构、图像采集结构和显示结构。
S200,在用户录制信息时采集用户的脑电波信号。
作为举例而非限制,比如采集用户的大脑额叶区域、中央区域和顶叶区域的脑电波信号。
一般来讲,脑电波采集装置可以是可穿戴的头盔、头箍等形式的智能可穿戴设备。针对用户的脑波信号,脑电波采集装置将感应到的脑波信号通过预设的途径发送给终端,在本实施例中,终端即为与该脑电波传感器建立了通信连接的终端设备。
具体的,所述脑电采集头戴设备内设置有脑电采集卡。
作为举例而非限制,脑电采集卡可以包括采集电极、参考电极、脑电采集芯片自带无线收发器,采集电极、参考电极和自带无线收发器均与脑电采集芯片连接。作为举例而非限制,所述脑电采集芯片可以采用EMOTIV公司的产品,采集电极采集用户的原始脑电波值并将其传输至脑电采集芯片进行处理,脑电采集芯片将原始脑电波值放大获得EEG脑电信号,EEG脑电信号为各个电极处头皮电位,并将脑电信号组成的数据包通过自带无线发射器实时传输至关联的处理器上进行处理。
所述脑电波信号可以包括脑电波的波形、脑电波的数量和脑电波的强弱信息中的一种或多种。
S300,识别所述脑电波信号对应的思维信息作为该录制信息的关联信息。
终端在获取到脑波信号之后,需要对该脑波信号进行识别,识别出在该脑波信号中包含的相关特征信息,例如,脑波类型、频率、电位等。
然后,基于所述特征信息获取对应的思维信息。
本实施例中,获取对应的思维信息的方式优选为如下方式:
基于用户的特征信息获取该用户的个人信息存储部,所述个人信息是基于该用户的脑电波测试数据生成的个人固有信息,其包括该用户脑电波信号与目标特征信息的映射关系;
在所述个人信息存储部,获取与前述采集的脑电波信号匹配的目标特征信息;
获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息。
所述个人信息存储部可以存储有被检测者ID(该用户)、性别、年龄、姓名、编号等个人基本信息,以及被检测者的脑电波测试数据。所述测试数据具体可以包括自发性脑电波中的δ波、θ波、α波、β波、γ波,以及诱发性脑电波中的因受听觉、视觉、触觉等外因性刺激或者因出现期望、注意、决策、愉悦等等内因性心理活动而产生的特殊频率成分等。
进一步,还可以包括存储群信息的群信息存储部,所述群信息是基于其他被检测者的脑电波测试数据统计获得的统计信息,其包括对被检测者脑电波信号进行有效性统计后获得的脑电波信号与目标特征信息的映射关系;
当基于用户特征无法获得其个人的个人信息存储部时,在所述群信息存储部中获取与前述采集的脑电波信号匹配的目标特征信息;
获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息。
所述被检测者可以为不特定的多数人。
优选的,所述被检测者为与该用户属性匹配度达到预设匹配度阈值的多数人,所述属性包括性别、年龄、职业、教育程度、居住地、求学地和/或兴趣爱好信息。
所述目标特征信息,优选的可以包括目标字符、目标关键词、目标图元、目标动作/手势和目标符号中的一种或多种。
S400,将所述关联信息与录制信息一起输出,或者对所述关联信息和录制信息进行推演获得符合用户情绪的信息输出。
所述的关联信息,其具体可以是文本信息、图像信息和/或虚拟场景信息。所述图像信息可以是静态图片或视频或动画。
作为举例而非限制,比如用户录制的语音消息为“我们一起去阳澄湖吃大螃蟹吧”,用户说话时的脑电波中也检测到了对美食的期望和愉悦心情,则可以基于上述语音消息中的“阳澄湖”和“大闸蟹”获取一个人在吃美味的大螃蟹的图像数据输出。
本实施例中,所述用户可以为多个,在多个用户聊天交互时可以获取两个以上用户的脑电波信号分别进行识别。如此,可以针对多个用户的聊天信息获取与交互内容相关的关联信息。
进一步,在步骤S400之后,还可以包括如下步骤:
采集用户对输出的信息的选择操作,将选择的信息作为消息发送至目标客户端。
或者,将所述关联信息与录制信息作为消息一起发送至目标客户端,或者将符合用户情绪的信息作为消息发送至目标客户端。
本实施例的另一实施方式中,还可以采集用户录制语音时的图像信息,获取用户的表情和/或动作信息,识别所述表情和/或动作信息对应的情绪信息作为该语音消息的第二关联信息。
作为举例而非限制,根据获取的所述情绪信息(第二关联信息),搜索与该情绪信息对应的表情图标与语音消息一起输出。
本实施例的另一实施方式中,所述信息录制并非通过通信工具,其还可以是其他任意能够录制信息的应用。优选的,用户可以通过输入法工具触发信息录制的操作信息,并在后期通过该输入法工具输出关联信息。
参见图2所示,本发明还提供了一种即时通信客户端100,用以进行即时通信交互,其包括如下结构:
语音消息触发模块110,用以采集用户的语音触发操作。
以即时通信工具(IM工具)微信为例进行说明。用户进入微信后,可以触发语音录制按钮来启动所在终端的音频采集设备,拾音器被启动后即可以录制用户的声音信息。
所述终端,作为举例而非限制,可以为手机、掌上电脑、平板电脑等各种常用的移动终端,以及各种智能穿戴式电子设备,比如智能眼镜、智能手表等。在本实施例中,采用手机作为移动终端,所述手机具有音频采集结构、图像采集结构和显示结构。
脑电波采集模块120,用以在用户录制语音时采集用户的脑电波信号。
所述脑电波采集模块120可以采集用户的大脑额叶区域、中央区域和顶叶区域的脑电波信号。
具体的,脑电波采集模块可以是可穿戴的头盔、头箍等形式的智能可穿戴设备。针对用户的脑波信号,脑电波采集装置将感应到的脑波信号通过预设的途径发送给终端,在本实施例中,终端即为与该脑电波传感器建立了通信连接的终端设备。
本实施例中,所述脑电采集头戴设备内设置有脑电采集卡。
作为举例而非限制,脑电采集卡可以包括采集电极、参考电极、脑电采集芯片自带无线收发器,采集电极、参考电极和自带无线收发器均与脑电采集芯片连接。作为举例而非限制,所述脑电采集芯片可以采用EMOTIV公司的产品,采集电极采集用户的原始脑电波值并将其传输至脑电采集芯片进行处理,脑电采集芯片将原始脑电波值放大获得EEG脑电信号,EEG脑电信号为各个电极处头皮电位,并将脑电信号组成的数据包通过自带无线发射器实时传输至处理器上进行处理。
所述脑电波信号可以包括脑电波的波形、脑电波的数量和脑电波的强弱信息中的一种或多种。
处理器模块130,用以识别所述脑电波信号对应的思维信息作为该语音的关联信息。
处理器在获取到脑波信号之后,需要对该脑波信号进行识别,识别出在该脑波信号中包含的相关特征信息,例如,脑波类型、频率、电位等。
然后,基于所述特征信息获取对应的思维信息。
本实施例中,获取对应的思维信息的方式优选为如下方式:
基于用户的特征信息获取该用户的个人信息存储部,所述个人信息是基于该用户的脑电波测试数据生成的个人固有信息,其包括该用户脑电波信号与目标特征信息的映射关系;
在所述个人信息存储部,获取与前述采集的脑电波信号匹配的目标特征信息;
获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息。
所述个人信息存储部可以存储有被检测者ID(该用户)、性别、年龄、姓名、编号等个人基本信息,以及被检测者的脑电波测试数据。所述测试数据具体可以包括自发性脑电波中的δ波、θ波、α波、β波、γ波,以及诱发性脑电波中的因受听觉、视觉、触觉等外因性刺激或者因出现期望、注意、决策、愉悦等等内因性心理活动而产生的特殊频率成分等。
进一步,还可以包括存储群信息的群信息存储部,所述群信息是基于其他被检测者的脑电波测试数据统计获得的统计信息,其包括对被检测者脑电波信号进行有效性统计后获得的脑电波信号与目标特征信息的映射关系;
当基于用户特征无法获得其个人的个人信息存储部时,在所述群信息存储部中获取与前述采集的脑电波信号匹配的目标特征信息;
获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息。
所述被检测者可以为不特定的多数人。
优选的,所述被检测者为与该用户属性匹配度达到预设匹配度阈值的多数人,所述属性包括性别、年龄、职业、教育程度、居住地、求学地和/或兴趣爱好信息。
所述目标特征信息,优选的可以包括目标字符、目标关键词、目标图元、目标动作/手势和目标符号中的一种或多种。
输出模块140,将所述关联信息与语音一起输出,或者对所述关联信息和语音进行推演获得符合用户情绪的信息输出。
所述的关联信息,其具体可以是文本信息、图像信息和/或虚拟场景信息。所述图像信息可以是静态图片或视频或动画。
作为举例而非限制,比如用户录制的语音消息为“我们一起去阳澄湖吃大螃蟹吧”,用户说话时的脑电波中也检测到了对美食的期望和愉悦心情,则可以基于上述语音消息中的“阳澄湖”和“大闸蟹”获取一个人在吃美味的大螃蟹的图像数据输出。
本实施例中,所述用户可以为多个,在多个用户聊天交互时可以获取两个以上用户的脑电波信号分别进行识别。如此,可以针对多个用户的聊天信息获取与交互内容相关的关联信息。
消息发送模块150,用以根据用户的选择操作将前述输出的信息发送至目标客户端,或者将前述输出的信息结合语音消息发送至目标客户端。
如此,用户与目标联系人不仅可以基于录制的信息进行交互,还可以获取一方或多方的脑电波数据进行交互,提升交互趣味性、智能度。
结合图3至图7对本实施例的实施方式进行详细描述。
参见图3所示,用户通过携带的用户终端200进入即时通讯工具“快信”。所述用户终端200,在本实施例中优选为手机。
参见图4所示,用户终端200的桌面210向用户输出用户界面,用户界面上显示有所有通信消息,通信消息显示了联系人220、最新的交互消息、以及虚拟话筒230(语音触发控件)。
作为举例,参见图4所示,比如用户与联系人leo聊天,可以在触发leo对应的虚拟话筒230,便可直接启动语音消息采集功能。
参见图5所示,用户界面中显示了消息输入框,输入框中显示了用户的正在录入的语音,语音对应的文字内容以及相关的操作按键。
用户录制语音的过程中,同时采集了用户的脑电波信号并在消息输入框中输出显示。
参见图6所示,基于所述脑电波信号的获取了对应的关联信息“森林公园”和“小多多”后,对所述关联信息和语音进行推演获得符合用户情绪的图像信息,并向用户输出。
触发语音后的消息输入框可以如图5中所示直接在当前用户界面显示,也可以针对联系人leo生成单独的语音消息界面后进行显示,参见图7所示,所述语音消息界面显示有联系人信息、语音消息输入框,以及虚拟话筒,以及对应生成的图像信息。
用户录制语音时,可以通过操作虚拟话筒230来进行发送、暂停操作。作为优选方式的举例,比如按住话筒向上滑动即为发送操作,按住话筒向右方滑动即为暂停操作。
本实施例中,输出的图像信息可以基于用户的选择独立作为消息发送给目标联系人,也可以将输出的图像信息结合语音消息一起发送。
参见图8所示,将语音消息与输出的图像信息作为两条独立的消息一起发送。
或者,参见图9所示,将所述图像信息作为流媒体插入到该条语音消息中形成一条多媒体消息发送至联系人。针对图像数据还可以在消息框中设置播放按键,用户在触发播放键后可以通过悬浮窗或基于当前区域播放图像数据。
或者,对应所述语音消息设置悬浮窗,在输出消息时,直接通过所述悬浮窗显示所述图像数据。
或者,参见图10所示,还可以获取所述图像信息在所述语音的文字内容的不同位置处移动展示。如此,可以基于语音的文字内容展示丰富多彩的图像信息,使得消息变得有趣生动。
图8至图10还将语音消息的音频文件在多媒体消息输出显示了。所述多媒体消息的消息框中显示所述文字内容,对应该消息框还可以设置有音频文件播放按钮,触发所述播放按钮能够触发音频文件播放。
所述即时通信客户端还可以根据需要设置其它功能模块,具体功能可参见在前实施例,在此不再赘述。
本实施例的另一实施例中,所述信息录制并非通过通信工具,其还可以是其他任意能够录制信息的应用。
参见图11所示,优选的,用户可以通过输入法工具触发信息录制的操作信息,并在后期通过该输入法工具输出关联信息。
作为举例而非限制,比如用户在编辑文档时基于输入法工具输入了文本内容“前天和家人一起去森林公园里试飞无人机了,还带了可爱的宠物小多多,我和小多多在森林公园里玩的很开心”,输入法工具在录制上述文本信息时获取了该用户的脑电波信号,通过脑电波信号获取了关联信息“森林公园”和“小多多”,然后对所述关联信息和语音进行推演获得符合用户情绪的图像信息,并在当前编辑的文档中向用户输出。
本发明的另一实施例,还提供了一种基于脑电波的信息处理设备,其包括如下结构:
信息采集模块,用以获取用户触发信息录制的操作信息;
脑电波采集电极,用以在用户录制信息时采集用户的脑电波信号;
处理器模块,用以识别所述脑电波信号对应的思维信息作为该信息的关联信息;
信息输出模块,将所述关联信息与录制信息一起输出,或者对所述关联信息和录制信息进行推演获得符合用户情绪的信息输出。
所述信息处理设备可以独立设置,也可以嵌入到其他客户终端中以实现相应功能,其还可以根据需要设置其它功能模块,具体参见在前实施例,在此不再赘述。
在上面的描述中,虽然本公开内容的各方面的所有组件可以被解释为被装配或被操作地连接为一个电路,但是本公开内容并不旨在将其自身限于这些方面。而是,在本公开内容的目标保护范围内,各组件可以以任意数目选择性地且操作性地进行合并。这些组件中的每个组件自身还可以实现成硬件,同时各个组件可以部分地合并或选择性地总体合并且实现成具有用于执行硬件等同体的功能的程序模块的计算机程序。用以构建这种程序的代码或代码段可以由本领域技术人员容易地导出。这种计算机程序可以储存在计算机可读介质中,其可以被运行以实现本公开内容的各方面。计算机可读介质可以包括磁记录介质、光学记录介质以及载波介质。
另外,像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的,而不是排他性的或封闭性,除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义,除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释,除非本公开内容明确将其限定成那样。
虽然已出于说明的目的描述了本公开内容的示例方面,但是本领域技术人员应当意识到,上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明的优选实施方式的范围包括另外的实现,其中可以不按所述出或讨论的顺序来执行功能。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (11)

1.一种基于脑电波的信息处理方法,其特征在于包括如下步骤:
获取用户触发信息录制的操作信息;
在用户录制信息时采集用户的脑电波信号;
识别所述脑电波信号对应的思维信息作为该录制信息的关联信息;
对所述关联信息和录制信息进行推演获得符合用户情绪的信息输出;
其中,识别所述脑电波信号对应的思维信息的方式为:基于用户的脑电波信号中包含的特征信息获取该用户的个人信息存储部,所述个人信息是基于该用户的脑电波测试数据生成的个人固有信息,其包括该用户脑电波信号与目标特征信息的映射关系;在所述个人信息存储部,获取与前述采集的脑电波信号匹配的目标特征信息;获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息;
以及,还包括存储群信息的群信息存储部,所述群信息是基于其他被检测者的脑电波测试数据统计获得的统计信息,其包括对被检测者脑电波信号进行有效性统计后获得的脑电波信号与目标特征信息的映射关系;
当基于用户特征无法获得其个人的个人信息存储部时,在所述群信息存储部中获取与前述采集的脑电波信号匹配的目标特征信息;
获取目标特征信息对应的文本信息、图像信息和/或虚拟场景信息作为对应的思维信息。
2.根据权利要求1所述的方法,其特征在于:所述录制的信息为用于通信交互的流媒体消息。
3.根据权利要求1或2所述的方法,其特征在于:所述用户为多个,在多个用户聊天交互时获取两个以上用户的脑电波信号进行识别。
4.根据权利要求1或2所述的方法,其特征在于:采集用户对输出的信息的选择操作,将选择的信息作为消息发送至目标客户端。
5.根据权利要求1或2所述的方法,其特征在于:将所述关联信息与录制信息作为消息一起发送至目标客户端,或者将符合用户情绪的信息作为消息发送至目标客户端。
6.根据权利要求1所述的方法,其特征在于:所述被检测者为不特定的多数人。
7.根据权利要求1所述的方法,其特征在于:所述被检测者为与该用户属性匹配度达到预设匹配度阈值的多数人,所述属性包括性别、年龄、职业、教育程度、居住地、求学地和/或兴趣爱好信息。
8.根据权利要求1所述的方法,其特征在于:所述目标特征信息包括目标字符、目标关键词、目标图元、目标动作/手势和目标符号中的一种或多种。
9.根据权利要求1所述的方法,其特征在于:用户通过输入法工具触发信息录制的操作信息,并通过该输入法工具输出关联信息。
10.一种实现权利要求1所述方法的基于脑电波的信息处理设备,其特征在于包括如下结构:
信息采集模块,用以获取用户触发信息录制的操作信息;
脑电波采集电极,用以在用户录制信息时采集用户的脑电波信号;
处理器模块,用以识别所述脑电波信号对应的思维信息作为该信息的关联信息;
信息输出模块,对所述关联信息和录制信息进行推演获得符合用户情绪的信息输出。
11.一种实现权利要求1所述方法的即时通信客户端,用以进行即时通信交互,其特征在于包括:
语音消息触发模块,用以采集用户的语音触发操作;
脑电波采集模块,用以在用户录制语音时采集用户的脑电波信号;
处理器模块,用以识别所述脑电波信号对应的思维信息作为该语音的关联信息;
输出模块,对所述关联信息和语音进行推演获得符合用户情绪的信息输出;
消息发送模块,用以根据用户的选择操作将前述输出的信息发送至目标客户端,或者将前述输出的信息结合语音消息发送至目标客户端。
CN202010891003.4A 2020-08-29 2020-08-29 基于脑电波的信息处理方法、设备及即时通信客户端 Active CN112217939B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010891003.4A CN112217939B (zh) 2020-08-29 2020-08-29 基于脑电波的信息处理方法、设备及即时通信客户端
PCT/CN2020/112408 WO2022041178A1 (zh) 2020-08-29 2020-08-31 基于脑电波的信息处理方法、设备及即时通信客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010891003.4A CN112217939B (zh) 2020-08-29 2020-08-29 基于脑电波的信息处理方法、设备及即时通信客户端

Publications (2)

Publication Number Publication Date
CN112217939A CN112217939A (zh) 2021-01-12
CN112217939B true CN112217939B (zh) 2021-06-04

Family

ID=74059165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010891003.4A Active CN112217939B (zh) 2020-08-29 2020-08-29 基于脑电波的信息处理方法、设备及即时通信客户端

Country Status (2)

Country Link
CN (1) CN112217939B (zh)
WO (1) WO2022041178A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611000B (zh) * 2023-07-17 2023-10-24 东营市恒盛农业科技有限公司 基于机器学习的大闸蟹养殖环境智能监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780651A (zh) * 2012-07-21 2012-11-14 上海量明科技发展有限公司 在即时通信消息中加注情绪数据的方法、客户端及系统
KR20170096274A (ko) * 2016-02-15 2017-08-24 한양대학교 에리카산학협력단 뇌파를 이용한 감정 전송 시스템
CN108279777A (zh) * 2018-02-11 2018-07-13 广东欧珀移动通信有限公司 脑电波控制方法及相关设备
CN111317469A (zh) * 2020-01-10 2020-06-23 深圳市宏智力科技有限公司 一种脑电波监测设备、系统及监测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200913579A (en) * 2007-09-07 2009-03-16 Inventec Corp Instant message system having personification object and method thereof
CN201611889U (zh) * 2010-02-10 2010-10-20 深圳先进技术研究院 即时通讯伴侣机器人
KR102318887B1 (ko) * 2015-03-06 2021-10-29 삼성전자주식회사 웨어러블 전자 장치 및 그 제어 방법
CN108509033B (zh) * 2018-03-13 2021-06-01 Oppo广东移动通信有限公司 信息处理方法及相关产品
CN108536284A (zh) * 2018-03-14 2018-09-14 广东欧珀移动通信有限公司 图片显示方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780651A (zh) * 2012-07-21 2012-11-14 上海量明科技发展有限公司 在即时通信消息中加注情绪数据的方法、客户端及系统
KR20170096274A (ko) * 2016-02-15 2017-08-24 한양대학교 에리카산학협력단 뇌파를 이용한 감정 전송 시스템
CN108279777A (zh) * 2018-02-11 2018-07-13 广东欧珀移动通信有限公司 脑电波控制方法及相关设备
CN111317469A (zh) * 2020-01-10 2020-06-23 深圳市宏智力科技有限公司 一种脑电波监测设备、系统及监测方法

Also Published As

Publication number Publication date
WO2022041178A1 (zh) 2022-03-03
CN112217939A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN110418208B (zh) 一种基于人工智能的字幕确定方法和装置
CN107801096B (zh) 视频播放的控制方法、装置、终端设备及存储介质
WO2019128558A1 (zh) 用户肢体动作的解析方法、系统及移动终端
KR102229039B1 (ko) 오디오 활동 추적 및 요약들
CN107977928B (zh) 表情生成方法、装置、终端及存储介质
CN104240703B (zh) 语音信息处理方法和装置
CN110286976A (zh) 界面显示方法、装置、终端及存储介质
CN103782253A (zh) 将情绪传输为触觉反馈
CN107193841A (zh) 媒体文件加速播放、传输及存储的方法和装置
WO2014102722A1 (en) Device, system, and method of controlling electronic devices via thought
CN107864353B (zh) 一种视频录制方法及移动终端
CN112749956B (zh) 信息处理方法、装置及设备
CN108174236A (zh) 一种媒体文件处理方法、服务器及移动终端
CN110442867B (zh) 图像处理方法、装置、终端及计算机存储介质
CN111491123A (zh) 视频背景处理方法、装置及电子设备
CN108874266A (zh) 文本播放方法、客户端、终端和存储介质
CN109257649B (zh) 一种多媒体文件生成方法及终端设备
CN108763475B (zh) 一种录制方法、录制装置及终端设备
CN108766416B (zh) 语音识别方法及相关产品
CN111314771B (zh) 一种视频播放方法及相关设备
CN112217939B (zh) 基于脑电波的信息处理方法、设备及即时通信客户端
CN110111795B (zh) 一种语音处理方法及终端设备
CN111639209A (zh) 一种书本内容的搜索方法、终端设备及存储介质
CN112235180A (zh) 语音消息处理方法、设备及即时通信客户端
KR101191922B1 (ko) 인스턴트 메신저 서비스 제공시스템 및 그 제공방법, 및 통신 단말기 및 그 통신방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant