CN116127366A - 一种基于tws耳机的情绪识别方法、系统及介质 - Google Patents
一种基于tws耳机的情绪识别方法、系统及介质 Download PDFInfo
- Publication number
- CN116127366A CN116127366A CN202310408411.3A CN202310408411A CN116127366A CN 116127366 A CN116127366 A CN 116127366A CN 202310408411 A CN202310408411 A CN 202310408411A CN 116127366 A CN116127366 A CN 116127366A
- Authority
- CN
- China
- Prior art keywords
- emotion
- value
- data
- emotion recognition
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
- H04R2201/105—Manufacture of mono- or stereophonic headphone components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本申请提供了一种基于TWS耳机的情绪识别方法、系统及介质，该方法包括：获取模态数据，对模态数据进行预处理，得到结果信息；提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；将情感识别差值与预设的阈值进行比较，得到情感比对相似度；根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果；通过将情绪识别特征与标准的情感特征进行比较，当两者对应时，则判定情绪为预定的标准情绪，能够实现情绪的智能识别分类，且识别结果较为精准。
Description
技术领域
本申请涉及耳机情绪识别领域，具体而言，涉及一种基于TWS耳机的情绪识别方法、系统及介质。
背景技术
蓝牙耳机是一种基于蓝牙技术的一种小型设备，只需要把这种轻巧的设备藏在耳机边而不需要直接使用通讯设备（手机、电脑等）就可以实现自由通话。蓝牙耳机就是将蓝牙技术应用在免持耳机上，让使用者可以免除恼人电线的牵绊，自在地以各种方式轻松通话，目前的蓝牙耳机仅能实现无线信号通信进行通话或声音传输，无法通过耳机对用户进行情绪识别，功能性单一，此外在进行情绪识别过程中均是通过单一特征进行识别判断，没有通过多特征融合的方式进行识别，识别的结果偏差较大。
针对上述问题，目前亟待有效的技术解决方案。
发明内容
本申请实的目的在于提供一种基于TWS耳机的情绪识别方法、系统及介质，可以通过将情绪识别特征与标准的情感特征进行比较，当两者对应时，则判定情绪为预定的标准情绪，能够实现情绪的智能识别分类，且识别结果较为精准的技术。
本申请实施例还提供了一种基于TWS耳机的情绪识别方法，包括：
获取模态数据，对模态数据进行预处理，得到结果信息；
提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；
将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；
将情感识别差值与预设的阈值进行比较，得到情感比对相似度；
根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果。
可选地，在本申请实施例所述的基于TWS耳机的情绪识别方法中，所述获取模态数据，对模态数据进行预处理，得到结果信息；包括：
所述模态数据包括语音数据、动作捕捉以及脑电数据，通过对语音数据的滤波处理或动作捕捉后的动作识别，动作轨迹数据判断以及脑电数据的特征提取，得到优化后的模态数据；
所述语音数据包括音量大小、语句时长、语速快慢。
可选地，在本申请实施例所述的基于TWS耳机的情绪识别方法中，所述语音数据的滤波处理方法包括：
获取语音数据，对语音数据进行语义提取，得到语义信息；
将语义信息分割成多个不同的时间窗口；
对不同的时间窗口内的语义信息进行小波变换，并识别语义信息噪声值；
将语义信息噪声值与预设噪声阈值进行减法计算，得到噪声差值；
若噪声差值大于第一噪声阈值时，则生成修正系数对语义信息噪声值进行修正；
若噪声差值大于第二噪声阈值时，则剔除对应时间段内的语义信息，并生成对应时间窗口下时间段计数数值；
判断同一时间窗口下的时间段计数数值是否大于预定数量，若大于，则直接切除对应的整段时间窗口内的语义信息；
所述第一噪声阈值小于第二噪声阈值。
可选地，在本申请实施例所述的基于TWS耳机的情绪识别方法中，所述模态数据包括语音数据、动作捕捉以及脑电数据，其中，所述动作捕捉包括：
获取视频信息，对视频信息进行切分得到若干个单帧图片；
提取每个单帧图片的特征值，将相邻的两个单帧图片的特征值进行比较，得到特征差值；
判断所述特征差值是否大于第一特征阈值，
若大于，则标定为骨骼点，根据特征差值计算骨骼点的姿态轨迹信息；
根据骨骼点的姿态轨迹信息生成关节动作信息，并对关节动作信息进行捕捉存储至数据集。
可选地，在本申请实施例所述的基于TWS耳机的情绪识别方法中，所述获取模态数据，对模态数据进行预处理，得到结果信息，还包括：
获取语音数据、姿态轨迹信息与脑电数据与表情数据，分别提取语音数据特征、姿态特征与脑电特征，使用随机丢弃分离通道学习两组特征之间的相关性；
判断相关性是否大于预设的相关性阈值，
若大于，则将语音数据特征、姿态特征与脑电特征进行融合，融合后的结果输入分类器进行情绪特征的融合识别并对情绪特征进行分类。
可选地，在本申请实施例所述的基于TWS耳机的情绪识别方法中，所述模态数据包括语音数据、动作捕捉以及脑电数据，其中所述脑电数据包括：
获取若干个脑电信号，对脑电信号进行降噪处理，得到平滑的脑电信号；
将平滑的脑电信号进行特征提取，得到脑电特征；
将脑电特征进行降维处理，并将脑电特征与预设情绪特征进行比较，得到相似度信息；
将相似度信息与预设相似度阈值进行比较，筛选出与预设情绪特征相似度高的脑电特征；
将脑电特征进行特征转换，并映射至预设纬度，得到脑电特征数据集合。
第二方面，本申请实施例提供了一种基于TWS耳机的情绪识别系统，该系统包括：存储器及处理器，所述存储器中包括基于TWS耳机的情绪识别方法的程序，所述基于TWS耳机的情绪识别方法的程序被所述处理器执行时实现以下步骤：
获取模态数据，对模态数据进行预处理，得到结果信息；
提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；
将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；
将情感识别差值与预设的阈值进行比较，得到情感比对相似度；
根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果。
可选地，在本申请实施例所述的基于TWS耳机的情绪识别系统中，所述获取模态数据，对模态数据进行预处理，得到结果信息；包括：
所述模态数据包括语音数据、动作捕捉以及脑电数据，通过对语音数据的滤波处理或动作捕捉后的动作识别，动作轨迹数据判断以及脑电数据的特征提取，得到优化后的模态数据；
所述语音数据的滤波处理方法包括：
获取语音数据，对语音数据进行语义提取，得到语义信息；
将语义信息分割成多个不同的时间窗口；
对不同的时间窗口内的语义信息进行小波变换，并识别语义信息噪声值；
将语义信息噪声值与预设噪声阈值进行减法计算，得到噪声差值；
若噪声差值大于第一噪声阈值时，则生成修正系数对语义信息噪声值进行修正；
若噪声差值大于第二噪声阈值时，则剔除对应时间段内的语义信息，并生成对应时间窗口下时间段计数数值；
判断同一时间窗口下的时间段计数数值是否大于预定数量，若大于，则直接切除对应的整段时间窗口内的语义信息；
所述第一噪声阈值小于第二噪声阈值。
可选地，在本申请实施例所述的基于TWS耳机的情绪识别系统中，所述模态数据包括语音数据、动作捕捉以及脑电数据，其中，所述动作捕捉包括：
获取视频信息，对视频信息进行切分得到若干个单帧图片；
提取每个单帧图片的特征值，将相邻的两个单帧图片的特征值进行比较，得到特征差值；
判断所述特征差值是否大于第一特征阈值，
若大于，则标定为骨骼点，根据特征差值计算骨骼点的姿态轨迹信息；
根据骨骼点的姿态轨迹信息生成关节动作信息，并对关节动作信息进行捕捉存储至数据集。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于TWS耳机的情绪识别方法程序，所述基于TWS耳机的情绪识别方法程序被处理器执行时，实现如上述任一项所述的基于TWS耳机的情绪识别方法的步骤。
由上可知，本申请实施例提供的一种基于TWS耳机的情绪识别方法、系统及介质，通过获取模态数据，对模态数据进行预处理，得到结果信息；提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；将情感识别差值与预设的阈值进行比较，得到情感比对相似度；根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果；通过将情绪识别特征与标准的情感特征进行比较，当两者对应时，则判定情绪为预定的标准情绪，能够实现情绪的智能识别分类，且识别结果较为精准。
本申请的其他特征和优点将在随后的说明书阐述，并且，本申请的优点部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的基于TWS耳机的情绪识别方法的流程图；
图2为本申请实施例提供的基于TWS耳机的情绪识别方法的语义信息处理方法流程图；
图3为本申请实施例提供的基于TWS耳机的情绪识别方法的关节动作信息捕捉方法流程图；
图4为本申请实施例提供的基于TWS耳机的情绪识别方法的脑电数据获取流程图；
图5为本申请实施例提供的基于TWS耳机的情绪识别系统的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种基于TWS耳机的情绪识别方法的流程图。该基于TWS耳机的情绪识别方法用于终端设备（包括TWS耳机）中，该基于TWS耳机的情绪识别方法，包括以下步骤：
S101，获取模态数据，对模态数据进行预处理，得到结果信息；
S102，提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；
S103，将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；
S104，将情感识别差值与预设的阈值进行比较，得到情感比对相似度；
S105，根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果。
需要说明的是，标准情感包括喜、怒、哀、乐、悲、恐、惊，每一种情感包含多个级别，每一个级别设定一个阈值，将情绪识别特征值与每一个级别的阈值进行比较，可以判断出情绪识别的级别等级，从而更加精准的进行情绪识别。
根据本发明实施例，获取模态数据，对模态数据进行预处理，得到结果信息；包括：
模态数据包括语音数据、动作捕捉以及脑电数据，通过对语音数据的滤波处理或动作捕捉后的动作识别，动作轨迹数据判断以及脑电数据的特征提取，得到优化后的模态数据；
语音数据包括音量大小、语句时长、语速快慢。
请参照图2，图2是本申请一些实施例中的一种基于TWS耳机的情绪识别方法的语义信息处理方法流程图。根据本发明实施例，语音数据的滤波处理方法包括：
S201，获取语音数据，对语音数据进行语义提取，得到语义信息；
S202，将语义信息分割成多个不同的时间窗口；
S203，对不同的时间窗口内的语义信息进行小波变换，并识别语义信息噪声值；
S204，将语义信息噪声值与预设噪声阈值进行减法计算，得到噪声差值；
S205，若噪声差值大于第一噪声阈值时，则生成修正系数对语义信息噪声值进行修正；若噪声差值大于第二噪声阈值时，则剔除对应时间段内的语义信息，并生成对应时间窗口下时间段计数数值；
S206，判断同一时间窗口下的时间段计数数值是否大于预定数量，若大于，则直接切除对应的整段时间窗口内的语义信息；
第一噪声阈值小于第二噪声阈值。
请参照图3，图3是本申请一些实施例中的一种基于TWS耳机的情绪识别方法的关节动作信息捕捉方法流程图。根据本发明实施例，模态数据包括语音数据、动作捕捉以及脑电数据，其中，动作捕捉包括：
S301，获取视频信息，对视频信息进行切分得到若干个单帧图片；
S302，提取每个单帧图片的特征值，将相邻的两个单帧图片的特征值进行比较，得到特征差值；
S303，判断特征差值是否大于第一特征阈值，
S304，若大于，则标定为骨骼点，根据特征差值计算骨骼点的姿态轨迹信息；
S305，根据骨骼点的姿态轨迹信息生成关节动作信息，并对关节动作信息进行捕捉存储至数据集。
根据本发明实施例，获取模态数据，对模态数据进行预处理，得到结果信息，还包括：
获取语音数据、姿态轨迹信息与脑电数据与表情数据，分别提取语音数据特征、姿态特征与脑电特征，使用随机丢弃分离通道学习两组特征之间的相关性；
判断相关性是否大于预设的相关性阈值；
若大于，则将语音数据特征、姿态特征与脑电特征进行融合，融合后的结果输入分类器进行情绪特征的融合识别并对情绪特征进行分类。
需要说明的是，特征融合过程中通过使用相应准则将模态数据提取得到的不同的情感特征（包括语音数据特征、姿态特征或脑电特征）进行融合，组合成一组新的情感特征，最后将这组新的情感特征输入至分类器得到最终的情感分类结果。
请参照图4，图4是本申请一些实施例中的一种基于TWS耳机的情绪识别方法的脑电数据获取流程图。根据本发明实施例，模态数据包括语音数据、动作捕捉以及脑电数据，其中脑电数据包括：
S401，获取若干个脑电信号，对脑电信号进行降噪处理，得到平滑的脑电信号；
S402，将平滑的脑电信号进行特征提取，得到脑电特征；
S403，将脑电特征进行降维处理，并将脑电特征与预设情绪特征进行比较，得到相似度信息；
S404，将相似度信息与预设相似度阈值进行比较，筛选出与预设情绪特征相似度高的脑电特征；
S405，将脑电特征进行特征转换，并映射至预设纬度，得到脑电特征数据集合。
需要说明的是，特征维数过多则不利于情绪识别，需要通过特征降维从脑电信号中选择与情绪状态相关的特征，包括特征选择和特征变化，特征变换包括特征线性或非线性变换。
进一步的，特征选择是指挑选出相关性较高的部分特征，提高数据分析的效率，此外对特征进行线性变换或非线性变换，将其映射到能够最大限度反映脑电特征与预设情绪特征相关的维度上，从而减少特征数量。
根据本发明实施例，还包括：
获取情绪识别结果，输入情绪判断模型进行判断用户情绪值；
将用户情绪值与预设情绪值进行比较，得到偏差率；
判断所述偏差率是否大于预设偏差率阈值；
若大于，则生成第一放松策略，根据第一放松策略，TWS耳机输出第一内容；
若小于，则生成第二放松策略，根据第二放松策略，TWS耳机输出第二内容。
需要说明的是，用户情绪值的大小用于判断用户在该情绪下的失控状态，根据失控状态的不同通过耳机不同的应对策略，包括提醒、播放歌曲等等。
请参照图5，图5是本申请一些实施例中的一种基于TWS耳机的情绪识别系统的结构示意图。第二方面，本申请实施例提供了一种基于TWS耳机的情绪识别系统，该系统包括：存储器及处理器，存储器中包括基于TWS耳机的情绪识别方法的程序，基于TWS耳机的情绪识别方法的程序被处理器执行时实现以下步骤：
获取模态数据，对模态数据进行预处理，得到结果信息；
提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；
将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；
将情感识别差值与预设的阈值进行比较，得到情感比对相似度；
根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果。
需要说明的是，标准情感包括喜、怒、哀、乐、悲、恐、惊，每一种情感包含多个级别，每一个级别设定一个阈值，将情绪识别特征值与每一个级别的阈值进行比较，可以判断出情绪识别的级别等级，从而更加精准的进行情绪识别。
根据本发明实施例，获取模态数据，对模态数据进行预处理，得到结果信息；包括：
模态数据包括语音数据、动作捕捉以及脑电数据，通过对语音数据的滤波处理或动作捕捉后的动作识别，动作轨迹数据判断以及脑电数据的特征提取，得到优化后的模态数据；
语音数据的滤波处理方法包括：
获取语音数据，对语音数据进行语义提取，得到语义信息；
将语义信息分割成多个不同的时间窗口；
对不同的时间窗口内的语义信息进行小波变换，并识别语义信息噪声值；
将语义信息噪声值与预设噪声阈值进行减法计算，得到噪声差值；
若噪声差值大于第一噪声阈值时，则生成修正系数对语义信息噪声值进行修正；
若噪声差值大于第二噪声阈值时，则剔除对应时间段内的语义信息，并生成对应时间窗口下时间段计数数值；
判断同一时间窗口下的时间段计数数值是否大于预定数量，若大于，则直接切除对应的整段时间窗口内的语义信息；
第一噪声阈值小于第二噪声阈值。
根据本发明实施例，所述模态数据包括语音数据、动作捕捉以及脑电数据，其中，所述动作捕捉包括：
获取视频信息，对视频信息进行切分得到若干个单帧图片；
提取每个单帧图片的特征值，将相邻的两个单帧图片的特征值进行比较，得到特征差值；
判断特征差值是否大于第一特征阈值，
若大于，则标定为骨骼点，根据特征差值计算骨骼点的姿态轨迹信息；
根据骨骼点的姿态轨迹信息生成关节动作信息，并对关节动作信息进行捕捉存储至数据集。
根据本发明实施例，获取模态数据，对模态数据进行预处理，得到结果信息，还包括：
获取语音数据、姿态轨迹信息与脑电数据与表情数据，分别提取语音数据特征、姿态特征与脑电特征，使用随机丢弃分离通道学习两组特征之间的相关性；
判断相关性是否大于预设的相关性阈值，
若大于，则将语音数据特征、姿态特征与脑电特征进行融合，融合后的结果输入分类器进行情绪特征的融合识别并对情绪特征进行分类。
需要说明的是，特征融合过程中通过使用相应准则将模态数据提取得到的不同的情感特征（包括语音数据特征、姿态特征或脑电特征）进行融合，组合成一组新的情感特征，最后将这组新的情感特征输入至分类器得到最终的情感分类结果。
根据本发明实施例，模态数据包括语音数据、动作捕捉以及脑电数据，其中脑电数据包括：
获取若干个脑电信号，对脑电信号进行降噪处理，得到平滑的脑电信号；
将平滑的脑电信号进行特征提取，得到脑电特征；
将脑电特征进行降维处理，并将脑电特征与预设情绪特征进行比较，得到相似度信息；
将相似度信息与预设相似度阈值进行比较，筛选出与预设情绪特征相似度高的脑电特征；
将脑电特征进行特征转换，并映射至预设纬度，得到脑电特征数据集合。
需要说明的是，特征维数过多则不利于情绪识别，需要通过特征降维从脑电信号中选择与情绪状态相关的特征，包括特征选择和特征变化，特征变换包括特征线性或非线性变换。
进一步的，特征选择是指挑选出相关性较高的部分特征，提高数据分析的效率，此外对特征进行线性变换或非线性变换，将其映射到能够最大限度反映脑电特征与预设情绪特征相关的维度上，从而减少特征数量。
根据本发明实施例，还包括：
获取情绪识别结果，输入情绪判断模型进行判断用户情绪值；
将用户情绪值与预设情绪值进行比较，得到偏差率；
判断所述偏差率是否大于预设偏差率阈值；
若大于，则生成第一放松策略，根据第一放松策略，TWS耳机输出第一内容；
若小于，则生成第二放松策略，根据第二放松策略，TWS耳机输出第二内容。
需要说明的是，用户情绪值的大小用于判断用户在该情绪下的失控状态，根据失控状态的不同通过耳机不同的应对策略，包括提醒、播放歌曲等等。
本发明第三方面提供了一种计算机可读存储介质，可读存储介质中包括基于TWS耳机的情绪识别方法程序，基于TWS耳机的情绪识别方法程序被处理器执行时，实现如上述任一项的基于TWS耳机的情绪识别方法的步骤。
本发明公开的一种基于TWS耳机的情绪识别方法、系统及介质，通过获取模态数据，对模态数据进行预处理，得到结果信息；提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；将情感识别差值与预设的阈值进行比较，得到情感比对相似度；根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果；通过将情绪识别特征与标准的情感特征进行比较，当两者对应时，则判定情绪为预定的标准情绪，能够实现情绪的智能识别分类，且识别结果较为精准的技术。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种基于TWS耳机的情绪识别方法，其特征在于，包括：
获取模态数据，对模态数据进行预处理，得到结果信息；
提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；
将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；
将情感识别差值与预设的阈值进行比较，得到情感比对相似度；
根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果。
2.根据权利要求1所述的基于TWS耳机的情绪识别方法，其特征在于，所述获取模态数据，对模态数据进行预处理，得到结果信息；包括：
所述模态数据包括语音数据、动作捕捉以及脑电数据，通过对语音数据的滤波处理或动作捕捉后的动作识别，动作轨迹数据判断以及脑电数据的特征提取，得到优化后的模态数据；
所述语音数据包括音量大小、语句时长、语速快慢。
3.根据权利要求2所述的基于TWS耳机的情绪识别方法，其特征在于，所述语音数据的滤波处理方法包括：
获取语音数据，对语音数据进行语义提取，得到语义信息；
将语义信息分割成多个不同的时间窗口；
对不同的时间窗口内的语义信息进行小波变换，并识别语义信息噪声值；
将语义信息噪声值与预设噪声阈值进行减法计算，得到噪声差值；
若噪声差值大于第一噪声阈值时，则生成修正系数对语义信息噪声值进行修正；
若噪声差值大于第二噪声阈值时，则剔除对应时间段内的语义信息，并生成对应时间窗口下时间段计数数值；
判断同一时间窗口下的时间段计数数值是否大于预定数量，若大于，则直接切除对应的整段时间窗口内的语义信息；
所述第一噪声阈值小于第二噪声阈值。
4.根据权利要求3所述的基于TWS耳机的情绪识别方法，其特征在于，所述模态数据包括语音数据、动作捕捉以及脑电数据，其中，所述动作捕捉包括：
获取视频信息，对视频信息进行切分得到若干个单帧图片；
提取每个单帧图片的特征值，将相邻的两个单帧图片的特征值进行比较，得到特征差值；
判断所述特征差值是否大于第一特征阈值，
若大于，则标定为骨骼点，根据特征差值计算骨骼点的姿态轨迹信息；
根据骨骼点的姿态轨迹信息生成关节动作信息，并对关节动作信息进行捕捉存储至数据集。
5.根据权利要求4所述的基于TWS耳机的情绪识别方法，其特征在于，所述获取模态数据，对模态数据进行预处理，得到结果信息，还包括：
获取语音数据、姿态轨迹信息与脑电数据与表情数据，分别提取语音数据特征、姿态特征与脑电特征，使用随机丢弃分离通道学习两组特征之间的相关性；
判断相关性是否大于预设的相关性阈值，
若大于，则将语音数据特征、姿态特征与脑电特征进行融合，融合后的结果输入分类器进行情绪特征的融合识别并对情绪特征进行分类。
6.根据权利要求5所述的基于TWS耳机的情绪识别方法，其特征在于，所述模态数据包括语音数据、动作捕捉以及脑电数据，其中所述脑电数据包括：
获取若干个脑电信号，对脑电信号进行降噪处理，得到平滑的脑电信号；
将平滑的脑电信号进行特征提取，得到脑电特征；
将脑电特征进行降维处理，并将脑电特征与预设情绪特征进行比较，得到相似度信息；
将相似度信息与预设相似度阈值进行比较，筛选出与预设情绪特征相似度高的脑电特征；
将脑电特征进行特征转换，并映射至预设纬度，得到脑电特征数据集合。
7.一种基于TWS耳机的情绪识别系统，其特征在于，该系统包括：存储器及处理器，所述存储器中包括基于TWS耳机的情绪识别方法的程序，所述基于TWS耳机的情绪识别方法的程序被所述处理器执行时实现以下步骤：
获取模态数据，对模态数据进行预处理，得到结果信息；
提取结果信息特征值，将结果信息特征值输入情绪识别模型输出情绪识别特征值；
将情绪识别特征值与标准情感特征值进行差值计算，得到情感识别差值；
将情感识别差值与预设的阈值进行比较，得到情感比对相似度；
根据情感比对相似度进行排序，相似度最高的情绪识别特征值与标准情感特征值进行归类，并得到情绪识别结果。
8.根据权利要求7所述的基于TWS耳机的情绪识别系统，其特征在于，所述获取模态数据，对模态数据进行预处理，得到结果信息；包括：
所述模态数据包括语音数据、动作捕捉以及脑电数据，通过对语音数据的滤波处理或动作捕捉后的动作识别，动作轨迹数据判断以及脑电数据的特征提取，得到优化后的模态数据；
所述语音数据的滤波处理方法包括：
获取语音数据，对语音数据进行语义提取，得到语义信息；
将语义信息分割成多个不同的时间窗口；
对不同的时间窗口内的语义信息进行小波变换，并识别语义信息噪声值；
将语义信息噪声值与预设噪声阈值进行减法计算，得到噪声差值；
若噪声差值大于第一噪声阈值时，则生成修正系数对语义信息噪声值进行修正；
若噪声差值大于第二噪声阈值时，则剔除对应时间段内的语义信息，并生成对应时间窗口下时间段计数数值；
判断同一时间窗口下的时间段计数数值是否大于预定数量，若大于，则直接切除对应的整段时间窗口内的语义信息；
所述第一噪声阈值小于第二噪声阈值。
9.根据权利要求8所述的基于TWS耳机的情绪识别系统，其特征在于，所述模态数据包括语音数据、动作捕捉以及脑电数据，其中，所述动作捕捉包括：
获取视频信息，对视频信息进行切分得到若干个单帧图片；
提取每个单帧图片的特征值，将相邻的两个单帧图片的特征值进行比较，得到特征差值；
判断所述特征差值是否大于第一特征阈值，
若大于，则标定为骨骼点，根据特征差值计算骨骼点的姿态轨迹信息；
根据骨骼点的姿态轨迹信息生成关节动作信息，并对关节动作信息进行捕捉存储至数据集。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于TWS耳机的情绪识别方法程序，所述基于TWS耳机的情绪识别方法程序被处理器执行时，实现如权利要求1至6中任一项所述的基于TWS耳机的情绪识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310408411.3A CN116127366B (zh) | 2023-04-17 | 2023-04-17 | 一种基于tws耳机的情绪识别方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310408411.3A CN116127366B (zh) | 2023-04-17 | 2023-04-17 | 一种基于tws耳机的情绪识别方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116127366A true CN116127366A (zh) | 2023-05-16 |
| CN116127366B CN116127366B (zh) | 2023-06-20 |
Family
ID=86294208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310408411.3A Active CN116127366B (zh) | 2023-04-17 | 2023-04-17 | 一种基于tws耳机的情绪识别方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116127366B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| US20200201966A1 (en) * | 2018-12-21 | 2020-06-25 | Oath Inc. | Biometric based self-sovereign information management |
| CN112163518A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 情绪监测的情绪建模方法及情绪监测调节系统 |
| CN112466336A (zh) * | 2020-11-19 | 2021-03-09 | 平安科技（深圳）有限公司 | 基于语音的情绪识别方法、装置、设备及存储介质 |
| CN113473288A (zh) * | 2021-06-24 | 2021-10-01 | 深圳市奋达科技股份有限公司 | 一种智能耳机、舒缓情绪压力的方法、设备及介质 |
| US20220147558A1 (en) * | 2020-10-16 | 2022-05-12 | Moodagent A/S | Methods and systems for automatically matching audio content with visual input |
| US20220188392A1 (en) * | 2020-06-12 | 2022-06-16 | Shenzhen University | Method for user recognition and emotion monitoring based on smart headset |
| CN114699078A (zh) * | 2022-03-08 | 2022-07-05 | 重庆邮电大学 | 一种基于少量通道eeg信号的情绪识别方法及系统 |
| CN115359576A (zh) * | 2022-07-29 | 2022-11-18 | 华南师范大学 | 一种多模态情绪识别方法、装置、电子设备及存储介质 |
| US11532183B1 (en) * | 2019-06-19 | 2022-12-20 | Checkpoint ID, Inc. | Identification verification system and related methods |
| CN115713797A (zh) * | 2022-11-11 | 2023-02-24 | 阿里巴巴（中国）有限公司 | 训练感情识别模型的方法、感情识别方法及装置 |
-
2023
- 2023-04-17 CN CN202310408411.3A patent/CN116127366B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| US20200201966A1 (en) * | 2018-12-21 | 2020-06-25 | Oath Inc. | Biometric based self-sovereign information management |
| US11532183B1 (en) * | 2019-06-19 | 2022-12-20 | Checkpoint ID, Inc. | Identification verification system and related methods |
| US20220188392A1 (en) * | 2020-06-12 | 2022-06-16 | Shenzhen University | Method for user recognition and emotion monitoring based on smart headset |
| CN112163518A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 情绪监测的情绪建模方法及情绪监测调节系统 |
| US20220147558A1 (en) * | 2020-10-16 | 2022-05-12 | Moodagent A/S | Methods and systems for automatically matching audio content with visual input |
| CN112466336A (zh) * | 2020-11-19 | 2021-03-09 | 平安科技（深圳）有限公司 | 基于语音的情绪识别方法、装置、设备及存储介质 |
| CN113473288A (zh) * | 2021-06-24 | 2021-10-01 | 深圳市奋达科技股份有限公司 | 一种智能耳机、舒缓情绪压力的方法、设备及介质 |
| CN114699078A (zh) * | 2022-03-08 | 2022-07-05 | 重庆邮电大学 | 一种基于少量通道eeg信号的情绪识别方法及系统 |
| CN115359576A (zh) * | 2022-07-29 | 2022-11-18 | 华南师范大学 | 一种多模态情绪识别方法、装置、电子设备及存储介质 |
| CN115713797A (zh) * | 2022-11-11 | 2023-02-24 | 阿里巴巴（中国）有限公司 | 训练感情识别模型的方法、感情识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| QIAN WANG ET AL.: "Muli-modal emotion recognition using EEG and speech signals", 《ELSEVIER》, pages 1 - 13 * |
| 朱清扬: "基于脑电、外周生理信号和面部表情的多模态情感识别", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, pages 080 - 166 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116127366B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111128223B (zh) | 一种基于文本信息的辅助说话人分离方法及相关装置 | |
| CN102723078B (zh) | 基于自然言语理解的语音情感识别方法 | |
| CN109254669B (zh) | 一种表情图片输入方法、装置、电子设备及系统 | |
| CN105989836B (zh) | 一种语音采集方法、装置及终端设备 | |
| CN106294774A (zh) | 基于对话服务的用户个性化数据处理方法及装置 | |
| CN103530912A (zh) | 一种具有情绪识别功能的考勤系统及方法 | |
| WO2016173132A1 (zh) | 语音识别方法、装置及用户设备 | |
| CN109065051B (zh) | 一种语音识别处理方法及装置 | |
| CN111768760B (zh) | 一种多模态语音端点检测方法及装置 | |
| WO2024000867A1 (zh) | 情绪识别方法、装置、设备及存储介质 | |
| CN108595406B (zh) | 一种用户状态的提醒方法、装置、电子设备及存储介质 | |
| CN111144360A (zh) | 多模信息识别方法、装置、存储介质及电子设备 | |
| CN112735385A (zh) | 语音端点检测方法、装置、计算机设备及存储介质 | |
| CN113823323B (zh) | 一种基于卷积神经网络的音频处理方法、装置及相关设备 | |
| CN116127366B (zh) | 一种基于tws耳机的情绪识别方法、系统及介质 | |
| CN116320878A (zh) | 一种基于骨声纹传感器的耳机降噪方法及系统 | |
| CN116186258A (zh) | 基于多模态知识图谱的文本分类方法、设备及存储介质 | |
| CN116108176A (zh) | 基于多模态深度学习的文本分类方法、设备及存储介质 | |
| CN111149153A (zh) | 信息处理装置以及说话解析方法 | |
| CN114492579A (zh) | 情绪识别方法、摄像装置、情绪识别装置及存储装置 | |
| CN114822557A (zh) | 课堂中不同声音的区分方法、装置、设备以及存储介质 | |
| CN114038487A (zh) | 一种音频提取方法、装置、设备和可读存储介质 | |
| CN113762056A (zh) | 演唱视频识别方法、装置、设备及存储介质 | |
| CN113782014A (zh) | 语音识别方法及装置 | |
| CN111582708A (zh) | 医疗信息的检测方法、系统、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |