CN111899765B - 基于情绪预测模型的语音发送方法、装置和计算机设备 - Google Patents
基于情绪预测模型的语音发送方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111899765B CN111899765B CN202010733108.7A CN202010733108A CN111899765B CN 111899765 B CN111899765 B CN 111899765B CN 202010733108 A CN202010733108 A CN 202010733108A CN 111899765 B CN111899765 B CN 111899765B
- Authority
- CN
- China
- Prior art keywords
- emotion
- data
- preset
- coordinate value
- behavior pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 297
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003909 pattern recognition Methods 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims abstract description 25
- 230000006399 behavior Effects 0.000 claims description 181
- 230000006870 function Effects 0.000 claims description 48
- 238000012795 verification Methods 0.000 claims description 42
- 238000003062 neural network model Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002715 modification method Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 7
- 238000013019 agitation Methods 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及人工智能技术领域，应用于智慧城市中，揭示了一种基于情绪预测模型的语音发送方法、装置、计算机设备和存储介质，采集侧面压力数据；采集背面温度数据；实时输入行为模式识别模型中，得到行为模式序列；若指定行为模式标记占比大于比例阈值，则实时获取第一语音数据；将第一语音数据输入的情绪值预测模型中，从而得到二维情绪坐标值；若二维情绪坐标值不符合标准，则实时获取第二语音数据，并修改得到第二修正语音数据；得到修正情绪坐标值；若修正情绪坐标值符合标准，则将第二修正语音数据发送给第二通话终端。从而实现高效的语音信息交互。此外，本申请还涉及区块链技术，所述情绪值预测模型可存储于区块链中。
Description
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种基于情绪预测模型的语音发送方法、装置、计算机设备和存储介质。
背景技术
语音通话技术实现了异地信息沟通，提高了信息交互效率。但是传统的语音通话方案的实际信息交互的效率取决于语音通话的双方，当语音通话的双方情绪异常(例如处于争吵状态中，情绪激动)，由于人类在异常情绪时会不自觉地选择接收部分语音信息，同时忽视另外部分语音信息，从而一方接收到的语音信息并非是对方实际要传达的信息，因此造成信息失真，甚至于造成由于一方挂断电话而形成的通话中断。因此，传统的语音通话方案在维持高效的语音信息交互与维持通话通道方面存在不足。
发明内容
本申请提供一种基于情绪预测模型的语音发送方法、装置、计算机设备和存储介质，旨在维持高效的语音信息交互与维持通话通道。
本申请提出一种基于情绪预测模型的语音发送方法，应用于第一通话终端，所述第一通话终端至少具有四个侧面和一个背面，包括：
在所述第一通话终端与第二通话终端进行语音通话时，通过预设的压力检测器阵列实时采集所述第一通话终端的侧面压力数据，其中所述压力检测器阵列均匀分布于所述第一通话终端的四个侧面；
通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据，其中所述温度检测器阵列均匀分布于所述第一通话终端的背面侧；
将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成；
从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值；
若所述指定行为模式标记在所述行为模式序列中的数量占比大于预设的比例阈值，则采用所述第一通话终端上预设的麦克风，实时获取输入的第一语音数据；
将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值，并根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准，判断所述二维情绪坐标值是否符合所述指定二维坐标值标准；其中所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成；
若所述二维情绪坐标值不符合所述指定二维坐标值标准，则采用所述第一通话终端上预设的麦克风，实时获取输入的第二语音数据，并根据预设的声学特征修改方法，修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；
将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型输出的修正情绪坐标值，并判断所述修正情绪坐标值是否符合所述指定二维坐标值标准；
若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。
进一步地，所述温度检测器阵列为非接触式的温度检测器阵列，所述通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据的步骤,包括：
根据所述侧面压力数据，模拟出所述第一通话终端的使用者持握第一通话终端的手掌姿势，并获取所述手掌姿势的掌心位置；
从所述温度检测器阵列中选出与所述掌心位置距离最近的指定温度检测器，并获取与所述指定温度检测器与所述掌心位置的第一距离；
利用所述温度检测器阵列实时进行圆锥体空间温度采集操作，从而得到所述第一通话终端的实时背面温度数据；其中所述圆锥体空间温度采集指采集虚拟圆锥体的圆锥面的温度，所述虚拟圆锥体指以所述掌心位置为顶点、所述第一距离为高、所述指定温度检测器为底面中心且底面半径等于预设半径数值的圆锥体。
进一步地，所述将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成的步骤之前，包括：
从预设的数据库中调取预先收集的样本数据，并将所述样本数据按照预设比例划分为训练数据和验证数据；其中所述样本数据包括时间上连续的训练用压力数据、时间上连续的训练用背面温度数据和人工标注的行为模式序列；
调取预设的神经网络模型，并利用所述训练数据对所述神经网络模型进行训练处理，从而得到暂时神经网络模型；
利用所述验证数据对所述神经网络模型进行验证处理，以得到验证结果，并判断所述验证结果是否为合格；
若所述验证结果为合格，则将所述暂时神经网络模型作为所述行为模式识别模型。
进一步地，所述情绪值预测模型由部分语义识别网络结构与情绪值预测网络结构顺序连接构成，所述部分语义识别网络结构用于对所述第一语音数据进行部分语义识别，所述将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值的步骤,包括：
将所述第一语音数据输入所述部分语义识别网络结构中，从而得到所述部分语义识别网络结构输出的部分语义文本；其中，所述部分语义识别指仅对输入的语音数据中的部分进行识别；
从所述第一语音数据中提取出与所述部分语义文本对应的声学特征；其中所述声学特征至少包括音量与语速；
将所述部分语义文本和所述部分语义文本对应的声学特征输入所述情绪值预测网络结构中，从而得到所述情绪值预测网络结构实时输出的二维情绪坐标值。
进一步地，所述判断所述二维情绪坐标值是否符合所述指定二维坐标值标准的步骤,包括：
对所述情绪值预测模型实时输出的所有的二维情绪坐标值进行异常坐标值去除处理，以得到正常坐标值；其中所述异常坐标值指置信度数值大于预设的置信度阈值的二维情绪坐标值；
建立平面直角坐标系，并以时间为横坐标，所述正常坐标值中的情绪数值为纵坐标，绘制出第一情绪曲线，并生成与所述第一情绪曲线对应的第一情绪函数；
根据公式：
F(t)＝min(D(t),p),其中
C(t)＝A(t)-B(t)，计算出衡量函数F(t)；其中A(t)为所述第一情绪函数，B(t)为预设的标准情绪函数，C(t)为所述第一情绪函数和所述标准情绪函数的差值函数，min指最小值函数，t为时间，p为预设的误差参数，p大于0；
根据公式：可信时间比值＝第一时间长度/(第一时间长度+第二时间长度)，计算出可信时间比值；其中第一时间长度指所述衡量函数F(t)不等于数值p时的时间轴长度，第二c时间长度指所述衡量函数F(t)等于数值p时的时间轴长度；
判断所述可信时间比值是否大于预设的可信时间阈值；
若所述可信时间比值大于预设的可信时间阈值，则判定所述二维情绪坐标值符合所述指定二维坐标值标准。
本申请提供一种基于情绪预测模型的语音发送装置，应用于第一通话终端，所述第一通话终端至少具有四个侧面和一个背面，包括：
侧面压力数据采集单元，用于在所述第一通话终端与第二通话终端进行语音通话时，通过预设的压力检测器阵列实时采集所述第一通话终端的侧面压力数据，其中所述压力检测器阵列均匀分布于所述第一通话终端的四个侧面；
背面温度数据采集单元，用于通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据，其中所述温度检测器阵列均匀分布于所述第一通话终端的背面侧；
行为模式序列获取单元，用于将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成；
比例阈值判断单元，用于从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值；
第一语音数据获取单元，用于若所述指定行为模式标记在所述行为模式序列中的数量占比大于预设的比例阈值，则采用所述第一通话终端上预设的麦克风，实时获取输入的第一语音数据；
二维情绪坐标值获取单元，用于将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值，并根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准，判断所述二维情绪坐标值是否符合所述指定二维坐标值标准；其中所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成；
第二语音数据获取单元，用于若所述二维情绪坐标值不符合所述指定二维坐标值标准，则采用所述第一通话终端上预设的麦克风，实时获取输入的第二语音数据，并根据预设的声学特征修改方法，修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；
修正情绪坐标值获取单元，用于将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型输出的修正情绪坐标值，并判断所述修正情绪坐标值是否符合所述指定二维坐标值标准；
第二修正语音数据发送单元，用于若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。
进一步地，所述温度检测器阵列为非接触式的温度检测器阵列，所述背面温度数据采集单元,包括：
掌心位置获取子单元，用于根据所述侧面压力数据，模拟出所述第一通话终端的使用者持握第一通话终端的手掌姿势，并获取所述手掌姿势的掌心位置；
第一距离获取子单元，用于从所述温度检测器阵列中选出与所述掌心位置距离最近的指定温度检测器，并获取与所述指定温度检测器与所述掌心位置的第一距离；
空间温度采集子单元，用于利用所述温度检测器阵列实时进行圆锥体空间温度采集操作，从而得到所述第一通话终端的实时背面温度数据；其中所述圆锥体空间温度采集指采集虚拟圆锥体的圆锥面的温度，所述虚拟圆锥体指以所述掌心位置为顶点、所述第一距离为高、所述指定温度检测器为底面中心且底面半径等于预设半径数值的圆锥体。
进一步地，所述装置，包括：
样本数据调取单元，用于从预设的数据库中调取预先收集的样本数据，并将所述样本数据按照预设比例划分为训练数据和验证数据；其中所述样本数据包括时间上连续的训练用压力数据、时间上连续的训练用背面温度数据和人工标注的行为模式序列；
训练单元，用于调取预设的神经网络模型，并利用所述训练数据对所述神经网络模型进行训练处理，从而得到暂时神经网络模型；
验证单元，用于利用所述验证数据对所述神经网络模型进行验证处理，以得到验证结果，并判断所述验证结果是否为合格；
行为模式识别模型标记单元，用于若所述验证结果为合格，则将所述暂时神经网络模型作为所述行为模式识别模型。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于情绪预测模型的语音发送方法、装置、计算机设备和存储介质，实时采集所述第一通话终端的侧面压力数据；实时采集所述第一通话终端的背面温度数据；将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到行为模式序列；选出数量最多的指定行为模式标记；若所述指定行为模式标记占比大于预设的比例阈值，则实时获取输入的第一语音数据；将所述第一语音数据输入预设的情绪值预测模型中，从而得到二维情绪坐标值；若所述二维情绪坐标值不符合指定二维坐标值标准，则实时获取输入的第二语音数据，并修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到修正情绪坐标值；若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。从而防止人类在情绪激动下选择性接收语音信息的状况出现，从而维持高效的语音信息交互与维持通话通道。
附图说明
图1为本申请一实施例的基于情绪预测模型的语音发送方法的流程示意图；
图2为本申请一实施例的基于情绪预测模型的语音发送装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于情绪预测模型的语音发送方法，应用于第一通话终端，所述第一通话终端至少具有四个侧面和一个背面，包括：
S1、在所述第一通话终端与第二通话终端进行语音通话时，通过预设的压力检测器阵列实时采集所述第一通话终端的侧面压力数据，其中所述压力检测器阵列均匀分布于所述第一通话终端的四个侧面；
S2、通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据，其中所述温度检测器阵列均匀分布于所述第一通话终端的背面侧；
S3、将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成；
S4、从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值；
S5、若所述指定行为模式标记在所述行为模式序列中的数量占比大于预设的比例阈值，则采用所述第一通话终端上预设的麦克风，实时获取输入的第一语音数据；
S6、将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值，并根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准，判断所述二维情绪坐标值是否符合所述指定二维坐标值标准；其中所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成；
S7、若所述二维情绪坐标值不符合所述指定二维坐标值标准，则采用所述第一通话终端上预设的麦克风，实时获取输入的第二语音数据，并根据预设的声学特征修改方法，修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；
S8、将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型输出的修正情绪坐标值，并判断所述修正情绪坐标值是否符合所述指定二维坐标值标准；
S9、若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。
本申请通过特别的设计，实现了维持高效的语音信息交互与维持通话通道。具体地，本申请通过采集第一通话终端的侧面压力数据、第一通话终端的背面温度数据，并利用模式识别模型以识别出行为模式序列，再在指定行为模式标记的占比大于预设的比例阈值时(以保证采集的数据的确是处于同一种行为模式下，以确保数据真实可靠，进而保证后续数据处理的准确性与有效性，还作为后续坐标值标准的选取依据)，实时获取输入的第一语音数据，并根据第一语音数据确定使用者的情绪是否正常，并在情绪异常的情况下，进行声学特征修改，以保证通话另一方不会接收到情绪过激的语音，从而防止人类在情绪激动下选择性接收语音信息的状况出现，从而维持高效的语音信息交互与维持通话通道。
如上述步骤S1-2所述，在所述第一通话终端与第二通话终端进行语音通话时，通过预设的压力检测器阵列实时采集所述第一通话终端的侧面压力数据，其中所述压力检测器阵列均匀分布于所述第一通话终端的四个侧面；通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据，其中所述温度检测器阵列均匀分布于所述第一通话终端的背面侧。本申请中的所述行为模式标识可采用任意形式的标识，其中的一种例如为：同级行为模式(例如与同事通话、与朋友通话等)、上级行为模式(例如与领导通话、与长辈通话等)、下级行为模式(例如与下属通话、与后辈通话等)；当然，还可以采用其他分类的行为模式标识，在此不再赘述。本申请采用第一通话终端的侧面压力数据和第一通话终端的背面温度数据作为行为模式的预测依据，是利用了人在不自觉状态下的情绪、姿势惯性的自然规律，即，当使用者进行不同行为模型的通话时，其情绪、手势均不同，导致其在手持第一移动终端时的手势不同(例如对于使用者A，其在与上司通话时，情绪紧张，采用紧握方式手持第一移动终端)、并且掌心温度不同(例如对于使用者A，其在与上司通话时，情绪紧张，相对而言，手掌掌心温度较高)。因此，以第一通话终端的侧面压力数据和第一通话终端的背面温度数据作可为行为模式的预测依据。
如上述步骤S3所述，将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成。需要注意的是，本申请采用的是实时采集数据，并且实时输入预设的行为模式识别模型中进行处理的方式，以得到预测的行为模式，因此每个单位时间均输出一个行为模式，按时间顺序连接则成为了行为模式序列。所述行为模式识别模型可为任意可行模型，例如为神经网络模型，长短期记忆网络模型等。
如上述步骤S4-5所述，从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值；若所述指定行为模式标记在所述行为模式序列中的数量占比大于预设的比例阈值，则采用所述第一通话终端上预设的麦克风，实时获取输入的第一语音数据。一般而言，数量最多的指定行为模式标记就是所述第一通话终端的使用者的行为模式，但是，本申请为了提高预测的可信度，还采用从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值的方式，以保证指定行为模式标记的可信度。其中所述比例阈值例如为0.8-1。
如上述步骤S6所述，将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值，并根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准，判断所述二维情绪坐标值是否符合所述指定二维坐标值标准；其中所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成。所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成，即其一轴的情绪数值代表了激动程度，其数值越高表明越激动；另一轴的置信度数值代表了可信程度，其数值越高表示预测越准确。所述情绪值预测模型同样是采用实时输入实时输出的方式，从而实时输出二维情绪坐标值。所述情绪值预测模型可为任意可行模型，例如为神经网络模型、决策树模型等等。再根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准。其中需要注意的是，在不同的行为模式下，采取的标准是不同的，这是因为，人类在不同的行为模式下的容忍度不同，例如在与下属的沟通中，下属的容忍性较高(这是人类作为自然生物的自然规律)，因此第一通话终端的使用者即使采用较为激烈的情绪进行语音沟通，也不会造成对方受激而引起通话效率降低的情况，因此，此时对应的二维坐标值标准更为宽松。判断所述二维情绪坐标值是否符合所述指定二维坐标值标准可采用任意可行方式，例如判断所述二维情绪坐标值的纵坐标数值(一维情绪数值)是否大部分(例如占比0.7-1)大于预设的阈值(即二维坐标值标准，较宽松时取值较低)，若大部分大于预设的阈值，则判定不符合所述指定二维坐标值标准。
如上述步骤S7所述，若所述二维情绪坐标值不符合所述指定二维坐标值标准，则采用所述第一通话终端上预设的麦克风，实时获取输入的第二语音数据，并根据预设的声学特征修改方法，修改所述第二语音数据中的声学特征，从而得到第二修正语音数据。若所述二维情绪坐标值不符合所述指定二维坐标值标准，表明情绪过激，因此应当在后续的语音中进行修正。其中，所述声学特征修改方法可为任意可行方法，例如为降低音量和/或降低音速等。
如上述步骤S8-9所述，将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型输出的修正情绪坐标值，并判断所述修正情绪坐标值是否符合所述指定二维坐标值标准；若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。修改所述第二语音数据中的声学特征的目的在于，降低情绪值，以提高语音沟通效率。而为了保证数据前后处理的一致性，本申请仍采用情绪值预测模型进行分析，以判断所述修正情绪坐标值是否符合所述指定二维坐标值标准，并在所述修正情绪坐标值符合所述指定二维坐标值标准时，将所述第二修正语音数据发送给所述第二通话终端。从而保证第二通话终端的使用者不会情绪激动，而造成语音沟通效率的降低。
在一个实施方式中，所述温度检测器阵列为非接触式的温度检测器阵列，所述通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据的步骤S2,包括：
S201、根据所述侧面压力数据，模拟出所述第一通话终端的使用者持握第一通话终端的手掌姿势，并获取所述手掌姿势的掌心位置；
S202、从所述温度检测器阵列中选出与所述掌心位置距离最近的指定温度检测器，并获取与所述指定温度检测器与所述掌心位置的第一距离；
S203、利用所述温度检测器阵列实时进行圆锥体空间温度采集操作，从而得到所述第一通话终端的实时背面温度数据；其中所述圆锥体空间温度采集指采集虚拟圆锥体的圆锥面的温度，所述虚拟圆锥体指以所述掌心位置为顶点、所述第一距离为高、所述指定温度检测器为底面中心且底面半径等于预设半径数值的圆锥体。
如上所述，实现了通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据。需要注意的是，本申请的温度检测器阵列为非接触式的温度检测器阵列，并且采集温度的方法是特制的，即进行圆锥体空间温度采集操作，以提高温度数据的准确性。一般而言，人的掌心在手掌中央，在手持通话终端时，会呈虚握状态，即手与通话终端之间存在空隙，由于人手的自然构造，其空隙近乎于圆锥体。因此，本申请不采用检测第一通话终端的背面表面温度的方式，而是采用利用所述温度检测器阵列实时进行圆锥体空间温度采集操作，从而得到所述第一通话终端的实时背面温度数据；其中所述圆锥体空间温度采集指采集虚拟圆锥体的圆锥面的温度，所述虚拟圆锥体指以所述掌心位置为顶点、所述第一距离为高、所述指定温度检测器为底面中心且底面半径等于预设半径数值的圆锥体，以保证检测的温度数据更加准确。其中，所述预设半径数值可为任意可行数值，例如为背面的短边的一半。
在一个实施方式中，所述将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成的步骤S3之前，包括：
S21、从预设的数据库中调取预先收集的样本数据，并将所述样本数据按照预设比例划分为训练数据和验证数据；其中所述样本数据包括时间上连续的训练用压力数据、时间上连续的训练用背面温度数据和人工标注的行为模式序列；
S22、调取预设的神经网络模型，并利用所述训练数据对所述神经网络模型进行训练处理，从而得到暂时神经网络模型；
S23、利用所述验证数据对所述神经网络模型进行验证处理，以得到验证结果，并判断所述验证结果是否为合格；
S24、若所述验证结果为合格，则将所述暂时神经网络模型作为所述行为模式识别模型。
如上所述，实现了将所述暂时神经网络模型作为所述行为模式识别模型。本申请的行为模式识别模型是基于机器学习中的神经网络模型而得，采用的是监督训练的方式进行学习。从预设的数据库中调取预先收集的样本数据，并将所述样本数据按照预设比例划分为训练数据和验证数据；其中所述样本数据包括时间上连续的训练用压力数据、时间上连续的训练用背面温度数据和人工标注的行为模式序列；其中所述预设比例可为任意可行比例，例如为0.7-0.99。需要注意的是，其中采用的训练数据中的人工标注的是行为模式序列，而非是单个的行为模式，因此本申请最终得到的行为模式识别模型可胜任连续时间的识别任务。再将训练数据输入神经网络模型进行训练，即可得到暂时神经网络模型，再利用所述验证数据对所述神经网络模型进行验证处理，若所述验证结果为合格，则表明所述暂时神经网络模型可胜任行为模式序列的识别任务，因此将所述暂时神经网络模型作为所述行为模式识别模型。
在一个实施方式中，所述情绪值预测模型由部分语义识别网络结构与情绪值预测网络结构顺序连接构成，所述部分语义识别网络结构用于对所述第一语音数据进行部分语义识别，所述将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值的步骤S6,包括：
S601、将所述第一语音数据输入所述部分语义识别网络结构中，从而得到所述部分语义识别网络结构输出的部分语义文本；其中，所述部分语义识别指仅对输入的语音数据中的部分进行识别；
S602、从所述第一语音数据中提取出与所述部分语义文本对应的声学特征；其中所述声学特征至少包括音量与语速；
S603、将所述部分语义文本和所述部分语义文本对应的声学特征输入所述情绪值预测网络结构中，从而得到所述情绪值预测网络结构实时输出的二维情绪坐标值。
如上所述，实现了将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值。本申请为了更准确地进行情绪预测，不仅以声学特征数据为依据，更以语义为依据，其中的语义更不是全部的第一语音数据的语义，而仅是其中部分语音数据的语义，从而达到了小算力而高准确度的目的。其中，本申请采用的情绪值预测模型由部分语义识别网络结构与情绪值预测网络结构顺序连接构成，因此该情绪值预测模型与传统的机器学习模型是不同的。具体地，本申请的情绪值预测模型的数据入口具有两处，第一处数据入口用于将将所述第一语音数据输入所述部分语义识别网络结构中，第二处数据入口用于将声学特征输入所述情绪值预测网络结构中，同时部分语义识别网络结构的输出也被输入所述情绪值预测网络结构中，从而形成了区别于传统模型的情绪值预测模型。其中所述部分语义识别网络结构具有两种功能，一种是从第一语音数据中提取待语义识别的语音数据，其中的语音数据提取可采用任意可行方式，例如提取重音位置对应的语音数据；另一种是对提取出的语音数据进行语义识别；这两种功能可分别由语音数据提取网络层与语义识别网络层完成。所述情绪值预测网络结构可为任意可行的网络结构，例如神经网络结构。从而得到所述情绪值预测网络结构实时输出的二维情绪坐标值，并且二维情绪坐标值关联于部分语义和声学特征，从而实现了较少的计算量且较高的准确性。
在一个实施方式中，所述判断所述二维情绪坐标值是否符合所述指定二维坐标值标准的步骤S6,包括：
S601、对所述情绪值预测模型实时输出的所有的二维情绪坐标值进行异常坐标值去除处理，以得到正常坐标值；其中所述异常坐标值指置信度数值大于预设的置信度阈值的二维情绪坐标值；
S602、建立平面直角坐标系，并以时间为横坐标，所述正常坐标值中的情绪数值为纵坐标，绘制出第一情绪曲线，并生成与所述第一情绪曲线对应的第一情绪函数；
S603、根据公式：
F(t)＝min(D(t),p),其中
C(t)＝A(t)-B(t)，计算出衡量函数F(t)；其中A(t)为所述第一情绪函数，B(t)为预设的标准情绪函数，C(t)为所述第一情绪函数和所述标准情绪函数的差值函数，min指最小值函数，t为时间，p为预设的误差参数，p大于0；
S604、根据公式：可信时间比值＝第一时间长度/(第一时间长度+第二时间长度)，计算出可信时间比值；其中第一时间长度指所述衡量函数F(t)不等于数值p时的时间轴长度，第二c时间长度指所述衡量函数F(t)等于数值p时的时间轴长度；
S605、判断所述可信时间比值是否大于预设的可信时间阈值；
S606、若所述可信时间比值大于预设的可信时间阈值，则判定所述二维情绪坐标值符合所述指定二维坐标值标准。
如上所述，实现了判断所述二维情绪坐标值是否符合所述指定二维坐标值标准。本申请采用特别的方式来判断所述二维情绪坐标值是否符合所述指定二维坐标值标准。具体地，对所述情绪值预测模型实时输出的所有的二维情绪坐标值进行异常坐标值去除处理，以得到正常坐标值；绘制出第一情绪曲线，并生成与所述第一情绪曲线对应的第一情绪函数；根据公式：
F(t)＝min(D(t),p),其中
C(t)＝A(t)-B(t)，计算出衡量函数F(t)；计算出可信时间比值；若所述可信时间比值大于预设的可信时间阈值，则判定所述二维情绪坐标值符合所述指定二维坐标值标准。其中，衡量函数的构建，不仅考虑了数值间的差异，更考虑了数值变化趋势的差异，从而进行综合分析得到的结论更准确。
本申请的基于情绪预测模型的语音发送方法，实时采集所述第一通话终端的侧面压力数据；实时采集所述第一通话终端的背面温度数据；将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到行为模式序列；选出数量最多的指定行为模式标记；若所述指定行为模式标记占比大于预设的比例阈值，则实时获取输入的第一语音数据；将所述第一语音数据输入预设的情绪值预测模型中，从而得到二维情绪坐标值；若所述二维情绪坐标值不符合指定二维坐标值标准，则实时获取输入的第二语音数据，并修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到修正情绪坐标值；若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。从而防止人类在情绪激动下选择性接收语音信息的状况出现，从而维持高效的语音信息交互与维持通话通道。
参照图2，本申请实施例提供一种基于情绪预测模型的语音发送装置，应用于第一通话终端，所述第一通话终端至少具有四个侧面和一个背面，包括：
侧面压力数据采集单元10，用于在所述第一通话终端与第二通话终端进行语音通话时，通过预设的压力检测器阵列实时采集所述第一通话终端的侧面压力数据，其中所述压力检测器阵列均匀分布于所述第一通话终端的四个侧面；
背面温度数据采集单元20，用于通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据，其中所述温度检测器阵列均匀分布于所述第一通话终端的背面侧；
行为模式序列获取单元30，用于将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成；
比例阈值判断单元40，用于从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值；
第一语音数据获取单元50，用于若所述指定行为模式标记在所述行为模式序列中的数量占比大于预设的比例阈值，则采用所述第一通话终端上预设的麦克风，实时获取输入的第一语音数据；
二维情绪坐标值获取单元60，用于将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值，并根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准，判断所述二维情绪坐标值是否符合所述指定二维坐标值标准；其中所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成；
第二语音数据获取单元70，用于若所述二维情绪坐标值不符合所述指定二维坐标值标准，则采用所述第一通话终端上预设的麦克风，实时获取输入的第二语音数据，并根据预设的声学特征修改方法，修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；
修正情绪坐标值获取单元80，用于将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型输出的修正情绪坐标值，并判断所述修正情绪坐标值是否符合所述指定二维坐标值标准；
第二修正语音数据发送单元90，用于若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于情绪预测模型的语音发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述温度检测器阵列为非接触式的温度检测器阵列，所述背面温度数据采集单元,包括：
掌心位置获取子单元，用于根据所述侧面压力数据，模拟出所述第一通话终端的使用者持握第一通话终端的手掌姿势，并获取所述手掌姿势的掌心位置；
第一距离获取子单元，用于从所述温度检测器阵列中选出与所述掌心位置距离最近的指定温度检测器，并获取与所述指定温度检测器与所述掌心位置的第一距离；
空间温度采集子单元，用于利用所述温度检测器阵列实时进行圆锥体空间温度采集操作，从而得到所述第一通话终端的实时背面温度数据；其中所述圆锥体空间温度采集指采集虚拟圆锥体的圆锥面的温度，所述虚拟圆锥体指以所述掌心位置为顶点、所述第一距离为高、所述指定温度检测器为底面中心且底面半径等于预设半径数值的圆锥体。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于情绪预测模型的语音发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
样本数据调取单元，用于从预设的数据库中调取预先收集的样本数据，并将所述样本数据按照预设比例划分为训练数据和验证数据；其中所述样本数据包括时间上连续的训练用压力数据、时间上连续的训练用背面温度数据和人工标注的行为模式序列；
训练单元，用于调取预设的神经网络模型，并利用所述训练数据对所述神经网络模型进行训练处理，从而得到暂时神经网络模型；
验证单元，用于利用所述验证数据对所述神经网络模型进行验证处理，以得到验证结果，并判断所述验证结果是否为合格；
行为模式识别模型标记单元，用于若所述验证结果为合格，则将所述暂时神经网络模型作为所述行为模式识别模型。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于情绪预测模型的语音发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述情绪值预测模型由部分语义识别网络结构与情绪值预测网络结构顺序连接构成，所述部分语义识别网络结构用于对所述第一语音数据进行部分语义识别，所述二维情绪坐标值获取单元,包括：
部分语义文本获取子单元，用于将所述第一语音数据输入所述部分语义识别网络结构中，从而得到所述部分语义识别网络结构输出的部分语义文本；其中，所述部分语义识别指仅对输入的语音数据中的部分进行识别；
声学特征获取子单元，用于从所述第一语音数据中提取出与所述部分语义文本对应的声学特征；其中所述声学特征至少包括音量与语速；
二维情绪坐标值获取子单元，用于将所述部分语义文本和所述部分语义文本对应的声学特征输入所述情绪值预测网络结构中，从而得到所述情绪值预测网络结构实时输出的二维情绪坐标值。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于情绪预测模型的语音发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述二维情绪坐标值获取单元,包括：
异常坐标值去除子单元，用于对所述情绪值预测模型实时输出的所有的二维情绪坐标值进行异常坐标值去除处理，以得到正常坐标值；其中所述异常坐标值指置信度数值大于预设的置信度阈值的二维情绪坐标值；
坐标系建立子单元，用于建立平面直角坐标系，并以时间为横坐标，所述正常坐标值中的情绪数值为纵坐标，绘制出第一情绪曲线，并生成与所述第一情绪曲线对应的第一情绪函数；
衡量函数计算子单元，用于根据公式：
F(t)＝min(D(t),p),其中
C(t)＝A(t)-B(t)，计算出衡量函数F(t)；其中A(t)为所述第一情绪函数，B(t)为预设的标准情绪函数，C(t)为所述第一情绪函数和所述标准情绪函数的差值函数，min指最小值函数，t为时间，p为预设的误差参数，p大于0；
可信时间比值计算子单元，用于根据公式：可信时间比值＝第一时间长度/(第一时间长度+第二时间长度)，计算出可信时间比值；其中第一时间长度指所述衡量函数F(t)不等于数值p时的时间轴长度，第二c时间长度指所述衡量函数F(t)等于数值p时的时间轴长度；
可信时间比值判断子单元，用于判断所述可信时间比值是否大于预设的可信时间阈值；
二维情绪坐标值判定子单元，用于若所述可信时间比值大于预设的可信时间阈值，则判定所述二维情绪坐标值符合所述指定二维坐标值标准。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于情绪预测模型的语音发送方法的步骤一一对应,在此不再赘述。
本申请的基于情绪预测模型的语音发送装置，实时采集所述第一通话终端的侧面压力数据；实时采集所述第一通话终端的背面温度数据；将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到行为模式序列；选出数量最多的指定行为模式标记；若所述指定行为模式标记占比大于预设的比例阈值，则实时获取输入的第一语音数据；将所述第一语音数据输入预设的情绪值预测模型中，从而得到二维情绪坐标值；若所述二维情绪坐标值不符合指定二维坐标值标准，则实时获取输入的第二语音数据，并修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到修正情绪坐标值；若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。从而防止人类在情绪激动下选择性接收语音信息的状况出现，从而维持高效的语音信息交互与维持通话通道。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于情绪预测模型的语音发送方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于情绪预测模型的语音发送方法。
上述处理器执行上述基于情绪预测模型的语音发送方法，其中所述方法包括的步骤分别与执行前述实施方式的基于情绪预测模型的语音发送方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，实时采集所述第一通话终端的侧面压力数据；实时采集所述第一通话终端的背面温度数据；将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到行为模式序列；选出数量最多的指定行为模式标记；若所述指定行为模式标记占比大于预设的比例阈值，则实时获取输入的第一语音数据；将所述第一语音数据输入预设的情绪值预测模型中，从而得到二维情绪坐标值；若所述二维情绪坐标值不符合指定二维坐标值标准，则实时获取输入的第二语音数据，并修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到修正情绪坐标值；若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。从而防止人类在情绪激动下选择性接收语音信息的状况出现，从而维持高效的语音信息交互与维持通话通道。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于情绪预测模型的语音发送方法，其中所述方法包括的步骤分别与执行前述实施方式的基于情绪预测模型的语音发送方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，实时采集所述第一通话终端的侧面压力数据；实时采集所述第一通话终端的背面温度数据；将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到行为模式序列；选出数量最多的指定行为模式标记；若所述指定行为模式标记占比大于预设的比例阈值，则实时获取输入的第一语音数据；将所述第一语音数据输入预设的情绪值预测模型中，从而得到二维情绪坐标值；若所述二维情绪坐标值不符合指定二维坐标值标准，则实时获取输入的第二语音数据，并修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到修正情绪坐标值；若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。从而防止人类在情绪激动下选择性接收语音信息的状况出现，从而维持高效的语音信息交互与维持通话通道。
进一步地，本申请中的行为模式识别模型和情绪值预测模型，被存储于预设的区块链节点中。本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
本申请可应用于智慧城市领域中，从而推动智慧城市的建设。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于情绪预测模型的语音发送方法，其特征在于，应用于第一通话终端，所述第一通话终端至少具有四个侧面和一个背面，包括：
在所述第一通话终端与第二通话终端进行语音通话时，通过预设的压力检测器阵列实时采集所述第一通话终端的侧面压力数据，其中所述压力检测器阵列均匀分布于所述第一通话终端的四个侧面；
通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据，其中所述温度检测器阵列均匀分布于所述第一通话终端的背面侧；
将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出的行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成；
从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值；
若所述指定行为模式标记在所述行为模式序列中的数量占比大于预设的比例阈值，则采用所述第一通话终端上预设的麦克风，实时获取输入的第一语音数据；
将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值，并根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准，判断所述二维情绪坐标值是否符合所述指定二维坐标值标准；其中所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成；
若所述二维情绪坐标值不符合所述指定二维坐标值标准，则采用所述第一通话终端上预设的麦克风，实时获取输入的第二语音数据，并根据预设的声学特征修改方法，修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；
将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型输出的修正情绪坐标值，并判断所述修正情绪坐标值是否符合所述指定二维坐标值标准；
若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。
2.根据权利要求1所述的基于情绪预测模型的语音发送方法，其特征在于，所述温度检测器阵列为非接触式的温度检测器阵列，所述通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据的步骤,包括：
根据所述侧面压力数据，模拟出所述第一通话终端的使用者持握第一通话终端的手掌姿势，并获取所述手掌姿势的掌心位置；
从所述温度检测器阵列中选出与所述掌心位置距离最近的指定温度检测器，并获取与所述指定温度检测器与所述掌心位置的第一距离；
利用所述温度检测器阵列实时进行圆锥体空间温度采集操作，从而得到所述第一通话终端的实时背面温度数据；其中所述圆锥体空间温度采集指采集虚拟圆锥体的圆锥面的温度，所述虚拟圆锥体指以所述掌心位置为顶点、所述第一距离为高、所述指定温度检测器为底面中心且底面半径等于预设半径数值的圆锥体。
3.根据权利要求1所述的基于情绪预测模型的语音发送方法，其特征在于，所述将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出的行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成的步骤之前，包括：
从预设的数据库中调取预先收集的样本数据，并将所述样本数据按照预设比例划分为训练数据和验证数据；其中所述样本数据包括时间上连续的训练用压力数据、时间上连续的训练用背面温度数据和人工标注的行为模式序列；
调取预设的神经网络模型，并利用所述训练数据对所述神经网络模型进行训练处理，从而得到暂时神经网络模型；
利用所述验证数据对所述神经网络模型进行验证处理，以得到验证结果，并判断所述验证结果是否为合格；
若所述验证结果为合格，则将所述暂时神经网络模型作为所述行为模式识别模型。
4.根据权利要求1所述的基于情绪预测模型的语音发送方法，其特征在于，所述情绪值预测模型由部分语义识别网络结构与情绪值预测网络结构顺序连接构成，所述部分语义识别网络结构用于对所述第一语音数据进行部分语义识别，所述将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值的步骤,包括：
将所述第一语音数据输入所述部分语义识别网络结构中，从而得到所述部分语义识别网络结构输出的部分语义文本；其中，所述部分语义识别指仅对输入的语音数据中的部分进行识别；
从所述第一语音数据中提取出与所述部分语义文本对应的声学特征；其中所述声学特征至少包括音量与语速；
将所述部分语义文本和所述部分语义文本对应的声学特征输入所述情绪值预测网络结构中，从而得到所述情绪值预测网络结构实时输出的二维情绪坐标值。
5.根据权利要求1所述的基于情绪预测模型的语音发送方法，其特征在于，所述判断所述二维情绪坐标值是否符合所述指定二维坐标值标准的步骤,包括：
对所述情绪值预测模型实时输出的所有的二维情绪坐标值进行异常坐标值去除处理，以得到正常坐标值；其中所述异常坐标值指置信度数值大于预设的置信度阈值的二维情绪坐标值；
建立平面直角坐标系，并以时间为横坐标，所述正常坐标值中的情绪数值为纵坐标，绘制出第一情绪曲线，并生成与所述第一情绪曲线对应的第一情绪函数；
根据公式：
F(t)＝min(D(t),p),其中
C(t)＝A(t)-B(t)，计算出衡量函数F(t)；其中A(t)为所述第一情绪函数，B(t)为预设的标准情绪函数，C(t)为所述第一情绪函数和所述标准情绪函数的差值函数，min指最小值函数，t为时间，p为预设的误差参数，p大于0；
根据公式：可信时间比值＝第一时间长度/(第一时间长度+第二时间长度)，计算出可信时间比值；其中第一时间长度指所述衡量函数F(t)不等于数值p时的时间轴长度，第二时间长度指所述衡量函数F(t)等于数值p时的时间轴长度；
判断所述可信时间比值是否大于预设的可信时间阈值；
若所述可信时间比值大于预设的可信时间阈值，则判定所述二维情绪坐标值符合所述指定二维坐标值标准。
6.一种基于情绪预测模型的语音发送装置，其特征在于，应用于第一通话终端，所述第一通话终端至少具有四个侧面和一个背面，包括：
侧面压力数据采集单元，用于在所述第一通话终端与第二通话终端进行语音通话时，通过预设的压力检测器阵列实时采集所述第一通话终端的侧面压力数据，其中所述压力检测器阵列均匀分布于所述第一通话终端的四个侧面；
背面温度数据采集单元，用于通过预设的温度检测器阵列实时采集所述第一通话终端的背面温度数据，其中所述温度检测器阵列均匀分布于所述第一通话终端的背面侧；
行为模式序列获取单元，用于将所述侧面压力数据和所述背面温度数据，实时输入预设的行为模式识别模型中进行处理，从而得到所述行为模式识别模型输出了行为模式序列，其中所述行为模式序列由多个行为模式标记按时间先后顺序连接而成；
比例阈值判断单元，用于从所述行为模式序列中选出数量最多的指定行为模式标记，并判断所述指定行为模式标记在所述行为模式序列中的数量占比是否大于预设的比例阈值；
第一语音数据获取单元，用于若所述指定行为模式标记在所述行为模式序列中的数量占比大于预设的比例阈值，则采用所述第一通话终端上预设的麦克风，实时获取输入的第一语音数据；
二维情绪坐标值获取单元，用于将所述第一语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型实时输出的二维情绪坐标值，并根据预设的行为模式标记与二维坐标值标准的对应关系，获取与所述指定行为模式标记对应的指定二维坐标值标准，判断所述二维情绪坐标值是否符合所述指定二维坐标值标准；其中所述二维情绪坐标值由一维情绪数值和另一维置信度数值构成；
第二语音数据获取单元，用于若所述二维情绪坐标值不符合所述指定二维坐标值标准，则采用所述第一通话终端上预设的麦克风，实时获取输入的第二语音数据，并根据预设的声学特征修改方法，修改所述第二语音数据中的声学特征，从而得到第二修正语音数据；
修正情绪坐标值获取单元，用于将所述第二修正语音数据输入预设的情绪值预测模型中，从而得到所述情绪值预测模型输出的修正情绪坐标值，并判断所述修正情绪坐标值是否符合所述指定二维坐标值标准；
第二修正语音数据发送单元，用于若所述修正情绪坐标值符合所述指定二维坐标值标准，则将所述第二修正语音数据发送给所述第二通话终端。
7.根据权利要求6所述的基于情绪预测模型的语音发送装置，其特征在于，所述温度检测器阵列为非接触式的温度检测器阵列，所述背面温度数据采集单元,包括：
掌心位置获取子单元，用于根据所述侧面压力数据，模拟出所述第一通话终端的使用者持握第一通话终端的手掌姿势，并获取所述手掌姿势的掌心位置；
第一距离获取子单元，用于从所述温度检测器阵列中选出与所述掌心位置距离最近的指定温度检测器，并获取与所述指定温度检测器与所述掌心位置的第一距离；
空间温度采集子单元，用于利用所述温度检测器阵列实时进行圆锥体空间温度采集操作，从而得到所述第一通话终端的实时背面温度数据；其中所述圆锥体空间温度采集指采集虚拟圆锥体的圆锥面的温度，所述虚拟圆锥体指以所述掌心位置为顶点、所述第一距离为高、所述指定温度检测器为底面中心且底面半径等于预设半径数值的圆锥体。
8.根据权利要求6所述的基于情绪预测模型的语音发送装置，其特征在于，所述装置，包括：
样本数据调取单元，用于从预设的数据库中调取预先收集的样本数据，并将所述样本数据按照预设比例划分为训练数据和验证数据；其中所述样本数据包括时间上连续的训练用压力数据、时间上连续的训练用背面温度数据和人工标注的行为模式序列；
训练单元，用于调取预设的神经网络模型，并利用所述训练数据对所述神经网络模型进行训练处理，从而得到暂时神经网络模型；
验证单元，用于利用所述验证数据对所述神经网络模型进行验证处理，以得到验证结果，并判断所述验证结果是否为合格；
行为模式识别模型标记单元，用于若所述验证结果为合格，则将所述暂时神经网络模型作为所述行为模式识别模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733108.7A CN111899765B (zh) | 2020-07-27 | 2020-07-27 | 基于情绪预测模型的语音发送方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733108.7A CN111899765B (zh) | 2020-07-27 | 2020-07-27 | 基于情绪预测模型的语音发送方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111899765A CN111899765A (zh) | 2020-11-06 |
| CN111899765B true CN111899765B (zh) | 2023-05-30 |
Family
ID=73189259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010733108.7A Active CN111899765B (zh) | 2020-07-27 | 2020-07-27 | 基于情绪预测模型的语音发送方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111899765B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114610830B (zh) * | 2022-03-25 | 2023-07-21 | 江苏海洋大学 | 一种基于驾驶行为数据的地图要素变化检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150119611A (ko) * | 2014-04-16 | 2015-10-26 | 홍충식 | 감성 조절 단말기 |
| CN106775665A (zh) * | 2016-11-29 | 2017-05-31 | 竹间智能科技（上海）有限公司 | 基于情绪指标的情绪状态变化信息的获取方法及装置 |
| CN110636170A (zh) * | 2019-08-31 | 2019-12-31 | 深圳市大拿科技有限公司 | 一种语音通话控制方法及其相关产品 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170143246A1 (en) * | 2015-11-20 | 2017-05-25 | Gregory C Flickinger | Systems and methods for estimating and predicting emotional states and affects and providing real time feedback |
| US10157626B2 (en) * | 2016-01-20 | 2018-12-18 | Harman International Industries, Incorporated | Voice affect modification |
-
2020
- 2020-07-27 CN CN202010733108.7A patent/CN111899765B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150119611A (ko) * | 2014-04-16 | 2015-10-26 | 홍충식 | 감성 조절 단말기 |
| CN106775665A (zh) * | 2016-11-29 | 2017-05-31 | 竹间智能科技（上海）有限公司 | 基于情绪指标的情绪状态变化信息的获取方法及装置 |
| CN110636170A (zh) * | 2019-08-31 | 2019-12-31 | 深圳市大拿科技有限公司 | 一种语音通话控制方法及其相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111899765A (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108429619A (zh) | 身份认证方法和系统 | |
| CN111883140B (zh) | 基于知识图谱和声纹识别的认证方法、装置、设备及介质 | |
| CN109120605A (zh) | 身份验证及账户信息变更方法和装置 | |
| CN110874646A (zh) | 一种联邦学习的异常处理方法、装置及电子设备 | |
| CN111901554B (zh) | 基于语义聚类的通话通道构建方法、装置和计算机设备 | |
| CN112468646A (zh) | 紧急呼叫方法、装置、计算机设备和存储介质 | |
| CN111931189B (zh) | Api接口转用风险检测方法、装置和api服务系统 | |
| CN107492153A (zh) | 考勤系统、方法、考勤服务器及考勤终端 | |
| CN109766418A (zh) | 用于输出信息的方法和装置 | |
| CN115130711A (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
| CN113873088B (zh) | 语音通话的交互方法、装置、计算机设备和存储介质 | |
| CN111145779A (zh) | 一种音频文件的目标检测方法及相关设备 | |
| CN113656761A (zh) | 基于生物识别技术的业务处理方法、装置和计算机设备 | |
| CN111899765B (zh) | 基于情绪预测模型的语音发送方法、装置和计算机设备 | |
| CN114840387A (zh) | 微服务监控方法、装置、计算机设备和存储介质 | |
| CN115941322A (zh) | 基于人工智能的攻击检测方法、装置、设备及存储介质 | |
| CN113204619B (zh) | 基于自然语言处理的语句补全方法、装置、设备及介质 | |
| CN112951215B (zh) | 语音的智能客服回答方法、装置以及计算机设备 | |
| CN113327037A (zh) | 基于模型的风险识别方法、装置、计算机设备和存储介质 | |
| CN113591603A (zh) | 证件的验证方法、装置、电子设备及存储介质 | |
| CN113435990A (zh) | 基于规则引擎的凭证生成方法、装置和计算机设备 | |
| CN113362852A (zh) | 一种用户属性识别方法和装置 | |
| CN116681045A (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
| CN111883112B (zh) | 基于多模式标识的语义识别方法、装置和计算机设备 | |
| CN113946464B (zh) | 一种结合模型及经验的预训练和并行推演的告警降噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |