CN109473122A - 基于检测模型的情绪分析方法、装置及终端设备 - Google Patents
基于检测模型的情绪分析方法、装置及终端设备 Download PDFInfo
- Publication number
- CN109473122A CN109473122A CN201811340781.3A CN201811340781A CN109473122A CN 109473122 A CN109473122 A CN 109473122A CN 201811340781 A CN201811340781 A CN 201811340781A CN 109473122 A CN109473122 A CN 109473122A
- Authority
- CN
- China
- Prior art keywords
- mood
- voice signal
- parameter
- model
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036651 mood Effects 0.000 title claims abstract description 184
- 238000004458 analytical method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 230000005236 sound signal Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 9
- 238000000034 method Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 15
- 238000005194 fractionation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 206010027940 Mood altered Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明适用于数据处理技术领域，提供了基于检测模型的情绪分析方法、装置、终端设备以及计算机可读存储介质，包括：获取多个预存语音信号，对预存语音信号进行分析得到语音参数，语音参数包括声强值、响度值、音高值以及信号周期，其中，每个预存语音信号对应一个预设的情绪等级；基于语音参数构建参数向量，通过多个参数向量以及对应的多个情绪等级对初始模型进行训练得到情绪模型；将待测语音信号的语音参数输入情绪模型，并将情绪模型的输出结果确定为待测语音信号对应的情绪等级。本发明基于预存语音信号的量化值及情绪等级训练模型，从而在客观层面上实现对情绪的分析，提升了情绪分析的客观性和准确性。
Description
技术领域
本发明属于数据处理技术领域，尤其涉及基于检测模型的情绪分析方法、装置、终端设备以及计算机可读存储介质。
背景技术
情绪分析是现今的研究热点，适用于面审、咨询以及推销等场景，一种情绪分析技术是对被访谈者的发音进行分析，得到被访谈者当前的情绪状况，便于访谈者根据情绪状况调整话术及谈话方式。
在现有技术中，通常是访谈者根据被访谈者当前时刻的发音进行人为判断，即根据声音特征来推测被访谈者的情绪状况。由于人为判断带有较大的主观性，容易受到访谈者本身的影响，导致得到的情绪状况并不是客观结果，情绪分析的准确性低。
发明内容
有鉴于此，本发明实施例提供了基于检测模型的情绪分析方法、装置、终端设备以及计算机可读存储介质，以解决现有技术中情绪分析依赖于主观判断，准确性的问题。
本发明实施例的第一方面提供了一种基于检测模型的情绪分析方法，包括：
获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
本发明实施例的第二方面提供了一种基于检测模型的情绪分析装置，包括：
分析单元，用于获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
训练单元，用于基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
输入单元，用于将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
本发明实施例的第三方面提供了一种终端设备，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
本发明实施例与现有技术相比存在的有益效果是：
本发明实施例通过获取多个对应有情绪等级的预存语音信号，并分析得到预存语音信号的语音参数，然后基于语音参数及对应的情绪等级对初始模型进行训练得到情绪模型，最后将作为分析对象的待测语音信号的语音参数输入情绪模型，将情绪模型的输出结果确定为待测语音信号对应的情绪等级，本发明实施例将预设的情绪等级和提取出的语音参数作为输入参数，完成对情绪模型的训练，提升了情绪分析的客观性和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于检测模型的情绪分析方法的实现流程图；
图2是本发明实施例二提供的基于检测模型的情绪分析方法的实现流程图；
图3是本发明实施例三提供的基于检测模型的情绪分析方法的实现流程图；
图4是本发明实施例四提供的基于检测模型的情绪分析方法的实现流程图；
图5是本发明实施例五提供的基于检测模型的情绪分析装置的结构框图；
图6是本发明实施例六提供的终端设备的示意图；
图7是本发明实施例七提供的初始模型中的一个模型单元的架构图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的基于检测模型的情绪分析方法的实现流程，详述如下：
在S101中，获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级。
在本发明实施例中，为了在客观层面上对语音信号携带的情绪进行分析，首先获取多个预存语音信号，将多个预存语音信号作为情绪分析的数据基础，其中，预存语音信号优选为连续的语音信号，预存语音信号可从开源的语音库中预先获取并存储在本地，并且每个预存语音信号都对应一个预设的情绪等级。情绪等级可预先由人为确定，比如由专门的情绪分析师对每个预存语音信号进行分析，确定情绪等级。值得一提的是，情绪等级的具体确定规则可根据实际应用场景进行制定，本发明实施例并不做限定，比如一种方式是为预存语音信号的情绪等级赋予1至10之间的整数，数值越大则代表情绪越激烈。另外，为了方便进行后续训练，在获取到多个预存语音信号后，对多个预存语音信号进行截取，用于截取的截取时长可以预先统一设置，比如设置为2分钟，则对于时长超过2分钟的预存语音信号，从预存语音信号的起始位置开始，截取到时长为2分钟为止；对于时长不超过2分钟的预存语音信号，则不进行截取。按照预设的截取时长进行截取后可能会导致多个预存语音信号的时长不一致，故还可应用另一种截取方式，即先获取多个预存语音信号的时长，并将其中最短的时长作为截取时长进行截取，应用该截取方式进行截取后，所有预存语音信号的时长都为一致。
对于截取后的每个预存语音信号，对其进行分析得到语音参数，语音参数包括声强值、响度值、音高值以及信号周期。具体地，声强为单位时间内通过垂直于声波传播方向的单位面积的能量，单位为瓦/平米，而声强值是通过将语音信号的声强与基准声强进行相比后再取常用对数，最后乘以10得到的数值，计算公式为L＝10lg(I/I0)，该公式中L为声强值，单位为分贝(db)，I为语音信号的声强，I0为基准声强，数值为10-12瓦/平米，lg()为底数为10的常用对数。响度指示语音信号的声音强弱，响度与语音信号的声强和频率相关，在语音信号的频率一定时，随着语音信号的声强越大，响度也越大，而响度值为响度的对数值，单位为方(PHON)，频率为1000赫兹，且声强值为n分贝的语音信号，其响度值为n方，其中n为大于零的整数。音高值指示语音信息的声音频率高低，单位为美尔(Mel)，响度值为40方，频率为1000赫兹的语音信号的音高值为1000美尔。信号周期是发出语音信号的发音人的声带经历过开启和闭合一次的时长。
对于上述的声强值、响度值和音高值，可通过开源的语音分析组件对预存语音信号进行分析得到，并且由于预存语音信号不是仅限于某一个时刻的信号，即在预存语音信号的时长内，声强值、响度值和音高值可能在不同的时刻发生变化，故将预存语音信号的时长内统计到的所有声强值的平均值、所有响度值的平均值和所有音高值的平均值作为最终的声强值、响度值和音高值。当然这并不构成对本发明实施例的限定，根据实际应用场景的不同，上述的声强值、响度值和音高值还存在其他的获取方式。另外，信号周期的计算公式如下：
在上述计算公式中，Measure(m)为衡量函数，x(n)为n时刻的预存语音信号，N为预存语音信号的时长，并且m>0，其中，N可取预存语音信号中数值最大的时刻，比如预存语音信号的时长为3分钟，n的数值以秒为单位确定，则N为3*60＝180。在通过上述计算公式计算信号周期时，对根据不同的m得到的Measure(m)进行数值比较，确定出其中数值最大的Measure(m)，并将数值最大的Measure(m)中m的数值作为信号周期。
在S102中，基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型。
为了量化语音参数与情绪等级之间的关系，在得到语音参数之后，基于语音参数构建参数向量，该参数向量为多维向量，其中，声强值、响度值、音高值以及信号周期分别是参数向量中的一个维度。由于参数向量是基于某一个预存语音信号得到的，故构建完成的参数向量与该预存语音信号的情绪等级存在对应关系，故依次将多个参数向量以及对应的多个情绪等级输入初始模型进行训练，并将训练完成的初始模型确定为情绪模型。
为了便于说明，假设第t个参数向量xt为(Valuesound-t，Valuevolume-t，Valueloudness-t，Periodsignal-t)，该参数向量对应的情绪等级为gradet，其中，t为大于零的整数。初始模型包括多个模型单元，图7是初始模型中的第t个模型单元的架构图，该模型单元内包括四个层级，分别为向量层级、第一层级、第二层级和第三层级，图7中的圆圈表示一种操作，若圆圈中为加号，则代表向量的求和操作；若圆圈中为乘号，则表示向量的乘法操作。对于每一个模型单元，其都要维护一个单元状态，该单元状态的格式为向量，由于图7是初始模型中的第t个模型单元，则假设该模型单元的单元状态为Statet。另外，假设该模型单元的输出参数为outputt，则根据模型单元中的各个层级分别描述模型单元中的计算过程如下：
(1)对于模型单元中的向量层级，其输入参数包括outputt-1(即上一个模型单元的输出参数)和xt，该向量层级用于创建符合本模型单元的维护向量，计算公式为Statet-support＝tanh(Wsupport·[outputt-1，xt]+bsupport)，其中，tanh表示双曲正切函数；
(2)对于模型单元中的第一层级，其作用是设置门限，以确定单元状态Statet中需要更新的参数，具体计算公式为Firstt＝σ(WFirst·[outputt-1，xt]+bFirst)，输出的Firstt为0到1之间的数值，若Firstt为1，则表示完全保留参数，若Firstt为0，则表示完全舍弃参数，其中，σ表示神经网络的SIGMOID函数。在经历过向量层级和第一层级的计算后，将Firstt和Statet-support进行乘积运算，以便后续更新本模型单元的单元状态；
(3)对于模型单元中的第二层级，其作用是确定从上一个模型单元的单元状态Statet-1中丢弃的信息，具体计算公式为Secondt＝σ(WSecond·[outputt-1，xt]+bSecond)，同样地，输出的Secondt为0到1之间的数值，1表示完全保留参数，0表示完全舍弃参数。由于第二层级是确定从单元状态Statet-1中丢弃的信息，故在得到Secondt后，将Statet-1和Secondt进行乘积运算，即体现在图7中的自循环部分。在向量层级、第一层级以及第二层级上计算完成后，即可对本模型单元的单元状态进行更新，计算公式为Statet＝Secondt·Statet-1+Firstt·Statet-support。此外，由图7所示，计算出的单元状态还用于维护模型单元的第一层级、第二层级以及第三层级，便于进行后续的模型单元的计算；
(4)对于模型单元中的第三层级，其作用是计算本模型单元的输出参数，具体计算公式包括Thirdt＝σ(WThird·[outputt-1，xt]+bThird)和outputt＝Thirdt·tanh(Statet)。
在将输入参数xt输入初始模型中的第t个模型单元后，可经过计算得到输出参数outputt，由于已知该输入参数xt对应的情绪等级gradet，故可将输出参数outputt与情绪等级gradet之间的差值作为误差值，并基于计算出的误差值，采用反向传播算法(Backpropagation algorithm)调整模型单元的各个层级中的参数，包括WFirst、bFirst、WSecond、bSecond、WThird和bThird，从而使得模型单元的输出参数尽量接近于情绪等级。值得说明的是，上述的WFirst、WSecond和WThird分别表示第一层级、第二层级和第三层级的层级权重，上述的bFirst、bSecond和bThird表示均衡变量，在初始化时，可对多个层级权重的数值和多个均衡变量的数值进行随机设置，并在得到误差值后，基于反向传播算法对层级权重和均衡变量的数值进行调整。在将所有的参数向量及情绪等级输入初始模型，并完成参数调整后，得到训练完成的情绪模型。
在S103中，将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
完成对情绪模型的训练后，即可开始进行情绪分析。具体地，获取待测语音信号，并对待测语音信号分析得到语音参数，其中，对待测语音信号进行分析的方式与对预存语音信号进行分析的方式相同。将对待测语音信号进行分析得到的语音参数同样以向量形式输入情绪模型，并将情绪模型的输出结果(输出参数)确定为待测语音信号对应的情绪等级。后续若需要向外界输出情绪等级，则可以通过文字、图形或语音等形式进行输出。
通过图1所示实施例可知，在本发明实施例中，通过获取多个对应有情绪等级的预存语音信号，对预存语音信号进行分析得到语音参数，然后基于语音参数构建参数向量，通过多个参数向量以及对应的多个情绪等级对初始模型进行训练得到情绪模型，若要进行对待测语音信号的情绪分析，则将待测语音信号的语音参数输入情绪模型，并将情绪模型的输出结果确定为待测语音信号对应的情绪等级，本发明实施例通过拆解预存语音信号中的特征，并根据特征及情绪等级训练情绪模型，提升了情绪分析的客观性和准确性。
图2所示，是在本发明实施例一的基础上，并在语音参数还包括信号能量值的基础上，将对预存语音信号进行分析得到语音参数的过程进行细化后得到的一种方法。本发明实施例提供了基于检测模型的情绪分析方法的实现流程图，如图2所示，该情绪分析方法可以包括以下步骤：
在S201中，在时间维度上将所述预存语音信号拆分为多个子语音信号，并将每一个所述子语音信号与加权系数进行乘积运算，其中，所述加权系数由预设的加权公式生成。
在预存语音信号为连续的语音信号的情况下，为了提升对初始模型进行训练的精度，在本发明实施例中，在时间维度上将预存语音信号拆分为多个子语音信号。具体地，由于语音信号在较短的时长内具有平稳性，故可预先确定拆分时长，并从预存语音信号的起始位置开始，每隔一个拆分时长进行一次截取，将截取出的语音信号作为子语音信号，比如预设的拆分时长为30毫秒，预存语音信号的时长为120毫秒，则可截取出4个子语音信号。
可选地，获取预设的重叠时长，在已截取一个子语音信号后，向后移动一个拆分时长，然后向前移动一个重叠时长，按照拆分时长的宽度截取下一个语音信号。在本发明实施例中，由于预存语音信号是连续信号，故为了防止丢失预存语音信号中的动态信息，预先设置重叠时长，并按照拆分时长和重叠时长进行对预存语音信号的截取，其中，重叠时长小于拆分时长。在截取过程中，后一个子语音信号与前一个子语音信号产生重叠，且重叠区域的宽度为重叠时长。举例来说，拆分时长为30毫秒，重叠时长为10毫秒，预存语音信号的时长为120毫秒，则第一个子语音信号的宽度为预存语音信号的第0秒至第30毫秒，第二个子语音信号的宽度为预存语音信号的第20毫秒至第50毫秒，第三个子语音信号的宽度为预存语音信号的第40毫秒至第70毫秒，以此类推，其中，宽度是指时间维度上的数值。
完成对预存语音信号的截取后，为了提升每一个子语音信号的周期性，将得到的每一个子语音信号与加权系数进行乘积运算，以对每一个子语音信号的左右两端进行弱化处理。加权系数由预设的加权公式生成，加权公式如下：
进行乘积运算的公式为：xnew(n)＝x(n)·ω(n)，其中，本步骤中的x(n)为n时刻的子语音信号，xnew(n)是加权后的n时刻的子语音信号。
可选地，获取预设的重叠时长，在已截取一个子语音信号后，向后移动一个拆分时长，然后向前移动一个重叠时长，按照拆分时长的宽度截取下一个语音信号。在本发明实施例中，由于将子语音信号与加权系数进行乘积运算会弱化子语音信号的两端，故在本发明实施例中预先设置重叠时长，并按照拆分时长和重叠时长进行对预存语音信号的截取，其中，重叠时长小于拆分时长。在截取过程中，后一个子语音信号与前一个子语音信号产生重叠，且重叠区域的宽度为重叠时长。举例来说，拆分时长为30毫秒，重叠时长为10毫秒，预存语音信号的时长为120毫秒，则第一个子语音信号的宽度为预存语音信号的第0秒至第30毫秒，第二个子语音信号的宽度为预存语音信号的第20毫秒至第50毫秒，第三个子语音信号的宽度为预存语音信号的第40毫秒至第70毫秒，以此类推，其中，宽度是指时间维度上的数值。在根据上述方法生成子语音信号后，由于子语音信号的两端存在重叠，故将子语音信号与加权系数进行乘积运算时，降低了两端弱化后对子语音信号本身的影响。
在S202中，将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
对于加权后的每个子语音信号，获取该子语音信号的声强值、响度值、音高值、信号能量值以及信号周期，其中声强值、响度值以及音高值同样可通过运行语音分析组件进行自动获取，具体在该子语音信号的拆分时长内，将获取到的所有声强值、响度值以及音高值进行平均值运算，得到最终的声强值、响度值以及音高值。至于信号能量值，其计算公式为：
在上述公式中，En为n时刻的信号能量值。在计算过程中，可在子语音信号的拆分时长内设置多个采样点，并将多个采样点得到的信号能量值的平均值确定为最终的与子语音信号对应的信号能量值。
至于信号周期，由于子语音信号的拆分时长较短，且周期性更强，故计算方式发生更新，计算公式如下：
在上述计算公式中，x(n+m)为n+m时刻的子语音信号，θ的取值范围为0＜θ＜60，在计算子语音信号的信号周期时，对根据不同的θ得到的Measure(θ)进行数值比较，确定出其中数值最大的Measure(θ)，并将数值最大的Measure(θ)中θ的数值作为信号周期。完成计算后，将加权后的子语音信号的声强值、响度值、音高值、信号能量值以及信号周期组合为语音参数，由于一个预存语音信号对应多个子语音信号，故通过上述计算后，一个预存语音信号对应多个语音参数，后续对初始模型的训练过程中，在提升了对初始模型的训练精度的同时，也增加了训练的计算量。
通过图2所示实施例可知，在本发明实施例中，在时间维度上将预存语音信号拆分为多个子语音信号，并将每一个子语音信号与加权系数进行乘积运算，然后将加权后的子语音信号的声强值、响度值、音高值、信号能量值以及信号周期组合为语音参数，本发明实施例通过对预存声音信号在时间维度上进行拆分，并生成与每一个子语音信号对应的语音参数，提升了对初始模型进行训练的训练精度，进一步提升了训练完成的情绪模型的准确性。
图3所示，是在本发明实施例一的基础上，并在包括多个初始模型，且预存语音信号还对应属性特征的基础上，对基于语音参数构建参数向量，通过多个参数向量以及对应的多个情绪等级对初始模型进行训练得到情绪模型的过程进行细化后得到的一种方法。本发明实施例提供了基于检测模型的情绪分析方法的实现流程图，如图3所示，该情绪分析方法可以包括以下步骤：
在S301中，将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集，并基于所述特征参数集内的所述语音参数构建所述参数向量。
预存语音信号可能对应属性特征，属性特征与预存语音信号的一种属性相关，比如属性特征可与预存语音信号的发音人的年龄相关，并将年龄在0岁至10岁之间划分为一种属性特征，将年龄在11岁至20岁之间划分为另一种属性特征，当然，根据实际应用场景的不同，属性特征还可为更多的内容。在本发明实施例中，将不同属性特征对应的预存语音信号进行分别处理，具体将同一个属性特征对应的预存语音信号的语音参数划分至单独的特征参数集，并基于特征参数集内的语音参数构建参数向量。
在S302中，将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系，并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
由于特征参数集与预存语音信号的一种属性特征相关，故将该属性特征与多个初始模型中的一个初始模型(可随机选择)建立映射关系，并将特征参数集内的多个参数向量，以及与参数向量对应的情绪等级作为输入参数，对存在映射关系的初始模型进行训练得到情绪模型。通过上述方法，若存在y种属性特征，则最终可得到y个情绪模型，每个情绪模型都与一种属性特征存在映射关系，其中y为大于零的整数。
可选地，获取待测语音信号对应的属性特征；根据映射关系确定与属性特征对应的情绪模型，将待测语音信号的语音参数输入该情绪模型。在训练得到多个情绪模型后，获取待测语音信号的属性特征，并根据映射关系确定与该属性特征对应的情绪模型，将待测语音信号的语音参数输入该情绪模型进行情绪分析。举例来说，对于多个预存语音信号来说，包括3种属性特征，一种是年龄在0至10岁之间，命名为特征一；一种是年龄在11岁至20岁之间，命名为特征二；最后一种是年龄在21岁至30岁之间，命名为特征三。则最终训练得到的情绪模型也为3个，分别与特征一、特征二和特征三存在映射关系。对于待测语音信号，获取其对应的属性特征，比如待测语音信号的发音人的年龄的22岁，则确定对应的属性特征为特征三，并将待测语音信号的语音参数输入至与特征三存在映射关系的情绪模型。
通过图3所示实施例可知，在本发明实施例中，将同一个属性特征对应的预存语音信号的语音参数划分至特征参数集，并基于特征参数集内的语音参数构建参数向量，将特征参数集对应的属性特征与其中一个初始模型建立映射关系，并通过特征参数集内的多个参数向量及对应的多个情绪等级对该初始模型进行训练得到情绪模型，本发明实施例针对不同的属性特征训练出多个情绪模型，提升了情绪分析的针对性。
图4所示，是在本发明实施例三的基础上，并在属性特征包括男性和女性的基础上，对将同一个属性特征对应的预存语音信号的语音参数划分至特征参数集之前的过程进行扩展后得到的一种方法。本发明实施例提供了基于检测模型的情绪分析方法的实现流程图，如图4所示，该情绪分析方法可以包括以下步骤：
在S401中，获取预设的频率阈值，并基于所述信号周期确定所述预存语音信号的信号频率。
在本发明实施例中，属性特征包括男性和女性，而由于女性声带的振动频率较高，造成男性和女性的发声频率存在差异，故在本发明实施例中，针对预存语音信号对应的属性特征未知的情况，将信号周期的倒数确定为预存语音信号的信号频率，并根据信号频率判断预存语音信号对应的属性特征为男性或女性。
在S402中，若所述信号频率高于所述频率阈值，则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性。
在本发明实施例中，预先设置频率阈值，若信号频率高于频率阈值，则将信号频率对应的预存语音信号的属性特征设置为女性。其中，频率阈值可自定义设置，如设置为500赫兹，也可在大量已知属性特征的样本语音信号的基础上，设置多个频率阈值，并分析出其中准确率最高的频率阈值，将该频率阈值确定为本步骤中作为判断条件的频率阈值。
在S403中，若所述信号频率不高于所述频率阈值，则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
若信号频率不高于频率阈值，则将信号频率对应的预存语音信号的属性特征设置为男性。在完成对所有预存语音信号的属性特征设置后，将男性对应的预存语音信号的语音参数划分至特征参数集，将女性对应的预存语音信号的语音参数划分至另一个特征参数集，实现对不同属性特征的预存语音信号的分别处理。
通过图4所示实施例可知，在本发明实施例中，获取预设的频率阈值，并基于信号周期确定预存语音信号的信号频率，若信号频率高于频率阈值，则将信号频率对应的预存语音信号的属性特征设置为女性；若信号频率不高于频率阈值，则将信号频率对应的预存语音信号的属性特征设置为男性。本发明实施例通过信号频率来确定预存语音信号的属性特征，方便后续对不同属性特征的预存语音信号进行分类，提升了情绪分析的针对性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的基于检测模型的情绪分析方法，图5示出了本发明实施例提供的基于检测模型的情绪分析装置的结构框图，参照图5，该情绪分析装置包括：
分析单元51，用于获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
训练单元52，用于基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
输入单元53，用于将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
可选地，语音参数还包括信号能量值，分析单元51包括：
拆分单元，用于在时间维度上将所述预存语音信号拆分为多个子语音信号，并将每一个所述子语音信号与加权系数进行乘积运算，其中，所述加权系数由预设的加权公式生成；
组合单元，用于将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
可选地，包括多个初始模型，且预存语音信号还对应属性特征，训练单元52包括：
划分单元，用于将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集，并基于所述特征参数集内的所述语音参数构建所述参数向量；
建立单元，用于将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系，并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
可选地，输入单元53包括：
获取单元，用于获取所述待测语音信号对应的所述属性特征；
确定单元，用于根据所述映射关系确定与所述属性特征对应的所述情绪模型，将所述待测语音信号的所述语音参数输入所述情绪模型。
可选地，属性特征包括男性和女性，划分单元还包括：
频率确定单元，用于获取预设的频率阈值，并基于所述信号周期确定所述预存语音信号的信号频率；
第一设置单元，用于若所述信号频率高于所述频率阈值，则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性；
第二设置单元，用于若所述信号频率不高于所述频率阈值，则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
因此，本发明实施例提供的基于检测模型的情绪分析装置通过将预存语音信号的特征及对应的情绪等级作为输入参数，从而对初始模型进行训练得到情绪模型，实现了对情绪的量化分析，提升了情绪分析的客观性和准确性。
图6是本发明实施例提供的终端设备的示意图。如图6所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如基于检测模型的情绪分析程序。所述处理器60执行所述计算机程序62时实现上述各个基于检测模型的情绪分析方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器60执行所述计算机程序62时实现上述各基于检测模型的情绪分析装置实施例中各单元的功能，例如图5所示单元51至53的功能。
示例性的，所述计算机程序62可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。例如，所述计算机程序62可以被分割成分析单元、训练单元和输入单元，各单元具体功能如下：
分析单元，用于获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
训练单元，用于基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
输入单元，用于将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将所述终端设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于检测模型的情绪分析方法，其特征在于，包括：
获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
2.如权利要求1所述的情绪分析方法，其特征在于，所述语音参数还包括信号能量值，所述对所述预存语音信号进行分析得到语音参数，包括：
在时间维度上将所述预存语音信号拆分为多个子语音信号，并将每一个所述子语音信号与加权系数进行乘积运算，其中，所述加权系数由预设的加权公式生成；
将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
3.如权利要求1所述的情绪分析方法，其特征在于，包括多个所述初始模型，且所述预存语音信号还对应属性特征，所述基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型，包括：
将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集，并基于所述特征参数集内的所述语音参数构建所述参数向量；
将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系，并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
4.如权利要求3所述的情绪分析方法，其特征在于，所述将待测语音信号的所述语音参数输入所述情绪模型，包括：
获取所述待测语音信号对应的所述属性特征；
根据所述映射关系确定与所述属性特征对应的所述情绪模型，将所述待测语音信号的所述语音参数输入所述情绪模型。
5.如权利要求3所述的情绪分析方法，其特征在于，所述属性特征包括男性和女性，所述将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集之前，还包括：
获取预设的频率阈值，并基于所述信号周期确定所述预存语音信号的信号频率；
若所述信号频率高于所述频率阈值，则将所述信号频率对应的所述预存语音信号的所述属性特征设置为女性；
若所述信号频率不高于所述频率阈值，则将所述信号频率对应的所述预存语音信号的所述属性特征设置为男性。
6.一种基于检测模型的情绪分析装置，其特征在于，包括：
分析单元，用于获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
训练单元，用于基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
输入单元，用于将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
7.一种终端设备，其特征在于，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取多个预存语音信号，对所述预存语音信号进行分析得到语音参数，所述语音参数包括声强值、响度值、音高值以及信号周期，其中，每个所述预存语音信号对应一个预设的情绪等级；
基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型；
将待测语音信号的所述语音参数输入所述情绪模型，并将所述情绪模型的输出结果确定为所述待测语音信号对应的所述情绪等级。
8.如权利要求7所述的终端设备，其特征在于，所述语音参数还包括信号能量值，所述对所述预存语音信号进行分析得到语音参数，包括：
在时间维度上将所述预存语音信号拆分为多个子语音信号，并将每一个所述子语音信号与加权系数进行乘积运算，其中，所述加权系数由预设的加权公式生成；
将加权后的所述子语音信号的所述声强值、所述响度值、所述音高值、所述信号能量值以及所述信号周期组合为所述语音参数。
9.如权利要求7所述的终端设备，其特征在于，包括多个所述初始模型，且所述预存语音信号还对应属性特征，所述基于所述语音参数构建参数向量，通过多个所述参数向量以及对应的多个所述情绪等级对初始模型进行训练得到情绪模型，包括：
将同一个属性特征对应的所述预存语音信号的所述语音参数划分至特征参数集，并基于所述特征参数集内的所述语音参数构建所述参数向量；
将所述特征参数集对应的所述属性特征与其中一个所述初始模型建立映射关系，并通过所述特征参数集内的多个所述参数向量及对应的多个所述情绪等级对所述初始模型进行训练得到所述情绪模型。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述情绪分析方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811340781.3A CN109473122A (zh) | 2018-11-12 | 2018-11-12 | 基于检测模型的情绪分析方法、装置及终端设备 |
| PCT/CN2018/124629 WO2020098107A1 (zh) | 2018-11-12 | 2018-12-28 | 基于检测模型的情绪分析方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811340781.3A CN109473122A (zh) | 2018-11-12 | 2018-11-12 | 基于检测模型的情绪分析方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109473122A true CN109473122A (zh) | 2019-03-15 |
Family
ID=65671765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811340781.3A Pending CN109473122A (zh) | 2018-11-12 | 2018-11-12 | 基于检测模型的情绪分析方法、装置及终端设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109473122A (zh) |
| WO (1) | WO2020098107A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263326A (zh) * | 2019-05-21 | 2019-09-20 | 平安科技（深圳）有限公司 | 一种用户行为预测方法、预测装置、存储介质及终端设备 |
| CN111128190A (zh) * | 2019-12-31 | 2020-05-08 | 恒信东方文化股份有限公司 | 一种表情匹配的方法及系统 |
| WO2021027117A1 (zh) * | 2019-08-15 | 2021-02-18 | 平安科技（深圳）有限公司 | 语音情绪识别方法、装置及计算机可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102222500A (zh) * | 2011-05-11 | 2011-10-19 | 北京航空航天大学 | 结合情感点的汉语语音情感提取及建模方法 |
| CN104240720A (zh) * | 2013-06-24 | 2014-12-24 | 北京大学深圳研究生院 | 一种基于多重分形和信息融合的语音情感识别方法 |
| CN105895101A (zh) * | 2016-06-08 | 2016-08-24 | 国网上海市电力公司 | 用于电力智能辅助服务系统的语音处理设备及处理方法 |
| CN105894039A (zh) * | 2016-04-25 | 2016-08-24 | 京东方科技集团股份有限公司 | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 |
| CN107464573A (zh) * | 2017-09-06 | 2017-12-12 | 竹间智能科技（上海）有限公司 | 一种新型客服通话质检系统及方法 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN108122552A (zh) * | 2017-12-15 | 2018-06-05 | 上海智臻智能网络科技股份有限公司 | 语音情绪识别方法和装置 |
| US20180197557A1 (en) * | 2017-01-12 | 2018-07-12 | Qualcomm Incorporated | Characteristic-based speech codebook selection |
| CN108346436A (zh) * | 2017-08-22 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 语音情感检测方法、装置、计算机设备及存储介质 |
| CN108536802A (zh) * | 2018-03-30 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 基于儿童情绪的交互方法及装置 |
| CN108564942A (zh) * | 2018-04-04 | 2018-09-21 | 南京师范大学 | 一种基于敏感度可调的语音情感识别方法及系统 |
| CN108597539A (zh) * | 2018-02-09 | 2018-09-28 | 桂林电子科技大学 | 基于参数迁移和语谱图的语音情感识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108682432B (zh) * | 2018-05-11 | 2021-03-16 | 南京邮电大学 | 语音情感识别装置 |
-
2018
- 2018-11-12 CN CN201811340781.3A patent/CN109473122A/zh active Pending
- 2018-12-28 WO PCT/CN2018/124629 patent/WO2020098107A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102222500A (zh) * | 2011-05-11 | 2011-10-19 | 北京航空航天大学 | 结合情感点的汉语语音情感提取及建模方法 |
| CN104240720A (zh) * | 2013-06-24 | 2014-12-24 | 北京大学深圳研究生院 | 一种基于多重分形和信息融合的语音情感识别方法 |
| CN105894039A (zh) * | 2016-04-25 | 2016-08-24 | 京东方科技集团股份有限公司 | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 |
| CN105895101A (zh) * | 2016-06-08 | 2016-08-24 | 国网上海市电力公司 | 用于电力智能辅助服务系统的语音处理设备及处理方法 |
| US20180197557A1 (en) * | 2017-01-12 | 2018-07-12 | Qualcomm Incorporated | Characteristic-based speech codebook selection |
| CN108346436A (zh) * | 2017-08-22 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 语音情感检测方法、装置、计算机设备及存储介质 |
| CN107464573A (zh) * | 2017-09-06 | 2017-12-12 | 竹间智能科技（上海）有限公司 | 一种新型客服通话质检系统及方法 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN108122552A (zh) * | 2017-12-15 | 2018-06-05 | 上海智臻智能网络科技股份有限公司 | 语音情绪识别方法和装置 |
| CN108597539A (zh) * | 2018-02-09 | 2018-09-28 | 桂林电子科技大学 | 基于参数迁移和语谱图的语音情感识别方法 |
| CN108536802A (zh) * | 2018-03-30 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 基于儿童情绪的交互方法及装置 |
| CN108564942A (zh) * | 2018-04-04 | 2018-09-21 | 南京师范大学 | 一种基于敏感度可调的语音情感识别方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263326A (zh) * | 2019-05-21 | 2019-09-20 | 平安科技（深圳）有限公司 | 一种用户行为预测方法、预测装置、存储介质及终端设备 |
| WO2021027117A1 (zh) * | 2019-08-15 | 2021-02-18 | 平安科技（深圳）有限公司 | 语音情绪识别方法、装置及计算机可读存储介质 |
| CN111128190A (zh) * | 2019-12-31 | 2020-05-08 | 恒信东方文化股份有限公司 | 一种表情匹配的方法及系统 |
| CN111128190B (zh) * | 2019-12-31 | 2023-03-21 | 恒信东方文化股份有限公司 | 一种表情匹配的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020098107A1 (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886498B (zh) | 一种基于特征选择的emd-gru短期电力负荷预测方法 | |
| Mao et al. | Towards a trust prediction framework for cloud services based on PSO-driven neural network | |
| CN109473122A (zh) | 基于检测模型的情绪分析方法、装置及终端设备 | |
| CN103971680B (zh) | 一种语音识别的方法、装置 | |
| CN104751842B (zh) | 深度神经网络的优化方法及系统 | |
| CN109256118B (zh) | 基于生成式听觉模型的端到端汉语方言识别系统和方法 | |
| CN107146624A (zh) | 一种说话人确认方法及装置 | |
| CN108597496A (zh) | 一种基于生成式对抗网络的语音生成方法及装置 | |
| CN106991285A (zh) | 一种短期风速多步预测方法及装置 | |
| CN106934547A (zh) | 用于不同政务信息公开的评估指标筛选方法及系统 | |
| CN109214446A (zh) | 潜力绩优人员类型识别方法、系统、终端及计算机可读存储介质 | |
| CN107274888A (zh) | 一种基于倍频程信号强度和差异化特征子集的情感语音识别方法 | |
| CN110457757A (zh) | 基于多特征融合的岩体失稳阶段预测方法及装置 | |
| CN110197251A (zh) | 基于深度学习网络的预测方法、装置、设备及存储介质 | |
| CN111862951A (zh) | 语音端点检测方法及装置、存储介质、电子设备 | |
| CN109308903A (zh) | 语音模仿方法、终端设备及计算机可读存储介质 | |
| CN110109955A (zh) | 数据调用量统计方法、系统、计算机装置及可读存储介质 | |
| CN108053826A (zh) | 用于人机交互的方法、装置、电子设备及存储介质 | |
| He et al. | Similar day selecting based neural network model and its application in short-term load forecasting | |
| Fan et al. | The impact of student learning aids on deep learning and mobile platform on learning behavior | |
| CN113177673B (zh) | 一种空调冷负荷预测优化方法、系统及设备 | |
| CN117633184A (zh) | 一种模型构建和智能回复方法、设备及介质 | |
| CN113658689A (zh) | 多智能体模型的训练方法、装置、电子设备及存储介质 | |
| CN113095511A (zh) | 一种在自动化主站实现操作到位的判断方法及装置 | |
| Ma et al. | Temporal pyramid recurrent neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190315 |