CN111429946A - 语音情绪识别方法、装置、介质及电子设备 - Google Patents

语音情绪识别方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111429946A
CN111429946A CN202010138561.3A CN202010138561A CN111429946A CN 111429946 A CN111429946 A CN 111429946A CN 202010138561 A CN202010138561 A CN 202010138561A CN 111429946 A CN111429946 A CN 111429946A
Authority
CN
China
Prior art keywords
emotion
feature
voice
audio features
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010138561.3A
Other languages
English (en)
Inventor
王德勋
徐国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010138561.3A priority Critical patent/CN111429946A/zh
Publication of CN111429946A publication Critical patent/CN111429946A/zh
Priority to PCT/CN2020/105543 priority patent/WO2021174757A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请是关于一种语音情绪识别方法、装置、介质及电子设备，属于情绪识别技术领域，该方法包括：当接收到用户语音，提取所述用户语音的多类音频特征；分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。本申请可以实现高效地、准确地从语音中识别出各类潜在情绪。

Description

语音情绪识别方法、装置、介质及电子设备
技术领域
本申请涉及情绪识别技术领域，具体而言，涉及一种语音情绪识别方法、装置、介质及电子设备。
背景技术
情感计算是赋予智能机器感知，理解和表达各种情感状态能力的重要技术，语音技术作为情感信息表达的重要载体，也受到越来越多的重视。虽然目前语音情绪检测有着不错的成果，但受限于数据集质量和情绪的主观标注等问题，多数模型都只能判断单一情绪，且可判断情绪种类也较少，无法精确描述复杂语音中的隐藏情感，对于一段语音中可能包含的多种情感，其边界也难以确定，这些问题都大大限制了语音情绪识别技术的推广与发展。
因此，需要提供一种新的语音情绪识别方法、装置、介质及电子设备。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种语音情绪识别方案，进而至少在一定程度上实现高效地、准确地从语音中识别出各类潜在情绪。
根据本申请的一个方面，提供一种语音情绪识别方法，包括：
当接收到用户语音，提取所述用户语音的多类音频特征；
分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；
基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；
将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；
获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
在本申请的一种示例性实施例中，所述当接收到用户语音，提取所述用户语音的多类音频特征，包括：
当接收到用户语音，将所述用户语音转化为文本；
将所述文本与特征提取类别数据库中的文本样本匹配，得到与所述文本匹配的文本样本；
从所述用户语音，提取与所述文本样本关联的多个特征类别的音频特征。
在本申请的一种示例性实施例中，所述分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签，包括：
分别将所述音频特征与情绪特征库中的特征样本进行对比，得到与每个所述音频特征相似度超过预定阈值的多个特征样本，所述预定阈值与所述音频特征的个数对应；
从所述情绪特征库中获取每个所述特征样本对应的情绪标签。
在本申请的一种示例性实施例中，所述基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵，包括：
将所述音频特征添加到矩阵的第一行；
将每个所述音频特征相应的所述情绪标签，按照每个所述特征样本与所述音频特征的相似度由高到低的顺序，添加到每个所述音频特征对应的列得到所述特征标签矩阵，其中，所述矩阵每行对应于一个相似度范围。
在本申请的一种示例性实施例中，所述多情绪识别模型的构建方法，包括：
利用AISHELL中文声纹数据库训练restnet34模型，训练结束后取出前n层网络作为预训练模型；
为所述预训练模型接入多层全连接层作为分类器，得到识别模型，以使用标注好的语音情绪数据集对所述识别模型进行训练得到多情绪识别模型。
在本申请的一种示例性实施例中，还包括：
同时初始化第一多情绪识别模型和第二多情绪识别模型，并使用有标签混合无标签的原始数据在所述第一多情绪识别模型上进行训练得第一预测值，并得到有标签数据部分的分类误差损失值；
利用指数滑动平均更新所述第二多情绪识别模型，并将加上噪声的数据输入更新后的所述第二多情绪识别模型训练得到第二预测值；
计算所述第一预测值和所述第二预测值之间的误差作为一致性损失值；
利用所述分类误差损失值与所述一致性损失值之和更新所述第一多情绪识别模型。
在本申请的一种示例性实施例中，所述多类音频特征至少包括过零率特征、短时能量特征、短时平均幅度差特征、发音帧数特征、基音频率特征、共振峰特征、谐波噪声比特征以及梅尔倒谱系数特征中三个。
根据本申请的一个方面，提供一种语音情绪识别装置，包括：
提取模块，用于当接收到用户语音，提取所述用户语音的多类音频特征；
匹配模块，用于分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；
构建模块，用于基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；
预测模块，用于将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；
确定模块，用于获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
根据本申请的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
根据本申请的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的计算机程序指令；其中，所述处理器配置为经由执行所述计算机程序指令来执行上述任一项所述的方法。
本申请一种语音情绪识别方法及装置，首先，当接收到用户语音，提取所述用户语音的多类音频特征；这样得到多类音频特征可以从不同的角度反映用户的语音的变化特点，即可以从不同的角度表征用户的情绪。然后，分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；这样可以获取到每个特征向量所表现的具有嫌疑的情绪，进而可以指导后续步骤中识别到用户潜在的各种隐藏的情绪。然后，基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；可以将不同类别的音频特征及相应的各个相似度的特征样本体现的不同可能性的情绪标签，通过特征标签矩阵结构化联系起来，可以反映出可能的情绪变化规律。进而，将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；可以通过多情绪识别模型，高效准确地基于特征标签矩阵分析出多个可能的场景及对应的多个情绪。最后，获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪；这样可以根据语音真实场景的匹配，获取到语音的语音情绪识别结果。以这种方式可以实现高效地、准确地从语音中识别出各类潜在情绪。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出一种语音情绪识别方法的流程图。
图2示意性示出一种语音情绪识别方法的应用场景示例图。
图3示意性示出一种特征提取方法流程图。
图4示意性示出一种语音情绪识别装置的方框图。
图5示意性示出一种用于实现上述语音情绪识别方法的电子设备示例框图。
图6示意性示出一种用于实现上述语音情绪识别方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本申请的各方面变得模糊。
此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了语音情绪识别方法，该语音情绪识别方法可以运行于服务器，也可以运行于服务器集群或云服务器等，当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该语音情绪识别方法可以包括以下步骤：
步骤S110，当接收到用户语音，提取所述用户语音的多类音频特征；
步骤S120，分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；
步骤S130，基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；
步骤S140，将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；
步骤S150，获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
上述语音情绪识别方法中，首先，当接收到用户语音，提取所述用户语音的多类音频特征；这样得到多类音频特征可以从不同的角度反映用户的语音的变化特点，即可以从不同的角度表征用户的情绪。然后，分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；这样可以获取到每个特征向量所表现的具有嫌疑的情绪，进而可以指导后续步骤中识别到用户潜在的各种隐藏的情绪。然后，基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；可以将不同类别的音频特征及相应的各个相似度的特征样本体现的不同可能性的情绪标签，通过特征标签矩阵结构化联系起来，可以反映出可能的情绪变化规律。进而，将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；可以通过多情绪识别模型，高效准确地基于特征标签矩阵分析出多个可能的场景及对应的多个情绪。最后，获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪；这样可以根据语音真实场景的匹配，获取到语音的语音情绪识别结果。以这种方式可以实现高效地、准确地从语音中识别出各类潜在情绪。
下面，将结合附图对本示例实施方式中上述语音情绪识别方法中的各步骤进行详细的解释以及说明。
在步骤S110中，当接收到用户语音，提取所述用户语音的多类音频特征。
在本示例的实施方式中，参考图2所示，服务器201接收到服务器202发送的用户语音，然后服务器201就可以提取用户语音的多类音频特征，进而在后续步骤中进行情绪识别。其中，服务器201可以是任何具有执行程序指令、存储功能的终端，例如云服务器、手机、电脑等；服务器202可以是任何具有存储功能的终端，例如手机、电脑等。
音频特征可以是：过零率特征、短时能量特征、短时平均幅度差特征、发音帧数特征、基音频率特征、共振峰特征、谐波噪声比特征以及梅尔倒谱系数特征等各种音频特征。这些特征可以通过现有的音频特征提取方法从一段音频中提取到。提取到的用户语音的多类音频特征可以从不同的角度反映用户的语音的变化特点，即可以从不同的角度表征用户的情绪，例如，短时能量体现的是信号在不同时刻的强弱程度，进而可以反映用户在一段语音中情绪稳定性变化过程；音频具有周期特性，平稳噪声情况下利用短时平均幅度差可以更好地观察周期特性，进而短时平均幅度差可以反映用户在一段语音中情绪的周期性；共振峰是当声门处准周期脉冲激励进入声道时会引起共振特性，产生一组共振频率，这一组共振频率称为共振峰频率或简称共振峰，共振峰参数包括共振峰频率和频带的宽度，它是区别不同韵母的重要参数，可以从语言角度表征用户情绪。
以这种方式，通过提取用户语音的多类音频特征可以在后续步骤根据多类音频特征分析用户情绪。
在本示例的一种实施方式中，参考图3所示，所述当接收到用户语音，提取所述用户语音的多类音频特征，包括：
步骤S310，当接收到用户语音，将所述用户语音转化为文本；
步骤S320，将所述文本与特征提取类别数据库中的文本样本匹配，得到与所述文本匹配的文本样本；
步骤S330，从所述用户语音，提取与所述文本样本关联的多个特征类别的音频特征。
当接收到用户语音，将用户语音转化为文本，可以得到用户所表达的真实内容，然后，将转化得到的文本与特征提取类别数据库中的文本样本匹配，得到与转化得到的文本匹配的文本样本，特征提取类别数据库中存储不同语意的文本在表达时可以清楚反映情绪的多个音频特征的特征类别。进而，从用户语音，提取与文本样本关联的多个特征类别的音频特征，可以在后续步骤中高效准确进行情绪识别。
一种实施例中，所述多类音频特征至少包括过零率特征、短时能量特征、短时平均幅度差特征、发音帧数特征、基音频率特征、共振峰特征、谐波噪声比特征以及梅尔倒谱系数特征中三个。
多类音频特征至少包括过零率特征、短时能量特征、短时平均幅度差特征、发音帧数特征、基音频率特征、共振峰特征、谐波噪声比特征以及梅尔倒谱系数特征中三个，可以以较高的准确度实现多情绪识别。
在步骤S120中.分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签。
在本示例的实施方式中，情绪特征库中保存了各个类别的音频特征的特征样本，每个特征样本关联于一个类别的情绪标签。将音频特征与情绪特征库中的特征样本进行匹配，可以通过欧氏距离或者汉明距离等计算音频特征与特征样本的相似度，进而得到与每个音频特征匹配的多个特征样本(如相似度大于50％的特征样本)相应的情绪标签，这样可以获取到每个特征向量所表现的多个具有嫌疑的情绪，进而可以指导后续步骤中识别到用户潜在的各种隐藏的情绪。
在本示例的一种实施方式中，所述分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签，包括：
分别将所述音频特征与情绪特征库中的特征样本进行对比，得到与每个所述音频特征相似度超过预定阈值的多个特征样本，所述预定阈值与所述音频特征的个数对应；
从所述情绪特征库中获取每个所述特征样本对应的情绪标签。
预定阈值可以根据精确度需求进行设定，预定阈值与音频特征的个数对应，即预定阈值的取值通过音频特征的个数决定，可以是音频特征的个数越多，预定阈值的取值越小。这样通过分别将音频特征与情绪特征库中的特征样本进行对比，得到与每个音频特征相似度超过预定阈值的多个特征样本，然后，从情绪特征库中获取每个特征样本对应的情绪标签，可以保证每个音频特征的情绪识别知道可靠性。
在步骤S130中，基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵。
在本示例的实施方式中，特征标签矩阵存储用户语音的音频特征及相应的情绪标签。可以反映用户语音的音频特征及反映的可能的情绪的情绪标签，然后，将不同类别的音频特征及相应的各个相似度的特征样本体现的不同可能性的情绪标签结构化联系起来，通过情绪标签形成音频特征组合的约束。可以将不同类别的音频特征及相应的各个相似度的特征样本体现的不同可能性的情绪标签，通过特征标签矩阵结构化联系起来，可以反映出可能的潜在情绪变化规律。
在本示例的一种实施方式中，所述基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵，包括：
将所述音频特征添加到矩阵的第一行；
将每个所述音频特征相应的所述情绪标签，按照每个所述特征样本与所述音频特征的相似度由高到低的顺序，添加到每个所述音频特征对应的列得到所述特征标签矩阵，其中，所述矩阵每行对应于一个相似度范围。
各个音频特征添加到空矩阵的第一行，然后，每一列对应于一个音频特征。每个音频特征相应的情绪标签，按照每个特征样本与音频特征的相似度由高到低的顺序，添加到每个音频特征对应的列得到特征标签矩阵，例如，A音频特征与A1特征样本相似度为63％，则可以将A1特征样本对应的秦旭标签添加到A音频特征所在列的60％-70％区间的行。矩阵每行对应于一个相似度范围，例如，相似度范围为60％-70％区间的行。
在步骤S140中，将所述向量标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签。
在本示例的实施方式中，多情绪识别模型是预先训练好的可以一次性识别出多种情绪的机器学习模型，将向量标签矩阵输入多情绪识别模型，可以基于结构化标签矩阵对于多类音频特征向量的约束，使得机器学习模型容易地计算得到用户语音可能的情绪，得到多个情绪组合，预测出用户语音的多个情绪集，及每个情绪集可能的场景(如购物场景、聊天场景)的场景标签。这样可以通过多情绪识别模型，高效准确地基于向量标签矩阵分析出多个可能的场景及对应的多个情绪。
在本示例的一种实施方式中，所述多情绪识别模型的构建方法，包括：
利用AISHELL中文声纹数据库训练restnet34模型，训练结束后取出前n层网络作为预训练模型；
为所述预训练模型接入多层全连接层作为分类器，得到识别模型，以使用标注好的语音情绪数据集对所述识别模型进行训练得到多情绪识别模型。
首先利用AISHELL中文声纹数据库训练restnet34模型，训练结束后取出前n层网络作为预训练模型，在这之后接入多层全连接层作为分类器，最后再使用标注好的语音情绪数据集对该模型进行训练得到最终模型，针对其中遇到的正负样本不均衡问题，可以在每个训练批次中计算正负样本比例作为损失函数的加权矩阵，使其更加关注少样本数据，提高模型的准确度。
在本示例的一种实施方式中，同时初始化第一多情绪识别模型和第二多情绪识别模型，并使用有标签混合无标签的原始数据在所述第一多情绪识别模型上进行训练得第一预测值，并得到有标签数据部分的分类误差损失值；
利用指数滑动平均更新所述第二多情绪识别模型，并将加上噪声的数据输入更新后的所述第二多情绪识别模型训练得到第二预测值；
计算所述第一预测值和所述第二预测值之间的误差作为一致性损失值；
利用所述分类误差损失值与所述一致性损失值之和更新所述第一多情绪识别模型。
可以使用半监督学习Mean-Teacher的方式改进原始模型，可以重复利用大量无标签数据。同时初始化两个模型：第一多情绪识别模型Modelstudent和第二多情绪识别模型Modelteacher，使用有标签混合无标签的原始数据在Modelstudent上进行训练得到各情绪概率值Pstudent，同时得到有标签数据部分的分类误差损失值lossclassification，然后，利用指数滑动平均来更新Modelteacher，滑动平均可以使模型在测试数据上更健壮。然后，将加上噪声的数据输入Modelteacher训练得到预测值Pteacher，计算Pteacher和Pstudent之间误差作为一致性损失值lossconsistency，利用lossclassification+lossconsistency的损失值更新第一多情绪识别模型Modelstudent。
结合上述两个实施例，构建多情绪识别模型，可以利用迁移学习和半监督学习技术有效的改善了在少量数据集下模型的分类效果，也在一定程度上缓解了模型过拟合问题。经过测试，该方案不仅可以准确的检测出语音中的显示情绪，也能准确识别出多种潜在情绪，改善和拓展了语音情绪识别技术。
在步骤S150中，获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
在本示例的实施方式中，通过事先标定或者定位语音来源(如客服语音)可以确定用户语音的场景。将用户语音的场景匹配的场景标签对应的情绪集确定为识别出的用户语音情绪，保证识别边界准确性，可以进一步保证用户语音的情绪识别准确性。根据语音真实场景的匹配，获取到语音的语音情绪识别结果。
以这种方式可以实现高效地、准确地从语音中识别出各类潜在情绪。
本申请还提供了一种语音情绪识别装置。参考图4所示，该语音情绪识别装置可以包括提取模块410、匹配模块420、构建模块430、预测模块440以及确定模块450。其中：
提取模块410可以用于当接收到用户语音，提取所述用户语音的多类音频特征向量；
匹配模块420可以用于分别将所述音频特征向量与情绪特征库中的特征向量样本进行匹配，得到与每个所述音频特征向量匹配的特征向量样本相应的情绪标签；
构建模块430可以用于基于所述音频特征向量及所述匹配的特征向量样本相应的情绪标签，构建所述用户语音的向量标签矩阵；
预测模块440可以用于将所述向量标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；
确定模块450可以用于获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
上述语音情绪识别装置中各模块的具体细节已经在对应的语音情绪识别方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1中所示的：
步骤S110，当接收到用户语音，提取所述用户语音的多类音频特征；
步骤S120，分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；
步骤S130，基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；
步骤S140，将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；
步骤S150，获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得客户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行，还可以包括与输入/输出(I/O)接口550连接的显示单元540。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中，参考图6所示，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在客户计算设备上执行、部分地在客户设备上执行、作为一个独立的软件包执行、部分在客户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到客户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其他实施例。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

Claims (10)

1.一种语音情绪识别方法，其特征在于，包括：
当接收到用户语音，提取所述用户语音的多类音频特征；
分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；
基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；
将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；
获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
2.根据权利要求1所述的方法，其特征在于，所述当接收到用户语音，提取所述用户语音的多类音频特征，包括：
当接收到用户语音，将所述用户语音转化为文本；
将所述文本与特征提取类别数据库中的文本样本匹配，得到与所述文本匹配的文本样本；
从所述用户语音，提取与所述文本样本关联的多个特征类别的音频特征。
3.根据权利要求1所述的方法，其特征在于，所述分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签，包括：
分别将所述音频特征与情绪特征库中的特征样本进行对比，得到与每个所述音频特征相似度超过预定阈值的多个特征样本，所述预定阈值与所述音频特征的个数对应；
从所述情绪特征库中获取每个所述特征样本对应的情绪标签。
4.根据权利要求1所述的方法，其特征在于，所述基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵，包括：
将所述音频特征添加到矩阵的第一行；
将每个所述音频特征相应的所述情绪标签，按照每个所述特征样本与所述音频特征的相似度由高到低的顺序，添加到每个所述音频特征对应的列得到所述特征标签矩阵，其中，所述矩阵每行对应于一个相似度范围。
5.根据权利要求1所述的方法，其特征在于，所述多情绪识别模型的构建方法，包括：
利用AISHELL中文声纹数据库训练restnet34模型，训练结束后取出前n层网络作为预训练模型；
为所述预训练模型接入多层全连接层作为分类器，得到识别模型，以使用标注好的语音情绪数据集对所述识别模型进行训练得到多情绪识别模型。
6.根据权利要求5所述的方法，其特征在于，还包括：
同时初始化第一多情绪识别模型和第二多情绪识别模型，并使用有标签混合无标签的原始数据在所述第一多情绪识别模型上进行训练得到第一预测值，并得到有标签数据部分的分类误差损失值；
利用指数滑动平均更新所述第二多情绪识别模型，并将加上噪声的数据输入更新后的所述第二多情绪识别模型训练得到第二预测值；
计算所述第一预测值和所述第二预测值之间的误差作为一致性损失值；
利用所述分类误差损失值与所述一致性损失值之和更新所述第一多情绪识别模型。
7.根据权利要求1或2所述的方法，其特征在于，所述多类音频特征至少包括过零率特征、短时能量特征、短时平均幅度差特征、发音帧数特征、基音频率特征、共振峰特征、谐波噪声比特征以及梅尔倒谱系数特征中三个。
8.一种语音情绪识别装置，其特征在于，包括：
提取模块，用于当接收到用户语音，提取所述用户语音的多类音频特征；
匹配模块，用于分别将所述音频特征与情绪特征库中的特征样本进行匹配，得到与每个所述音频特征匹配的特征样本相应的情绪标签；
构建模块，用于基于所述音频特征及所述匹配的特征样本相应的情绪标签，构建所述用户语音的特征标签矩阵；
预测模块，用于将所述特征标签矩阵输入多情绪识别模型，得到多个情绪集及每个所述情绪集对应的场景标签；
确定模块，用于获取所述用户语音的语音场景所匹配的场景标签，以将所述匹配的场景标签对应的情绪集确定为识别出的用户语音情绪。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的计算机程序指令；其中，所述处理器配置为经由执行所述计算机程序指令来执行权利要求1-7任一项所述的方法。
CN202010138561.3A 2020-03-03 2020-03-03 语音情绪识别方法、装置、介质及电子设备 Pending CN111429946A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010138561.3A CN111429946A (zh) 2020-03-03 2020-03-03 语音情绪识别方法、装置、介质及电子设备
PCT/CN2020/105543 WO2021174757A1 (zh) 2020-03-03 2020-07-29 语音情绪识别方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010138561.3A CN111429946A (zh) 2020-03-03 2020-03-03 语音情绪识别方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN111429946A true CN111429946A (zh) 2020-07-17

Family

ID=71551972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010138561.3A Pending CN111429946A (zh) 2020-03-03 2020-03-03 语音情绪识别方法、装置、介质及电子设备

Country Status (2)

Country Link
CN (1) CN111429946A (zh)
WO (1) WO2021174757A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017670A (zh) * 2020-08-13 2020-12-01 北京达佳互联信息技术有限公司 一种目标账户音频的识别方法、装置、设备及介质
CN112423106A (zh) * 2020-11-06 2021-02-26 四川长虹电器股份有限公司 一种自动翻译伴音的方法及系统
CN112466324A (zh) * 2020-11-13 2021-03-09 上海听见信息科技有限公司 一种情绪分析方法、系统、设备及可读存储介质
WO2021174757A1 (zh) * 2020-03-03 2021-09-10 深圳壹账通智能科技有限公司 语音情绪识别方法、装置、电子设备及计算机可读存储介质
CN113806586A (zh) * 2021-11-18 2021-12-17 腾讯科技（深圳）有限公司 数据处理方法、计算机设备以及可读存储介质
CN114093389A (zh) * 2021-11-26 2022-02-25 重庆凡骄网络科技有限公司 语音情绪识别方法、装置、电子设备和计算机可读介质
CN114242070A (zh) * 2021-12-20 2022-03-25 阿里巴巴（中国）有限公司 一种视频生成方法、装置、设备及存储介质
CN115460317A (zh) * 2022-09-05 2022-12-09 西安万像电子科技有限公司 一种情绪识别及语音反馈方法、装置、介质及电子设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113903363B (zh) * 2021-09-29 2023-02-28 平安银行股份有限公司 基于人工智能的违规行为检测方法、装置、设备及介质
CN113889150B (zh) * 2021-10-15 2023-08-29 北京工业大学 语音情感识别方法及装置
CN114121041B (zh) * 2021-11-19 2023-12-08 韩端科技（深圳）有限公司 一种基于智伴机器人智能陪伴方法及系统
CN114169440A (zh) * 2021-12-08 2022-03-11 北京百度网讯科技有限公司 模型训练方法、数据处理方法、装置、电子设备及介质
CN114912502B (zh) * 2021-12-28 2024-03-29 天翼数字生活科技有限公司 一种基于表情与语音的双模态深度半监督情感分类方法
CN114565964A (zh) * 2022-03-03 2022-05-31 网易（杭州）网络有限公司 情绪识别模型的生成方法、识别方法、装置、介质和设备
CN114666618B (zh) * 2022-03-15 2023-10-13 广州欢城文化传媒有限公司 音频审核方法、装置、设备及可读存储介质
CN115113781A (zh) * 2022-06-28 2022-09-27 广州博冠信息科技有限公司 互动图标显示方法、装置、介质与电子设备
CN115641878A (zh) * 2022-08-26 2023-01-24 天翼电子商务有限公司 一种结合分层策略的多模态情绪识别方法
CN115460166A (zh) * 2022-09-06 2022-12-09 网易（杭州）网络有限公司 即时语音通信方法、装置、电子设备及存储介质
CN115414042B (zh) * 2022-09-08 2023-03-17 北京邮电大学 基于情感信息辅助的多模态焦虑检测方法及装置
CN116306686B (zh) * 2023-05-22 2023-08-29 中国科学技术大学 一种多情绪指导的共情对话生成方法
CN116564281B (zh) * 2023-07-06 2023-09-05 世优（北京）科技有限公司 基于ai的情绪识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114655A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Emotion recognition using auditory attention cues extracted from users voice
CN109885713A (zh) * 2019-01-03 2019-06-14 刘伯涵 基于语音情绪识别的表情图像推荐方法以及装置
CN109961776A (zh) * 2017-12-18 2019-07-02 上海智臻智能网络科技股份有限公司 语音信息处理装置
CN110120231A (zh) * 2019-05-15 2019-08-13 哈尔滨工业大学 基于自适应半监督非负矩阵分解的跨语料情感识别方法
CN110136723A (zh) * 2019-04-15 2019-08-16 深圳壹账通智能科技有限公司 基于语音信息的数据处理方法及装置
CN110288974A (zh) * 2018-03-19 2019-09-27 北京京东尚科信息技术有限公司 基于语音的情绪识别方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363706B (zh) * 2017-01-25 2023-07-18 北京搜狗科技发展有限公司 人机对话交互的方法和装置、用于人机对话交互的装置
CN108922564B (zh) * 2018-06-29 2021-05-07 北京百度网讯科技有限公司 情绪识别方法、装置、计算机设备及存储介质
CN109784414A (zh) * 2019-01-24 2019-05-21 出门问问信息科技有限公司 一种电话客服中客户情绪检测方法、装置及电子设备
CN111429946A (zh) * 2020-03-03 2020-07-17 深圳壹账通智能科技有限公司 语音情绪识别方法、装置、介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114655A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Emotion recognition using auditory attention cues extracted from users voice
CN109961776A (zh) * 2017-12-18 2019-07-02 上海智臻智能网络科技股份有限公司 语音信息处理装置
CN110288974A (zh) * 2018-03-19 2019-09-27 北京京东尚科信息技术有限公司 基于语音的情绪识别方法及装置
CN109885713A (zh) * 2019-01-03 2019-06-14 刘伯涵 基于语音情绪识别的表情图像推荐方法以及装置
CN110136723A (zh) * 2019-04-15 2019-08-16 深圳壹账通智能科技有限公司 基于语音信息的数据处理方法及装置
CN110120231A (zh) * 2019-05-15 2019-08-13 哈尔滨工业大学 基于自适应半监督非负矩阵分解的跨语料情感识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174757A1 (zh) * 2020-03-03 2021-09-10 深圳壹账通智能科技有限公司 语音情绪识别方法、装置、电子设备及计算机可读存储介质
CN112017670A (zh) * 2020-08-13 2020-12-01 北京达佳互联信息技术有限公司 一种目标账户音频的识别方法、装置、设备及介质
CN112423106A (zh) * 2020-11-06 2021-02-26 四川长虹电器股份有限公司 一种自动翻译伴音的方法及系统
CN112466324A (zh) * 2020-11-13 2021-03-09 上海听见信息科技有限公司 一种情绪分析方法、系统、设备及可读存储介质
CN113806586A (zh) * 2021-11-18 2021-12-17 腾讯科技（深圳）有限公司 数据处理方法、计算机设备以及可读存储介质
CN113806586B (zh) * 2021-11-18 2022-03-15 腾讯科技（深圳）有限公司 数据处理方法、计算机设备以及可读存储介质
CN114093389A (zh) * 2021-11-26 2022-02-25 重庆凡骄网络科技有限公司 语音情绪识别方法、装置、电子设备和计算机可读介质
CN114242070A (zh) * 2021-12-20 2022-03-25 阿里巴巴（中国）有限公司 一种视频生成方法、装置、设备及存储介质
CN115460317A (zh) * 2022-09-05 2022-12-09 西安万像电子科技有限公司 一种情绪识别及语音反馈方法、装置、介质及电子设备

Also Published As

Publication number Publication date
WO2021174757A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111429946A (zh) 语音情绪识别方法、装置、介质及电子设备
CN106683680B (zh) 说话人识别方法及装置、计算机设备及计算机可读介质
US11062699B2 (en) Speech recognition with trained GMM-HMM and LSTM models
CN108428446B (zh) 语音识别方法和装置
CN110706690A (zh) 语音识别方法及其装置
CN107729313B (zh) 基于深度神经网络的多音字读音的判别方法和装置
CN108132995A (zh) 用于处理音频信息的方法和装置
WO2021047319A1 (zh) 基于语音的个人信用评估方法、装置、终端及存储介质
CN112259106A (zh) 声纹识别方法、装置、存储介质及计算机设备
CN110246488B (zh) 半优化CycleGAN模型的语音转换方法及装置
CN107885723B (zh) 对话角色区分方法和系统
CN113707125B (zh) 一种多语言语音合成模型的训练方法及装置
CN110223134B (zh) 基于语音识别的产品推荐方法及相关设备
Swain et al. Study of feature combination using HMM and SVM for multilingual Odiya speech emotion recognition
CN111414745A (zh) 文本标点确定方法与装置、存储介质、电子设备
CN112015872A (zh) 问句识别方法及装置
US20210158823A1 (en) Method, apparatus, and medium for processing speech signal
CN106710588B (zh) 语音数据句类识别方法和装置及系统
CN113327575B (zh) 一种语音合成方法、装置、计算机设备和存储介质
CN113921017A (zh) 语音同一性的检验方法、装置、电子设备及存储介质
Mehra et al. Deep fusion framework for speech command recognition using acoustic and linguistic features
Wang et al. A research on HMM based speech recognition in spoken English
CN111883133B (zh) 客服语音识别方法、装置、服务器及存储介质
Harere et al. Quran recitation recognition using end-to-end deep learning
Boujnah et al. A novel approach for speaker recognition in degraded conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033034

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240301

AD01 Patent right deemed abandoned