CN113053416A - 一种基于知识图谱的语音情感识别系统 - Google Patents
一种基于知识图谱的语音情感识别系统 Download PDFInfo
- Publication number
- CN113053416A CN113053416A CN202110216032.5A CN202110216032A CN113053416A CN 113053416 A CN113053416 A CN 113053416A CN 202110216032 A CN202110216032 A CN 202110216032A CN 113053416 A CN113053416 A CN 113053416A
- Authority
- CN
- China
- Prior art keywords
- emotion
- knowledge graph
- emotion recognition
- speech
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 20
- 230000008451 emotion Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000005516 engineering process Methods 0.000 claims abstract description 3
- 230000006872 improvement Effects 0.000 claims abstract description 3
- 230000014509 gene expression Effects 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于知识图谱的语音情感识别系统，将离散的情感特征模型映射到高维度空间，将简单的语音识别结合多种方法，通过方法与技术的改进利用知识图谱提高语言情感识别的能力。本发明系系统实现的步骤是：语音数据集输入、数据预处理、特征工程、知识图谱构建、情感分类和输出结果。一种基于知识图谱的语音情感识别系统将在人机交互领域发挥着重要作用：(1)系统应用于智能机器人可以通过识别用户不同的语音表述理解其情绪从而输出相应的回答，提高智能机器人与人类交互间时的真实性和舒适度。(2)在呼叫客服中心，通过加入基于知识图谱的情感识别系统提升智能质检体系的功能，引导工作人员发现服务过程中的不足，优化客户体验，提升客户满意度。
Description
技术领域
本发明涉及语音识别领域，特别涉及一种基于知识图谱的语音情感识别系统。
背景技术
语言是人类交流理解和表述信息的工具，在生活中必不可少。不同的地区不同的种族都有各自独特的语言。语音情感识别作为理解情感表达的重要方式，有极高的应用空间及价值，在计算机领域已经拥有大量研究，并且赢得了高度的关注。
语音情感识别是指一个计算机感知人类情感的过程，它将情感表达的关键特征与言语信号分离开来，确定属性特征与情感之间的映射关系，定义语音所包含的情绪。
知识图谱是由谷歌率先提出、从语义角度组织网络数据并应用于搜索服务；目前知识图谱已经扩展开来，包含知识描述、实例数据及相关配套标准、技术工具和应用系统。
发明内容
针对上述问题，本发明的目的是克服现有技术存在的缺陷，提供了一种基于知识图谱的语音情感识别系统，将离散的情感特征模型映射到高维度空间，将简单的语音识别结合多种方法，通过方法与技术的改进利用知识图谱提高语言情感识别的能力。
本发明解决其技术问题所采用的技术方案是：
一种基于知识图谱的语音情感识别系统，系统实现的步骤是：语音数据集输入、数据预处理、特征工程、知识图谱构建、情感分类和输出结果。
第一步，收集语音录音文件，形成语音数据集，准备进行数据预处理。
第二步，语音数据集输入后，对该语音数据集进行预处理。通过数据预处理在不破坏源音频内容的前提下，达到消除静音、滤除噪音、预加重以及分帧等目的。
第三步，预处理后进行特征工程。包括从语音中提取情感特征，获取提取的情感特征进行融合、存储和推理。
第四步，通过构建知识图谱，将特征工程提取的功能和其类标签共同存储于数据库，功能都和其类标签相关联。
第五步，依靠知识图谱体系和情感分类器实现分类。
第六步，基于以上步骤，输出语音情感识别结果。
本发明有以下有益效果：
一种基于知识图谱的语音情感识别系统将在人机交互领域发挥着重要作用。(1)系统应用于智能机器人可以通过识别用户不同的语音表述理解其情绪从而输出相应的回答，提高智能机器人与人类交互间时的真实性和舒适度。(2)在呼叫客服中心，通过加入基于知识图谱的情感识别系统提升智能质检体系的功能，引导工作人员发现服务过程中的不足，优化客户体验，提升客户满意度。
附图说明
附图是语音情感识别系统框架。
具体实施方式
一种基于知识图谱的语音情感识别系统，其特征在于，系统实现的步骤是：语音数据集输入、数据预处理、特征工程、知识图谱构建、情感分类和输出结果。
第一步，收集语音录音文件，形成语音数据集，准备进行数据预处理。
第二步，语音数据集输入后，对该语音数据集进行预处理。通过数据预处理在不破坏源音频内容的前提下，达到消除静音、滤除噪音、预加重以及分帧等目的。预处理使用端点检测将静音部分消除，使用维纳滤波滤除噪音。
第三步，预处理后进行特征工程。包括从语音中提取情感特征，获取提取的情感特征进行融合、存储和推理，进而完成构建知识图谱。特征工程最常用的程序有：PRAAT、OpenSMILE、pyAudioAnalysis、Librosa、HTK Speech Recognition Toolkit等。特征选择包括声学特征分为韵律学特征、频谱特征和音质特征。
第四步，通过构建知识图谱，将特征工程提取的功能和其类标签共同存储于数据库，功能都和其类标签相关联。一般地，知识图谱构建主要有三个步骤：领域概念抽取、分类体系构建、概念属性及关系抽取。
第五步，依靠知识图谱体系和情感分类器实现分类。一般地，分类的实现依靠情感分类器和构建完成的知识图谱体系，目前使用较多的情感分类器有决策树、KNN、SVM、GMM、HMM等。
第六步，基于以上步骤，输出语音情感识别结果。
综上所述，以上对发明内容和技术方案进行了详细说明，若本领域的技术人员对本发明所记载的技术方案进行修改或等同替换，以及对本领域的技术改进，只要不违背本发明技术方案的精神和原则，均应包含在本发明的保护范围内。
Claims (2)
1.本发明涉及一种基于知识图谱的语音情感识别系统，将离散的情感特征模型映射到高维度空间，将简单的语音识别结合多种方法，通过方法与技术的改进利用知识图谱提高语言情感识别的能力。
2.如权利要求1所述一种基于知识图谱的语音情感识别系统，其特征在于，系统实现的步骤是：语音数据集输入、数据预处理、特征工程、知识图谱构建、情感分类和输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110216032.5A CN113053416A (zh) | 2021-02-26 | 2021-02-26 | 一种基于知识图谱的语音情感识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110216032.5A CN113053416A (zh) | 2021-02-26 | 2021-02-26 | 一种基于知识图谱的语音情感识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113053416A true CN113053416A (zh) | 2021-06-29 |
Family
ID=76509171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110216032.5A Pending CN113053416A (zh) | 2021-02-26 | 2021-02-26 | 一种基于知识图谱的语音情感识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113053416A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113571184A (zh) * | 2021-07-20 | 2021-10-29 | 武汉情智感知科技有限公司 | 一种用于精神健康测评的对话交互设计方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010049688A1 (en) * | 2000-03-06 | 2001-12-06 | Raya Fratkina | System and method for providing an intelligent multi-step dialog with a user |
| CN111506697A (zh) * | 2019-01-30 | 2020-08-07 | 北京入思技术有限公司 | 一种跨模态情感知识图谱构建方法及装置 |
| CN111538835A (zh) * | 2020-03-30 | 2020-08-14 | 东南大学 | 一种基于知识图谱的社交媒体情感分类方法与装置 |
| CN111651609A (zh) * | 2020-04-24 | 2020-09-11 | 中国电力科学研究院有限公司 | 一种融合知识图谱和情感监督的多轮对话方法及系统 |
| CN112069897A (zh) * | 2020-08-04 | 2020-12-11 | 华南理工大学 | 基于知识图谱的语音和微表情识别自杀情绪感知方法 |
-
2021
- 2021-02-26 CN CN202110216032.5A patent/CN113053416A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010049688A1 (en) * | 2000-03-06 | 2001-12-06 | Raya Fratkina | System and method for providing an intelligent multi-step dialog with a user |
| CN111506697A (zh) * | 2019-01-30 | 2020-08-07 | 北京入思技术有限公司 | 一种跨模态情感知识图谱构建方法及装置 |
| CN111538835A (zh) * | 2020-03-30 | 2020-08-14 | 东南大学 | 一种基于知识图谱的社交媒体情感分类方法与装置 |
| CN111651609A (zh) * | 2020-04-24 | 2020-09-11 | 中国电力科学研究院有限公司 | 一种融合知识图谱和情感监督的多轮对话方法及系统 |
| CN112069897A (zh) * | 2020-08-04 | 2020-12-11 | 华南理工大学 | 基于知识图谱的语音和微表情识别自杀情绪感知方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113571184A (zh) * | 2021-07-20 | 2021-10-29 | 武汉情智感知科技有限公司 | 一种用于精神健康测评的对话交互设计方法及系统 |
| CN113571184B (zh) * | 2021-07-20 | 2023-10-31 | 武汉情智感知科技有限公司 | 一种用于精神健康测评的对话交互设计方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11740863B2 (en) | Search and knowledge base question answering for a voice user interface | |
| CN105786798B (zh) | 一种人机交互中自然语言意图理解方法 | |
| CN108228764A (zh) | 一种单轮对话和多轮对话的融合方法 | |
| JP2019053126A (ja) | 成長型対話装置 | |
| CN107644643A (zh) | 一种语音交互系统及方法 | |
| CN107403619A (zh) | 一种应用于自行车环境的语音控制方法及系统 | |
| WO2023222089A1 (zh) | 基于深度学习的物品分类方法和装置 | |
| CN106847279A (zh) | 基于机器人操作系统ros的人机交互方法 | |
| CN111091809B (zh) | 一种深度特征融合的地域性口音识别方法及装置 | |
| CN111968645B (zh) | 一种个性化的语音控制系统 | |
| WO2023222090A1 (zh) | 基于深度学习的信息推送方法和装置 | |
| CN113609264B (zh) | 电力系统节点的数据查询方法、装置 | |
| CN111581348A (zh) | 一种基于知识图谱的查询分析系统 | |
| CN111128175B (zh) | 口语对话管理方法及系统 | |
| CN110931002B (zh) | 人机交互方法、装置、计算机设备和存储介质 | |
| CN116665676A (zh) | 一种用于智能语音外呼系统的语义识别方法 | |
| CN113593565B (zh) | 一种智能家庭设备管控方法和系统 | |
| CN112102807A (zh) | 语音合成方法、装置、计算机设备和存储介质 | |
| CN113053416A (zh) | 一种基于知识图谱的语音情感识别系统 | |
| KR20170086233A (ko) | 라이프 음성 로그 및 라이프 영상 로그를 이용한 점증적 음향 모델 및 언어 모델 학습 방법 | |
| CN116911869A (zh) | 一种基于人工智能的智能客服系统及其方法 | |
| CN115022471B (zh) | 一种智能机器人语音交互系统和方法 | |
| CN106682642A (zh) | 多面向语言行为识别方法及系统 | |
| CN116978381A (zh) | 音频数据处理方法、装置、计算机设备和存储介质 | |
| CN116108141A (zh) | 一种面试场景下的相似问句检索机制 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210629 |
|
| RJ01 | Rejection of invention patent application after publication |