CN116343824A - 口才表达能力的全面评估与解决方法、系统、装置及介质 - Google Patents
口才表达能力的全面评估与解决方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN116343824A CN116343824A CN202310615468.0A CN202310615468A CN116343824A CN 116343824 A CN116343824 A CN 116343824A CN 202310615468 A CN202310615468 A CN 202310615468A CN 116343824 A CN116343824 A CN 116343824A
- Authority
- CN
- China
- Prior art keywords
- talent
- expression
- expressive
- person
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 286
- 238000011156 evaluation Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004458 analytical method Methods 0.000 claims abstract description 86
- 230000007812 deficiency Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 75
- 238000013210 evaluation model Methods 0.000 claims description 57
- 230000036651 mood Effects 0.000 claims description 32
- 230000008451 emotion Effects 0.000 claims description 27
- 238000003745 diagnosis Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 14
- 230000036760 body temperature Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000013079 data visualisation Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000004141 dimensional analysis Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000007637 random forest analysis Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000540 analysis of variance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0631—Creating reference templates; Clustering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了一种口才表达能力的全面评估与解决方法、系统、装置及介质，用于从多维度全面评估表达者的口才表达能力，以及对表达者在口才表达上的不足进行全面的解析和优化，便于表达者更好地提高口才表达能力，该方法包括：采集表达者表达时的生理数据和语音数据；将生理数据和语音数据输入到综合口才评估模型进行识别与评估，获得表达者的第一多维口才表达信息；对第一多维口才表达信息进行全面诊断，获得第一多维口才表达信息对应的评估报告；对第一多维口才表达信息进行不足分析，获得第一多维口才表达信息对应的分析结果；基于评估报告和分析结果，针对性为表达者提供提升口才表达能力的解决方案。
Description
技术领域
本发明涉及口才表达技术领域，特别是涉及一种口才表达能力的全面评估与解决方法、系统、装置及介质。
背景技术
在日常生活、工作报告、朋友聚会等多个场景当中，表达者往往需要与他人进行语言沟通。如果表达者在口才表达上有所欠缺，比如，叙述不清楚，毫无逻辑等，可能会导致与他人之间无法进行有效的沟通。如果表达者在口才表达上具有良好能力，如叙述合理，能够抓住重点，语调得体等，与他人在语言沟通上能够起到事半功倍的效果。因此，有必要提升表达者的口才表达能力。
基于此，虽然目前已有一些口才表达能力的评估方案用于帮助表达者提升口才表达能力，但是，这些口才表达能力的评估方案仍然存在一些不足。例如，无法对口音、语调、语速、语法和语义等多个方面进行评估，评估维度较为单一，无法全面评估表达者的口才表达能力。此外，还缺乏全面的诊断和分析手段，无法对表达者的口才表达不足进行全面的解析和优化。
综上，有必要提供一种可以全面评估表达者的口才表达能力，以及可以对表达者的口才表达不足进行全面的解析和优化的评估方案。
发明内容
基于此，本发明的目的在于提供一种口才表达能力的全面评估与解决方法、系统、装置及介质，用于全面评估表达者的口才表达能力，以及对表达者的口才表达不足进行全面的解析和优化。
第一方面，本发明提供了一种口才表达能力的全面评估与解决方法，包括：
采集表达者表达时的生理数据和语音数据；所述生理数据包括体温数据和心跳数据，所述语音数据包括口音数据、语调数据、语速数据和语法数据；
将所述生理数据和所述语音数据输入到综合口才评估模型进行识别与评估，获得所述表达者的第一多维口才表达信息；所述第一多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
对所述第一多维口才表达信息进行全面诊断，获得所述第一多维口才表达信息对应的评估报告；所述评估报告包括所述第一多维口才表达信息中的任一维度口才表达信息对应的评估结果和个性化训练建议；
对所述第一多维口才表达信息进行不足分析，获得所述第一多维口才表达信息对应的分析结果；所述分析结果包括所述表达者在所述任一维度口才表达信息上存在的问题共性和整体情况；
基于所述评估报告和所述分析结果，针对性为所述表达者提供提升口才表达能力的解决方案。
本发明提供的技术方案通过将采集到的表达者的生理数据和语音数据输入到综合口才评估模型进行识别与评估，从而可以从口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力等多个方面进行评估，评估维度多样，便于全面评估表达者的口才表达能力；通过对第一多维口才表达信息进行全面诊断，获得第一多维口才表达信息对应的评估报告，可以针对表达者当前的表达给出全面、详细、可操作、更有针对性的评估结果和训练建议，可以帮助表达者更全面、更准确地了解自己的口才表达能力，并为表达者提供个性化的训练建议，便于表达者能够更好地提高口才表达能力；通过对第一多维口才表达信息进行不足分析，获得第一多维口才表达信息对应的分析结果，可以便于以找到表达者在口才表达方面存在的问题，并给予针对性的解决方案；通过基于该评估报告和该分析结果，针对性为表达者提供提升口才表达能力的解决方案，从而可以对表达者在口才表达上的不足进行全面的解析和优化，使得表达者可以得到个性化指导和提升，便于表达者更好地提高口才表达能力。
在一种可能的设计中，所述综合口才评估模型通过以下方式获得：
获取语音识别与口才表达评估相关知识；
基于所述语音识别与口才表达评估相关知识，构建基于深度学习的语音识别模型、基于机器学习的口才表达评估模型；
将所述语音识别模型作为输入模型、所述口才表达评估模型作为输出模型组成所述综合口才评估模型的模型框架；
基于所述模型框架，设置所述综合口才评估模型的模型维度和训练方法，获得所述综合口才评估模型；
其中，所述模型维度包括输入维度、输出维度和隐藏层维度，所述输入维度分为生理数据和语音数据两类，所述输出维度分为口音和语音特征、语调和语速、语法和语义、语气情感、思维深度、说服力六类，所述隐藏层维度包括生理数据隐藏层和语音数据隐藏层，所述训练方法包括所述语音识别模型的训练方法和所述口才表达评估模型的训练方法。
在一种可能的设计中，对所述第一多维口才表达信息进行全面诊断，获得所述第一多维口才表达信息对应的评估报告，包括：
识别所述表达者表达时所在的语音场景；
获取在所述语音场景下的目标用户的第二多维口才表达信息；所述目标用户为与所述表达者在行业、岗位和年龄中的至少一项相同的用户，所述第二多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
对所述第一多维口才表达信息与所述第二多维口才表达信息进行比对分析，获得比对结果；
基于所述比对结果对所述第一多维口才表达信息进行全面诊断，获得所述评估报告。
在一种可能的设计中，对所述第一多维口才表达信息进行不足分析，获得所述第一多维口才表达信息对应的分析结果，包括：
从维度解析角度对所述任一多维度口才表达信息进行详细解析，找出所述表达者在所述任一维度口才表达信息上存在的问题；
从结果分析角度上对所述表达者在所述任一维度口才表达信息上存在的问题进行综合分析，找出所述表达者在所述任一维度口才表达信息上存在的问题共性和整体情况，获得所述分析结果。
在一种可能的设计中，所述方法还包括：
通过数据可视化方式展示所述分析结果。
在一种可能的设计中，基于所述评估报告和所述分析结果，针对性为所述表达者提供提升口才表达能力的解决方案，包括：
基于所述评估报告和所述分析结果，从维度方差分析角度分析所述表达者在所述任一维度口才表达信息上的表现差异性，确定出所述表达者需要重点及改进的目标维度口才表达信息；
从维度提升路径分析角度为所述表达者提供针对所述目标维度口才表达信息的提升训练方案，获得所述解决方案。
在一种可能的设计中，所述方法还包括：
构建口才表达能力的预测模型，并将所述生理数据和所述语音数据输入所述预测模型中进行预测，获得预测结果；所述预测结果包括所述表达者未来在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的评估模型，并将所述生理数据和所述语音数据输入所述评估模型中进行成绩评估，获得成绩评估结果；所述成绩评估结果包括所述表达者在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的优化模型，并将所述预测结果和所述成绩评估结果输入优化模型中，获得口才表达针对性训练方案，采用个性化或交互式方式输出所述口才表达针对性训练方案。
第二方面，本发明还提供了一种口才表达能力的全面评估与解决系统，包括：
采集单元，采集表达者表达时的生理数据和语音数据；所述生理数据包括体温数据和心跳数据，所述语音数据包括口音数据、语调数据、语速数据和语法数据；
评估单元，用于将所述生理数据和所述语音数据输入到综合口才评估模型进行识别与评估，获得所述表达者的第一多维口才表达信息；所述第一多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
诊断单元，用于对所述第一多维口才表达信息进行全面诊断，获得所述第一多维口才表达信息对应的评估报告；所述评估报告包括所述第一多维口才表达信息中的任一维度口才表达信息对应的评估结果和个性化训练建议；
分析单元，用于对所述第一多维口才表达信息进行不足分析，获得所述第一多维口才表达信息对应的分析结果；所述分析结果包括所述表达者在所述任一维度口才表达信息上存在的问题共性和整体情况；
解决单元，用于基于所述评估报告和所述分析结果，针对性为所述表达者提供提升口才表达能力的解决方案。
在一种可能的设计中，所述评估单元通过以下方式获得所述综合口才评估模型：
获取语音识别与口才表达评估相关知识；
基于所述语音识别与口才表达评估相关知识，构建基于深度学习的语音识别模型、基于机器学习的口才表达评估模型；
将所述语音识别模型作为输入模型、所述口才表达评估模型作为输出模型组成所述综合口才评估模型的模型框架；
基于所述模型框架，设置所述综合口才评估模型的模型维度和训练方法，获得所述综合口才评估模型；
其中，所述模型维度包括输入维度、输出维度和隐藏层维度，所述输入维度分为生理数据和语音数据两类，所述输出维度分为口音和语音特征、语调和语速、语法和语义、语气情感、思维深度、说服力六类，所述隐藏层维度包括生理数据隐藏层和语音数据隐藏层，所述训练方法包括所述语音识别模型的训练方法和所述口才表达评估模型的训练方法。
在一种可能的设计中，所述诊断单元具体用于：
识别所述表达者表达时所在的语音场景；
获取在所述语音场景下的目标用户的第二多维口才表达信息；所述目标用户为与所述表达者在行业、岗位和年龄中的至少一项相同的用户，所述第二多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
对所述第一多维口才表达信息与所述第二多维口才表达信息进行比对分析，获得比对结果；
基于所述比对结果对所述第一多维口才表达信息进行全面诊断，获得所述评估报告。
在一种可能的设计中，所述分析单元具体用于：
从维度解析角度对所述任一多维度口才表达信息进行详细解析，找出所述表达者在所述任一维度口才表达信息上存在的问题；
从结果分析角度上对所述表达者在所述任一维度口才表达信息上存在的问题进行综合分析，找出所述表达者在所述任一维度口才表达信息上存在的问题共性和整体情况，获得所述分析结果。
在一种可能的设计中，所述分析单元还用于：
通过数据可视化方式展示所述分析结果。
在一种可能的设计中，所述解决单元具体用于：
基于所述评估报告和所述分析结果，从维度方差分析角度分析所述表达者在所述任一维度口才表达信息上的表现差异性，确定出所述表达者需要重点及改进的目标维度口才表达信息；
从维度提升路径分析角度为所述表达者提供针对所述目标维度口才表达信息的提升训练方案，获得所述解决方案。
在一种可能的设计中，所述解决单元还用于：
构建口才表达能力的预测模型，并将所述生理数据和所述语音数据输入所述预测模型中进行预测，获得预测结果；所述预测结果包括所述表达者未来在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的评估模型，并将所述生理数据和所述语音数据输入所述评估模型中进行成绩评估，获得成绩评估结果；所述成绩评估结果包括所述表达者在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的优化模型，并将所述预测结果和所述成绩评估结果输入优化模型中，获得口才表达针对性训练方案，采用个性化或交互式方式输出所述口才表达针对性训练方案。
第三方面，本发明还提供了一种计算机装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行时，实现上述第一方面任一种可能设计所涉及的方法。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个程序；当所述至少一个程序被处理器执行时，实现上述第一方面任一种可能设计所涉及的方法。
相较于现有技术而言，本发明提供的技术方案具备如下有益效果：
提高口才表达能力：针对不同的输入维度，能够帮助表达者快速、准确地分析自己的口才表达能力，并针对性为表达者提供提升口才表达能力的解决方案，从而可以提高表达者的口才表达能力。
提高综合口才评估模型的准确性：本发明中的综合口才评估模型结合了口才表达评估模型和语音识别模型，能够更全面地评估口才表达能力，从而提高评估口才表达能力的准确性。
减少人工评估成本：本发明可以自动化地对口才表达能力进行评估，减少了人工评估的成本。
提高口才表达的效率和准确性：本发明通过全面诊断，可以针对不同的输入维度，提供量化的口才表达评估结果，帮助用户更好地分析自己的口才表达能力，从而提高口才表达的效率和准确性。
提高口才表达的可持续性：本发明可以支持随时随地进行口才表达训练和评估，提高了口才表达的可持续性。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明提供的一种口才表达能力的全面评估与解决方法的流程示意图；
图2为本发明提供的一种获得综合口才表达模型的流程示意图；
图3为本发明提供的一种执行步骤S13的流程示意图；
图4为本发明提供的一种执行步骤S14的流程示意图；
图5为本发明提供的一种执行步骤S15的流程示意图；
图6为本发明提供的另一种口才表达能力的全面评估与解决方法；
图7为本发明提供的一种口才表达能力的全面评估与解决系统的架构示意图；
图8为本发明提供的一种计算机装置的结构示意图。
具体实施方式
以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与本发明的一些方面相一致的实施方式的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本发明中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
除非有相反的说明，本发明提及的“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。
在介绍本发明实施例之前，首先对本发明中的部分用语进行解释说明，以便于本领域技术人员理解。
本发明所涉及的口音和语音特征，其用于分析说话人的口音特征。口音和语音特征可以直接影响表达者的语音理解和表达能力。
本发明所涉及的语调和语速，其用于分析说话人的语调和语速特征。语调和语速可以直接影响表达者的表达清晰度和节奏感。
本发明所涉及到的语法和语义，其用于分析说话人的语法和语义特征。语法和语义是口才表达的重要方面，其可以直接影响表达者的表达准确性和连贯性。
本发明所涉及的语气情感，其用于分析说话人的语气特征，可以表示为语言中表达情感状态和语气的方式，如愤怒、高兴、沮丧、兴奋等。语气情感可以传达用户的情感和态度，其对于口才表达来说非常重要。在具体实施时，语气情感还可以称为情感表达、情感识别。
本发明所涉及的思维深度，其用于描述口才表达的深度、逻辑性、推理能力和批判性思考，能够展现出表达者在表达观点和思想时，表达者自己深刻的见解和独特的思考方式。在具体实施时，思维深度还可以称为思维清晰度。
本发明所涉及的说服力，其用于表示表达者对听众的影响力和能力，使听众接受他们的观点或建议，即表达者在表达观点时能够让听众信服并采取行动的能力。在具体实施时，说服力还可以称为影响力、口才表达能力。
下面将结合附图详细介绍本发明实施例提供的技术方案。
请参考图1所示，本发明提供的口才表达能力的全面评估与解决方法，可以包括如下步骤：
S11、采集表达者表达时的生理数据和语音数据。
在具体实施时，该生理数据可以包括但不限于：体温数据和心跳数据。该语音数据可以包括但不限于：口音数据、语调数据、语速数据和语法数据。
在具体实施时，可以通过数据采集设备采集表达者表达时的生理数据和语音数据。其中，该数据采集设备可以穿戴或佩戴在表达者的身上，如可以将该数据采集设备佩戴在表达者的耳朵下方的位置。
作为一种示例，该数据采集设备可以包括但不限于：体温传感、心率传感器和语音识别器。其中，体温传感器用于采集表达者表达时的体温数据。心率传感器用于采集表达者表达时的心跳数据。语音识别器用于采集表达者表达时的语音信息，并将语音信息识别为口音数据、语调数据、语速数据和语法数据。
S12、将生理数据和语音数据输入到综合口才评估模型进行识别与评估，获得表达者的第一多维口才表达信息。
在具体实施时，第一多维口才表达信息可以包括但不限于：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力。
在具体实施时，如图2所示，综合口才评估模型通过以下方式获得：
S21、获取语音识别与口才表达评估相关知识。
在具体实施时，语音识别与口才表达评估相关知识可以包括语音信号处理、自然语言处理、机器学习等领域的基础知识，以及口才表达的语言学、心理学、认知学等方面的知识。
S22、基于语音识别与口才表达评估相关知识，构建基于深度学习的语音识别模型、基于机器学习的口才表达评估模型。
在具体实施时，该语音识别模型可以为卷积神经网络（Convolutional NeuralNetworks，CNN）模型、循环神经网络（Recurrent Neural Network，RNN）模型、长短时记忆网络（Long Short-Term Memory，LSTM）模型等中的一种。
在具体实施时，该口才表达评估模型可以为支持向量机（Support VectorMachine，SVM）模型、随机森林（Random Forest，RF）模型等中的一种。
S23、将语音识别模型作为输入模型、口才表达评估模型作为输出模型组成综合口才评估模型的模型框架。
在本发明中，通过将语音识别模型作为综合口才评估模型的输入模型，以及将口才表达评估模型作为综合口才评估模型的输出模型，可以提高自动识别表达者表达时的语音数据的准确性，进一步便于后续通过口才表达评估模型评估表达者的多维口才表达信息的准确性。
S24、基于该模型框架，设置综合口才评估模型的模型维度和训练方法，获得综合口才评估模型。
在具体实施时，综合口才评估模型的模型维度的选择，可以对综合口才评估模型的性能和效果产生重要的影响。基于此，本发明中，通过基于综合口才评估模型的模型框架，设置综合口才评估模型的模型维度和训练方法，以提高综合口才评估模型的性能和效果。
比如，可以设置该模型维度包括但不限于输入维度、输出维度和隐藏层维度，该训练方法包括语音识别模型的训练方法和口才表达模型的训练方法。其中，该输入维度可以分为生理数据和语音数据两类。该输出维度可以分为口音和语音特征、语调和语速、语法和语义、语气情感、思维深度、说服力六类。该隐藏层维度可以包括生理数据隐藏层和语音数据隐藏层。该训练方法可以包括语音识别模型的训练方法和口才表达评估模型的训练方法。
示例性的，隐藏层是神经网络中的一个重要组成部分，其可以用于提取输入数据的抽象特征。对于综合口才评估模型，隐藏层的数量和大小可以根据实际情况进行调整，以适应不同的数据特征和模型复杂度。比如，对于生理数据隐藏层，其可以用于提取生理数据中的体温数据和心跳数据的抽象特征，以反映体温和心跳等生理信息的动态变化。例如，可以使用CNN模型提取生理数据中的时间序列特征。对于语音数据隐藏层，其可以用于提取语音数据中的口音数据、语调数据、语速数据和语法数据的抽象特征，以捕捉到语音数据的长期依赖关系和动态变化，便于更好地理解语音数据中所包含的信息和意图，进而更准确地识别和理解语音数据。例如，可以使用RNN模型提取语音数据中的时间序列特征，同时，还可以结合注意力机制（Attention）来强化RNN模型对关键词的识别能力，以提高RNN模型的稳定性和鲁棒性。
示例性的，对于语音识别模型的训练方法，可以针对输入维度中的生理数据，使用额外的传感器设备（如智能手环或智能手表等）进行监测和数据采集，以及可以针对输入维度中的语音数据，使用大量的语音数据集进行训练，例如开放式语音数据集（Open SpeechCorpus）和语音识别数据集（Speech Recognition Data）等。
示例性的，对于口才表达评估模型的训练方法，可以针对输出维度中的口音和语音特征，使用区分性学习对语音样本库（如国际语音通讯联盟（ITU）的语音样本库）进行训练，以让语音识别模型更好地识别不同地区和不同语音背景下的人的口音；针对输出维度中的语调和语速，使用逐帧识别技术和情感识别技术对带有注释的语音样本进行训练，以更准确地识别表达者快速说话时的每个单词，从而减少语音识别模型在处理语速方面的误差，以及使语音识别模型更好地理解语音中的情感表达和语调变化，从而可以自动检测和识别语音中的情感表达和语调变化；针对输出维度中的语法和语义，可以使用包含语音和文本的数据集进行训练，例如通用自然语言处理数据集（General LanguageUnderstanding Evaluation，GLUE）等。
示例性的，针对现有技术中口才表达评估维度单一的问题，本发明可以使用多模态技术对生理数据和语音数据进行整合，实现将语音、视频、文本等多种信息源进行融合，从而实现更全面的口才表达能力评估。
在具体实施时，将生理数据和语音数据输入到综合口才评估模型后，综合口才评估模型可以进行如下识别与评估过程：
口音和语音特征：综合口才评估模型可以使用语音识别技术可以对表达者的口音进行分析，并且对口音进行转换，使得表达者的表达更加易于理解，比如，可以使用高斯混合模型（Gaussian Mixture Model，GMM）对不同的口音进行分类，同时，可以使用基于梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficients，MFCC）的特征提取方法，提取语音的频谱特征。
语调和语速：综合口才评估模型可以通过分析表达者的语音数据，提取出表达者的语调和语速的特征，比如，可以使用RNN模型，提取语音数据中的时间序列特征，并进行连续的音调曲线建模，以及基于连续音速变化进行的语速建模。例如，可以使用CNN模型对语音数据进行分帧处理，获得每一帧语音信号，得到语音数据中的时间序列特征；再对每一帧语音信号进行短时傅里叶变换（Short-time Fourier Transform，STFT），得到每一帧频谱的MFCC系数；对于每一帧频谱的MFCC系数，通过Kaldi或HTK等工具进行音调分析，建立音调模型，再连接相邻的音调模型，得到连续的音调曲线模型，进一步还可以对其进行平滑处理，以便更好地反映说话者的语调特征；对于连续的音速变化，使用线性回归模型进行建模，以获取连续音速变化进行的语速模型。
语法和语义：综合口才评估模型可以使用自然语言处理技术对表达者的语音数据进行语法和语义分析，比如，可以使用RNN模型，对输入的语音数据文本进行处理，并对文本的语法和语义进行分析。
语气情感：综合口才评估模型可以使用情感分析技术可以对表达者的语言进行分析，检测出其中蕴含的情感和态度，比如可以使用基于情感识别技术的模型，对说话人的情感进行分析，并对语音信号进行情感转换，以改变语音的语气。
思维深度：综合口才评估模型可以使用自然语言处理中的文本生成模型，如GPT-2和BERT等来进行训练学习，通过语法和语义的准确性、文化背景的丰富度、逻辑性和创新性来评估表达者的思维深度。例如，如果表达者能够深入浅出地解释复杂的概念，并结合生动的例子来说明，那么可以认为表达者的思维深度较高。
说服力：综合口才评估模型可以通过表达者的语音、声调、身体语言等非语言信号来评估，例如，如果表达者能够用自信和热情的语气来表达其观点，那么可以认为表达者的说服力较高。具体地，综合口才模型可以使用计算机视觉领域中的姿态估计模型，如OpenPose和PoseNet等来进行训练。在姿态估计模型中，可以使用摄像头来捕捉表达者的身体姿势，并根据姿态估计模型预测的身体语言特征来评估表达者的说服力，同时，还可以使用自然语言处理中的情感分析模型来评估表达者的语音、语调和语气等非语言信号。
即综合口才评估模型可以针对不同的维度，采用不同的模型进行训练学习。在模型训练方面，可以采用监督学习或强化学习等方法，通过对大量标注好的样本数据集进行训练，同时利用迁移学习等方法来提高模型的准确性和泛化能力。必要时，还可以对模型的训练数据进行清洗和预处理，以确保模型的训练效果。
在本发明中，通过将生理数据和语音数据输入到综合口才评估模型进行识别与评估，即可获得表达者的第一多维口才表达信息，从而可以从口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力等多个方面进行评估，评估维度多样，便于全面评估表达者的口才表达能力。
S13、对第一多维口才表达信息进行全面诊断，获得第一多维口才表达信息对应的评估报告。
在具体实施时，全面诊断可以理解为：对第一多维口才表达信息的各个维度口才表达信息进行全方位的评估和分析，以便于给出更全面、更准确的评估结果和建议。
在具体实施时，该评估报告可以包括但不限于：第一多维口才表达信息中的任一维度口才表达信息对应的评估结果和个性化训练建议。
在具体实施时，结合图1-3所示，步骤S13具体可以包括如下步骤：
S131、识别表达者表达时所在的语音场景。
在具体实施时，语音场景可以包括会议室、教室、街头等场景。
在本发明中，通过识别表达者表达时所处的语音场景，如可以通过识别背景噪声、环境特征等因素来进行语音场景的分类和区分，以便于结合相应的语音场景来对表达者的口才表达能力进行评估，更能准确地评估表达者的口才表达能力。
S132、获取在语音场景下的目标用户的第二多维口才表达信息。
在具体实施时，第二多维口才表达信息可以是通过口才表达能力的全面评估与解决平台获取的。其中，口才表达能力的全面评估与解决平台可以存储有通过自动采集、用户主动上传或从第三方数据库获取等方式获得的多维口才表达信息。每一多维口才表达信息都对应唯一的用户。
在具体实施时，目标用户可以为与表达者在行业、岗位和年龄中的至少一项相同的用户。换言之，目标用户可以为与表达者同行业、同岗位或同年龄的其他表达者。
在具体实施时，第二多维口才表达信息可以包括但不限于：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力。
S133、对第一多维口才表达信息与第二多维口才表达信息进行比对分析，获得比对结果。
在具体实施时，可以采用现有的相应的统计方法或者机器学习算法对第一多维口才表达信息与第二多维口才表达信息进行比对分析。例如，可以比对分析口才表达技能的整体得分、各维度口才表达技能的得分。
在本发明中，通过将第一多维口才表达信息与第二多维口才表达信息进行比对分析，以便能够针对表达者当前的表达给出更具体、更有针对性的评估和建议，便于全面评估表达者的口才表达能力。
S134、基于该比对结果对第一多维口才表达信息进行全面诊断，获得第一多维口才表达信息对应的评估报告。
示例性的，可以基于该比对结果对第一多维口才表达信息进行全面诊断，以确定表达者当前需要在哪些维度口才表达技能上需要重点提高、如何提高、具体的训练建议等。例如，若发现表达者当前的情感表达得分偏低，那么可以建议表达者加强情感表达的训练，同时给出具体的训练计划和建议。
当然，在具体实施时，除了基于该比对结果对第一多维口才表达信息进行全面诊断之外，还可以基于该比对结果、结合其他因素如表达者的背景、目标、需求等对第一多维口才表达信息进行全面诊断。
在本发明中，通过对第一多维口才表达信息进行全面诊断，获得第一多维口才表达信息对应的评估报告，可以针对表达者当前的表达给出全面、详细、可操作、更有针对性的评估结果和训练建议，便于全面评估表达者的口才表达能力，可以帮助表达者更全面、更准确地了解自己的口才表达能力，并为表达者提供个性化的训练建议，便于表达者能够更好地提高口才表达能力。
S14、对第一多维口才表达信息进行不足分析，获得第一多维口才表达信息对应的分析结果。
在具体实施时，该分析结果可以包括但不限于：表达者在第一维度口才表达信息中的任一维度口才表达信息上的问题共性和整体情况。
在具体实施时，可以通过数据可视化方式展示该分析结果，以便于为表达者提供可视化的反馈。
在具体实施时，结合图1-4所示，步骤S14具体可以包括如下步骤：
S141、从维度解析角度对第一维度口才表达信息中的任一多维度口才表达信息进行详细解析，找出表达者在任一维度口才表达信息上存在的问题。
示例性的，当从维度解析角度对任一多维度口才表达信息进行详细解析时，若确定语音识别模型的识别结果中出现了许多错误，说明表达者的语音清晰度需要提高，即表达者在口音和语音特征上存在清晰度低的问题，或者，若确定表达者的说服力分数较低，说明表达者在表达时需要更具有说服力等，即表达者在说服力上存在说服力低的问题。
S142、从结果分析角度上对表达者在任一维度口才表达信息上存在的问题进行综合分析，找出表达者在任一维度口才表达信息上存在的问题共性和整体情况，获得该分析结果。
在具体实施时，表达者在任一维度口才表达信息上的整体情况可以包括：表达者在任一维度口才表达信息上的表现情况以及综合表现情况。
示例性的，若表达者在语调和语速上存在语调过高、语速过快的问题，在语法和语义存在语法错误的问题，在语气情感上存在紧张的问题，在思维深度上存在逻辑性较低的问题，在说服力上存在说服力低的问题，说明表达者在任一维度口才表达信息上存在的问题共性为表达时情绪过于紧张。
在本发明中，通过对第一多维口才表达信息进行不足分析，获得第一多维口才表达信息对应的分析结果，可以从口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力等多个方面进行不足分析，以便于以找到表达者在口才表达方面存在的问题，并给予针对性的改进建议。
S15、基于该评估报告和该分析结果，针对性为表达者提供提升口才表达能力的解决方案。
在具体实施时，结合图1-5所示，步骤S15具体可以包括如下步骤：
S151、基于该评估报告和该分析结果，从维度方差分析角度分析表达者在任一维度口才表达信息上的表现差异性，确定出表达者需要重点及改进的目标维度口才表达信息。
示例性的，可以计算任一维度口才表达信息的标准差，如果某个维度口才表达信息的标准差较大，则说明表达者在该维度口才表达信息上的表现差异较大，需要更多的关注和训练改进，即可以将该维度口才表达信息作为目标维度口才表达信息。
S152、从维度提升路径分析角度为表达者提供针对目标维度口才表达信息的提升训练方案，获得该解决方案。
示例性的，如果目标维度口才表达信息为口音和语音特征，则可以设计针对性的语音训练课程，帮助表达者提高发音准确性和口音自然度。
需要说明的是，在步骤S15中，需要根据表达者的具体情况进行，不能一刀切，也不能只关注某些维度口才表达信息而忽略其他维度维度口才表达信息，需要注意不同维度口才表达信息之间的关系和影响，避免采取单一措施而导致其他维度口才表达信息的不足。同时，提升训练方案的制定也需要考虑到表达者的个体差异，以及表达者的学习需求和目标，以及还需对不同提升训练方案的效果进行评估和反馈，不断调整提升训练方案。
作为一种示例，可以针对表达者在第一维度口才表达信息的任一维度口才表达信息上存在的不足采取相应的解决措施。
比如，针对口音和语音特征的不足，可以采取以下解决措施：
引导表达者进行发音练习，纠正口音错误；
建议表达者进行口语练习，增强语音特征的表现力；
使用语音识别模型进行实时反馈，帮助表达者改善口音和语音特征。
比如，针对语调和语速的不足，可以采取以下解决措施：
建议表达者进行语调训练，提高语调的准确性和自然度；
鼓励表达者进行语速控制练习，保持适当的语速；
使用口才表达评估模型进行实时反馈，帮助表达者改善语调和语速。
比如，针对语法和语义的不足，可以采取以下解决措施：
建议表达者加强语法知识的学习，提高语法的准确性；
推荐表达者阅读相关书籍，增强语义的理解能力；
使用语音识别模型进行实时反馈，帮助表达者改善语法和语义。
比如，针对语气情感的不足，可以采取以下解决措施：
引导表达者学习如何运用语气来表达情感；
给表达者提供合适的情感表达练习；
使用口才表达评估模型进行实时反馈，帮助表达者改善语气情感。
比如，针对思维深度和说服力的不足，可以采取以下措施：
建议表达者加强相关知识的学习，增强思维深度；
给表达者提供相应的思维深度训练；
帮助表达者学习如何运用逻辑推理和说服技巧。
在本发明中，通过基于该评估报告和该分析结果，针对性为表达者提供提升口才表达能力的解决方案，从而可以对表达者在口才表达上的不足进行全面的解析和优化，使得表达者可以得到个性化指导和提升，便于表达者能够更好地提高口才表达能力。
通过以上描述可知，本发明提供的技术方案通过将采集到的表达者的生理数据和语音数据输入到综合口才评估模型进行识别与评估，从而可以从口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力等多个方面进行评估，评估维度多样，便于全面评估表达者的口才表达能力；通过对第一多维口才表达信息进行全面诊断，获得第一多维口才表达信息对应的评估报告，可以针对表达者当前的表达给出全面、详细、可操作、更有针对性的评估结果和训练建议，可以帮助表达者更全面、更准确地了解自己的口才表达能力，并为表达者提供个性化的训练建议，便于表达者能够更好地提高口才表达能力；通过对第一多维口才表达信息进行不足分析，获得第一多维口才表达信息对应的分析结果，可以便于以找到表达者在口才表达方面存在的问题，并给予针对性的解决方案；通过基于该评估报告和该分析结果，针对性为表达者提供提升口才表达能力的解决方案，从而可以对表达者在口才表达上的不足进行全面的解析和优化，使得表达者可以得到个性化指导和提升，便于表达者更好地提高口才表达能力。
在本发明提供的一种可适用的场景下，结合图1-6所示，本发明提供的口才表达能力的全面评估与解决方法，还可以包括如下步骤：
S16、构建口才表达能力的预测模型，并将生理数据和语音数据输入该预测模型中进行预测，获得预测结果。
在具体实施时，该预测结果可以包括但不限于：表达者未来在第一多维口才表达信息上的单个维度评分和综合评分。
在具体实施时，该预测模型可以使用各种机器学习方法，如决策树、随机森林等。
在具体实施时，该预测模型的预测逻辑可以采用如下数学公式（1）表示：
y1= f（x1） （1）
其中，x1为输入的特征向量，y1为输出的预测结果，f为预测模型。
在本发明中，通过将预测模型的输入维度设为生理数据和语音数据，从而可以根据多个特征变量（即体温、心跳、口音、语调、语速和语法）对表达者的口才表达能力未来的表现和进步情况进行预测，从而可以提高预测模型的准确性和可靠性，还可以对表达者提供更加精准的指导和建议。
S17、构建口才表达能力的评估模型，并将生理数据和语音数据输入评估模型中进行成绩评估，获得成绩评估结果。
在具体实施时，该成绩评估结果可以包括但不限于：表达者在第一多维口才表达信息上的单个维度评分和综合评分。例如，该成绩评估结果可以表示为：口音和语音特征得分为90分，语调和语速得分为95分、语法和语义得分为80分、语气情感得分为60分、思维深度得分为90分、说服力得分为90分。
在具体实施时，该评估模型可以使用各种机器学习方法，如决策树、随机森林等。
在具体实施时，该评估模型的评估手段可以采用如下数学公式（2）表示：
y2= g（x2）（2）
其中，x2为输入的特征向量，y2为输出的成绩评估结果，g为评估模型。即x2为上述生理数据和语音数据。
S18、构建口才表达能力的优化模型，并将该预测结果和该成绩评估结果输入优化模型中，获得口才表达针对性训练方案，采用个性化或交互式方式输出该口才表达针对性训练方案。
在具体实施时，该优化模型可以使用各种机器学习方法，如决策树、随机森林等。
在具体实施时，该优化模型的应用逻辑可以采用如下数学公式（3）表示：
y3=h（x3） （1）
其中，x3为输入的特征向量，y3为输出的口才表达针对性训练方案，h为优化模型。即x3为上述预测结果和成绩评估结果。
示例性的，针对口音和语音特征这一维度，可以通过训练语音识别模型和口才表达评估模型，对表达者的口音和语音特征进行预测和评估，然后，再根据表达者的表现建立个性化的口音纠正和语音训练方案，并通过采用个性化或交互式方式输出该方案，帮助表达者全面优化口才表达能力。
需要说明的是，本发明不限定步骤S16-S18与步骤S12-S15之间的执行顺序，比如，步骤S16-S18可以与步骤S12-S15同步执行，或者可以在步骤S12-S15之前或者之后执行。
在本发明中，通过分别构建口才表达能力的预测模型和评估模型对表达者的口才表达能力进行预测和评估，再构建口才表达能力的优化模型对表达者的口才表达能力进行全面优化，从而可以帮助表达者全面优化口才表达能力。
相较于现有技术而言，本发明提供的技术方案具备如下有益效果，
提高口才表达能力：针对不同的输入维度，能够帮助表达者快速、准确地分析自己的口才表达能力，并针对性为表达者提供提升口才表达能力的解决方案，从而可以提高表达者的口才表达能力。
提高综合口才评估模型的准确性：本发明中的综合口才评估模型结合了口才表达评估模型和语音识别模型，能够更全面地评估口才表达能力，从而提高评估口才表达能力的准确性。
减少人工评估成本：本发明可以自动化地对口才表达能力进行评估，减少了人工评估的成本。
提高口才表达的效率和准确性：本发明通过全面诊断，可以针对不同的输入维度，提供量化的口才表达评估结果，帮助用户更好地分析自己的口才表达能力，从而提高口才表达的效率和准确性。
提高口才表达的可持续性：本发明可以支持随时随地进行口才表达训练和评估，提高了口才表达的可持续性。
综上所述，本发明能够全面、准确地提高表达者的口才表达能力，同时减少人工评估成本，提高口才表达的效率、准确性和可持续性。
基于同一发明构思，本发明实施例还提供了一种口才表达能力的全面评估与解决系统。如图7所示，该系统可以包括：
采集单元31，采集表达者表达时的生理数据和语音数据；生理数据包括体温数据和心跳数据，语音数据包括口音数据、语调数据、语速数据和语法数据；
评估单元32，用于将生理数据和语音数据输入到综合口才评估模型进行识别与评估，获得表达者的第一多维口才表达信息；第一多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
诊断单元33，用于对第一多维口才表达信息进行全面诊断，获得第一多维口才表达信息对应的评估报告；评估报告包括第一多维口才表达信息中的任一维度口才表达信息对应的评估结果和个性化训练建议；
分析单元34，用于对第一多维口才表达信息进行不足分析，获得第一多维口才表达信息对应的分析结果；分析结果包括表达者在任一维度口才表达信息上存在的问题共性和整体情况；
解决单元35，用于基于评估报告和分析结果，针对性为表达者提供提升口才表达能力的解决方案。
在一种可能的设计中，评估单元32通过以下方式获得综合口才评估模型：
获取语音识别与口才表达评估相关知识；
基于语音识别与口才表达评估相关知识，构建基于深度学习的语音识别模型、基于机器学习的口才表达评估模型；
将语音识别模型作为输入模型、口才表达评估模型作为输出模型组成综合口才评估模型的模型框架；
基于模型框架，设置综合口才评估模型的模型维度和训练方法，获得综合口才评估模型；
其中，模型维度包括输入维度、输出维度和隐藏层维度，输入维度分为生理数据和语音数据两类，输出维度分为口音和语音特征、语调和语速、语法和语义、语气情感、思维深度、说服力六类，隐藏层维度包括生理数据隐藏层和语音数据隐藏层，训练方法包括语音识别模型的训练方法和口才表达评估模型的训练方法。
在一种可能的设计中，诊断单元33具体用于：
识别表达者表达时所在的语音场景；
获取在语音场景下的目标用户的第二多维口才表达信息；目标用户为与表达者在行业、岗位和年龄中的至少一项相同的用户，第二多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
对第一多维口才表达信息与第二多维口才表达信息进行比对分析，获得比对结果；
基于比对结果对第一多维口才表达信息进行全面诊断，获得评估报告。
在一种可能的设计中，分析单元34具体用于：
从维度解析角度对任一多维度口才表达信息进行详细解析，找出表达者在任一维度口才表达信息上存在的问题；
从结果分析角度上对表达者在任一维度口才表达信息上存在的问题进行综合分析，找出表达者在任一维度口才表达信息上存在的问题共性和整体情况，获得分析结果。
在一种可能的设计中，分析单元34还用于：
通过数据可视化方式展示分析结果。
在一种可能的设计中，解决单元35具体用于：
基于评估报告和分析结果，从维度方差分析角度分析表达者在任一维度口才表达信息上的表现差异性，确定出表达者需要重点及改进的目标维度口才表达信息；
从维度提升路径分析角度为表达者提供针对目标维度口才表达信息的提升训练方案，获得解决方案。
在一种可能的设计中，解决单元35还用于：
构建口才表达能力的预测模型，并将生理数据和语音数据输入预测模型中进行预测，获得预测结果；预测结果包括表达者未来在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的评估模型，并将生理数据和语音数据输入评估模型中进行成绩评估，获得成绩评估结果；成绩评估结果包括表达者在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的优化模型，并将预测结果和成绩评估结果输入优化模型中，获得口才表达针对性训练方案，采用个性化或交互式方式输出口才表达针对性训练方案。
需要说明的是，上述采集单元31、评估单元32、诊断单元33、分析单元34和解决单元35可以为一种逻辑功能划分，在具体实施时可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上集成在一个集成的功能单元中，本发明对此不作限定。其中，上述采集单元31、评估单元32、诊断单元33、分析单元34和解决单元35既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现，本发明对此不作限定。
本发明实施例中的口才表达能力的全面评估与解决系统与上述图1和图6所示的口才表达能力的全面评估与解决方法是基于同一构思下的发明，通过前述对口才表达能力的全面评估与解决方法的详细描述，本领域技术人员可以清楚的了解本实施例中网络安全管控系统的实施过程，所以为了说明书的简洁，在此不再赘述。
基于同一发明构思，本发明实施例还提供了一种计算机装置。如图8所示，计算机装置可以包括：至少一个存储器41和至少一个处理器42。其中：
至少一个存储器41用于存储一个或多个程序。
当一个或多个程序被至少一个处理器42执行时，实现上述图1和图6所示的口才表达能力的全面评估与解决方法。
计算机装置还可以可选地包括通信接口，通信接口用于与外部设备进行通信和数据交互传输。
需要说明的是，存储器41可能包含高速RAM存储器，也可能还包括非易失性存储器（nonvolatile memory），例如至少一个磁盘存储器。
在具体的实现过程中，如果存储器41、处理器42及通信接口集成在一块芯片上，则存储器41、处理器42及通信接口可以通过内部接口完成相互间的通信。如果存储器41、处理器42和通信接口独立实现，则存储器41、处理器42和通信接口可以通过总线相互连接并完成相互间的通信。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以存储有至少一个程序，当至少一个程序被处理器执行时，实现上述图1和图6所示的口才表达能力的全面评估与解决方法。
应当理解，计算机可读存储介质为可存储数据或程序的任何数据存储设备，数据或程序其后可由计算机系统读取。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备等。
计算机可读存储介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频（Radio Frequency，RF）等，或者上述的任意合适的组合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种口才表达能力的全面评估与解决方法，其特征在于，包括：
采集表达者表达时的生理数据和语音数据；所述生理数据包括体温数据和心跳数据，所述语音数据包括口音数据、语调数据、语速数据和语法数据；
将所述生理数据和所述语音数据输入到综合口才评估模型进行识别与评估，获得所述表达者的第一多维口才表达信息；所述第一多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
对所述第一多维口才表达信息进行全面诊断，获得所述第一多维口才表达信息对应的评估报告；所述评估报告包括所述第一多维口才表达信息中的任一维度口才表达信息对应的评估结果和个性化训练建议；
对所述第一多维口才表达信息进行不足分析，获得所述第一多维口才表达信息对应的分析结果；所述分析结果包括所述表达者在所述任一维度口才表达信息上存在的问题共性和整体情况；
基于所述评估报告和所述分析结果，针对性为所述表达者提供提升口才表达能力的解决方案。
2.如权利要求1所述的方法，其特征在于，所述综合口才评估模型通过以下方式获得：
获取语音识别与口才表达评估相关知识；
基于所述语音识别与口才表达评估相关知识，构建基于深度学习的语音识别模型、基于机器学习的口才表达评估模型；
将所述语音识别模型作为输入模型、所述口才表达评估模型作为输出模型组成所述综合口才评估模型的模型框架；
基于所述模型框架，设置所述综合口才评估模型的模型维度和训练方法，获得所述综合口才评估模型；
其中，所述模型维度包括输入维度、输出维度和隐藏层维度，所述输入维度分为生理数据和语音数据两类，所述输出维度分为口音和语音特征、语调和语速、语法和语义、语气情感、思维深度、说服力六类，所述隐藏层维度包括生理数据隐藏层和语音数据隐藏层，所述训练方法包括所述语音识别模型的训练方法和所述口才表达评估模型的训练方法。
3.如权利要求1所述的方法，其特征在于，对所述第一多维口才表达信息进行全面诊断，获得所述第一多维口才表达信息对应的评估报告，包括：
识别所述表达者表达时所在的语音场景；
获取在所述语音场景下的目标用户的第二多维口才表达信息；所述目标用户为与所述表达者在行业、岗位和年龄中的至少一项相同的用户，所述第二多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
对所述第一多维口才表达信息与所述第二多维口才表达信息进行比对分析，获得比对结果；
基于所述比对结果对所述第一多维口才表达信息进行全面诊断，获得所述评估报告。
4.如权利要求1所述的方法，其特征在于，对所述第一多维口才表达信息进行不足分析，获得所述第一多维口才表达信息对应的分析结果，包括：
从维度解析角度对所述任一多维度口才表达信息进行详细解析，找出所述表达者在所述任一维度口才表达信息上存在的问题；
从结果分析角度上对所述表达者在所述任一维度口才表达信息上存在的问题进行综合分析，找出所述表达者在所述任一维度口才表达信息上存在的问题共性和整体情况，获得所述分析结果。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过数据可视化方式展示所述分析结果。
6.如权利要求1所述的方法，其特征在于，基于所述评估报告和所述分析结果，针对性为所述表达者提供提升口才表达能力的解决方案，包括：
基于所述评估报告和所述分析结果，从维度方差分析角度分析所述表达者在所述任一维度口才表达信息上的表现差异性，确定出所述表达者需要重点及改进的目标维度口才表达信息；
从维度提升路径分析角度为所述表达者提供针对所述目标维度口才表达信息的提升训练方案，获得所述解决方案。
7.如权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
构建口才表达能力的预测模型，并将所述生理数据和所述语音数据输入所述预测模型中进行预测，获得预测结果；所述预测结果包括所述表达者未来在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的评估模型，并将所述生理数据和所述语音数据输入所述评估模型中进行成绩评估，获得成绩评估结果；所述成绩评估结果包括所述表达者在第一多维口才表达信息上的单个维度评分和综合评分；
构建口才表达能力的优化模型，并将所述预测结果和所述成绩评估结果输入优化模型中，获得口才表达针对性训练方案，采用个性化或交互式方式输出所述口才表达针对性训练方案。
8.一种口才表达能力的全面评估与解决系统，其特征在于，包括：
采集单元，采集表达者表达时的生理数据和语音数据；所述生理数据包括体温数据和心跳数据，所述语音数据包括口音数据、语调数据、语速数据和语法数据；
评估单元，用于将所述生理数据和所述语音数据输入到综合口才评估模型进行识别与评估，获得所述表达者的第一多维口才表达信息；所述第一多维口才表达信息包括：口音和语音特征、语调和语速、语法和语义、语气情感、思维深度以及说服力；
诊断单元，用于对所述第一多维口才表达信息进行全面诊断，获得所述第一多维口才表达信息对应的评估报告；所述评估报告包括所述第一多维口才表达信息中的任一维度口才表达信息对应的评估结果和个性化训练建议；
分析单元，用于对所述第一多维口才表达信息进行不足分析，获得所述第一多维口才表达信息对应的分析结果；所述分析结果包括所述表达者在所述任一维度口才表达信息上存在的问题共性和整体情况；
解决单元，用于基于所述评估报告和所述分析结果，针对性为所述表达者提供提升口才表达能力的解决方案。
9.一种计算机装置，其特征在于，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行时，实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个程序；当所述至少一个程序被处理器执行时，实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615468.0A CN116343824B (zh) | 2023-05-29 | 2023-05-29 | 口才表达能力的全面评估与解决方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615468.0A CN116343824B (zh) | 2023-05-29 | 2023-05-29 | 口才表达能力的全面评估与解决方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116343824A true CN116343824A (zh) | 2023-06-27 |
| CN116343824B CN116343824B (zh) | 2023-08-15 |
Family
ID=86886217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310615468.0A Active CN116343824B (zh) | 2023-05-29 | 2023-05-29 | 口才表达能力的全面评估与解决方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116343824B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117275319A (zh) * | 2023-11-20 | 2023-12-22 | 首都医科大学附属北京儿童医院 | 训练语言重点能力的装置 |
| CN117541445A (zh) * | 2023-12-11 | 2024-02-09 | 新励成教育科技股份有限公司 | 一种虚拟环境交互的口才训练方法、系统、设备及介质 |
| CN117576982A (zh) * | 2024-01-16 | 2024-02-20 | 青岛培诺教育科技股份有限公司 | 一种基于ChatGPT的口语训练方法、装置、电子设备及介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11143346A (ja) * | 1997-11-05 | 1999-05-28 | Seiko Epson Corp | 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体 |
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| US20130332147A1 (en) * | 2012-06-11 | 2013-12-12 | Nvoq Incorporated | Apparatus and Methods to Update a Language Model in a Speech Recognition System |
| CN105578115A (zh) * | 2015-12-22 | 2016-05-11 | 深圳市鹰硕音频科技有限公司 | 一种具有语音评估功能的网络教学方法及系统 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN108831503A (zh) * | 2018-06-07 | 2018-11-16 | 深圳习习网络科技有限公司 | 一种口语评测方法及装置 |
| CN110164422A (zh) * | 2019-04-03 | 2019-08-23 | 苏州驰声信息科技有限公司 | 一种口语考试的多维度评估方法及装置 |
| CN111028853A (zh) * | 2019-11-25 | 2020-04-17 | 探客柏瑞科技（北京）有限公司 | 一种口语表达力评估方法及系统 |
| CN112800743A (zh) * | 2021-01-15 | 2021-05-14 | 安徽迪科数金科技有限公司 | 一种基于特定领域的语音打分模型构建系统及方法 |
| CN112818742A (zh) * | 2020-12-29 | 2021-05-18 | 南京智能情资创新科技研究院有限公司 | 一种用于智能面试的表达能力维度评价方法及装置 |
| CN112885332A (zh) * | 2021-01-08 | 2021-06-01 | 天讯瑞达通信技术有限公司 | 一种语音质检方法、系统及存储介质 |
| CN113496696A (zh) * | 2020-04-03 | 2021-10-12 | 中国科学院深圳先进技术研究院 | 一种基于语音识别的言语功能自动评估系统和方法 |
| CN114648981A (zh) * | 2022-04-07 | 2022-06-21 | 浙江国际海运职业技术学院 | 一种基于英语口语考试的多维度评估系统 |
| CN114863914A (zh) * | 2022-06-29 | 2022-08-05 | 慧言科技(天津)有限公司 | 构建端到端语音评测模型的深度学习方法 |
| CN115798513A (zh) * | 2023-01-31 | 2023-03-14 | 新励成教育科技股份有限公司 | 一种口才表达管理方法、系统及计算机可读存储介质 |
-
2023
- 2023-05-29 CN CN202310615468.0A patent/CN116343824B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11143346A (ja) * | 1997-11-05 | 1999-05-28 | Seiko Epson Corp | 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体 |
| CN101740024A (zh) * | 2008-11-19 | 2010-06-16 | 中国科学院自动化研究所 | 基于广义流利的口语流利度自动评估方法 |
| US20130332147A1 (en) * | 2012-06-11 | 2013-12-12 | Nvoq Incorporated | Apparatus and Methods to Update a Language Model in a Speech Recognition System |
| CN105578115A (zh) * | 2015-12-22 | 2016-05-11 | 深圳市鹰硕音频科技有限公司 | 一种具有语音评估功能的网络教学方法及系统 |
| CN108831503A (zh) * | 2018-06-07 | 2018-11-16 | 深圳习习网络科技有限公司 | 一种口语评测方法及装置 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN110164422A (zh) * | 2019-04-03 | 2019-08-23 | 苏州驰声信息科技有限公司 | 一种口语考试的多维度评估方法及装置 |
| CN111028853A (zh) * | 2019-11-25 | 2020-04-17 | 探客柏瑞科技（北京）有限公司 | 一种口语表达力评估方法及系统 |
| CN113496696A (zh) * | 2020-04-03 | 2021-10-12 | 中国科学院深圳先进技术研究院 | 一种基于语音识别的言语功能自动评估系统和方法 |
| CN112818742A (zh) * | 2020-12-29 | 2021-05-18 | 南京智能情资创新科技研究院有限公司 | 一种用于智能面试的表达能力维度评价方法及装置 |
| CN112885332A (zh) * | 2021-01-08 | 2021-06-01 | 天讯瑞达通信技术有限公司 | 一种语音质检方法、系统及存储介质 |
| CN112800743A (zh) * | 2021-01-15 | 2021-05-14 | 安徽迪科数金科技有限公司 | 一种基于特定领域的语音打分模型构建系统及方法 |
| CN114648981A (zh) * | 2022-04-07 | 2022-06-21 | 浙江国际海运职业技术学院 | 一种基于英语口语考试的多维度评估系统 |
| CN114863914A (zh) * | 2022-06-29 | 2022-08-05 | 慧言科技(天津)有限公司 | 构建端到端语音评测模型的深度学习方法 |
| CN115798513A (zh) * | 2023-01-31 | 2023-03-14 | 新励成教育科技股份有限公司 | 一种口才表达管理方法、系统及计算机可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117275319A (zh) * | 2023-11-20 | 2023-12-22 | 首都医科大学附属北京儿童医院 | 训练语言重点能力的装置 |
| CN117275319B (zh) * | 2023-11-20 | 2024-01-26 | 首都医科大学附属北京儿童医院 | 训练语言重点能力的装置 |
| CN117541445A (zh) * | 2023-12-11 | 2024-02-09 | 新励成教育科技股份有限公司 | 一种虚拟环境交互的口才训练方法、系统、设备及介质 |
| CN117576982A (zh) * | 2024-01-16 | 2024-02-20 | 青岛培诺教育科技股份有限公司 | 一种基于ChatGPT的口语训练方法、装置、电子设备及介质 |
| CN117576982B (zh) * | 2024-01-16 | 2024-04-02 | 青岛培诺教育科技股份有限公司 | 一种基于ChatGPT的口语训练方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116343824B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6979534B2 (ja) | インテリジェントインタラクション方法、装置、コンピュータデバイス及びコンピュータ読取可能な記憶媒体 | |
| CN116343824B (zh) | 口才表达能力的全面评估与解决方法、系统、装置及介质 | |
| US11636851B2 (en) | Multi-assistant natural language input processing | |
| Tahon et al. | Towards a small set of robust acoustic features for emotion recognition: challenges | |
| Narayanan et al. | Behavioral signal processing: Deriving human behavioral informatics from speech and language | |
| CN112750465B (zh) | 一种云端语言能力评测系统及可穿戴录音终端 | |
| Busso et al. | Toward effective automatic recognition systems of emotion in speech | |
| US8214214B2 (en) | Emotion detection device and method for use in distributed systems | |
| Bone et al. | Robust unsupervised arousal rating: A rule-based framework withknowledge-inspired vocal features | |
| Cen et al. | A real-time speech emotion recognition system and its application in online learning | |
| Lefter et al. | Automatic stress detection in emergency (telephone) calls | |
| Russo et al. | Dialogue systems and conversational agents for patients with dementia: The human–robot interaction | |
| TWI395201B (zh) | 情緒語音辨識方法及系統 | |
| CN109461441B (zh) | 一种自适应、无监督式的课堂教学活动智能感知方法 | |
| CN109841231B (zh) | 一种针对汉语普通话的早期ad言语辅助筛查系统 | |
| KR102444012B1 (ko) | 말 장애 평가 장치, 방법 및 프로그램 | |
| Hema et al. | Emotional speech recognition using cnn and deep learning techniques | |
| Sefara | The effects of normalisation methods on speech emotion recognition | |
| US10283142B1 (en) | Processor-implemented systems and methods for determining sound quality | |
| CN116616770A (zh) | 基于语音语义分析的多模态抑郁症筛查评测方法及其系统 | |
| CN117711444B (zh) | 一种基于口才表达的互动方法、装置、设备及存储介质 | |
| Xu | English speech recognition and evaluation of pronunciation quality using deep learning | |
| Liu et al. | AI recognition method of pronunciation errors in oral English speech with the help of big data for personalized learning | |
| Bhangale et al. | Speech emotion recognition using the novel PEmoNet (Parallel Emotion Network) | |
| Rangra et al. | Exploring the mel scale features using supervised learning classifiers for emotion classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230627 Assignee: Beijing Xinlicheng Management Consulting Co.,Ltd. Assignor: Xinlicheng Education Technology Co.,Ltd. Contract record no.: X2023980042425 Denomination of invention: Comprehensive evaluation and solution methods, systems, devices, and media for eloquence expression ability Granted publication date: 20230815 License type: Common License Record date: 20230922 |