CN113469542A - 一种基于语言处理以及图像识别的自迭代表达力测试系统 - Google Patents
一种基于语言处理以及图像识别的自迭代表达力测试系统 Download PDFInfo
- Publication number
- CN113469542A CN113469542A CN202110775781.1A CN202110775781A CN113469542A CN 113469542 A CN113469542 A CN 113469542A CN 202110775781 A CN202110775781 A CN 202110775781A CN 113469542 A CN113469542 A CN 113469542A
- Authority
- CN
- China
- Prior art keywords
- section
- subject
- model
- hit
- topic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 64
- 238000012552 review Methods 0.000 claims description 63
- 238000010801 machine learning Methods 0.000 claims description 31
- 230000001364 causal effect Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 208000019901 Anxiety disease Diseases 0.000 claims description 9
- 230000036506 anxiety Effects 0.000 claims description 9
- 230000004886 head movement Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 11
- 230000007115 recruitment Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 239000012085 test solution Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Medical Informatics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
一种基于语言处理以及图像识别的自迭代表达力测试系统，涉及人力资源招聘评估技术领域，测试系统包括模型使用平台，模型使用平台设有问题数据库以及屏幕，模型使用平台从问题数据库内抽取题目通过屏幕展示给测试者，模型使用平台根据测试者的作答收录测试者的回答影像、音频以提取非结构化数据，非结构化数据包括语音数据以及图像数据，之后，模型使用平台分别对语音数据、图像数据进行语音处理特征提取、图像处理特征提取得到语音特征、图像特征，再针对语音特征、图像特征送入声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型，之后将各维度打分送入总打分模型，总打分模型给出最后总得分。
Description
技术领域
本发明涉及人力资源招聘评估技术领域，具体涉及到一种基于语言处理以及图像识别的自迭代表达力测试系统。
背景技术
快速表达力测试是一种新型口语测试模式，相较于传统汉语言测试，快速表达力测试有适用面广、测试快捷、评测客观的优点，不仅可以作为用户表达力水平的评测标准，还可以作为用户日常学习、提高表达能力的辅助方法。在表达力测试中，涉及到测试者与打分者两方主体，打分者的主观判断实际上就是通过个人经验来判断测试者的表达力水平，这种方式相对比较准确，但受到打分者主观影响巨大，且人工测试的成本较高。
在现有的表达力测试中，虽然会提供表达力的测试试卷，但是主要只考察测试者的语法以及词发音，能考察测试者的逻辑，但是没有语速、语音语调以及连贯性等表达力重要因素的评分，导致表达力测试的准确率有限。另外，在现有的某些智能录音式的表达力测试中，基于录音的自然语言处理表达力评判，只能通过自然语言处理语音转文字，从单一维度考察测试者的复述能力，现有申请号为CN111028853A的中国专利公开了一种口语表达力评估方法及系统，该专利中公开了采用测试者的语音数据来评测测试者的口语表达力，然而，该种方式虽然能更客观、直接地反应测试者的口语表达能力，但无法结合测试者的微表情去评估表达力，准确度有限。而且，现有的很多表达力测试只基于规则，无法自迭代，做到真正的越用越准。因此，存在待改进之处。
发明内容
针对现有技术所存在的不足，本发明目的在于提出一种基于语言处理以及图像识别的自迭代表达力测试系统，具体方案如下：
一种基于语言处理以及图像识别的自迭代表达力测试系统，所述测试系统包括模型使用平台；
所述模型使用平台设有问题数据库以及屏幕，所述问题数据库包括朗读题、复述题目以及阐述题，所述模型使用平台从所述问题数据库内抽取题目通过屏幕展示给测试者，所述模型使用平台根据测试者的作答收录测试者的回答影像、音频以提取非结构化数据，所述非结构化数据包括语音数据以及图像数据，之后，所述模型使用平台分别对所述语音数据、图像数据进行语音处理特征提取、图像处理特征提取得到语音特征、图像特征，再针对所述语音特征、图像特征送入声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型，之后将各维度打分送入总打分模型，所述总打分模型给出最后总得分。
进一步的，所述测试系统还包括数据标注平台以及模型训练平台；
所述数据标注平台、模型训练平台配合用于建立多个机器学习训练模型，并结合测试者的作答、专家打分训练所述机器学习训练模型分别得到所述声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型以及总打分模型。
进一步的，所述数据标注平台对应设有测试者答案数据库，所述数据标注平台从测试者答案数据库中取出多个测试者的作答情况，在所述数据标注平台上展示给专家，专家根据所述数据标注平台展示的测试者作答情况进行打分并且通过所述数据标注平台存储回所述测试者答案数据库；
所述模型训练平台对应设置有模型训练引擎，所述模型训练平台基于所述数据标注平台中的被抽取的测试者的作答情况提取非结构化数据，所述非结构化数据包括语音数据以及图像数据，所述模型训练平台基于所述非结构化数据生成语音特征、图像特征，再将对应的专家打分共同送入所述模型训练引擎不断训练模型，分别得到声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型。
进一步的，所述声音质量打分模型中的声音质量的计算维度分别为语速、语音频率以及语音清晰度；
训练时，所述声音质量打分模型中的语音特征包括但不限于：
朗读题部分语音转文字后识别字数：N1
朗读题部分语音去除无声空白后时长：T1
朗读题部分语速：V1＝N1/T1
复述部分语音转文字后识别字数：N2
复述题部分语音去除无声空白后时长：T2
复述题部分语速：V2＝N2/T2
阐述题部分语音转文字后识别字数：N3
阐述题部分语音去除无声空白后时长：T3
阐述题部分语速：V3＝N3/T3
朗读题部分：声音最高频率hh1
复述题部分：声音最高频率hh2
阐述题部分：声音最高频率hh3
朗读题部分：声音平静频率hv1
复述题部分：声音平静频率hv2
阐述题部分：声音平静频率hv3
朗读题部分：声音最低频率hl1
复述题部分：声音最低频率hl2
阐述题部分：声音最低频率hl3
朗读题部分：声音清晰度q1
复述题部分：声音清晰度q2
阐述题部分：声音清晰度q3。
进一步的，所述表达自然打分模型中的表达自然度的计算维度为微表情；
训练时，所述表达自然打分模型中的图像特征包括但不限于：
朗读题部分：用户惊恐微表情占比jk1
复述题部分：用户惊恐微表情占比jk2
阐述题部分：用户惊恐微表情占比jk3
朗读题部分：用户紧张微表情占比jz1
复述题部分：用户紧张微表情占比jz2
阐述题部分：用户紧张微表情占比jz3
朗读题部分：用户焦虑微表情占比jl1
复述题部分：用户焦虑微表情占比jl2
阐述题部分：用户焦虑微表情占比jl3
朗读题部分：用户眼睛向上看时间占比eu1
复述题部分：用户眼睛向上看时间占比eu2
阐述题部分：用户眼睛向上看时间占比eu3
朗读题部分：用户眼睛向下看时间占比ed1
复述题部分：用户眼睛向下看时间占比ed2
阐述题部分：用户眼睛向下看时间占比ed3
朗读题部分：用户眼睛直视时间占比e1
复述题部分：用户眼睛直视看时间占比e2
阐述题部分：用户眼睛直视看时间占比e3
朗读题部分：每分钟平均头部移动次数h1
复述题部分：每分钟平均头部移动次数h2
阐述题部分：每分钟平均头部移动次数h3
朗读题部分：每分钟平均手部移动次数s1
复述题部分：每分钟平均手部移动次数s2
阐述题部分：每分钟平均手部移动次数s3
朗读题部分：每分钟平均摸头次数m1
复述题部分：每分钟平摸头次数m2
阐述题部分：每分钟平摸头次数m3
朗读题部分：每分钟平均摸头次数m1
复述题部分：每分钟平摸头次数m2
阐述题部分：每分钟平摸头次数m3；
占比的计算公式为微表情识别为该状态的时间t除以总时长T。
进一步的，所述流畅打分模型对应设置有停顿词库，所述流畅打分模型中的语言连贯性的计算维度分别为不同时长停顿、停顿词；
训练时，所述流畅打分模型中提取的语音特征包括但不限于：
朗读题部分：停顿词库每分钟击中次数n1
复述题部分：停顿词库每分钟击中次数n2
阐述题部分：停顿词库每分钟击中次数n3
朗读题部分：每分钟大于0.1秒停顿次数n011
复述题部分：每分钟大于0.1秒停顿次数n012
阐述题部分：每分钟大于0.1秒停顿次数n013
朗读题部分：每分钟大于0.3秒停顿次数n031
复述题部分：每分钟大于0.3秒停顿次数n032
阐述题部分：每分钟大于0.3秒停顿次数n033
朗读题部分：每分钟大于0.5秒停顿次数n051
复述题部分：每分钟大于0.5秒停顿次数n052
阐述题部分：每分钟大于0.5秒停顿次数n053
朗读题部分：每分钟大于0.8秒停顿次数n081
复述题部分：每分钟大于0.8秒停顿次数n082
阐述题部分：每分钟大于0.8秒停顿次数n083
朗读题部分：每分钟大于1秒停顿次数n101
复述题部分：每分钟大于1秒停顿次数n102
阐述题部分：每分钟大于1秒停顿次数n103。
进一步的，所述逻辑量打分模型的计算维度为阐述题的表达逻辑，表达逻辑包括并列、总分、转折、递进以及因果，所述逻辑量打分模型对应设置有并列词词库、总分词词库、转折词词库、递进词词库以及因果词词库；
训练时，所述逻辑量打分模型中的语音特征包括但不限于：
并列词库每分钟击中次数：b1
总分词库每分钟击中次数：z1
因果词库每分钟击中次数：y1
总分词库每分钟击中次数：zf1
转折词库每分钟击中次数：zz1
并列词库击中次数：b2
总分词库击中次数：z2
因果词库击中次数：y2
总分词库击中次数：zf2
转折词库击中次数：zz2
并列词库前30秒击中次数：b3
总分词库前30秒击中次数：z3
因果词库前30秒击中次数：y3
总分词库前30秒击中次数：zf3
转折词库前30秒击中次数：zz3
并列词库前1分钟击中次数：b4
总分词库前1分钟击中次数：z4
因果词库前1分钟击中次数：y4
总分词库前1分钟击中次数：zf4
转折词库前1分钟击中次数：zz4
并列词库前90秒击中次数：b5
总分词库前90秒击中次数：z5
因果词库前90秒击中次数：y5
总分词库前90秒击中次数：zf5
转折词库前90秒击中次数：zz5
击中1类逻辑词库：h1
击中2类逻辑词库：h2
击中3类逻辑词库：h3
击中4类逻辑词库：h4
击中4类逻辑词库：h5
前一分钟击中1类逻辑词库：h11
前一分钟击中2类逻辑词库：h12
前一分钟击中3类逻辑词库：h13
前一分钟击中4类逻辑词库：h14
前一分钟击中4类逻辑词库：h15。
进一步的，所述主旨打分模型中的计算维度为复述题的准确度以及阐述题的切题程度，所述主旨打分模型对应不同的复述题、阐述题分别设置有多个主旨词库，所述主旨词库包括主旨关键词、主旨关键词同义词；
训练时，所述主旨打分模型中的语音特征包括但不限于：
复述题主旨1击中次数：fn1
复述题主旨2击中次数：fn2
复述题主旨3击中次数：fn3
复述题主旨4击中次数：fn4
复述题主旨5击中次数：fn5
复述题主旨6击中次数：fn6
复述题主旨7击中次数：fn7
复述题主旨8击中次数：fn8
复述题主旨9击中次数：fn9
复述题主旨10击中次数：fn10
阐述题主旨1击中次数：cn1
阐述题主旨2击中次数：cn2
阐述题主旨3击中次数：cn3
阐述题主旨4击中次数：cn4
阐述题主旨5击中次数：cn5
阐述题主旨6击中次数：cn6
阐述题主旨7击中次数：cn7
阐述题主旨8击中次数：cn8
阐述题主旨9击中次数：cn9
阐述题主旨10击中次数：cn10
阐述题前30秒主旨1击中次数：cn11
阐述题前30秒主旨2击中次数：cn12
阐述题前30秒主旨3击中次数：cn13
阐述题前30秒主旨4击中次数：cn14
阐述题前30秒主旨5击中次数：cn15
阐述题前30秒主旨6击中次数：cn16
阐述题前30秒主旨7击中次数：cn17
阐述题前30秒主旨8击中次数：cn18
阐述题前30秒主旨9击中次数：cn19
阐述题前30秒主旨10击中次数：cn110
阐述题前60秒主旨1击中次数：cn21
阐述题前60秒主旨2击中次数：cn22
阐述题前60秒主旨3击中次数：cn23
阐述题前60秒主旨4击中次数：cn24
阐述题前60秒主旨5击中次数：cn25
阐述题前60秒主旨6击中次数：cn26
阐述题前60秒主旨7击中次数：cn27
阐述题前60秒主旨8击中次数：cn28
阐述题前60秒主旨9击中次数：cn29
阐述题前60秒主旨10击中次数：cn210。
进一步的，所述总打分模型进行训练时通过声音质量、表达自然度、主旨、逻辑以及流畅的各部分得分作为输入，拟合专家总评分，得到总打分模型。
进一步的，所述机器学习训练模型包括但不限于：
神经网络模型、深度神经网络模型、卷积神经网络模型、逻辑回归模型、线性回归模型，朴素贝叶斯模型以及支持向量机模型。
与现有技术相比，本发明的有益效果如下：
(1)该测试系统借助人工智能，通过提取测试者在表达力测试中有关于朗读题、复述题目以及阐述题的作答情况中的语音特征、图像特征，然后结合机器学习从而拟合专家打分，使得系统对于测试者的打分越来越接近于专家打分，从而形成了一种更智能、更接近专家判断结果的表达力测试系统。并且基于语音特征、图像特征反应测试者在测试过程中的口语、微表情，进而从声音素质、表达自然度、主旨、逻辑以及连贯性五个维度全面反映测试者的表达力，提高表达力测试中的准确度。
(2)众所周知，能够依据自身经验准确、客观评判测试者的表达能力的专家十分有限，本测试系统通过机器学习建模，萃取专家评分逻辑以及能力，实现专家能力的大规模复制，从而实现可以通过系统打分代替专家打分，减小专家打分时主观性带来的影响，提高测试系统打分的客观有效性。
(3)传统一对一的评测方式，受到打分人主观影响较大，本测试系统拟合多位专家打分，使得打分更具稳定性，也更具精准性。
附图说明
图1为本发明的测试系统的整体逻辑示意图；
图2为本发明的模型使用平台的整体逻辑示意图；
图3为本发明的数据标注平台的整体逻辑示意图；
图4为本发明的模型训练注平台的整体逻辑示意图；
图5为本发明的声音质量打分模型进行训练时的逻辑示意图；
图6为本发明的声音质量打分模型使用时的逻辑示意图；
图7为本发明的表达自然打分模型进行训练时的逻辑示意图；
图8为本发明的表达自然打分模型使用时的逻辑示意图；
图9为本发明的流畅打分模型进行训练时的逻辑示意图；
图10为本发明的流畅打分模型使用时的逻辑示意图；
图11为本发明的逻辑量打分模型进行训练时的逻辑示意图；
图12为本发明的逻辑量打分模型使用时的逻辑示意图；
图13为本发明的主旨打分模型进行训练时的逻辑示意图；
图14为本发明的主旨打分模型使用时的逻辑示意图；
图15为本发明的总打分模型进行训练时的逻辑示意图；
图16为本发明的总打分模型使用时的逻辑示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不仅限于此。
一种基于语言处理以及图像识别的自迭代表达力测试系统，可用于培训等各领域的人力资源招聘评估。该测试系统借助人工智能，打造一种更智能、更接近专家判断结果的表达力测试系统，并且可以从各种维度全面反映测试者的表达力，如图1所示的是该测试系统的总体逻辑图，系统向测试者出示问题后，用户回答过程中，通过向测试系统同时进行用户回答输入、用户回答视频输入，测试系统再进行音频特征提取、图像处理，语音转文字并提取特征，微表情识别并提取特征，之后送入对应人工智能评分模型，得出分数。另外，本测试系统通过提取各项特征然后结合机器学习从而拟合专家打分，使得系统对于测试者的打分越来越接近于专家打分。
测试系统包括模型使用平台，工作时，模型使用平台与测试者进行交互，测试系统主要通过屏幕向测试者展示问题，并辅以语音提示，系统会收录测试者的回答影像以及音频。在测试者依次完成各个测试后，由模型使用平台得出并展示测试者最终的表达力分数。
由于表达力水平体现的是测试者的综合能力，本发明中的测试系统将表达力拆分为声音素质、表达自然度、主旨、逻辑以及连贯性五个维度，声音素质即声音质量，连贯性即流畅程度，测试系统会根据测试对这个五个维度进行打分然后计算出总的表达力得分。系统测试分为如下三个部分：
朗读题：测试者朗读系统所展示的一句话。本部分用于测试测试者的基本声音素质语速以及语言连贯性。
复述题目：测试者有30秒钟时间阅读一段不超过200字的短文，在时间到达后会有30秒用自己语言复述之前内容。本部分主要测试测试者的主旨总结能力，但是也会影响其他部分得分。
阐述题：系统会给出测试者一个阐述问题，比如“你怎么看待年轻人躺平？”请用2分钟作答。本部分主要用于测试测试者逻辑以及主旨，其他部分也会涉及。
如图2所示，模型使用平台设有问题数据库以及屏幕，问题数据库包括前述所公开的朗读题、复述题目以及阐述题，模型使用平台从问题数据库内抽取题目通过屏幕展示给测试者，模型使用平台根据测试者的作答收录测试者的回答影像、音频以提取非结构化数据，非结构化数据包括语音数据以及图像数据，之后，模型使用平台分别对语音数据、图像数据进行语音处理特征提取、图像处理特征提取得到语音特征、图像特征，再针对语音特征、图像特征送入声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型，之后将各维度打分送入总打分模型，总打分模型给出最后总得分。
与传统评测相比，采用本测试系统的话，测试者不再需要到线下与专家面对面交流评测，可以直接通过线上自主完成，提升了测试效率，众所周知，能够依据自身经验准确评判测试者的表达能力的专家十分有限，本系统通过学习专家评分逻辑以及能力，实现专家能力的大规模复制。传统一次测试大概需要30分钟，一个专家不停的评价8小时也只能评测16个人，而本测试系统，只要带宽足够宽，云计算资源足够，每天可以测试的用户数量是没有上限，大大降低劳动量。
虽然本发明实现了采用人工智能模拟专家对测试者进行评测，然而，模型使用平台如果只是基于最初设定的某种特定算法进行工作，无法做到自迭代，当日新月异的表达力测试标准进行更新后，而且不同的专家打分标准存在差异性，本测试系统最终得到的测试结果便会出现误差，准确度降低。为了提高本测试系统的自我迭代以及打分的智能化，测试系统还包括数据标注平台以及模型训练平台，数据标注平台、模型训练平台配合用于建立多个机器学习训练模型，并结合测试者的作答、专家打分训练机器学习训练模型分别得到声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型以及总打分模型。
本实施例中，专家为教授或被普遍认可表达能力优秀的人，上述的训练方式总的逻辑为通过对机器学习训练模型输入足够多(至少100个)测试者的答题情况以及对应的专家打分(0-100)，分别得到不同的打分模型。为实现模型的训练，前期需要多个测试者与专家共同配合完成表达力测试以及打分，作为训练所需要的内容。
机器学习训练模型包括但不限于：神经网络模型、深度神经网络模型、卷积神经网络模型、逻辑回归模型、线性回归模型，朴素贝叶斯模型以及支持向量机模型。
详述来说，数据标注平台对应设有测试者答案数据库，测试者答案数据库为测试者的表达力测试，即依次对朗读题、复述题目以及阐述题的作答情况，如图3所示，数据标注平台从测试者答案数据库中取出多个测试者的作答情况，在数据标注平台上展示给专家，便于专家查看，专家根据数据标注平台展示的测试者作答情况进行打分，或者标注，并且通过数据标注平台存储回测试者答案数据库。
如图4所示，模型训练平台对应设置有模型训练引擎，模型训练平台基于数据标注平台中的被抽取的测试者的作答情况，此部分的作答情况来自于数据标注平台中的测试者答案数据库，为便于区分，该部分作答情况被选中自后在模型训练平台中称为非结构化数据库。模型训练平台从非结构数据库中提取非结构化数据，非结构化数据包括语音数据以及图像数据，模型训练平台基于非结构化数据生成语音特征、图像特征，语音特征、图像特征综合成为特征化数据，再将对应的专家打分共同送入模型训练引擎不断训练模型，分别得到声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型。以下针对不同的打分模型进行模型训练的详细阐述，还包括对不同模型单独工作时如何使用进行详细阐述。
一、声音质量打分模型
声音质量打分模型中的声音质量的计算维度分别为语速、语音频率以及语音清晰度，三个部分测试题的语音输入都会用于声音素质打分，如图5所示，机器学习训练模型通过机器学习拟合语音特征以及专家打分，最终形成声音质量打分模型，具体为同时输入足够多(至少100个)测试者的答题情况以及对应的专家打分(0-100)来训练。
训练时，声音质量打分模型中的语音特征包括但不限于：
朗读题部分语音转文字后识别字数：N1
朗读题部分语音去除无声空白后时长：T1
朗读题部分语速：V1＝N1/T1
复述部分语音转文字后识别字数：N2
复述题部分语音去除无声空白后时长：T2
复述题部分语速：V2＝N2/T2
阐述题部分语音转文字后识别字数：N3
阐述题部分语音去除无声空白后时长：T3
阐述题部分语速：V3＝N3/T3
朗读题部分：声音最高频率hh1
复述题部分：声音最高频率hh2
阐述题部分：声音最高频率hh3
朗读题部分：声音平静频率hv1
复述题部分：声音平静频率hv2
阐述题部分：声音平静频率hv3
朗读题部分：声音最低频率hl1
复述题部分：声音最低频率hl2
阐述题部分：声音最低频率hl3
朗读题部分：声音清晰度q1
复述题部分：声音清晰度q2
阐述题部分：声音清晰度q3。
关于声音清晰度的算法具体为：同时采用两种语音转文字方法(比如科大讯飞以及百度)将语音转为文字，并对比差异。
两种方案识别不同字数：n(对比两种方案识别不相同的字数，比如百度识别为“表达力测试解决方案”，科大讯飞识别为“表大测试解决方案”，则n＝2)
两种方案识别字数平均值：N(比如科大讯飞识别后有200个字，百度识别后有202个字，则N＝(200+202)/2＝201)，则q＝1-(n/N)。
声音质量打分模型在使用时，其工作过程如图6所示，测试用户答题过程中，通过对测试用户的语音输入提取相应特征输入声音质量机器学习模型(声音质量打分模型)得到用户声音质量得分。
二、表达自然打分模型
表达自然打分模型中的表达自然度的计算维度为微表情，表达自然度主要取决于测试者答题时候的状态，是否有紧张等反映，本项评分只依赖于测试者答题微表情，并且与三部分测试都相关。如图7所示，机器学习训练模型通过机器学习拟合影像特征以及专家打分，最终形成表达自然打分模型，具体为同时输入足够多(至少100个)测试者的答题情况以及对应的专家打分(0-100)来训练。
训练时，表达自然打分模型中的图像特征包括但不限于：
朗读题部分：用户惊恐微表情占比jk1
复述题部分：用户惊恐微表情占比jk2
阐述题部分：用户惊恐微表情占比jk3
朗读题部分：用户紧张微表情占比jz1
复述题部分：用户紧张微表情占比jz2
阐述题部分：用户紧张微表情占比jz3
朗读题部分：用户焦虑微表情占比jl1
复述题部分：用户焦虑微表情占比jl2
阐述题部分：用户焦虑微表情占比jl3
朗读题部分：用户眼睛向上看时间占比eu1
复述题部分：用户眼睛向上看时间占比eu2
阐述题部分：用户眼睛向上看时间占比eu3
朗读题部分：用户眼睛向下看时间占比ed1
复述题部分：用户眼睛向下看时间占比ed2
阐述题部分：用户眼睛向下看时间占比ed3
朗读题部分：用户眼睛直视时间占比e1
复述题部分：用户眼睛直视看时间占比e2
阐述题部分：用户眼睛直视看时间占比e3
朗读题部分：每分钟平均头部移动次数h1
复述题部分：每分钟平均头部移动次数h2
阐述题部分：每分钟平均头部移动次数h3
朗读题部分：每分钟平均手部移动次数s1
复述题部分：每分钟平均手部移动次数s2
阐述题部分：每分钟平均手部移动次数s3
朗读题部分：每分钟平均摸头次数m1
复述题部分：每分钟平摸头次数m2
阐述题部分：每分钟平摸头次数m3
朗读题部分：每分钟平均摸头次数m1
复述题部分：每分钟平摸头次数m2
阐述题部分：每分钟平摸头次数m3；
占比的计算公式为微表情识别为该状态的时间t除以总时长T。
表达自然打分模型在使用时，其工作过程如图8所示，测试用户答题过程中，通过对测试用户的图像输入提取相应特征输入表达自然机器学习模型(表达自然打分模型)得到用户表达自然度得分。
三、流畅打分模型
流畅打分模型中的语言连贯性的计算维度分别为不同时长停顿、停顿词，三个部分测试题的语音输入都会用于语言连贯性打分。流畅打分模型对应设置有停顿词库。如图9所示，机器学习训练模型通过机器学习拟合语音特征以及专家打分，最终形成流畅打分模型，具体为同时输入足够多(至少100个)测试者的答题情况以及对应的专家打分(0-100)来训练。
训练时，流畅打分模型中提取的语音特征包括但不限于：
朗读题部分：停顿词库每分钟击中次数n1
复述题部分：停顿词库每分钟击中次数n2
阐述题部分：停顿词库每分钟击中次数n3
朗读题部分：每分钟大于0.1秒停顿次数n011
复述题部分：每分钟大于0.1秒停顿次数n012
阐述题部分：每分钟大于0.1秒停顿次数n013
朗读题部分：每分钟大于0.3秒停顿次数n031
复述题部分：每分钟大于0.3秒停顿次数n032
阐述题部分：每分钟大于0.3秒停顿次数n033
朗读题部分：每分钟大于0.5秒停顿次数n051
复述题部分：每分钟大于0.5秒停顿次数n052
阐述题部分：每分钟大于0.5秒停顿次数n053
朗读题部分：每分钟大于0.8秒停顿次数n081
复述题部分：每分钟大于0.8秒停顿次数n082
阐述题部分：每分钟大于0.8秒停顿次数n083
朗读题部分：每分钟大于1秒停顿次数n101
复述题部分：每分钟大于1秒停顿次数n102
阐述题部分：每分钟大于1秒停顿次数n103。
流畅打分模型在使用时，其工作过程如图10所示，测试用户答题过程中，通过对测试用户的语音输入提取相应特征输入语言流畅度机器学习模型(流畅打分模型)得到用户语言连贯性得分。
四、逻辑量打分模型
逻辑量打分模型的计算维度为阐述题的表达逻辑，表达逻辑包括并列、总分、转折、递进以及因果五个方面，逻辑量打分模型对应设置有并列词词库、总分词词库、转折词词库、递进词词库以及因果词词库。如图11所示，机器学习训练模型通过机器学习拟合语音特征以及专家打分，最终形成逻辑量打分模型，具体为同时输入足够多(至少100个)测试者的答题情况以及对应的专家打分(0-100)来训练。
训练时，逻辑量打分模型中的语音特征包括但不限于：
并列词库每分钟击中次数：b1
总分词库每分钟击中次数：z1
因果词库每分钟击中次数：y1
总分词库每分钟击中次数：zf1
转折词库每分钟击中次数：zz1
并列词库击中次数：b2
总分词库击中次数：z2
因果词库击中次数：y2
总分词库击中次数：zf2
转折词库击中次数：zz2
并列词库前30秒击中次数：b3
总分词库前30秒击中次数：z3
因果词库前30秒击中次数：y3
总分词库前30秒击中次数：zf3
转折词库前30秒击中次数：zz3
并列词库前1分钟击中次数：b4
总分词库前1分钟击中次数：z4
因果词库前1分钟击中次数：y4
总分词库前1分钟击中次数：zf4
转折词库前1分钟击中次数：zz4
并列词库前90秒击中次数：b5
总分词库前90秒击中次数：z5
因果词库前90秒击中次数：y5
总分词库前90秒击中次数：zf5
转折词库前90秒击中次数：zz5
击中1类逻辑词库：h1
击中2类逻辑词库：h2
击中3类逻辑词库：h3
击中4类逻辑词库：h4
击中4类逻辑词库：h5
前一分钟击中1类逻辑词库：h11
前一分钟击中2类逻辑词库：h12
前一分钟击中3类逻辑词库：h13
前一分钟击中4类逻辑词库：h14
前一分钟击中4类逻辑词库：h15。
逻辑量打分模型在使用时，其工作过程如图12所示，测试用户答题过程中，通过对测试用户的语音输入提取相应特征输入逻辑评分机器学习模型(逻辑量打分模型)得到用户逻辑得分。
五、主旨打分模型
主旨打分模型中的计算维度为复述题的准确度以及阐述题的切题程度，主旨打分模型对应不同的复述题、阐述题分别设置有多个主旨词库，且重要性递减，主旨词库包括主旨关键词、主旨关键词同义词。如图13所示，机器学习训练模型通过机器学习拟合语音特征以及专家打分，最终形成主旨打分模型，具体为同时输入足够多(至少100个)测试者的答题情况以及对应的专家打分(0-100)来训练。
训练时，主旨打分模型中的语音特征包括但不限于：
复述题主旨1击中次数：fn1
复述题主旨2击中次数：fn2
复述题主旨3击中次数：fn3
复述题主旨4击中次数：fn4
复述题主旨5击中次数：fn5
复述题主旨6击中次数：fn6
复述题主旨7击中次数：fn7
复述题主旨8击中次数：fn8
复述题主旨9击中次数：fn9
复述题主旨10击中次数：fn10
阐述题主旨1击中次数：cn1
阐述题主旨2击中次数：cn2
阐述题主旨3击中次数：cn3
阐述题主旨4击中次数：cn4
阐述题主旨5击中次数：cn5
阐述题主旨6击中次数：cn6
阐述题主旨7击中次数：cn7
阐述题主旨8击中次数：cn8
阐述题主旨9击中次数：cn9
阐述题主旨10击中次数：cn10
阐述题前30秒主旨1击中次数：cn11
阐述题前30秒主旨2击中次数：cn12
阐述题前30秒主旨3击中次数：cn13
阐述题前30秒主旨4击中次数：cn14
阐述题前30秒主旨5击中次数：cn15
阐述题前30秒主旨6击中次数：cn16
阐述题前30秒主旨7击中次数：cn17
阐述题前30秒主旨8击中次数：cn18
阐述题前30秒主旨9击中次数：cn19
阐述题前30秒主旨10击中次数：cn110
阐述题前60秒主旨1击中次数：cn21
阐述题前60秒主旨2击中次数：cn22
阐述题前60秒主旨3击中次数：cn23
阐述题前60秒主旨4击中次数：cn24
阐述题前60秒主旨5击中次数：cn25
阐述题前60秒主旨6击中次数：cn26
阐述题前60秒主旨7击中次数：cn27
阐述题前60秒主旨8击中次数：cn28
阐述题前60秒主旨9击中次数：cn29
阐述题前60秒主旨10击中次数：cn210。
逻辑量打分模型在使用时，其工作过程如图14所示，测试用户答题过程中，通过对测试用户的语音输入提取相应特征输入主旨评分机器学习模型(主旨打分模型)得到用户逻辑得分。
模型训练平台基于声音质量打分、表达自然打分、逻辑量打分、主旨打分、流畅打分以及专家总评分不断训练模型，得到总打分模型。如图15所示，机器学习训练模型通过机器学习声音素质得分、连贯性得分、主旨得分、逻辑得分以及表达自然得分以及专家打分，最终形成总打分模型，如图16所示，总打分模型在使用时各个模型所得分数输入总分机器学习模型(总打分模型)中，最终得到用户总分。
综上，通过用户对于三部分问题回答的评分模型以及总分评分模型实现从用户输入到表达力总评分的计算。
以上的声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型以及总打分模型都是以100个用户测试数据以及专家评分构建初始模型，随着测试用户的增多，打分标注量逐渐增加，使得模型得以迭代，从而使得本测试系的统判断越来越接近于专家水平。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述测试系统包括模型使用平台；
所述模型使用平台设有问题数据库以及屏幕，所述问题数据库包括朗读题、复述题目以及阐述题，所述模型使用平台从所述问题数据库内抽取题目通过屏幕展示给测试者，所述模型使用平台根据测试者的作答收录测试者的回答影像、音频以提取非结构化数据，所述非结构化数据包括语音数据以及图像数据，之后，所述模型使用平台分别对所述语音数据、图像数据进行语音处理特征提取、图像处理特征提取得到语音特征、图像特征，再针对所述语音特征、图像特征送入声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型，之后将各维度打分送入总打分模型，所述总打分模型给出最后总得分。
2.根据权利要求1所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述测试系统还包括数据标注平台以及模型训练平台；
所述数据标注平台、模型训练平台配合用于建立多个机器学习训练模型，并结合测试者的作答、专家打分训练所述机器学习训练模型分别得到所述声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型以及总打分模型。
3.根据权利要求2所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述数据标注平台对应设有测试者答案数据库，所述数据标注平台从测试者答案数据库中取出多个测试者的作答情况，在所述数据标注平台上展示给专家，专家根据所述数据标注平台展示的测试者作答情况进行打分并且通过所述数据标注平台存储回所述测试者答案数据库；
所述模型训练平台对应设置有模型训练引擎，所述模型训练平台基于所述数据标注平台中的被抽取的测试者的作答情况提取非结构化数据，所述非结构化数据包括语音数据以及图像数据，所述模型训练平台基于所述非结构化数据生成语音特征、图像特征，再将对应的专家打分共同送入所述模型训练引擎不断训练模型，分别得到声音质量打分模型、表达自然打分模型、逻辑量打分模型、主旨打分模型、流畅打分模型。
4.根据权利要求3所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述声音质量打分模型中的声音质量的计算维度分别为语速、语音频率以及语音清晰度；
训练时，所述声音质量打分模型中的语音特征包括但不限于：
朗读题部分语音转文字后识别字数：N1
朗读题部分语音去除无声空白后时长：T1
朗读题部分语速：V1＝N1/T1
复述部分语音转文字后识别字数：N2
复述题部分语音去除无声空白后时长：T2
复述题部分语速：V2＝N2/T2
阐述题部分语音转文字后识别字数：N3
阐述题部分语音去除无声空白后时长：T3
阐述题部分语速：V3＝N3/T3
朗读题部分：声音最高频率hh1
复述题部分：声音最高频率hh2
阐述题部分：声音最高频率hh3
朗读题部分：声音平静频率hv1
复述题部分：声音平静频率hv2
阐述题部分：声音平静频率hv3
朗读题部分：声音最低频率hl1
复述题部分：声音最低频率hl2
阐述题部分：声音最低频率hl3
朗读题部分：声音清晰度q1
复述题部分：声音清晰度q2
阐述题部分：声音清晰度q3。
5.根据权利要求3所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述表达自然打分模型中的表达自然度的计算维度为微表情；
训练时，所述表达自然打分模型中的图像特征包括但不限于：
朗读题部分：用户惊恐微表情占比jk1
复述题部分：用户惊恐微表情占比jk2
阐述题部分：用户惊恐微表情占比jk3
朗读题部分：用户紧张微表情占比jz1
复述题部分：用户紧张微表情占比jz2
阐述题部分：用户紧张微表情占比jz3
朗读题部分：用户焦虑微表情占比jl1
复述题部分：用户焦虑微表情占比jl2
阐述题部分：用户焦虑微表情占比jl3
朗读题部分：用户眼睛向上看时间占比eu1
复述题部分：用户眼睛向上看时间占比eu2
阐述题部分：用户眼睛向上看时间占比eu3
朗读题部分：用户眼睛向下看时间占比ed1
复述题部分：用户眼睛向下看时间占比ed2
阐述题部分：用户眼睛向下看时间占比ed3
朗读题部分：用户眼睛直视时间占比e1
复述题部分：用户眼睛直视看时间占比e2
阐述题部分：用户眼睛直视看时间占比e3
朗读题部分：每分钟平均头部移动次数h1
复述题部分：每分钟平均头部移动次数h2
阐述题部分：每分钟平均头部移动次数h3
朗读题部分：每分钟平均手部移动次数s1
复述题部分：每分钟平均手部移动次数s2
阐述题部分：每分钟平均手部移动次数s3
朗读题部分：每分钟平均摸头次数m1
复述题部分：每分钟平摸头次数m2
阐述题部分：每分钟平摸头次数m3
朗读题部分：每分钟平均摸头次数m1
复述题部分：每分钟平摸头次数m2
阐述题部分：每分钟平摸头次数m3；
占比的计算公式为微表情识别为该状态的时间t除以总时长T。
6.根据权利要求3所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述流畅打分模型对应设置有停顿词库，所述流畅打分模型中的语言连贯性的计算维度分别为不同时长停顿、停顿词；
训练时，所述流畅打分模型中提取的语音特征包括但不限于：
朗读题部分：停顿词库每分钟击中次数n1
复述题部分：停顿词库每分钟击中次数n2
阐述题部分：停顿词库每分钟击中次数n3
朗读题部分：每分钟大于0.1秒停顿次数n011
复述题部分：每分钟大于0.1秒停顿次数n012
阐述题部分：每分钟大于0.1秒停顿次数n013
朗读题部分：每分钟大于0.3秒停顿次数n031
复述题部分：每分钟大于0.3秒停顿次数n032
阐述题部分：每分钟大于0.3秒停顿次数n033
朗读题部分：每分钟大于0.5秒停顿次数n051
复述题部分：每分钟大于0.5秒停顿次数n052
阐述题部分：每分钟大于0.5秒停顿次数n053
朗读题部分：每分钟大于0.8秒停顿次数n081
复述题部分：每分钟大于0.8秒停顿次数n082
阐述题部分：每分钟大于0.8秒停顿次数n083
朗读题部分：每分钟大于1秒停顿次数n101
复述题部分：每分钟大于1秒停顿次数n102
阐述题部分：每分钟大于1秒停顿次数n103。
7.根据权利要求3所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述逻辑量打分模型的计算维度为阐述题的表达逻辑，表达逻辑包括并列、总分、转折、递进以及因果，所述逻辑量打分模型对应设置有并列词词库、总分词词库、转折词词库、递进词词库以及因果词词库；
训练时，所述逻辑量打分模型中的语音特征包括但不限于：
并列词库每分钟击中次数：b1
总分词库每分钟击中次数：z1
因果词库每分钟击中次数：y1
总分词库每分钟击中次数：zf1
转折词库每分钟击中次数：zz1
并列词库击中次数：b2
总分词库击中次数：z2
因果词库击中次数：y2
总分词库击中次数：zf2
转折词库击中次数：zz2
并列词库前30秒击中次数：b3
总分词库前30秒击中次数：z3
因果词库前30秒击中次数：y3
总分词库前30秒击中次数：zf3
转折词库前30秒击中次数：zz3
并列词库前1分钟击中次数：b4
总分词库前1分钟击中次数：z4
因果词库前1分钟击中次数：y4
总分词库前1分钟击中次数：zf4
转折词库前1分钟击中次数：zz4
并列词库前90秒击中次数：b5
总分词库前90秒击中次数：z5
因果词库前90秒击中次数：y5
总分词库前90秒击中次数：zf5
转折词库前90秒击中次数：zz5
击中1类逻辑词库：h1
击中2类逻辑词库：h2
击中3类逻辑词库：h3
击中4类逻辑词库：h4
击中4类逻辑词库：h5
前一分钟击中1类逻辑词库：h11
前一分钟击中2类逻辑词库：h12
前一分钟击中3类逻辑词库：h13
前一分钟击中4类逻辑词库：h14
前一分钟击中4类逻辑词库：h15。
8.根据权利要求3所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述主旨打分模型中的计算维度为复述题的准确度以及阐述题的切题程度，所述主旨打分模型对应不同的复述题、阐述题分别设置有多个主旨词库，所述主旨词库包括主旨关键词、主旨关键词同义词；
训练时，所述主旨打分模型中的语音特征包括但不限于：
复述题主旨1击中次数：fn1
复述题主旨2击中次数：fn2
复述题主旨3击中次数：fn3
复述题主旨4击中次数：fn4
复述题主旨5击中次数：fn5
复述题主旨6击中次数：fn6
复述题主旨7击中次数：fn7
复述题主旨8击中次数：fn8
复述题主旨9击中次数：fn9
复述题主旨10击中次数：fn10
阐述题主旨1击中次数：cn1
阐述题主旨2击中次数：cn2
阐述题主旨3击中次数：cn3
阐述题主旨4击中次数：cn4
阐述题主旨5击中次数：cn5
阐述题主旨6击中次数：cn6
阐述题主旨7击中次数：cn7
阐述题主旨8击中次数：cn8
阐述题主旨9击中次数：cn9
阐述题主旨10击中次数：cn10
阐述题前30秒主旨1击中次数：cn11
阐述题前30秒主旨2击中次数：cn12
阐述题前30秒主旨3击中次数：cn13
阐述题前30秒主旨4击中次数：cn14
阐述题前30秒主旨5击中次数：cn15
阐述题前30秒主旨6击中次数：cn16
阐述题前30秒主旨7击中次数：cn17
阐述题前30秒主旨8击中次数：cn18
阐述题前30秒主旨9击中次数：cn19
阐述题前30秒主旨10击中次数：cn110
阐述题前60秒主旨1击中次数：cn21
阐述题前60秒主旨2击中次数：cn22
阐述题前60秒主旨3击中次数：cn23
阐述题前60秒主旨4击中次数：cn24
阐述题前60秒主旨5击中次数：cn25
阐述题前60秒主旨6击中次数：cn26
阐述题前60秒主旨7击中次数：cn27
阐述题前60秒主旨8击中次数：cn28
阐述题前60秒主旨9击中次数：cn29
阐述题前60秒主旨10击中次数：cn210。
9.根据权利要求5所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述总打分模型进行训练时通过声音质量、表达自然度、主旨、逻辑以及流畅的各部分得分作为输入，拟合专家总评分，得到总打分模型。
10.根据权利要求2所述的基于语言处理以及图像识别的自迭代表达力测试系统，其特征在于，所述机器学习训练模型包括但不限于：
神经网络模型、深度神经网络模型、卷积神经网络模型、逻辑回归模型、线性回归模型，朴素贝叶斯模型以及支持向量机模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775781.1A CN113469542A (zh) | 2021-07-09 | 2021-07-09 | 一种基于语言处理以及图像识别的自迭代表达力测试系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775781.1A CN113469542A (zh) | 2021-07-09 | 2021-07-09 | 一种基于语言处理以及图像识别的自迭代表达力测试系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113469542A true CN113469542A (zh) | 2021-10-01 |
Family
ID=77879299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110775781.1A Pending CN113469542A (zh) | 2021-07-09 | 2021-07-09 | 一种基于语言处理以及图像识别的自迭代表达力测试系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469542A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090094576A (ko) * | 2008-03-03 | 2009-09-08 | 옥종석 | 음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력평가 장치 및 그 평가방법 |
| CN110135800A (zh) * | 2019-04-23 | 2019-08-16 | 南京葡萄诚信息科技有限公司 | 一种人工智能视频面试方法及系统 |
| CN111612352A (zh) * | 2020-05-22 | 2020-09-01 | 北京易华录信息技术股份有限公司 | 一种学生表达能力评估方法及装置 |
| CN112651714A (zh) * | 2020-12-25 | 2021-04-13 | 北京理工大学深圳研究院 | 一种基于多模态信息的面试测评方法和系统 |
| CN112668883A (zh) * | 2020-12-29 | 2021-04-16 | 华侨大学 | 一种用于汉语的语音和语篇评测一体化的小讲话练习系统 |
| CN112818742A (zh) * | 2020-12-29 | 2021-05-18 | 南京智能情资创新科技研究院有限公司 | 一种用于智能面试的表达能力维度评价方法及装置 |
-
2021
- 2021-07-09 CN CN202110775781.1A patent/CN113469542A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090094576A (ko) * | 2008-03-03 | 2009-09-08 | 옥종석 | 음성인식을 활용한 컴퓨터 주도형 상호대화의 말하기 능력평가 장치 및 그 평가방법 |
| CN110135800A (zh) * | 2019-04-23 | 2019-08-16 | 南京葡萄诚信息科技有限公司 | 一种人工智能视频面试方法及系统 |
| CN111612352A (zh) * | 2020-05-22 | 2020-09-01 | 北京易华录信息技术股份有限公司 | 一种学生表达能力评估方法及装置 |
| CN112651714A (zh) * | 2020-12-25 | 2021-04-13 | 北京理工大学深圳研究院 | 一种基于多模态信息的面试测评方法和系统 |
| CN112668883A (zh) * | 2020-12-29 | 2021-04-16 | 华侨大学 | 一种用于汉语的语音和语篇评测一体化的小讲话练习系统 |
| CN112818742A (zh) * | 2020-12-29 | 2021-05-18 | 南京智能情资创新科技研究院有限公司 | 一种用于智能面试的表达能力维度评价方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101740024B (zh) | 基于广义流利的口语流利度自动评估方法 | |
| Eshky et al. | UltraSuite: a repository of ultrasound and acoustic data from child speech therapy sessions | |
| Athanaselis et al. | ASR for emotional speech: clarifying the issues and enhancing performance | |
| CN109727608B (zh) | 一种基于中文语音的病态嗓音评估系统 | |
| CN109785698A (zh) | 用于口语水平评测的方法、装置、电子设备以及介质 | |
| CN106782603B (zh) | 智能语音评测方法及系统 | |
| Hilton | Oral fluency and spoken proficiency: Considerations for research and testing | |
| CN110598208A (zh) | Ai/ml增强发音课程设计和个性化练习计划方法 | |
| CN110164422A (zh) | 一种口语考试的多维度评估方法及装置 | |
| CN109584906A (zh) | 口语发音评测方法、装置、设备及存储设备 | |
| Chauhan et al. | Emotion recognition using LP residual | |
| Huang et al. | Speech Rate and Pausing in English: Comparing Learners at Different Levels of Proficiency with Native Speakers. | |
| Zhang et al. | Children’s emotion recognition in an intelligent tutoring scenario | |
| CN111341346A (zh) | 融合深度语言生成模型的语言表达能力评价方法和系统 | |
| CN113469542A (zh) | 一种基于语言处理以及图像识别的自迭代表达力测试系统 | |
| Duan et al. | An English pronunciation and intonation evaluation method based on the DTW algorithm | |
| Luo et al. | Investigation of the effects of automatic scoring technology on human raters' performances in L2 speech proficiency assessment | |
| Alizadeh et al. | A Persian speaker-independent dataset to diagnose autism infected children based on speech processing techniques | |
| Bergmann | Discourse influences on the prosody and phonetics of'auf jeden Fall'and'jedenfalls' in German spontaneous speech | |
| Yu | Evaluation of English Pronunciation Quality Based on Decision Tree Algorithm | |
| Sini et al. | Investigating Inter-and Intra-speaker Voice Conversion using Audiobooks | |
| Yu | Spoken English Repetitive Correction Retrieval Based on Syllable Unit WFST Web Search Filter | |
| Mustafa et al. | EM-HTS: real-time HMM-based Malay emotional speech synthesis. | |
| Morales-Rodríguez et al. | Assessing costa rican children speech recognition by humans and machines | |
| Knowles et al. | Understanding Automatic Speech Recognition for L2 Speakers and Unintended Discrimination in Artificial Intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |