CN111612324B - 一种基于英语口语考试的多维度评估方法 - Google Patents

一种基于英语口语考试的多维度评估方法 Download PDF

Info

Publication number
CN111612324B
CN111612324B CN202010413527.2A CN202010413527A CN111612324B CN 111612324 B CN111612324 B CN 111612324B CN 202010413527 A CN202010413527 A CN 202010413527A CN 111612324 B CN111612324 B CN 111612324B
Authority
CN
China
Prior art keywords
information
frame
spoken language
offline
online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010413527.2A
Other languages
English (en)
Other versions
CN111612324A (zh
Inventor
邝翠珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lianqi Information Co ltd
Original Assignee
Shenzhen Lianqi Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lianqi Information Co ltd filed Critical Shenzhen Lianqi Information Co ltd
Priority to CN202010413527.2A priority Critical patent/CN111612324B/zh
Publication of CN111612324A publication Critical patent/CN111612324A/zh
Application granted granted Critical
Publication of CN111612324B publication Critical patent/CN111612324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种基于英语口语考试的多维度评估方法，包括：建立口语考试综合评估的多维度评估指标；获取同一用户的线上口语信息和线下口语信息，采用帧节量化分析技术，对线上口语信息进行第一帧节量化分析，并对线下口语信息进行第二帧节量化分析，采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计，同时，基于多维度综合指标，确定帧节量化和分布式统计的同一帧的权重值，并根据权重值，评估线上口语信息的综合值和线下口语信息的综合值。采用多维度评估指标以及采用双维度的帧节量化以及分布式分析技术，便于有效实现多维度评估，提高其评估的可靠性。

Description

一种基于英语口语考试的多维度评估方法
技术领域
本发明涉及英语口语技术领域，特别涉及一种基于英语口语考试的多维度评估方法。
背景技术
作为人际交流的重要媒介，口语语言在实际生活中占有极其重要的地位。随着社会经济的不断发展和经济全球化趋势的进行，人们对语言学习的效率以及语言评估的客观性、公正性和规模化测试提出了越来越高的要求。传统的口语考试评估系统是直接根据老师打分的总分标注数据学习评分模型，给出一个总分输出，来获得该学生的评估结果，且一般是单独的对用户当前线上或线下的口语输出表现，进行评估判断的，由于其评估过程过于单一，使得在智能评估环节中，其评估的可靠性不高。
发明内容
本发明提供一种基于英语口语考试的多维度评估方法，通过采用多维度评估指标以及采用双维度的帧节量化以及分布式分析技术，便于有效实现多维度评估，提高其评估的可靠性。
本发明提出一种基于英语口语考试的多维度评估方法，包括：
建立口语考试综合评估的多维度评估指标；
获取同一用户的线上口语信息和线下口语信息，采用帧节量化分析技术，对线上口语信息进行第一帧节量化分析，并对线下口语信息进行第二帧节量化分析；
采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计；
基于多维度综合指标，确定帧节量化和分布式统计的同一帧的权重值，并根据权重值，评估线上口语信息的综合值和线下口语信息的综合值。
优选地，所述建立口语考试综合评估的多维度评估指标的步骤包括：
录入口语考试评分规则，从所述评分规则中提取关键词，并依据所述关键词作为评估参数，建立第一评估指标，且所述第一评估指标中包括：口语流利度指标、逻辑指标、语义指标、词汇指标；
获取历史口语考试视频；
对所述历史口语考试视频进行帧节划分，并获取每个帧节的帧语音信息和帧视频信息；
依据所述第一评估指标对所述帧语音信息进行不同指标评估，同时，将不同指标的评估结果分别导入到神经网络分析模型中，确定不同指标的指标熵值，并将所述指标熵值配置到相应的指标中，获得第二评估指标；
从所述帧视频信息提取行为信息和仪态信息，将所述行为信息和仪态信息输入到机器学习模型中，并输出合格的行为指标和仪态指标；
根据所述第二评估指标、行为指标和仪态指标，建立英语口语考试的多维度评估指标。
优选地，获取同一用户的线上口语信息和线下口语信息，采用帧节量化分析技术，对线上口语信息进行第一帧节量化分析，并对线下口语信息进行第二帧节量化分析的步骤包括：
获取线上口语信息，并提取所述线上口语信息的线上关键帧，并基于傅里叶变化，对所述线上关键帧进行第一帧节量化，获得线上帧能量，同时，基于所述线上帧能量，确定所述线上关键帧的量化步长；
获取线下口语信息，并提取所述线下口语信息的线下关键帧，并基于傅里叶变化，对所述线下关键帧进行第二帧节量化，获得线下帧能量，同时，基于所述线下帧能量，确定所述线下关键帧的量化步长；
从口语关键帧数据库中，获取插值帧，并将所述插值帧插值在对应的所述线上关键帧和线下关键帧中，建立所述插值帧与相邻帧的关联关系；
根据所述关联关系，对所述量化步长进行优化处理。
优选地，采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计之前，包括：
对所述线上口语信息进行帧节划分，向每个线上帧节信息配置相应的存储空间，同时，对所述线下口语信息进行帧节划分，确定每个线下帧节信息与每个线上帧节信息的关联度；
根据所述关联度，将每个线下帧节信息配置到对应的所述存储空间中，同时，将所述存储空间划分为两个子空间，且一个子空间存储线上帧节信息，另一个子空间存储线下帧节信息。
优选地，采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计之后，包括：
统计所述线上口语信息中的线上频率词，统计所述线下口语信息中的线下频率词，并根据线上频率词和线下频率词，建立所述用户的频率词库；
根据所述频率词库，向用户的用户端推送缺乏词汇，供所述用户端的用户学习。
优选地，基于多维度综合指标，确定帧节量化和分布式统计的同一帧的权重值的过程中包括：
从与所述用户相关的口语数据库中随机提取n段第一视频信息，将所述第一视频信息进行帧节划分，并基于机器分离模型，将所述第一视频信息中的动画信息和音频信息进行分离；
将所述动画信息配置到服务器的第一空间中，将所述音频信息配置到所述服务器的第二空间中；
将所述第一空间中的动画信息进行帧划分，并划分为m帧图像信息；
将所述第二空间中的音频信息进行帧划分，并划分为m帧语音信息；
其中，所述图像信息与所述语音信息一一对应；
计算第i段中的第j帧图像信息的图像值S1ij，同时，计算与图像信息一一对应的第i段中的第j帧语音信息的语音值S2ij；
Figure BDA0002494192160000041
Figure BDA0002494192160000042
其中，d1ij表示第i段中的第j帧的行为指标值；y1ij表示第i段中的第j帧的仪态指标值；δ表示所述图像信息的所有指标的调节因子；δ1表示所述图像信息的行为调节因子；δ2表示所述图像信息的仪态调节因子；d2ij表示第i段中的第j帧的口语流利度指标值；y2ij表示第i段中的第j帧的语义指标值；l2ij表示第i段中的第j帧的逻辑指标值；c2ij表示第i段中的第j帧的词汇指标值；β表示所述语音信息的所有指标的调节因子；β1表示所述语音信息的口语流利度调节因子；β2表示所述语音信息的语义调节因子；β3表示所述语音信息的逻辑调节因子；β4表示所述语音信息的词汇调节因子；
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；δ1+δ2＝1；β1+β2+β3+β4＝1；
计算n段第一视频信息的平均图像值S1和平均语音值S2，并确定同一帧对应的权重值Wij；
Figure BDA0002494192160000043
Figure BDA0002494192160000044
Figure BDA0002494192160000045
其中，α表示所述同一帧的帧调节因子。
优选地，评估线上口语信息的综合值和线下口语信息的综合值的步骤包括：
对线上口语信息和线下口语信息进行帧划分，并向每个帧内容配置相应的权重值W；
根据所述权重值W，评估获取线上口语信息的综合值Z1和线下口语信息的综合值Z2；
Figure BDA0002494192160000051
Figure BDA0002494192160000052
其中，k1表示所述线上口语信息的帧数；k2表示线下口语信息的帧数；
在确定综合值之后，还包括：
比较Z1与Z2的大小，确定较小者对应的是线上口语信息还是线下口语信息，并获取较小者对应的每帧的权重值，并将权重值小于预设值的帧内容进行抽取，融合成一个新的口语信息；
同时，对所述新的口语信息进行训练识别，并向所述用户的用户端发送新的口语信息的待修正地方以及与待修正地方一一对应的修正方案。
优选地，在获取口语信息的过程中，还包括：
判断获取的口语信息中的图像信息是否失真；
若是，计算失真图像的图像质量值，并根据所述图像质量值剖析所述失真图像的失真指标，所述失真指标包括：基于所述图像信息的失真位置坐标、失真程度以及失真类型；
根据所述失真指标，重新从口语信息中获取同帧的新的图像信息，并对所述新的图像进行进行再次判断，若还处于失真状态，则从图像修正数据库中，调取与所述失真指标相关的失真修正因子；
基于所述失真修正因子，一一对应修正所述失真位置坐标的失真点，直到修正完所述新的图像信息。
本发明的有益效果包括：
1、采用多维度评估指标以及采用双维度的帧节量化以及分布式分析技术，便于有效实现多维度评估，提高其评估的可靠性。
2、用过获取考试时的基本评估指标，并对其进行指标熵值的配置，提高其指标的可靠性，通过确定行为指标和仪态指标，可以进一步提高其综合评估的有效性。
3、通过对线上线下进行关键帧提取，并对其进行量化，获取帧能量，便于有效的确定该帧是否有效，且通过关联关系对量化步长进行优化，可以保证该帧的有效性，为后续进行综合评估提供有效基础，提高其帧内容的清晰度。
4、通过随机提取n段第一视频信息，提高其提取视频信息的随机性，进一步提高其的可靠性，通过对动画信息和音频信息进行分离，并对动画信息和音频信息进行帧划分，便于精细化确定每帧的相关值，通过确定图像值和语音值，为确定权重值提供基础，进而为后续确定线上线下的综合值提供基础。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于英语口语考试的多维度评估方法的流程图；
图2为本发明实施例中建立多维度评估指标的流程图；
图3为本发明实施例中与线上口语信息和线下口语信息相关的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提出一种基于英语口语考试的多维度评估方法，如图1所示，包括：
步骤1：建立口语考试综合评估的多维度评估指标；
步骤2：获取同一用户的线上口语信息和线下口语信息，采用帧节量化分析技术，对线上口语信息进行第一帧节量化分析，并对线下口语信息进行第二帧节量化分析；
步骤3：采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计；
步骤4：基于多维度综合指标，确定帧节量化和分布式统计的同一帧的权重值，并根据权重值，评估线上口语信息的综合值和线下口语信息的综合值。
该实施例中，对维度评估指标例如是包括：口语流利度指标、逻辑指标、语义指标、词汇指标、行为指标和仪态指标在内的；
该实施例中，进行帧节量化分析，一是为了方便对线上和线下的口语信息进行区分量化，比较两者的相同以及不同；二是便于确定权重值，其可以是是对口语信息中的音频信息进行确定的，如音频的能量等；
该实施例中，获取的口语信息，是包括口语音频信息和用户在考试时的视频信息在内的，通过视频信息可以提高评估结果的可靠性，可以有效的避免在口语考试过程中出现其他不合格的操作，如考试过程中使用手机百度等操作。
该实施例中，采用分布式技术对口语信息进行分布式统计，一是为了对线上和线下口语信息进行有效统计，二是为了方便将线上口语信息和线下口语信息相似的词汇等进行相应存储到一个存储空间。
该实施例中，统计同一帧的权重值，是指的线上口语信息和线下口语信息中的每一帧，且每一帧都需要帧节量化和分布式统计，其中，基于权重值，便于有效的确定对应的综合值。
其中，对线上口语和线下口语进行分析，实现双维度分析，且通过线下口语信息，可以提高评估的可靠性，由于线上口语考试过程中可能会存在发挥失误，或者由于考生紧张等，不能正常发挥，因此，通过线上线下双维度分析，提高其评估可靠性。
上述技术方案的有益效果是：采用多维度评估指标以及采用双维度的帧节量化以及分布式分析技术，便于有效实现多维度评估，提高其评估的可靠性。
本发明提出一种基于英语口语考试的多维度评估方法，如图2所示，所述建立口语考试综合评估的多维度评估指标的步骤包括：
步骤11：录入口语考试评分规则，从所述评分规则中提取关键词，并依据所述关键词作为评估参数，建立第一评估指标，且所述第一评估指标中包括：口语流利度指标、逻辑指标、语义指标、词汇指标；
步骤12：获取历史口语考试视频；
步骤13：对所述历史口语考试视频进行帧节划分，并获取每个帧节的帧语音信息和帧视频信息；
步骤14：依据所述第一评估指标对所述帧语音信息进行不同指标评估，同时，将不同指标的评估结果分别导入到神经网络分析模型中，确定不同指标的指标熵值，并将所述指标熵值配置到相应的指标中，获得第二评估指标；
步骤15：从所述帧视频信息提取行为信息和仪态信息，将所述行为信息和仪态信息输入到机器学习模型中，并输出合格的行为指标和仪态指标；
步骤16：根据所述第二评估指标、行为指标和仪态指标，建立英语口语考试的多维度评估指标。
该实施例中，例如，在雅思考试过程中，有评分标准，且都是通过考官对考生的现场表现能力进行考核的，其增加人力，因此，可以通过其评分标准中提取关键词，构建评估指标。
上述技术方案的有益效果是：用过获取考试时的基本评估指标，并对其进行指标熵值的配置，提高其指标的可靠性，通过确定行为指标和仪态指标，可以进一步提高其综合评估的有效性。
本发明提出一种基于英语口语考试的多维度评估方法，如图3所示，获取同一用户的线上口语信息和线下口语信息，采用帧节量化分析技术，对线上口语信息进行第一帧节量化分析，并对线下口语信息进行第二帧节量化分析的步骤包括：
步骤31：获取线上口语信息，并提取所述线上口语信息的线上关键帧，并基于傅里叶变化，对所述线上关键帧进行第一帧节量化，获得线上帧能量，同时，基于所述线上帧能量，确定所述线上关键帧的量化步长；
步骤32：获取线下口语信息，并提取所述线下口语信息的线下关键帧，并基于傅里叶变化，对所述线下关键帧进行第二帧节量化，获得线下帧能量，同时，基于所述线下帧能量，确定所述线下关键帧的量化步长；
步骤33：从口语关键帧数据库中，获取插值帧，并将所述插值帧插值在对应的所述线上关键帧和线下关键帧中，建立所述插值帧与相邻帧的关联关系；
步骤34：根据所述关联关系，对所述量化步长进行优化处理。
该实施例中，例如，获取线上口语信息，并提取线上口语信息的线上关键帧，如帧节1,2,3，且对帧节1,2,3进行傅里叶变化，实现对帧节1,2,3的量化，获得帧节1，2,3的帧能量，由于帧节是能量信号，且，例如在录音时，获取的是音频信号，可以确定出每帧信号的幅度值，且幅度值可以作为量化步长；
该实施例中，口语关键帧数据库是包括若干个可直接插入的帧，并对原先语音帧基本上无影响的帧，例如是降噪帧，该帧插入之后，确定该帧与相邻帧的噪声消除关系，根据噪声消除关系，对量化步长进行优化处理，例如，将步长缩短，如果步长中存在噪声，通过该方式对其噪声进行消除。
上述技术方案的有益效果是：通过对线上线下进行关键帧提取，并对其进行量化，获取帧能量，便于有效的确定该帧是否有效，且通过关联关系对量化步长进行优化，可以保证该帧的有效性，为后续进行综合评估提供有效基础，提高其帧内容的清晰度。
本发明提出一种基于英语口语考试的多维度评估方法，采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计之前，包括：
对所述线上口语信息进行帧节划分，向每个线上帧节信息配置相应的存储空间，同时，对所述线下口语信息进行帧节划分，确定每个线下帧节信息与每个线上帧节信息的关联度；
根据所述关联度，将每个线下帧节信息配置到对应的所述存储空间中，同时，将所述存储空间划分为两个子空间，且一个子空间存储线上帧节信息，另一个子空间存储线下帧节信息。
该实施例中，例如，线上帧节a中的帧节信息为a1，线下帧节b中的帧节信息为b1，此时，a1与b1的关联度大，进而，将a1和b1配置到存储空间A中，且a1配置到A中的A1子空间中，b1配置到A中的A2子空间中。
上述技术方案的有益效果是：通过将关联度大的线上线下帧节信息配置到一个存储空间，并通过将存储空间进行两个子空间划分，实现对帧节信息的有效配置，提高综合评估的效率。
本发明提出一种基于英语口语考试的多维度评估方法，采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计之后，包括：
统计所述线上口语信息中的线上频率词，统计所述线下口语信息中的线下频率词，并根据线上频率词和线下频率词，建立所述用户的频率词库；
根据所述频率词库，向用户的用户端推送缺乏词汇，供所述用户端的用户学习。
该实施例中，通过统计并建立该用户的频率词库，便于向用户端推送缺乏词汇，该缺乏词汇是指使用频率高的词汇，但是该用户不经常使用的词汇，便于个性化推荐，进而提高用户的口语能力。
上述技术方案的有益效果是：通过建立频率词库，便于个性化推荐缺乏词汇，进而提高用户的口语能力。
本发明提出一种基于英语口语考试的多维度评估方法，基于多维度综合指标，确定帧节量化和分布式统计的同一帧的权重值的过程中包括：
从与所述用户相关的口语数据库中随机提取n段第一视频信息，将所述第一视频信息进行帧节划分，并基于机器分离模型，将所述第一视频信息中的动画信息和音频信息进行分离；
将所述动画信息配置到服务器的第一空间中，将所述音频信息配置到所述服务器的第二空间中；
将所述第一空间中的动画信息进行帧划分，并划分为m帧图像信息；
将所述第二空间中的音频信息进行帧划分，并划分为m帧语音信息；
其中，所述图像信息与所述语音信息一一对应；
计算第i段中的第j帧图像信息的图像值S1ij，同时，计算与图像信息一一对应的第i段中的第j帧语音信息的语音值S2ij；
Figure BDA0002494192160000111
Figure BDA0002494192160000112
其中，d1ij表示第i段中的第j帧的行为指标值；y1ij表示第i段中的第j帧的仪态指标值；δ表示所述图像信息的所有指标的调节因子；δ1表示所述图像信息的行为调节因子；δ2表示所述图像信息的仪态调节因子；d2ij表示第i段中的第j帧的口语流利度指标值；y2ij表示第i段中的第j帧的语义指标值；l2ij表示第i段中的第j帧的逻辑指标值；c2ij表示第i段中的第j帧的词汇指标值；β表示所述语音信息的所有指标的调节因子；β1表示所述语音信息的口语流利度调节因子；β2表示所述语音信息的语义调节因子；β3表示所述语音信息的逻辑调节因子；β4表示所述语音信息的词汇调节因子；
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；δ1+δ2＝1；β1+β2+β3+β4＝1；
计算n段第一视频信息的平均图像值S1和平均语音值S2，并确定同一帧对应的权重值Wij；
Figure BDA0002494192160000121
Figure BDA0002494192160000122
Figure BDA0002494192160000123
其中，α表示所述同一帧的帧调节因子。
该实施例中，n段第一视频信息，可以是从同一个用户的线下口语信息和线上口语信息中随机抽取的n段视频信息。
上述技术方案的有益效果是：通过随机提取n段第一视频信息，提高其提取视频信息的随机性，进一步提高其的可靠性，通过对动画信息和音频信息进行分离，并对动画信息和音频信息进行帧划分，便于精细化确定每帧的相关值，通过确定图像值和语音值，为确定权重值提供基础，进而为后续确定线上线下的综合值提供基础。
本发明提出一种基于英语口语考试的多维度评估方法，评估线上口语信息的综合值和线下口语信息的综合值的步骤包括：
对线上口语信息和线下口语信息进行帧划分，并向每个帧内容配置相应的权重值W；
根据所述权重值W，评估获取线上口语信息的综合值Z1和线下口语信息的综合值Z2；
Figure BDA0002494192160000131
Figure BDA0002494192160000132
其中，k1表示所述线上口语信息的帧数；k2表示线下口语信息的帧数；
在确定综合值之后，还包括：
比较Z1与Z2的大小，确定较小者对应的是线上口语信息还是线下口语信息，并获取较小者对应的每帧的权重值，并将权重值小于预设值的帧内容进行抽取，融合成一个新的口语信息；
同时，对所述新的口语信息进行训练识别，并向所述用户的用户端发送新的口语信息的待修正地方以及与待修正地方一一对应的修正方案。
该实施例中，例如当某个帧节的权重值小于预设值时，确定该帧的帧位置，即为待修正地方，同时，对该帧位置的帧内容进行确定，判断该帧内容中不合格的地方，进而获取该帧内容的修正方案，如该帧内容中发音不标准，则对对应的修正方案是，向用户端发送该帧内容的标准读音；
其中，还可对该帧进行替换成标准发音的帧内容，并对该帧进行标注，方便用户学习。
上述技术方案的有益效果是：通过帧划分，便于精细化确定线上线下的综合值，通过比较综合值，并对综合值较小的口语信息中的权重值小于预设值的帧内容进行抽取，进而对该地方进行修正，进而有效的提高其综合评估结果。
本发明提出一种基于英语口语考试的多维度评估方法，在获取口语信息的过程中，还包括：
判断获取的口语信息中的图像信息是否失真；
若是，计算失真图像的图像质量值，并根据所述图像质量值剖析所述失真图像的失真指标，所述失真指标包括：基于所述图像信息的失真位置坐标、失真程度以及失真类型；
根据所述失真指标，重新从口语信息中获取同帧的新的图像信息，并对所述新的图像进行进行再次判断，若还处于失真状态，则从图像修正数据库中，调取与所述失真指标相关的失真修正因子；
基于所述失真修正因子，一一对应修正所述失真位置坐标的失真点，直到修正完所述新的图像信息。
该实施例中，失真类型包括块状失真、点状失真等；
该实施例中，失真位置坐标，是失真点的坐标，且多个失真点可以构成失真块。
上述技术方案的有益效果是：通过确定图像信息的失真，调取失真修正因子，对失真点进行一一修正，可以避免不是因为用户自身原因，导致作出错误评估，且通过修正失真，可以提高画面的质感，进一步为评估提供有效的行为指标和仪态指标。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于英语口语考试的多维度评估方法，其特征在于，包括：
建立口语考试综合评估的多维度评估指标；
获取同一用户的线上口语信息和线下口语信息，采用帧节量化分析技术，对线上口语信息进行第一帧节量化分析，并对线下口语信息进行第二帧节量化分析；
采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计；
基于多维度综合指标，确定帧节量化和分布式统计的同一帧的权重值，并根据权重值，评估线上口语信息的综合值和线下口语信息的综合值；
获取同一用户的线上口语信息和线下口语信息，采用帧节量化分析技术，对线上口语信息进行第一帧节量化分析，并对线下口语信息进行第二帧节量化分析的步骤包括：
获取线上口语信息，并提取所述线上口语信息的线上关键帧，并基于傅里叶变化，对所述线上关键帧进行第一帧节量化，获得线上帧能量，同时，基于所述线上帧能量，确定所述线上关键帧的量化步长；
获取线下口语信息，并提取所述线下口语信息的线下关键帧，并基于傅里叶变化，对所述线下关键帧进行第二帧节量化，获得线下帧能量，同时，基于所述线下帧能量，确定所述线下关键帧的量化步长；
从口语关键帧数据库中，获取插值帧，并将所述插值帧插值在对应的所述线上关键帧和线下关键帧中，建立所述插值帧与相邻帧的关联关系；
根据所述关联关系，对所述量化步长进行优化处理；
采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计之前，包括：
对所述线上口语信息进行帧节划分，向每个线上帧节信息配置相应的存储空间，同时，对所述线下口语信息进行帧节划分，确定每个线下帧节信息与每个线上帧节信息的关联度；
根据所述关联度，将每个线下帧节信息配置到对应的所述存储空间中，同时，将所述存储空间划分为两个子空间，且一个子空间存储线上帧节信息，另一个子空间存储线下帧节信息。
2.如权利要求1所述的多维度评估方法，其特征在于，所述建立口语考试综合评估的多维度评估指标的步骤包括：
录入口语考试评分规则，从所述评分规则中提取关键词，并依据所述关键词作为评估参数，建立第一评估指标，且所述第一评估指标中包括：口语流利度指标、逻辑指标、语义指标、词汇指标；
获取历史口语考试视频；
对所述历史口语考试视频进行帧节划分，并获取每个帧节的帧语音信息和帧视频信息；
依据所述第一评估指标对所述帧语音信息进行不同指标评估，同时，将不同指标的评估结果分别导入到神经网络分析模型中，确定不同指标的指标熵值，并将所述指标熵值配置到相应的指标中，获得第二评估指标；
从所述帧视频信息提取行为信息和仪态信息，将所述行为信息和仪态信息输入到机器学习模型中，并输出合格的行为指标和仪态指标；
根据所述第二评估指标、行为指标和仪态指标，建立英语口语考试的多维度评估指标。
3.如权利要求1所述的多维度评估方法，其特征在于，采用分布式分析技术，对线上口语信息以及线下口语信息中的每帧进行分布式统计之后，包括：
统计所述线上口语信息中的线上频率词，统计所述线下口语信息中的线下频率词，并根据线上频率词和线下频率词，建立所述用户的频率词库；
根据所述频率词库，向用户的用户端推送缺乏词汇，供所述用户端的用户学习。
4.如权利要求1所述的多维度评估方法，其特征在于，基于多维度综合指标，确定帧节量化和分布式统计的同一帧的权重值的过程中包括：
从与所述用户相关的口语数据库中随机提取n段第一视频信息，将所述第一视频信息进行帧节划分，并基于机器分离模型，将所述第一视频信息中的动画信息和音频信息进行分离；
将所述动画信息配置到服务器的第一空间中，将所述音频信息配置到所述服务器的第二空间中；
将所述第一空间中的动画信息进行帧划分，并划分为m帧图像信息；
将所述第二空间中的音频信息进行帧划分，并划分为m帧语音信息；
其中，所述图像信息与所述语音信息一一对应；
计算第i段中的第j帧图像信息的图像值S1ij，同时，计算与图像信息一一对应的第i段中的第j帧语音信息的语音值S2ij；
Figure FDA0002822850690000031
Figure FDA0002822850690000032
其中，d1ij表示第i段中的第j帧的行为指标值；y1ij表示第i段中的第j帧的仪态指标值；δ表示所述图像信息的所有指标的调节因子；δ1表示所述图像信息的行为调节因子；δ2表示所述图像信息的仪态调节因子；d2ij表示第i段中的第j帧的口语流利度指标值；y2ij表示第i段中的第j帧的语义指标值；l2ij表示第i段中的第j帧的逻辑指标值；c2ij表示第i段中的第j帧的词汇指标值；β表示所述语音信息的所有指标的调节因子；β1表示所述语音信息的口语流利度调节因子；β2表示所述语音信息的语义调节因子；β3表示所述语音信息的逻辑调节因子；β4表示所述语音信息的词汇调节因子；
其中，i＝1,2,3,...,n；j＝1,2,3,...,m；δ1+δ2＝1；β1+β2+β3+β4＝1；
计算n段第一视频信息的平均图像值S1和平均语音值S2，并确定同一帧对应的权重值Wij；
Figure FDA0002822850690000041
Figure FDA0002822850690000042
Figure FDA0002822850690000043
其中，α表示所述同一帧的帧调节因子。
5.如权利要求1所述的多维度评估方法，其特征在于，评估线上口语信息的综合值和线下口语信息的综合值的步骤包括：
对线上口语信息和线下口语信息进行帧划分，并向每个帧内容配置相应的权重值W；
根据所述权重值W，评估获取线上口语信息的综合值Z1和线下口语信息的综合值Z2；
Figure FDA0002822850690000044
Figure FDA0002822850690000045
其中，k1表示所述线上口语信息的帧数；k2表示线下口语信息的帧数；
在确定综合值之后，还包括：
比较Z1与Z2的大小，确定较小者对应的是线上口语信息还是线下口语信息，并获取较小者对应的每帧的权重值，并将权重值小于预设值的帧内容进行抽取，融合成一个新的口语信息；
同时，对所述新的口语信息进行训练识别，并向所述用户的用户端发送新的口语信息的待修正地方以及与待修正地方一一对应的修正方案。
6.如权利要求1所述的多维度评估方法，其特征在于，在获取口语信息的过程中，还包括：
判断获取的口语信息中的图像信息是否失真；
若是，计算失真图像的图像质量值，并根据所述图像质量值剖析所述失真图像的失真指标，所述失真指标包括：基于所述图像信息的失真位置坐标、失真程度以及失真类型；
根据所述失真指标，重新从口语信息中获取同帧的新的图像信息，并对所述新的图像进行再次判断，若还处于失真状态，则从图像修正数据库中，调取与所述失真指标相关的失真修正因子；
基于所述失真修正因子，一一对应修正所述失真位置坐标的失真点，直到修正完所述新的图像信息。
CN202010413527.2A 2020-05-15 2020-05-15 一种基于英语口语考试的多维度评估方法 Active CN111612324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413527.2A CN111612324B (zh) 2020-05-15 2020-05-15 一种基于英语口语考试的多维度评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413527.2A CN111612324B (zh) 2020-05-15 2020-05-15 一种基于英语口语考试的多维度评估方法

Publications (2)

Publication Number Publication Date
CN111612324A CN111612324A (zh) 2020-09-01
CN111612324B true CN111612324B (zh) 2021-02-19

Family

ID=72201923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413527.2A Active CN111612324B (zh) 2020-05-15 2020-05-15 一种基于英语口语考试的多维度评估方法

Country Status (1)

Country Link
CN (1) CN111612324B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN102122507A (zh) * 2010-01-08 2011-07-13 龚澍 一种运用人工神经网络进行前端处理的语音检错方法
CN102436809A (zh) * 2011-10-21 2012-05-02 东南大学 英语口语机考系统中网络语音识别方法
WO2012134997A2 (en) * 2011-03-25 2012-10-04 Educational Testing Service Non-scorable response filters for speech scoring systems
CN103077381A (zh) * 2013-01-08 2013-05-01 郑州威科姆科技股份有限公司 一种基于分数阶傅里叶变换的单目动态手势识别方法
CN103928023A (zh) * 2014-04-29 2014-07-16 广东外语外贸大学 一种语音评分方法及系统
CN110135800A (zh) * 2019-04-23 2019-08-16 南京葡萄诚信息科技有限公司 一种人工智能视频面试方法及系统
CN110164422A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语考试的多维度评估方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572093B (zh) * 2008-04-30 2012-04-25 北京工业大学 一种转码方法和装置
CN109637224A (zh) * 2019-01-06 2019-04-16 西安优诺迪智能科技有限公司 一种智能英语口语练习亭系统装置
CN110211565B (zh) * 2019-05-06 2023-04-04 平安科技（深圳）有限公司 方言识别方法、装置及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN102122507A (zh) * 2010-01-08 2011-07-13 龚澍 一种运用人工神经网络进行前端处理的语音检错方法
WO2012134997A2 (en) * 2011-03-25 2012-10-04 Educational Testing Service Non-scorable response filters for speech scoring systems
CN102436809A (zh) * 2011-10-21 2012-05-02 东南大学 英语口语机考系统中网络语音识别方法
CN103077381A (zh) * 2013-01-08 2013-05-01 郑州威科姆科技股份有限公司 一种基于分数阶傅里叶变换的单目动态手势识别方法
CN103928023A (zh) * 2014-04-29 2014-07-16 广东外语外贸大学 一种语音评分方法及系统
CN110164422A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语考试的多维度评估方法及装置
CN110135800A (zh) * 2019-04-23 2019-08-16 南京葡萄诚信息科技有限公司 一种人工智能视频面试方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的英语语音识别与发音质量评价;陈嘉华;《中国优秀硕士学位论文全文数据库哲学与人文科学辑》;20160215(第2期);全文 *
自由表述口语语音评测后验概率估计改进方法;许苏魁，等;《中文信息学报》;20170315;第31卷(第2期);全文 *

Also Published As

Publication number Publication date
CN111612324A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
WO2022095380A1 (zh) 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质
WO2021068843A1 (zh) 一种情绪识别方法及装置、电子设备和可读存储介质
CN111598485A (zh) 一种多维度智能质检方法、装置、终端设备及介质
CN110164447A (zh) 一种口语评分方法及装置
CN104347071B (zh) 生成口语考试参考答案的方法及系统
CN113111152A (zh) 一种基于知识蒸馏和情绪集成模型的抑郁症检测方法
CN109800309A (zh) 课堂话语类型分类方法及装置
CN111639529A (zh) 基于多层次逻辑的语音话术检测方法、装置及计算机设备
CN111651606A (zh) 一种文本处理方法、装置及电子设备
CN114897077A (zh) 一种基于机器学习的英语阅读素养评价方法
CN111597305A (zh) 实体标记方法、装置、计算机设备和存储介质
CN111915111A (zh) 在线课堂的互动质量评价方法、装置及终端设备
CN112052686B (zh) 一种用户交互式教育的语音学习资源推送方法
CN111489736B (zh) 座席话术自动评分装置及方法
CN117149979A (zh) 一种贷前智能问答及评审模块的构建方法及装置
CN111612324B (zh) 一种基于英语口语考试的多维度评估方法
CN112015883A (zh) 英文题目自动生成方法和系统
CN110334204B (zh) 一种基于用户记录的习题相似度计算推荐方法
CN117252259A (zh) 基于深度学习的自然语言理解方法及ai助教系统
CN115497455B (zh) 一种英语口语考试语音智能评测方法、系统及装置
CN114822557A (zh) 课堂中不同声音的区分方法、装置、设备以及存储介质
CN114064873A (zh) 保险领域faq知识库构建方法、装置及电子设备
CN110751867B (zh) 英文教学系统
CN114241835A (zh) 一种学生口语质量评测方法和设备
CN110111810B (zh) 基于卷积神经网络的语音人格预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant