CN114724072A - 智能推题方法、装置、设备及存储介质 - Google Patents

智能推题方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114724072A
CN114724072A CN202210428378.6A CN202210428378A CN114724072A CN 114724072 A CN114724072 A CN 114724072A CN 202210428378 A CN202210428378 A CN 202210428378A CN 114724072 A CN114724072 A CN 114724072A
Authority
CN
China
Prior art keywords
model
question
person
data
emotional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210428378.6A
Other languages
English (en)
Inventor
赵莫言
刘汉玉
蔡伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210428378.6A priority Critical patent/CN114724072A/zh
Publication of CN114724072A publication Critical patent/CN114724072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术领域，揭露了一种智能推题方法、装置、设备及存储介质，所述方法包括：获取被采集人员回答第一问题时的视频数据和音频数据；利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果；根据所述情感特征参数，确定所述被采集人员的情感状态；基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；将所述第二问题推送至稽核人员处。本申请提高了对被稽核人员的审核质量和处理效率。

Description

智能推题方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种智能推题方法、装置、设备及存储介质。
背景技术
目前，在对被稽核人员进行处理时，常通过稽核人员进行问题的选择以及回答内容的评分，由于稽核人员各自经验的不同，导致对被稽核人员的问题选择以及回答内容的评分存在一定差异；在现有技术中，通过引入机器学习模型来对被稽核人员针对问题回答的内容进行评分的，且其评分仅针对于回答的语音数据进行的；对于给被稽核人员的问题仍由稽核人员进行选择，导致审核质量较低，因此，如何解决对被稽核人员的审核质量较低的问题成为了亟待解决的问题。
发明内容
本申请提供了一种智能推题方法、装置、设备及存储介质，以解决现有技术中对被稽核人员的审核质量较低的问题。
为解决上述问题，本申请提供了一种智能推题方法，包括：
获取被采集人员回答第一问题时的视频数据和音频数据；
利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果；
根据所述情感特征参数，确定所述被采集人员的情感状态；
基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；
将所述第二问题推送至稽核人员处。
进一步的，在所述获取被采集人员回答第一问题时的视频数据和音频数据之前，还包括：
获取所述被采集人员的基础信息；
通过利用推荐模型对基础数据进行处理，得到被采集人员的所述第一问题，所述推荐模型基于Apriori模型训练得到。
进一步的，所述利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取包括：
通过对所述视频数据中所述被采集人头像所在位置的视频进行截取，得到所述面部数据；
通过情感特征提取模型对所述被采集人员的面部数据进行提取，所述情感特征提取模型基于增强型长期递归卷积网络模型训练得到。
进一步的，所述通过判断模型对所述音频数据进行回答内容的判断，得到判断结果包括：
通过判断模型下的转译子模型将所述音频数据转换为对应的文本数据；
利用判断模型下的匹配子模型将所述文本数据与所述第一问题的预设答案进行匹配，得到对应的匹配度，所述匹配子模型基于Bimpm模型训练得到；
根据所述匹配度确定所述判断结果。
进一步的，所述利用判断模型下的匹配子模型将所述文本数据与所述第一问题的预设答案进行匹配包括：
利用特征提取模型对所述文本数据进行特征提取，得到对应的关键词，所述特征提取模型基于LDA模型训练得到；
利用所述匹配子模型将所述关键词与预设答案进行匹配。
进一步的，所述根据所述情感特征参数，确定所述被采集人员的情感状态包括：
基于所述情感特征参数，查询预设的状态对照表，确定所述被采集人员的情感状态。
进一步的，所述基于所述判断结果和情感状态，确定所述被采集人员的第二问题包括：
利用分级模型对所述判断结果和情感状态进行分级判断，确定所述被采集人员回答所述第一问题时所属的应对等级，所述分级模型基于决策树模型训练得到；
根据所述应对等级，确定对应等级的所述第二问题。
为了解决上述问题，本申请还提供一种智能推题装置，所述装置包括：
获取模块，用于获取被采集人员回答第一问题时的视频数据和音频数据；
音视频处理模块，用于利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果；
状态确认模块，用于根据所述情感特征参数，确定所述被采集人员的情感状态；
问题确定模块，用于基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；
推送模块，用于将所述第二问题推送至稽核人员处。
为了解决上述问题，本申请还提供一种计算机设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的智能推题方法。
为了解决上述问题，本申请还提供一种非易失性的计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的智能推题方法。
根据本申请实施例提供的一种智能推题方法、装置、设备及存储介质，与现有技术相比至少具有以下有益效果：
通过获取被采集人员在回答第一问题时的视频数据和音频数据，利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果，所述判断结果即被采集人员回答第一问题的分数等级；分别对音频和视频数据进行处理，得到有效参数；再根据所述情感特征参数，确定所述被采集人员的情感状态；基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；通过对用户回答的音频数据进行打分，以及根据视频数据对情感状态进行确定，以最终确定被采集人员的第二问题，从而提高了对被稽核人员的审核质量和处理效率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图做一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的智能推题方法的整体流程图；
图2为图1中步骤S2的一种具体实施方式的流程示意图；
图3为图1中步骤S4的一种具体实施方式的流程示意图；
图4为本申请一实施例提供的智能推题装置的模块示意图；
图5为本申请一实施例的计算机设备的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是是相同的实施例，也不是与其它实施例相互排斥的独立的或备选的实施例。本领域技术人员显式地或隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供一种智能推题方法。主要用于在远程访谈系统，常用在远程面试、晋升审核等场景下。参照图1所示，图1为本申请一实施例提供的智能推题方法的流程示意图。
在本实施例中，智能推题方法包括：
S1、获取被采集人员回答第一问题时的视频数据和音频数据；
具体的，获取被采集人员回答第一问题时完整的视频数据和音频数据，主要通过前端利用摄像头和麦克风来进行采集，并实时存储到数据库或内存中；在进行处理时，从数据库或内存中获取视频数据和音频数据。
进一步的，在所述获取被采集人员回答第一问题时的视频数据和音频数据之前，还包括：
获取所述被采集人员的基础信息；
通过利用推荐模型对基础数据进行处理，得到被采集人员的所述第一问题，所述推荐模型基于Apriori模型训练得到。
具体的，对于被采集人员的第一问题，通过被采集人员的基础信息来进行确定，首先从数据库中获取被采集人员的基础信息，或者由被采集人员自行上传其基础数据；由于各问题都提前设有对应的标签，通过利用推荐模型对基础数据进行关联处理，得到最相关的问题，即第一问题。在远程面试场景下，所述基础数据包括被采集人员的身份信息、工作经历信息、获奖信息及特长信息等。
所述Apriori(关联规则挖掘)模型，其原理为如果某个项集是频繁的，那么它的所有子集也是频繁的如果某个项集是非频繁的，那么它的所有超集也是非频繁的基于此，Apriori模型从单元素项集开始，通过组合满足最小支持度的项集来形成更大的集合其实Apriori模型就是通过排除法来选择频繁项集和关联规则。
通过采用推荐模型，对被采集人员的基础信息进行处理，得到具有一定关联的第一问题，实现提高工作效率且问题的相关性。
S2、利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果；
具体的，利用情感特征提取模型对面部数据进行特征提取，即对被采集人员的一些表情进行提取，得到情感特征参数；并通过判断模型下的转译子模型和匹配子模型配合进行处理，得到被采集人员回答内容的分数，并基于分数，得到对应的判断结果。
进一步的，如图2所示，所述利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取包括：
S21、通过对所述视频数据中所述被采集人头像所在位置的视频进行截取，得到所述面部数据；
S22、通过情感特征提取模型对所述被采集人员的面部数据进行提取，所述情感特征提取模型基于增强型长期递归卷积网络模型训练得到。
具体的，通过对视频数据中的被采集人的头像进行定位，将定位后头像所在位置的视频进行截取，得到所述面部数据；再通过情感特征提取模型对所述被采集人员的面部数据进行提取，得到情感特征参数，所述情感特征参数包括整个面部轮廓、嘴部动作、眉毛动作以及脸颊动作等对应的数值。如某一的视频帧对应的情感特征参数为面部轮廓为1、嘴部动作为2、眉毛动作为2以及脸颊动作为0等。
所述增强型长期递归卷积网络模型，首先通过CNN模块将每个微表情帧编码成特征向量，然后通过将特征向量通过一个长-短期记忆(LSTM)模块。该框架包含两种不同的网络变体：
空间富集的输入数据的通道叠加；用于时间富集的特征的功能性叠加。
通过对完整的视频数据截取对应的面部数据，通过将仅含人脸的面部数据输入情感特征提取模型进行处理，提高了准确度，并且通过情感特征提取模型进行处理，不仅能提高处理效率还提高了识别率。
进一步的，所述通过判断模型对所述音频数据进行回答内容的判断，得到判断结果包括：
通过判断模型下的转译子模型将所述音频数据转换为对应的文本数据；
利用判断模型下的匹配子模型将所述文本数据与所述第一问题的预设答案进行匹配，得到对应的匹配度，所述匹配子模型基于Bimpm模型训练得到；
根据所述匹配度确定所述判断结果。
具体的，由于获取到的音频数据不能直接进行处理，所以需要将音频数据转译为文本数据，所述转译子模型为直接调用的百度或科大讯飞现成的工具来执行。将得到的文本数据通过匹配子模型与对应的第一问题的预设答案进行匹配，得到对应的匹配度，所述匹配度也即对应的分数如0.8即对应80分；最后根据所述匹配度确定所述判断结果，即根据匹配度所属的区间确定等级，如匹配度为0.8时，则对应判断结果为良好，若匹配度为0.85及以上时，对应判断结果为优秀。
BiMPM(Bilateral Multi-perspective Matching)是一个基于“matching-aggregation”框架的语义匹配模型。对于输入的两个句子P和Q，在采用预训练语言模型embedding后，模型在表示层采用双向的LSTM分别对P,Q进行representation。然后分别在两个方向进行matching，即P-->Q和Q-->P，同时结合四种匹配方式，这就是multi-perspective matching。将matching结果输入双向LSTM进行aggregation，然后经过全连接层softmax得到结果。
通过转译子模型将音频数据转换为文本数据以及通过匹配子模型将文本数据与预设答案进行匹配，以得到匹配度，再最终确定判断结果，提高了处理效率。
再进一步的，所述利用判断模型下的匹配子模型将所述文本数据与所述第一问题的预设答案进行匹配包括：
利用特征提取模型对所述文本数据进行特征提取，得到对应的关键词，所述特征提取模型基于LDA模型训练得到；
利用所述匹配子模型将所述关键词与预设答案进行匹配。
具体的，在进行匹配之前，利用特征提取模型对所述文本数据进行特征提取，得到对应的关键词，利用匹配子模型将所述关键词与预设答案进行匹配。
LDA(Latent Dirichlet Allocation)是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“文章以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。
通过先进行一个关键词的抽取步骤，再通过将关键词与预设答案进行匹配，提高了结果的精确度。
S3、根据所述情感特征参数，确定所述被采集人员的情感状态；
具体的，基于所述情感特征参数，查询预设的状态对照表，确定所述被采集人员的情感状态。
进一步的，所述根据所述情感特征参数，确定所述被采集人员的情感状态包括：
基于所述情感特征参数，查询预设的状态对照表，确定所述被采集人员的情感状态。
具体的，所述预设的状态报表中存储了情感特征参数下的各子参数组合的对应情感状态，通过上述得到的情感特征参数，查询预设的状态对照表，即可得到对应的情感状态；如情感特征参数为面部轮廓为1、嘴部动作为2、眉毛动作为2以及脸颊动作为0时，对应的情感状态为紧张。
通过查表的形式能快速且准确的得到对应的情感状态。
S4、基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；
具体的，通过利用分级模型对所述判断结果和情感状态进行应对等级的判断，根据应对等级，确定所述被采集人员的第二问题，所述第二问题为一个或多个问题。
进一步的，如图4所示，所述基于所述判断结果和情感状态，确定所述被采集人员的第二问题包括：
S41、利用分级模型对所述判断结果和情感状态进行分级判断，确定所述被采集人员回答所述第一问题时所属的应对等级，所述分级模型基于决策树模型训练得到；
S42、根据所述应对等级，确定对应等级的所述第二问题。
具体的，通过利用被采集人员对应的判断结果和情感状态进行分级判断，确定所述被采集人员回答第一问题时的应对等级，例如当所述判断结果为优秀，情感状态为放松时，通过分级模型的分级判断，得到应对等级为1级，即最高级。根据该1级的应对等级，确定对应等级的所述第二问题。
所述决策树模型是一种简单易用的非参数分类器。它不需要对数据有任何的先验假设，计算速度较快，结果容易解释，而且稳健性强。
通过根据判断结果和情感状态，进行分级判断，以确定被采集人回答第一问题的等级，以利于后续确定对应等级的问题，从而提高了审核质量。
S5、将所述第二问题推送至稽核人员处。
具体的，将所述第二问题推送至稽核人员处，稽核人员根据需要将第二问题中的一个问题发生至被采集人员处，通过直接发送文本或语音的形式。
需要强调的是，为了进一步保证数据的私密性和安全性，所述视频数据和音频数据的所有数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
通过获取被采集人员在回答第一问题时的视频数据和音频数据，利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果，所述判断结果即被采集人员回答第一问题的分数等级；分别对音频和视频数据进行处理，得到有效参数；再根据所述情感特征参数，确定所述被采集人员的情感状态；基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；通过对用户回答的音频数据进行打分，以及根据视频数据对情感状态进行确定，以最终确定被采集人员的第二问题，从而提高了对被稽核人员的审核质量和处理效率。
本实施例还提供一种智能推题装置，如图4所示，是本申请智能推题装置的功能模块图。
本申请所述智能推题装置100可以安装于电子设备中。根据实现的功能，所述智能推题装置100可以包括获取模块101、音视频处理模块102、状态确认模块103、问题确定模块104和推送模块105。本申请所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
获取模块101，用于获取被采集人员回答第一问题时的视频数据和音频数据；
进一步的，所述智能推题装置100还包括信息获取模块和推荐模块；
所述获取模块，用于获取所述被采集人员的基础信息；
所述推荐模块，用于通过利用推荐模型对基础数据进行处理，得到被采集人员的所述第一问题，所述推荐模型基于Apriori模型训练得到。
通过信息获取模块和推荐模块的配合，采用推荐模型，对被采集人员的基础信息进行处理，得到具有一定关联的第一问题，实现提高工作效率且问题的相关性。
音视频处理模块102，用于利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果；
进一步的，所述音视频处理模块102包括截取子模块和参数提取子模块；
所述截取子模块，用于通过对所述视频数据中所述被采集人头像所在位置的视频进行截取，得到所述面部数据；
所述参数提取子模块，用于通过情感特征提取模型对所述被采集人员的面部数据进行提取，所述情感特征提取模型基于增强型长期递归卷积网络模型训练得到。
通过截取子模块和参数提取子模块的配合，对完整的视频数据截取对应的面部数据，通过将仅含人脸的面部数据输入情感特征提取模型进行处理，提高了准确度，并且通过情感特征提取模型进行处理，不仅能提高处理效率还提高了识别率。
进一步的，所述音视频处理模块102包括转换子模块、匹配子模块和结果确定子模块；
所述转换子模块，用于通过判断模型下的转译子模型将所述音频数据转换为对应的文本数据；
所述匹配子模块，用于利用判断模型下的匹配子模型将所述文本数据与所述第一问题的预设答案进行匹配，得到对应的匹配度，所述匹配子模型基于Bimpm模型训练得到；
所述结果确定子模块，用于根据所述匹配度确定所述判断结果。
通过转换子模块、匹配子模块和结果确定子模块的配合，利用转译子模型将音频数据转换为文本数据以及通过匹配子模型将文本数据与预设答案进行匹配，以得到匹配度，再最终确定判断结果，提高了处理效率。
再进一步的，所述匹配子模块还包括关键词提取单元和对应匹配单元；
所述关键词提取单元，用于利用特征提取模型对所述文本数据进行特征提取，得到对应的关键词，所述特征提取模型基于LDA模型训练得到；
所述对应匹配单元，用于利用所述匹配子模型将所述关键词与预设答案进行匹配。
通过关键词提取单元和对应匹配单元的配合，先进行一个关键词的抽取步骤，再通过将关键词与预设答案进行匹配，提高了结果的精确度。
状态确认模块103，用于根据所述情感特征参数，确定所述被采集人员的情感状态；
进一步的，所述状态确认模块103包括查询子模块；
所述查询子模块，用于基于所述情感特征参数，查询预设的状态对照表，确定所述被采集人员的情感状态。
通过查询子模块查表的形式能快速且准确的得到对应的情感状态。
问题确定模块104，用于基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；
进一步的，所述问题确定模块104包括分级子模块和对应确定子模块；
所述分级子模块，用于利用分级模型对所述判断结果和情感状态进行分级判断，确定所述被采集人员回答所述第一问题时所属的应对等级，所述分级模型基于决策树模型训练得到；
所述对应确定子模块，用于根据所述应对等级，确定对应等级的所述第二问题。
通过分级子模块和对应确定子模块的配合，根据判断结果和情感状态，进行分级判断，以确定被采集人回答第一问题的等级，以利于后续确定对应等级的问题，从而提高了审核质量。
推送模块105，用于将所述第二问题推送至稽核人员处。
通过采用上述装置，所述智能推题装置100通过获取模块101、音视频处理模块102、状态确认模块103、问题确定模块104和推送模块105的配合使用，通过获取被采集人员在回答第一问题时的视频数据和音频数据，利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果，所述判断结果即被采集人员回答第一问题的分数等级；分别对音频和视频数据进行处理，得到有效参数；再根据所述情感特征参数，确定所述被采集人员的情感状态；基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；通过对用户回答的音频数据进行打分，以及根据视频数据对情感状态进行确定，以最终确定被采集人员的第二问题，从而提高了对被稽核人员的审核质量和处理效率。
本申请实施例还提供一种计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如智能推题方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述智能推题方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例智能推题方法的步骤，通过获取被采集人员在回答第一问题时的视频数据和音频数据，利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果，所述判断结果即被采集人员回答第一问题的分数等级；分别对音频和视频数据进行处理，得到有效参数；再根据所述情感特征参数，确定所述被采集人员的情感状态；基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；通过对用户回答的音频数据进行打分，以及根据视频数据对情感状态进行确定，以最终确定被采集人员的第二问题，从而提高了对被稽核人员的审核质量和处理效率。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的智能推题方法的步骤，通过获取被采集人员在回答第一问题时的视频数据和音频数据，利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果，所述判断结果即被采集人员回答第一问题的分数等级；分别对音频和视频数据进行处理，得到有效参数；再根据所述情感特征参数，确定所述被采集人员的情感状态；基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；通过对用户回答的音频数据进行打分，以及根据视频数据对情感状态进行确定，以最终确定被采集人员的第二问题，从而提高了对被稽核人员的审核质量和处理效率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本申请上述实施例的智能推题装置、计算机设备、计算机可读存储介质具有与上述实施例的智能推题方法相同的技术效果，在此不作展开。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种智能推题方法，其特征在于，所述方法包括：
获取被采集人员回答第一问题时的视频数据和音频数据；
利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果；
根据所述情感特征参数，确定所述被采集人员的情感状态；
基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；
将所述第二问题推送至稽核人员处。
2.根据权利要求1所述的智能推题方法，其特征在于，在所述获取被采集人员回答第一问题时的视频数据和音频数据之前，还包括：
获取所述被采集人员的基础信息；
通过利用推荐模型对基础数据进行处理，得到被采集人员的所述第一问题，所述推荐模型基于Apriori模型训练得到。
3.根据权利要求1所述的智能推题方法，其特征在于，所述利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取包括：
通过对所述视频数据中所述被采集人头像所在位置的视频进行截取，得到所述面部数据；
通过情感特征提取模型对所述被采集人员的面部数据进行提取，所述情感特征提取模型基于增强型长期递归卷积网络模型训练得到。
4.根据权利要求1所述的智能推题方法，其特征在于，所述通过判断模型对所述音频数据进行回答内容的判断，得到判断结果包括：
通过判断模型下的转译子模型将所述音频数据转换为对应的文本数据；
利用判断模型下的匹配子模型将所述文本数据与所述第一问题的预设答案进行匹配，得到对应的匹配度，所述匹配子模型基于Bimpm模型训练得到；
根据所述匹配度确定所述判断结果。
5.根据权利要求4所述的智能推题方法，其特征在于，所述利用判断模型下的匹配子模型将所述文本数据与所述第一问题的预设答案进行匹配包括：
利用特征提取模型对所述文本数据进行特征提取，得到对应的关键词，所述特征提取模型基于LDA模型训练得到；
利用所述匹配子模型将所述关键词与预设答案进行匹配。
6.根据权利要求1所述的智能推题方法，其特征在于，所述根据所述情感特征参数，确定所述被采集人员的情感状态包括：
基于所述情感特征参数，查询预设的状态对照表，确定所述被采集人员的情感状态。
7.根据权利要求1至6中任一项所述的智能推题方法，其特征在于，所述基于所述判断结果和情感状态，确定所述被采集人员的第二问题包括：
利用分级模型对所述判断结果和情感状态进行分级判断，确定所述被采集人员回答所述第一问题时所属的应对等级，所述分级模型基于决策树模型训练得到；
根据所述应对等级，确定对应等级的所述第二问题。
8.一种智能推题装置，其特征在于，所述装置包括：
获取模块，用于获取被采集人员回答第一问题时的视频数据和音频数据；
音视频处理模块，用于利用情感特征提取模型对视频数据中所述被采集人员的面部数据进行特征提取，得到情感特征参数，并且通过判断模型对所述音频数据进行回答内容的判断，得到判断结果；
状态确认模块，用于根据所述情感特征参数，确定所述被采集人员的情感状态；
问题确定模块，用于基于所述判断结果和所述情感状态，确定所述被采集人员的第二问题；
推送模块，用于将所述第二问题推送至稽核人员处。
9.一种计算机设备，其特征在于，所述计算机设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一所述的智能推题方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一所述的智能推题方法。
CN202210428378.6A 2022-04-22 2022-04-22 智能推题方法、装置、设备及存储介质 Pending CN114724072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210428378.6A CN114724072A (zh) 2022-04-22 2022-04-22 智能推题方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210428378.6A CN114724072A (zh) 2022-04-22 2022-04-22 智能推题方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114724072A true CN114724072A (zh) 2022-07-08

Family

ID=82245773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210428378.6A Pending CN114724072A (zh) 2022-04-22 2022-04-22 智能推题方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114724072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758947A (zh) * 2023-08-14 2023-09-15 北京分音塔科技有限公司 基于音频情感的辅助审判方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758947A (zh) * 2023-08-14 2023-09-15 北京分音塔科技有限公司 基于音频情感的辅助审判方法、装置、设备及存储介质
CN116758947B (zh) * 2023-08-14 2023-10-20 北京分音塔科技有限公司 基于音频情感的辅助审判方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
WO2020244066A1 (zh) 一种文本分类方法、装置、设备及存储介质
WO2019095586A1 (zh) 会议纪要生成方法、应用服务器及计算机可读存储介质
CN112633003B (zh) 一种地址识别方法、装置、计算机设备及存储介质
CN113127633B (zh) 智能会议管理方法、装置、计算机设备及存储介质
CN110489527A (zh) 基于语音交互的银行业务智能咨询以及办理方法和系统
US20230032728A1 (en) Method and apparatus for recognizing multimedia content
CN112632278A (zh) 一种基于多标签分类的标注方法、装置、设备及存储介质
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN111444349A (zh) 信息抽取方法、装置、计算机设备和存储介质
CN110795714A (zh) 一种身份验证方法、装置、计算机设备及存储介质
CN111061837A (zh) 话题识别方法、装置、设备及介质
CN112836521A (zh) 问答匹配方法、装置、计算机设备及存储介质
CN112699213A (zh) 语音意图识别方法、装置、计算机设备及存储介质
CN115510186A (zh) 基于意图识别的即时问答方法、装置、设备及存储介质
CN112395391A (zh) 概念图谱构建方法、装置、计算机设备及存储介质
CN114724072A (zh) 智能推题方法、装置、设备及存储介质
WO2020232894A1 (zh) 实时数据的验证方法、装置、服务器及介质
CN111488501A (zh) 一种基于云平台的电商统计系统
CN113220828B (zh) 意图识别模型处理方法、装置、计算机设备及存储介质
CN113569118A (zh) 自媒体推送方法、装置、计算机设备及存储介质
CN112199954A (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
CN112766051A (zh) 基于Attention的图像文字识别方法及装置
WO2023040545A1 (zh) 一种数据处理方法、装置、设备、存储介质和程序产品
CN111507758B (zh) 一种基于语义分析的调研方法、装置、系统及服务器
CN114418623A (zh) 基于用户兴趣进行广告推送的方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination