CN109767321A - 问答过程优化方法、装置、计算机设备和存储介质 - Google Patents
问答过程优化方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109767321A CN109767321A CN201811547025.8A CN201811547025A CN109767321A CN 109767321 A CN109767321 A CN 109767321A CN 201811547025 A CN201811547025 A CN 201811547025A CN 109767321 A CN109767321 A CN 109767321A
- Authority
- CN
- China
- Prior art keywords
- answer
- question
- micro
- result
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000005457 optimization Methods 0.000 title claims abstract description 30
- 238000010195 expression analysis Methods 0.000 claims abstract description 139
- 238000011156 evaluation Methods 0.000 claims abstract description 93
- 230000008921 facial expression Effects 0.000 claims abstract description 90
- 230000008569 process Effects 0.000 claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 27
- 230000036651 mood Effects 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000008451 emotion Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 235000013399 edible fruits Nutrition 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004418 eye rotation Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本申请涉及微表情技术领域，提供了一种问答过程优化方法、装置、计算机设备和存储介质。方法包括获取用户回答第一问题的问答视频数据和问答音频数据，对问答视频数据中的画面帧进行人脸检测得到面部表情图像，分析得到微表情分析结果，对问答音频数据进行语音识别，根据预设答案得到答题评判结果，结合微表情分析结果和答题评判结果，调整用户问答策略，并根据对应的问题选取规则选取用户回答的第二问题。整个过程中，对用户回答第一问题过程中的面部表情进行微表情分析，并对问答的答案进行评判，将评判结果与微表情分析结果进行结合来调整问答策略并选取用户回答的第二问题，以获得更真实有效的问答结果，从而实现整体的问答过程的优化。
Description
技术领域
本申请涉及微表情技术领域，特别是涉及一种问答过程优化方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的飞速发展，已经深入到各类业务的运用中，在金融行业，当接收到客户申请的信用贷款等请求时，通常需要风控工作人员通过远程或线下对借款人进行面审，风控工作人员通过提问的方式来审核借款人的相关信息是否存在欺诈。
目前，通过面审问答的方式审核借款人的相关信息是否存在欺诈性，主要依据面审工作人员的工作经验来判断，在实际工作过程中，对面审工作人员的经验要求较高，而且由于个人经验的不同，对于面审问题的选取也具有一定的随机性，面审流程不够严谨规范，以致无法提高整体的面审效果。
发明内容
基于此，有必要针对上述技术问题，提供一种能够优化整体面审效果的问答过程优化方法、装置、计算机设备和存储介质。
一种问答过程优化方法，所述方法包括：
获取用户回答第一问题的问答视频数据和问答音频数据；
对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果；
根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题。
在其中一个实施例中，所述对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像包括：
对所述问答视频数据进行画面分帧处理，根据设定的帧数间隔选取画面帧；
根据人脸检测算法，识别各所述画面帧的面部特征点；
根据所述面部特征点，获得各所述画面帧的面部表情图像。
在其中一个实施例中，所述预设的微表情分析模型包括情绪识别模型和面部动作识别模型面部动作识别模型；所述将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果包括：
将所述面部表情图像中的面部特征点，输入情绪识别模型，得到所述面部表情图像对应的情绪类别标签；
将所述面部表情图像中的面部特征点，输入面部动作识别模型，得到所述面部表情图像中各面部区域的动作标签集合；
根据所述动作标签集合和所述情绪类别标签，查找微表情标签数据库，得到所述面部表情图像对应的微表情分析结果；
根据各面部表情图像对应的微表情分析结果，确定所述问答视频数据对应的微表情分析结果。
在其中一个实施例中，所述对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果包括：
对所述问答音频数据进行语音识别，获取所述第一问题的答题文本；
当所述第一问题携带的题型标签为客观题时，将所述答题文本与预设标准答案进行对比，当所述答题文本与所述标准答案相同时，所述答题评判结果为所述第一问题的回答符合要求；
当所述第一问题携带的题型标签为主观题时，将所述答题文本与预设的关键字进行匹配，当匹配的关键字数量满足设定要求时，所述答题评判结果为所述第一问题的回答符合要求。
在其中一个实施例中，所述微表情分析结果包括表情正常和表情非正常；所述根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题包括：
获取所述第一问题携带的类别标签；
根据所述类别标签，确定所述第一问题对应的第一问题类别；
当所述第一问题的所述答题评判结果为回答不符合要求或所述微表情分析结果为表情非正常时，继续所述第一问题类别的问题选取流程，并选取所述第一问题类别中与所述第一问题关联的预设问题作为第二问题；
当所述第一问题的所述答题评判结果为回答符合要求且所述微表情分析结果为表情正常时，终止所述第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的预设问题作为第二问题。
在其中一个实施例中，所述根据所述微表情分析结果和所述答题评判结果，匹配问题选取规则，并根据所述问题选取规则选取第二问题之后，还包括：
统计各问题类别中各问题的微表情分析结果和答题评判结果；
根据统计结果，分别生成所述各问题类别的风险评分数据；
根据所述各问题类别的风险评分数据，生成总风险评分结果。
在其中一个实施例中，所述根据所述各问题类别的风险评分数据，生成总风险评分结果包括：
获取所述各问题类别的问答次数；
根据所述问答次数，确定所述各问题类别的风险比重；
根据所述各问题类别的风险比重，对所述各问题类别的风险评分数据进行加权处理，生成总风险评分结果。
一种问答过程优化装置，所述装置包括：
音视频获取模块，用于获取用户回答第一问题的问答视频数据和问答音频数据；
人脸检测模块，用于对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
微表情分析模块，用于将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
答题评判模块，用于对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果；
问题策略调整模块，用于根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取用户回答第一问题的问答视频数据和问答音频数据；
对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果；
根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取用户回答第一问题的问答视频数据和问答音频数据；
对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果；
根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题。
上述问答过程优化方法、装置、计算机设备和存储介质，通过获取用户回答第一问题的问答视频数据和问答音频数据，对问答视频数据中的画面帧进行人脸检测，根据检测到的面部表情图像，利用微表情分析模型，获得微表情分析结果，对问答音频数据进行语音识别，根据预设答案对语音识别结果进行比较，获得答案评判结果，结合微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。整个过程中，对用户在第一问题的问答过程中的面部表情进行微表情分析，并对第一问题问答的答案进行评判，将评判结果与微表情分析结果进行结合来调整问答策略并选择下一步的问题，可以根据问答过程中是否存在问题，及时调整问答策略，获得更真实有效的问答结果，从而实现整体的问答过程的优化。
附图说明
图1为一个实施例中问答过程优化方法的应用场景图；
图2为一个实施例中问答过程优化方法的流程示意图；
图3为另一个实施例中问答过程优化方法的流程示意图；
图4为另一个实施例中问答过程优化方法的流程示意图；
图5为一个实施例中图4中步骤S760的子步骤的流程示意图；
图6为一个实施例中问答过程优化装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的问答过程优化方法，可以应用于如图1所示的应用环境中。其中，面审工作人员所在的终端102通过网络与服务器104进行通信。服务器104获取对待面审客户的面审过程中提出的第一问题的问答视频数据和问答音频数据，问答视频数据可以通过摄像装置采集并传送至服务器104，问答音频数据可以通过麦克风等音频采集装置采集并传送至服务器104，服务器104接收到问答视频数据和问答音频数据，对问答视频数据中的画面帧进行人脸检测，根据检测到的面部表情图像，利用微表情分析模型，获得微表情分析结果，对问答音频数据进行语音识别，根据预设答案对语音识别结果进行比较，获得答案评判结果，结合微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题，并将微表情分析结果、答题评判结果以及选取的第二问题推送至终端102，其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
由于政策优惠、资助或者贷款等业务在实行时，一般会对客户进行审查，但存在一些不符合服务要求的客户，为达到目的，会伪造自己的相关信息，隐瞒真实情况，一般来说，通过书面的资料并不能有效地识别信息的真实性，所以，在对客户资料进行审核的过程中，需要通过面审来判定客户是否存在欺诈的可能性。图谋欺诈的客户，在面审过程中会刻意隐藏自己的情绪，有时一些细微的表情变化，依靠面审工作人员的经验也无法发现。但是，通过摄像机等音视频采集装置采集客户面审过程中回答各问题的视频，并进行微表情分析，可以判断该客户在回答该问题时的微表情是否处于正常状态，从而判断出该问题的答案是否可信，并结合该问题的回答可信度与正确性，进一步确定是否有需要就该类问题进行深入了解的必须性，确定接下来需要对客户提问的问题。
在一个实施例中，如图2所示，提供了一种问答过程优化方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S200，获取用户回答第一问题的问答视频数据和问答音频数据。
第一问题是指在面审过程中，对客户提出的面审问题，面审问题包括基本问题和敏感问题两大类，基本问题是指基于客户的一些个人信息所设置的问题集合，例如身份证号、亲人手机号和家庭住址等。敏感问题是用于判定目标客户是否存在风险的基本问题的集合，例如贷款用途、个人收入和偿还意愿等，在实施例中，面审问题的题型包括主观题和客观题，其中，基本问题和敏感问题可根据实际需要设定对应的题型。面审工作人员可以通过线下面审或远程面审的方式对客户进行面审问答，通过设置音视频采集装置，主要拍摄客户的面部，并采集客户的回答语音，在实施例中，可以通过携带有音频采集功能的摄像机等获取音视频数据，并将音视频数据传送至服务器，以使服务器根据音频和视频的数据格式将音视频数据进行分离，获得客户回答问题的问答视频数据和问答音频数据，其中，问答视频数据是指将多个连续的画面帧组合而成的画面集合，问答音频数据是指包含语音信息的音频流。
步骤S300，对问答视频数据中的画面帧进行人脸检测，获取面部表情图像。
人脸检测是指对于任意给定的图像，采用预定的策略对其进行搜索以确定其中是否含有人脸的过程，通过对视频进行画面分帧处理，并根据设定的帧数间隔选取画面帧，对选取的画面帧进行人脸检测，识别出各画面帧中的面部特征点，如眉毛、眼睛、鼻子和嘴巴等，从而根据面部特征点，组合得到面部位置信息、大小信息以及姿态信息等，从而去除背景噪音提取出面部表情图像。
步骤S400，将面部表情图像输入预设的微表情分析模型，得到微表情分析结果。
微表情是引发隐藏某种真实情绪的短暂和不自主的快速面部表情。微表情识别模型是根据历史面部表情图像数据和对应的微表情使用机器学习算法进行大量训练得到的，其中机器学习算法可以是深度神经网络算法、随机森林算法等等。将面部表情图像输入预设的微表情分析模型，经过微表情分析处理，得到各面部表情图像对应的微表情分析结果，将各面部表情图像对应的微表情分析结果进行组合，得到问答视频数据对应的微表情分析结果。
步骤S500，对问答音频数据进行语音识别，将第一问题的预设答案和语音识别结果进行比较，得到第一问题的答题评判结果。
语音识别是指通过识别和理解过程把语音信号转变为相应的文本或命令的处理过程，通过对问答音频数据进行预加重、端点检测、加窗分帧和去噪等预处理，将处理过的问答音频数据输入语音识别模型，得到语音识别文本，将第一问题的预设答案与得到的语音识别文本进行比较，得到答题评判结果，确定客户对第一问题的回答是否符合要求。
步骤S600，根据微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。
如客户刻意隐瞒信息，单从第一问题的答题评判结果并不能很好地识别回答信息的真实性，但若客户可以隐瞒时，在答题时往往会存在心虚、紧张等非正常的微表情，通过结合客户问答过程中的微表情识别结果，确定客户在回答问题时的微表情是否处于非正常状态，用以辅助判断客户的回答是否存在欺诈的可能性，问答策略包括同类问题继续提问和换一类问题提问，其中，同类问题继续提问中包括以追问、反问或陷阱题的方式进行提问，选取用户回答的第二问题是指确定下一个让用户进行回答的问题的过程。需要指出的是，第一问题和第二问题是相对而言的，当第一问题处理完成并选取出第二问题后，将第二问题配置为第一问题，进行下一个问题的选取。在实施例中，若客户的微表情分析结果非正常或者答题评判结果错误时，可以将问答策略调整为就第一问题所属的这一类问题继续提问，从而更好地确定客户的答题的真实性，若客户的微表情分析结果正常且者答题评判结果正确时，可以将问答策略调整为换一类问题进行提问，在设置题库时，将类似内容的问题规划为同一类，并使各问题携带有对应的类别标签，同一类问题可以包括主要问题，与主要问题关联的追问问题、反问问题、陷阱问题等。在用户进行问答开始时，将一类问题的主要问题作为用户问答的第一问题，匹配问题选取规则包括选择同类问题中的追问问题、反问问题、陷阱问题或是选择不同类别的主要问题。其中，当第一问题的答题评判结果为回答不符合要求且微表情分析结果为表情正常时，选取与第一问题关联的追问问题作为第二问题。当第一问题的答题评判结果为回答符合要求且微表情分析结果为表情非正常时，选取与第一问题关联的陷阱问题作为第二问题。当第一问题的答题评判结果为回答不符合要求且微表情分析结果为表情非正常时，选取与第一问题关联的反问问题作为第二问题。当第一问题的答题评判结果为回答符合要求且微表情分析结果为表情正常时，终止第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的主要问题作为第二问题。通过结合微表情分析结果和答题评判结果来调整问答策略，并根据调整后的问答策略对应的问题选取规则选取接下来要提问的第二问题，更有针对性和目的性，有利于提高面审问答的真实性的评估，确定该客户可能存在的风险性，优化了面审问答过程。
上述问答过程优化方法，通过获取用户回答第一问题的问答视频数据和问答音频数据，对问答视频数据中的画面帧进行人脸检测，根据检测到的面部表情图像，利用微表情分析模型，获得微表情分析结果，对问答音频数据进行语音识别，根据预设答案对语音识别结果进行比较，获得答案评判结果，结合微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。整个过程中，对用户在第一问题的问答过程中的面部表情进行微表情分析，并对第一问题问答的答案进行评判，将评判结果与微表情分析结果进行结合来调整问答策略并选择下一步的问题，可以根据问答过程中是否存在问题，及时调整问答策略，获得更真实有效的问答结果，从而实现整体的问答过程的优化。上述问答过程优化方法可应用在银行、证券、保险等金融机构上，能够有效辅助面审工作人员对贷款客户进行风险控制，从而确定能否给该贷款客户发放贷款。
在一个实施例中，如图3所示，步骤S300，对问答视频数据中的画面帧进行人脸检测，获取面部表情图像包括：
步骤S320，对问答视频数据进行画面分帧处理，根据设定的帧数间隔选取画面帧。
步骤S340，根据人脸检测算法，识别各画面帧的面部特征点。
步骤S360，根据面部特征点，获得各画面帧的面部表情图像。
画面分帧是指将视频拆分为连续的多个画面的集合，并按照设定的帧数间隔选取出画面帧，例如，设定的帧数间隔为20帧，通过人脸检测算法对选取出的画面帧进行人脸检测，其中，人脸检测算法可以使用AdaBoost算法，Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个强分类器。在进行检测时通过计算人脸haar积分图特征，再通过已训练的最终分类器进行识别，得到面部特征点，面部特征点可以包括左眼、右眼、鼻尖、左嘴角和右嘴角等，根据面部特征点，面部位置信息、大小信息以及姿态信息等，从而去除背景噪音提取出各画面帧的面部表情图像。
在一个实施例中，预设的微表情分析模型包括情绪识别模型和面部动作识别模型面部动作识别模型。步骤S400，将面部表情图像输入预设的微表情分析模型，得到微表情分析结果包括：
步骤S420，将面部表情图像中的面部特征点，输入情绪识别模型，得到面部表情图像对应的情绪类别标签。
步骤S440，将面部表情图像中的面部特征点，输入面部动作识别模型，得到面部表情图像中各面部区域的动作标签集合。
步骤S460，根据动作标签集合和情绪类别标签，查找微表情标签数据库，得到面部表情图像对应的微表情分析结果。
步骤S480，根据各面部表情图像对应的微表情分析结果，确定问答视频数据对应的微表情分析结果。
情绪识别模型是指通过输入面部表情图像进行识别获取对应的情绪识别结果的模型，输出的情绪类别包括平静、生气、厌恶、恐惧、高兴、难过和惊讶等，将面部表情图像中的面部特征点输入到情绪识别模型进行识别处理，获取到该面部表情图像对应的七种情绪的概率值，若某种情绪的概率值超过对应的预设阈值，则得到该面部表情图像对应的情绪作为该画面的情绪类别标签。动作识别模型是指通过面部特征点的相对位置识别客户的动作的模型，具体来说，动作包括头部移动、眼睛转动等，将面部表情图像中的面部特征点输入到动作识别模型进行识别，获取头部偏移方向的概率值，当头部角度偏向某一方向的概率值超过对应的预设阈值时，确定当前人脸向对应方向偏移，获取眼球中心所对应的眼眶位置的偏移，当眼球中心偏向某一方向的概率值超过对应的预设阈值时，确定眼睛转动方向，根据头部偏移方向和眼球转动方向可以反映客户的眼睛视线方向或注意力方向，从而获得头部动作标签和眼睛动作标签，通过动作识别模型还可以获得嘴角动作标签、鼻尖动作标签。将各动作标签组合得到动作标签集合，根据动作标签集合和情绪类别标签，查找微表情标签数据库，微表情标签数据库记录有各微表情对应的标签，根据查找结果，得到面部表情图像对应的微表情分析结果。
在一个实施例中，步骤S500，对问答音频数据进行语音识别，将第一问题的预设答案和语音识别结果进行比较，得到第一问题的答题评判结果包括：
步骤S520，对问答音频数据进行语音识别，获取第一问题的答题文本。
步骤S540，当第一问题携带的题型标签为客观题时，将答题文本与预设标准答案进行对比，当答题文本与标准答案相同时，答题评判结果为第一问题的回答符合要求。
步骤S560，当第一问题携带的题型标签为主观题时，将答题文本与预设的关键字进行匹配，当匹配的关键字数量满足设定要求时，答题评判结果为第一问题的回答符合要求。
客观题是指从事先拟定的答案中辨认出正确答案的题目，具体的题型有判断题、选择题等，主观题是指根据题目要求，自行组织组织材料，并进行表达陈述的题目，具体的题型包括问答题等，当第一问题为判断题或选择题等客观类题型时，根据预设的标准答案，判断用户回答是否正确；当第一问题为问答题等主观类题型时，通过语音识别获得用户回答的答题文本，并将答题文本与设定的关键字进行匹配，根据关键字匹配结果是否达到设定的匹配数量，判断用户回答是否符合要求。
在一个实施例中，微表情分析结果包括表情正常和表情非正常。步骤S600，根据微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题包括：
步骤S620，获取第一问题携带的类别标签。
步骤S640，根据类别标签，确定第一问题对应的第一问题类别。
步骤S660，当第一问题的答题评判结果为回答不符合要求或微表情分析结果为表情非正常时，继续第一问题类别的问题选取流程，并选取第一问题类别中与第一问题关联的预设问题作为第二问题。
步骤S680，当第一问题的答题评判结果为回答符合要求且微表情分析结果为表情正常时，终止第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的预设问题作为第二问题。
在设置题库时，将同一类问题规划为同一类，并使各问题携带有对应的类别标签，同一类问题包括主要问题，与主要问题关联的追问问题、反问问题、陷阱问题等。其中，追问问题用于进一步确认问题的答案，一般针对当客户出现用词不当或表述不清导致的问题而采取的问题，例如，“关于XX，是否还有需要补充的？”反问问题用于针对客户的回答存在质疑时而采取的问题，例如，“关于XX，具体是XX吗？”陷阱问题用于试探客户的回答真实性而采取的问题。陷阱问题的内容一般为与原问题相关但内容不相同的问题。在实施例中，当答题评判结果为回答不符合要求且微表情分析结果为表情正常时，确定对应的问题选取规则为选取与第一问题关联的追问问题。当答题评判结果为回答符合要求且微表情分析结果为表情非正常时，确定对应的问题选取规则为选取与第一问题关联的陷阱问题。当答题评判结果为回答不符合要求且微表情分析结果为表情非正常时，确定对应的问题选取规则为选取与第一问题关联的反问问题。当第一问题的答题评判结果为回答符合要求且微表情分析结果为表情正常时，终止第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的预设问题作为第二问题。其中，各类问题的关联关系可以在设置题库时提前设定。
在一个实施例中，如图4所示，步骤S600，根据微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题之后，还包括：
步骤S720，统计各问题类别中各问题的微表情分析结果和答题评判结果。
步骤S740，根据统计结果，分别生成各问题类别的风险评分数据。
步骤S760，根据各问题类别的风险评分数据，生成总风险评分结果。
在同一类问题的问答过程中，问答次数和每一个问题的问答情况都存在不同，统计各问题类别中各问题的微表情分析结果和答题评判结果，并计算该类问题中微表情分析结果为非正常和答题评判结果为错误的概率，根据计算得到的概率，分别生成各问题类别的风险评分数据，根据该客户的面审问答过程中各类问题的风险评分数据，通过加权处理，生成总风险评分结果，面审工作人员可以根据各类问题的风险评分数据和总风险评分结果，确定客户面审是否通过。
在一个实施例中，如图5所示，步骤S760，根据各问题类别的风险评分数据，生成总风险评分结果包括：
步骤S762，获取各问题类别的问答次数。
步骤S764，根据问答次数，确定各问题类别的风险比重。
步骤S766，根据各问题类别的风险比重，对各问题类别的风险评分数据进行加权处理，生成总风险评分结果。
同一类问题中出现微表情分析结果为非正常和答题评判结果为错误的次数越多，对应该类问题的问答次数也就越多，而问答次数越多的问题类别对应的风险评分数据也相对较低，问答次数越多，该问题类别的风险比重越大，根据问答次数，确定各问题类别的风险比重，根据各问题类别的风险比重，对各问题类别的风险评分数据进行加权处理，生成总风险评分结果。
在一个实施例中，还包括题库的扩充，将每个客户的问题回答情况包括问题内容、问题类型、问题答案、答案评判结果、问答音视频、微表情分析结果等进行关联存储，对选取了陷阱问题、反问问题以及追问问题的问题类型进行统计，根据统计结果，进行预设题库的扩充。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种问答过程优化装置，包括：
音视频获取模块200，用于获取用户回答第一问题的问答视频数据和问答音频数据；
人脸检测模块300，用于对问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
微表情分析模块400，用于将面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
答题评判模块500，用于对问答音频数据进行语音识别，将第一问题的预设答案和语音识别结果进行比较，得到第一问题的答题评判结果；
问答策略调整模块600，用于根据微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。
在一个实施例中，人脸检测模块300，还用于对问答视频数据进行画面分帧处理，根据设定的帧数间隔选取画面帧，根据人脸检测算法，识别各画面帧的面部特征点，根据面部特征点，获得各画面帧的面部表情图像。
在一个实施例中，预设的微表情分析模型包括情绪识别模型和面部动作识别模型面部动作识别模型；微表情分析模块400，还用于将面部表情图像中的面部特征点，输入情绪识别模型，得到面部表情图像对应的情绪类别标签，将面部表情图像中的面部特征点，输入面部动作识别模型，得到面部表情图像中各面部区域的动作标签集合，根据动作标签集合和情绪类别标签，查找微表情标签数据库，得到面部表情图像对应的微表情分析结果，根据各面部表情图像对应的微表情分析结果，确定问答视频数据对应的微表情分析结果。
在一个实施例中，答题评判模块500，还用于对问答音频数据进行语音识别，获取第一问题的答题文本，当第一问题携带的题型标签为为客观题时，将答题文本与预设标准答案进行对比，当答题文本与标准答案相同时，答题评判结果为第一问题的回答符合要求，当第一问题携带的题型标签为主观题时，将答题文本与预设的关键字进行匹配，当匹配的关键字数量满足设定要求时，答题评判结果为第一问题的回答符合要求。
在一个实施例中，微表情分析结果包括表情正常和表情非正常，问答策略调整模块600，还用于获取第一问题携带的类别标签，根据类别标签，确定第一问题对应的第一问题类别，当第一问题的答题评判结果为回答不符合要求或微表情分析结果为表情非正常时，继续第一问题类别的问题选取流程，并选取第一问题类别中与第一问题关联的预设问题作为第二问题，当第一问题的答题评判结果为回答符合要求且微表情分析结果为表情正常时，终止第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的预设问题作为第二问题。
在一个实施例中，问答过程优化装置还包括风险评分模块，用于统计各问题类别中各问题的微表情分析结果和答题评判结果，根据统计结果，分别生成各问题类别的风险评分数据，根据各问题类别的风险评分数据，生成总风险评分结果。
在一个实施例中，风险评分模块，还用于获取各问题类别的问答次数，根据问答次数，确定各问题类别的风险比重，根据各问题类别的风险比重，对各问题类别的风险评分数据进行加权处理，生成总风险评分结果。
上述问答过程优化装置，通过获取用户回答第一问题的问答视频数据和问答音频数据，对问答视频数据中的画面帧进行人脸检测，根据检测到的面部表情图像，利用微表情分析模型，获得微表情分析结果，对问答音频数据进行语音识别，根据预设答案对语音识别结果进行比较，获得答案评判结果，结合微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。整个过程中，对用户在第一问题的问答过程中的面部表情进行微表情分析，并对第一问题问答的答案进行评判，将评判结果与微表情分析结果进行结合来调整问答策略并选择下一步的问题，可以根据问答过程中是否存在问题，及时调整问答策略，获得更真实有效的问答结果，从而实现整体的问答过程的优化。
关于问答过程优化装置的具体限定可以参见上文中对于问答过程优化方法的限定，在此不再赘述。上述问答过程优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种问答过程优化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取用户回答第一问题的问答视频数据和问答音频数据；
对问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
将面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
对问答音频数据进行语音识别，将第一问题的预设答案和语音识别结果进行比较，得到第一问题的答题评判结果；
根据微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对问答视频数据进行画面分帧处理，根据设定的帧数间隔选取画面帧；
根据人脸检测算法，识别各画面帧的面部特征点；
根据面部特征点，获得各画面帧的面部表情图像。
在一个实施例中，预设的微表情分析模型包括情绪识别模型和面部动作识别模型面部动作识别模型处理器执行计算机程序时还实现以下步骤：
将面部表情图像中的面部特征点，输入情绪识别模型，得到面部表情图像对应的情绪类别标签；
将面部表情图像中的面部特征点，输入面部动作识别模型，得到面部表情图像中各面部区域的动作标签集合；
根据动作标签集合和情绪类别标签，查找微表情标签数据库，得到面部表情图像对应的微表情分析结果；
根据各面部表情图像对应的微表情分析结果，确定问答视频数据对应的微表情分析结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对问答音频数据进行语音识别，获取第一问题的答题文本；
当第一问题携带的题型标签为客观题时，将答题文本与预设标准答案进行对比，当答题文本与标准答案相同时，答题评判结果为第一问题的回答符合要求；
当第一问题携带的题型标签为主观题时，将答题文本与预设的关键字进行匹配，当匹配的关键字数量满足设定要求时，答题评判结果为第一问题的回答符合要求。
在一个实施例中，微表情分析结果包括表情正常和表情非正常，处理器执行计算机程序时还实现以下步骤：
获取第一问题携带的类别标签；
根据类别标签，确定第一问题对应的第一问题类别；
当第一问题的答题评判结果为回答不符合要求或微表情分析结果为表情非正常时，继续第一问题类别的问题选取流程，并选取第一问题类别中与第一问题关联的预设问题作为第二问题；
当第一问题的答题评判结果为回答符合要求且微表情分析结果为表情正常时，终止第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的预设问题作为第二问题。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
统计各问题类别中各问题的微表情分析结果和答题评判结果；
根据统计结果，分别生成各问题类别的风险评分数据；
根据各问题类别的风险评分数据，生成总风险评分结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取各问题类别的问答次数；
根据问答次数，确定各问题类别的风险比重；
根据各问题类别的风险比重，对各问题类别的风险评分数据进行加权处理，生成总风险评分结果。
上述用于实现问答过程优化方法的计算机设备，通过获取用户回答第一问题的问答视频数据和问答音频数据，对问答视频数据中的画面帧进行人脸检测，根据检测到的面部表情图像，利用微表情分析模型，获得微表情分析结果，对问答音频数据进行语音识别，根据预设答案对语音识别结果进行比较，获得答案评判结果，结合微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。整个过程中，对用户在第一问题的问答过程中的面部表情进行微表情分析，并对第一问题问答的答案进行评判，将评判结果与微表情分析结果进行结合来调整问答策略并选择下一步的问题，可以根据问答过程中是否存在问题，及时调整问答策略，获得更真实有效的问答结果，从而实现整体的问答过程的优化。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取用户回答第一问题的问答视频数据和问答音频数据；
对问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
将面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
对问答音频数据进行语音识别，将第一问题的预设答案和语音识别结果进行比较，得到第一问题的答题评判结果；
根据微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对问答视频数据进行画面分帧处理，根据设定的帧数间隔选取画面帧；
根据人脸检测算法，识别各画面帧的面部特征点；
根据面部特征点，获得各画面帧的面部表情图像。
在一个实施例中，预设的微表情分析模型包括情绪识别模型和面部动作识别模型面部动作识别模型计算机程序被处理器执行时还实现以下步骤：
将面部表情图像中的面部特征点，输入情绪识别模型，得到面部表情图像对应的情绪类别标签；
将面部表情图像中的面部特征点，输入面部动作识别模型，得到面部表情图像中各面部区域的动作标签集合；
根据动作标签集合和情绪类别标签，查找微表情标签数据库，得到面部表情图像对应的微表情分析结果；
根据各面部表情图像对应的微表情分析结果，确定问答视频数据对应的微表情分析结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对问答音频数据进行语音识别，获取第一问题的答题文本；
当第一问题携带的题型标签为客观题时，将答题文本与预设标准答案进行对比，当答题文本与标准答案相同时，答题评判结果为第一问题的回答符合要求；
当第一问题携带的题型标签为主观题时，将答题文本与预设的关键字进行匹配，当匹配的关键字数量满足设定要求时，答题评判结果为第一问题的回答符合要求。
在一个实施例中，微表情分析结果包括表情正常和表情非正常，计算机程序被处理器执行时还实现以下步骤：
获取第一问题携带的类别标签；
根据类别标签，确定第一问题对应的第一问题类别；
当第一问题的答题评判结果为回答不符合要求或微表情分析结果为表情非正常时，继续第一问题类别的问题选取流程，并选取第一问题类别中与第一问题关联的预设问题作为第二问题；
当第一问题的答题评判结果为回答符合要求且微表情分析结果为表情正常时，终止第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的预设问题作为第二问题。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
统计各问题类别中各问题的微表情分析结果和答题评判结果；
根据统计结果，分别生成各问题类别的风险评分数据；
根据各问题类别的风险评分数据，生成总风险评分结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取各问题类别的问答次数；
根据问答次数，确定各问题类别的风险比重；
根据各问题类别的风险比重，对各问题类别的风险评分数据进行加权处理，生成总风险评分结果。
上述用于实现问答过程优化方法的计算机可读存储介质，通过获取用户回答第一问题的问答视频数据和问答音频数据，对问答视频数据中的画面帧进行人脸检测，根据检测到的面部表情图像，利用微表情分析模型，获得微表情分析结果，对问答音频数据进行语音识别，根据预设答案对语音识别结果进行比较，获得答案评判结果，结合微表情分析结果和答题评判结果，调整问答策略，并根据调整后的问答策略对应的调整问答策略，并根据调整后的问答策略对应的问题选取规则选取用户回答的第二问题。整个过程中，对用户在第一问题的问答过程中的面部表情进行微表情分析，并对第一问题问答的答案进行评判，将评判结果与微表情分析结果进行结合来调整问答策略并选择下一步的问题，可以根据问答过程中是否存在问题，及时调整问答策略，获得更真实有效的问答结果，从而实现整体的问答过程的优化。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种问答过程优化方法，所述方法包括：
获取用户回答第一问题的问答视频数据和问答音频数据；
对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果；
根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题。
2.根据权利要求1所述的方法，其特征在于，所述对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像包括：
对所述问答视频数据进行画面分帧处理，根据设定的帧数间隔选取画面帧；
根据人脸检测算法，识别各所述画面帧的面部特征点；
根据所述面部特征点，获得各所述画面帧的面部表情图像。
3.根据权利要求2所述的方法，其特征在于，所述预设的微表情分析模型包括情绪识别模型和面部动作识别模型面部动作识别模型；所述将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果包括：
将所述面部表情图像中的面部特征点，输入情绪识别模型，得到所述面部表情图像对应的情绪类别标签；
将所述面部表情图像中的面部特征点，输入面部动作识别模型，得到所述面部表情图像中各面部区域的动作标签集合；
根据所述动作标签集合和所述情绪类别标签，查找微表情标签数据库，得到所述面部表情图像对应的微表情分析结果；
根据各面部表情图像对应的微表情分析结果，确定所述问答视频数据对应的微表情分析结果。
4.根据权利要求1所述的方法，其特征在于，所述对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果包括：
对所述问答音频数据进行语音识别，获取所述第一问题的答题文本；
当所述第一问题携带的题型标签为客观题时，将所述答题文本与预设标准答案进行对比，当所述答题文本与所述标准答案相同时，所述答题评判结果为所述第一问题的回答符合要求；
当所述第一问题携带的题型标签为主观题时，将所述答题文本与预设的关键字进行匹配，当匹配的关键字数量满足设定要求时，所述答题评判结果为所述第一问题的回答符合要求。
5.根据权利要求4所述的方法，其特征在于，所述微表情分析结果包括表情正常和表情非正常；所述根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题包括：
获取所述第一问题携带的类别标签；
根据所述类别标签，确定所述第一问题对应的第一问题类别；
当所述第一问题的所述答题评判结果为回答不符合要求或所述微表情分析结果为表情非正常时，继续所述第一问题类别的问题选取流程，并选取所述第一问题类别中与所述第一问题关联的预设问题作为第二问题；
当所述第一问题的所述答题评判结果为回答符合要求且所述微表情分析结果为表情正常时，终止所述第一问题类别的问题选取流程，并选取与第一问题类别相关联的第二问题类别中的预设问题作为第二问题。
6.根据权利要求5所述的方法，其特征在于，所述根据所述微表情分析结果和所述答题评判结果，匹配问题选取规则调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题之后，还包括：
统计各问题类别中各问题的微表情分析结果和答题评判结果；
根据统计结果，分别生成所述各问题类别的风险评分数据；
根据所述各问题类别的风险评分数据，生成总风险评分结果。
7.根据权利要求6所述的方法，其特征在于，所述根据所述各问题类别的风险评分数据，生成总风险评分结果包括：
获取所述各问题类别的问答次数；
根据所述问答次数，确定所述各问题类别的风险比重；
根据所述各问题类别的风险比重，对所述各问题类别的风险评分数据进行加权处理，生成总风险评分结果。
8.一种问答过程优化装置，其特征在于，所述装置包括：
音视频获取模块，用于获取用户回答第一问题的问答视频数据和问答音频数据；
人脸检测模块，用于对所述问答视频数据中的画面帧进行人脸检测，获取面部表情图像；
微表情分析模块，用于将所述面部表情图像输入预设的微表情分析模型，得到微表情分析结果；
答题评判模块，用于对所述问答音频数据进行语音识别，将所述第一问题的预设答案和语音识别结果进行比较，得到所述第一问题的答题评判结果；
问题策略调整模块，用于根据所述微表情分析结果和所述答题评判结果，调整问答策略，并根据调整后的所述问答策略对应的问题选取规则选取用户回答的第二问题。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811547025.8A CN109767321A (zh) | 2018-12-18 | 2018-12-18 | 问答过程优化方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811547025.8A CN109767321A (zh) | 2018-12-18 | 2018-12-18 | 问答过程优化方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109767321A true CN109767321A (zh) | 2019-05-17 |
Family
ID=66450737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811547025.8A Pending CN109767321A (zh) | 2018-12-18 | 2018-12-18 | 问答过程优化方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109767321A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349577A (zh) * | 2019-06-19 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 人机交互方法、装置、存储介质及电子设备 |
| CN110378228A (zh) * | 2019-06-17 | 2019-10-25 | 深圳壹账通智能科技有限公司 | 面审视频数据处理方法、装置、计算机设备和存储介质 |
| CN110393539A (zh) * | 2019-06-21 | 2019-11-01 | 合肥工业大学 | 心理异常检测方法、装置、存储介质及电子设备 |
| CN110569347A (zh) * | 2019-09-10 | 2019-12-13 | 出门问问信息科技有限公司 | 一种数据处理方法、装置、存储介质和电子设备 |
| CN110728182A (zh) * | 2019-09-06 | 2020-01-24 | 平安科技（深圳）有限公司 | 基于ai面试系统的面试方法、装置和计算机设备 |
| CN111047436A (zh) * | 2019-12-25 | 2020-04-21 | 出门问问信息科技有限公司 | 一种信息判定方法及装置 |
| CN111160697A (zh) * | 2019-11-22 | 2020-05-15 | 深圳壹账通智能科技有限公司 | 基于模式识别的公车司机上岗判定方法及相关设备 |
| CN111325448A (zh) * | 2020-01-22 | 2020-06-23 | 山东爱城市网信息技术有限公司 | 一种基于区块链的问答活动答题的方法及设备、介质 |
| CN111553189A (zh) * | 2020-03-30 | 2020-08-18 | 深圳壹账通智能科技有限公司 | 基于视频信息的数据验证方法、装置及存储介质 |
| CN111933296A (zh) * | 2020-07-20 | 2020-11-13 | 湖北美和易思教育科技有限公司 | 一种校园疫情在线监测系统 |
| CN112036350A (zh) * | 2020-09-07 | 2020-12-04 | 山东山科数字经济研究院有限公司 | 一种基于政务云的用户调查方法和系统 |
| CN112365340A (zh) * | 2020-11-20 | 2021-02-12 | 无锡锡商银行股份有限公司 | 一种多模态个人贷款风险预测方法 |
| CN112487980A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | 基于微表情治疗方法、装置、系统与计算机可读存储介质 |
| CN112528797A (zh) * | 2020-12-02 | 2021-03-19 | 杭州海康威视数字技术股份有限公司 | 一种问题推荐方法、装置及电子设备 |
| CN114399827A (zh) * | 2022-03-14 | 2022-04-26 | 潍坊护理职业学院 | 基于面部微表情的高校毕业生职业性格测试方法及系统 |
| CN115798022A (zh) * | 2023-02-07 | 2023-03-14 | 南京思优普信息科技有限公司 | 一种基于特征提取的人工智能识别方法 |
| CN117708391A (zh) * | 2024-02-05 | 2024-03-15 | 天开林源(天津)科技有限责任公司 | 一种数据处理方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120262296A1 (en) * | 2002-11-12 | 2012-10-18 | David Bezar | User intent analysis extent of speaker intent analysis system |
| CN107704834A (zh) * | 2017-10-13 | 2018-02-16 | 上海壹账通金融科技有限公司 | 微表情面审辅助方法、装置及存储介质 |
| CN107832691A (zh) * | 2017-10-30 | 2018-03-23 | 北京小米移动软件有限公司 | 微表情识别方法及装置 |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN108717663A (zh) * | 2018-05-18 | 2018-10-30 | 深圳壹账通智能科技有限公司 | 基于微表情的面签欺诈判断方法、装置、设备及介质 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
-
2018
- 2018-12-18 CN CN201811547025.8A patent/CN109767321A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120262296A1 (en) * | 2002-11-12 | 2012-10-18 | David Bezar | User intent analysis extent of speaker intent analysis system |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN107704834A (zh) * | 2017-10-13 | 2018-02-16 | 上海壹账通金融科技有限公司 | 微表情面审辅助方法、装置及存储介质 |
| CN107832691A (zh) * | 2017-10-30 | 2018-03-23 | 北京小米移动软件有限公司 | 微表情识别方法及装置 |
| CN108717663A (zh) * | 2018-05-18 | 2018-10-30 | 深圳壹账通智能科技有限公司 | 基于微表情的面签欺诈判断方法、装置、设备及介质 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴奇;申寻兵;傅小兰;: "微表情研究及其应用", 心理科学进展, no. 09, 15 September 2010 (2010-09-15) * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378228A (zh) * | 2019-06-17 | 2019-10-25 | 深圳壹账通智能科技有限公司 | 面审视频数据处理方法、装置、计算机设备和存储介质 |
| CN110349577A (zh) * | 2019-06-19 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 人机交互方法、装置、存储介质及电子设备 |
| CN110393539A (zh) * | 2019-06-21 | 2019-11-01 | 合肥工业大学 | 心理异常检测方法、装置、存储介质及电子设备 |
| CN110393539B (zh) * | 2019-06-21 | 2021-11-23 | 合肥工业大学 | 心理异常检测方法、装置、存储介质及电子设备 |
| WO2021042842A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技（深圳）有限公司 | 基于ai面试系统的面试方法、装置和计算机设备 |
| CN110728182A (zh) * | 2019-09-06 | 2020-01-24 | 平安科技（深圳）有限公司 | 基于ai面试系统的面试方法、装置和计算机设备 |
| CN110728182B (zh) * | 2019-09-06 | 2023-12-26 | 平安科技（深圳）有限公司 | 基于ai面试系统的面试方法、装置和计算机设备 |
| CN110569347A (zh) * | 2019-09-10 | 2019-12-13 | 出门问问信息科技有限公司 | 一种数据处理方法、装置、存储介质和电子设备 |
| CN111160697A (zh) * | 2019-11-22 | 2020-05-15 | 深圳壹账通智能科技有限公司 | 基于模式识别的公车司机上岗判定方法及相关设备 |
| CN111047436B (zh) * | 2019-12-25 | 2023-08-11 | 出门问问信息科技有限公司 | 一种信息判定方法及装置 |
| CN111047436A (zh) * | 2019-12-25 | 2020-04-21 | 出门问问信息科技有限公司 | 一种信息判定方法及装置 |
| CN111325448A (zh) * | 2020-01-22 | 2020-06-23 | 山东爱城市网信息技术有限公司 | 一种基于区块链的问答活动答题的方法及设备、介质 |
| CN111553189A (zh) * | 2020-03-30 | 2020-08-18 | 深圳壹账通智能科技有限公司 | 基于视频信息的数据验证方法、装置及存储介质 |
| CN111933296A (zh) * | 2020-07-20 | 2020-11-13 | 湖北美和易思教育科技有限公司 | 一种校园疫情在线监测系统 |
| CN111933296B (zh) * | 2020-07-20 | 2022-08-02 | 武汉美和易思数字科技有限公司 | 一种校园疫情在线监测系统 |
| CN112036350A (zh) * | 2020-09-07 | 2020-12-04 | 山东山科数字经济研究院有限公司 | 一种基于政务云的用户调查方法和系统 |
| CN112036350B (zh) * | 2020-09-07 | 2022-01-28 | 山东山科数字经济研究院有限公司 | 一种基于政务云的用户调查方法和系统 |
| CN112365340A (zh) * | 2020-11-20 | 2021-02-12 | 无锡锡商银行股份有限公司 | 一种多模态个人贷款风险预测方法 |
| CN112487980A (zh) * | 2020-11-30 | 2021-03-12 | 深圳市广信安科技股份有限公司 | 基于微表情治疗方法、装置、系统与计算机可读存储介质 |
| CN112528797B (zh) * | 2020-12-02 | 2023-11-03 | 杭州海康威视数字技术股份有限公司 | 一种问题推荐方法、装置及电子设备 |
| CN112528797A (zh) * | 2020-12-02 | 2021-03-19 | 杭州海康威视数字技术股份有限公司 | 一种问题推荐方法、装置及电子设备 |
| CN114399827A (zh) * | 2022-03-14 | 2022-04-26 | 潍坊护理职业学院 | 基于面部微表情的高校毕业生职业性格测试方法及系统 |
| CN115798022A (zh) * | 2023-02-07 | 2023-03-14 | 南京思优普信息科技有限公司 | 一种基于特征提取的人工智能识别方法 |
| CN117708391A (zh) * | 2024-02-05 | 2024-03-15 | 天开林源(天津)科技有限责任公司 | 一种数据处理方法、装置、设备及存储介质 |
| CN117708391B (zh) * | 2024-02-05 | 2024-05-17 | 天开林源(天津)科技有限责任公司 | 一种数据处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109767321A (zh) | 问答过程优化方法、装置、计算机设备和存储介质 | |
| Takalkar et al. | A survey: facial micro-expression recognition | |
| CN108765131B (zh) | 基于微表情的信贷审核方法、装置、终端及可读存储介质 | |
| WO2016172872A1 (zh) | 用于验证活体人脸的方法、设备和计算机程序产品 | |
| CN109657554B (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| CN110111136B (zh) | 视频数据处理方法、装置、计算机设备和存储介质 | |
| CN111429267A (zh) | 面审风险控制方法、装置、计算机设备及存储介质 | |
| JP7412496B2 (ja) | 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法 | |
| CN109509088A (zh) | 基于微表情识别的贷款审核方法、装置、设备及介质 | |
| CN109766419A (zh) | 基于语音分析的产品推荐方法、装置、设备及存储介质 | |
| Nathwani | Online signature verification using bidirectional recurrent neural network | |
| Bai et al. | Automatic long-term deception detection in group interaction videos | |
| US20210398135A1 (en) | Data processing and transaction decisioning system | |
| Guefrachi et al. | Deep learning based DeepFake video detection | |
| Zolotarev et al. | Liveness detection methods implementation to face identification reinforcement in gaming services | |
| CN114648813A (zh) | 一种基于深度学习的手写签名鉴别方法及装置 | |
| CN113901418A (zh) | 基于视频的身份验证方法、装置、计算机设备及存储介质 | |
| Primorac et al. | Audio-visual biometric recognition via joint sparse representations | |
| Selvaraj et al. | Bimodal recognition of affective states with the features inspired from human visual and auditory perception system | |
| Charishma et al. | Smart Attendance System with and Without Mask using Face Recognition | |
| US12002295B2 (en) | System and method for video authentication | |
| US20230058259A1 (en) | System and Method for Video Authentication | |
| Kariyawasam et al. | Standalone Application and Chromium Browser Extension-based System for Online Examination Cheating Detection | |
| Agarwal et al. | Learning to synthesize faces using voice clips for Cross-Modal biometric matching | |
| Mayoue et al. | Biosecure multimodal evaluation campaign 2007 (BMEC’2007) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |