CN114998440A - 基于多模态的测评方法、装置、介质及设备 - Google Patents

基于多模态的测评方法、装置、介质及设备 Download PDF

Info

Publication number
CN114998440A
CN114998440A CN202210941187.XA CN202210941187A CN114998440A CN 114998440 A CN114998440 A CN 114998440A CN 202210941187 A CN202210941187 A CN 202210941187A CN 114998440 A CN114998440 A CN 114998440A
Authority
CN
China
Prior art keywords
user
face
information
emotion
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210941187.XA
Other languages
English (en)
Other versions
CN114998440B (zh
Inventor
刘胜坤
张汝民
邹伟建
黄倩影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Shuye Intelligent Technology Co ltd
Original Assignee
Guangdong Shuye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Shuye Intelligent Technology Co ltd filed Critical Guangdong Shuye Intelligent Technology Co ltd
Priority to CN202210941187.XA priority Critical patent/CN114998440B/zh
Publication of CN114998440A publication Critical patent/CN114998440A/zh
Application granted granted Critical
Publication of CN114998440B publication Critical patent/CN114998440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多模态的测评方法、装置、介质及设备，包括：获取用户脸部图像；所述用户脸部图像为用户在做量表测试时的脸部图像信息；对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；获取用户完成所述量表测试的阅题作答时间；根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程。本发明有效地提高了在线量表测评的准确度。

Description

基于多模态的测评方法、装置、介质及设备
技术领域
本发明涉及信息技术领域，尤其涉及一种基于多模态的测评方法、装置、介质及设备。
背景技术
目前针对中小学的心理健康测评主要采用老师与学生访谈形式、调查问卷形式以及在线心理测评量表形式进行。其中，老师与学生访谈时，学生有时会产生心理压力，导致心理健康调查出现误差。而调查问卷和在线量表形式中，存在学生对问题的理解偏差以及作答不认真等情况，进而导致心理健康状况的调查偏差。并且问卷形式与在线量表测评后，针对有问题的学生需要主管老师和心理教师的人工访谈和观察进行进一步筛查与精准定位。
现有技术针对中小学心理健康的最有效的测评方法是通过心理量表测评的方案，通过测试题目反映学生的焦虑或不安情绪状态，涉及不同形式或场合的焦虑类型。然而由于测评量表多数是以题目作答形式展现，学生在大规模测评筛查时会出现“乱选”“瞎填”的现象，导致测评结果不准确。随着信息化技术与人工智能技术的发展与推广，出现了多种在线心理测评系统和AI对话及情感分析应用。比如专利CN 113160981 A提供了《一种基于AI技术的儿童心理测评系统》，通过机器人终端采集用户的表情、动作、语音以及触摸屏的操作数据，然后基于AI算法分析用户的语音、行为与表情等，仅能分析当前时刻下的用户情绪，无法准确捕捉用户的心理健康状态，存在一定的局限性。又比如专利CN 113571158A提供了《一种智慧智能AI智能心理健康检测与分析测评系统》，通过构建特定人群心理健康知识题库，针对不同用户提供不同测试内容，生成用户心理健康报告。此发明重点围绕在线量表测评做了优化升级，针对不同用户提供不同测评，但如上所述并未解决用户主观答题偏差问题。
因此，如何提高在线心理量表测评的准确度，成为本领域技术亟需解决的技术问题。
发明内容
本发明实施例提供了一种基于多模态的测评方法、装置、介质及设备，以解决现有在线心理量表测评的准确度低的问题。
一种基于多模态的测评方法，所述方法包括：
获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息；
对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；
对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；
获取用户完成所述量表测试的阅题作答时间；
根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程，以判断用户的所述量表测试的结果是否有效。
可选地，所述对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息包括：
对所述用户脸部图像进行图像预处理；
将图像预处理后的用户脸部图像输入至预设的稠密卷积神经网络，获取所述稠密卷积神经网络输出的情绪种类及其置信度；
获取置信度最大值对应的情绪种类，作为所述用户的情绪信息。
可选地，所述稠密卷积神经网络包括输入层、卷积层、池化层、稠密层以及输出层；
所述输入层用于采用OpenCV中的Adaboost算法对输入图像进行人脸识别和裁剪处理，得到人脸图像区域，将所述人脸图像区域转换为N*N像素的灰度图像，以及将所述灰度图像表示为（1，N，N）的numpy数组；
所述卷积层用于将输入图像对应的（1，N，N）的numpy数组传入2维卷积层，采用权值共享进行卷积生成所述输入图像的特征信息，所述特征信息表示像素值的强度；
所述池化层用于采用MaxPooling2池化方法降低所述特征信息的维度；
所述稠密层用于将池化后的特征信息与训练权重进行相连；
所述输出层用于采用softmax激励函数作为训练函数，根据所述特征信息和训练权重输出情绪种类及其置信度。
可选地，所述对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息包括：
采用OpenCV的脸部特征检测方法对所述用户脸部图像进行人脸特征提取，得到特征点坐标；
根据所述特征点坐标，计算双眼角与嘴角所成平面的单应性矩阵，所述单应性矩阵表示所述双眼角与嘴角所成平面的法向与屏幕所在平面的夹角；
根据所述单应性矩阵选取不同角度拍摄的的两帧用户脸部图像；
根据所述两帧用户脸部图像以及相机内参矩阵，计算所述用户的脸部朝向信息。
可选地，计算所述用户的脸部朝向信息的方法包括：
将物理空间中的一个点作为目标点，计算所述目标点分别在所述不同角度拍摄的两帧用户脸部图像中的投影点；
根据两个所述投影点计算所述两帧用户脸部图像之间的单应性矩阵；
根据所述单应性矩阵和相机内参矩阵计算旋转矩阵；
根据所述旋转矩阵求解相机旋转角度，包括相机在x轴、y轴、z轴方向的旋转角；
根据所述相机旋转角获取用户的脸部朝向信息；
其中，所述用户的脸部朝向信息包括脸部左右朝向，所述脸部左右朝向为相机在x轴方向的旋转角取反后的绝对值，和/或脸部上下朝向，所述脸部上下朝向为相机在z轴方向的旋转角取反后的绝对值。
可选地，所述根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程包括：
比对每一道题目的阅题作答时间与对应的预设答题时间范围，比较用户的脸部朝向信息与屏幕法向之间的夹角与预设角度阈值，判断用户的情绪信息会否存在指定的极端情绪；
若所有题目的阅题作答时间均在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则所述量表测试的结果有效，以量表测试的结果作为用户的测评结果；
若存在题目的阅题作答时间不在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则所述量表测试的结果无效，在测评结束后输出阅题作答时间不在预设答题时间范围内的题目，以供用户再次测评；
若存在用户的脸部朝向信息与屏幕法向之间的夹角大于或等于预设角度阈值，则所述量表测试的结果无效，记录法向角大于或等于预设角度阈值对应的时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评；
若用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值，则所述量表测试的结果无效，记录用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值对应时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评。
可选地，每一道题目对应一个所述预设时间范围，所述预设时间范围包括时间上限值和时间下限值；
计算多个类别的若干个用户对同一题目的阅题作答平均时间的加权平均值；
所述时间上限值为所述加权平均值加上一个向上浮动数值；
所述时间下限值为所述加权平均值减去一个向下浮动数值。
一种基于多模态的测评装置，所述装置包括：
图像获取模块，用于获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息；
情绪检测模块，用于对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；
脸部朝向检测模块，用于对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；
时间获取模块，用于获取用户完成所述量表测试的阅题作答时间；
分析模块，用于根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于多模态的测评方法。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多模态的测评方法。
本发明实施例通过获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息；对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；获取用户完成所述量表测试的阅题作答时间；根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程，本发明有效地提高了在线量表测评的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于多模态的测评系统的框架示意图；
图2是本发明一实施例提供的基于多模态的测评方法的实现流程图；
图3是本发明一实施例提供的基于多模态的测评装置的示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高在线量表测评的准确度，本发明实施例将量表时间维度与用户的脸部视觉检测信息关联起来，并与量表检测过程结合，提出一种基于多模态的测评方法。其中，所述量表测评包括但不限于心理健康量表测评。
实施例1
如图1所示，为本发明实施例提供的基于多模态的测评系统的框架示意图。在所述框架中，包括终端设备和服务器。
终端设备包括但不限于终端计算机设备、终端移动设备与终端智能设备等。所述终端设备包括摄像头模块、显示模块、计时模块以及输入模块。其中摄像头模块可以为设备自动内置摄像头或通过usb等方式外接摄像头，用于采集用户在进行量表测试时的脸部图像信息。显示模块用于终端设备显示测试量表题目、用户信息、测评结果以及题目作答预警信息。计时模块用于记录用户对每道题目的阅题作答时间、题目之间的停留时间以及脸部信息保持时间。输入模块用作终端设备的输入方式，包括但不限于触摸屏、键盘、鼠标以及语音识别模块。
所述服务器优选为CPU+GPU双计算服务器，可提供神经网络加速计算与基本数据存储、数据处理及常规基本计算等操作。本发明实施例提供的基于多模态的测评方法应用于服务器一侧。
以下对本发明实施例提供的基于多模态的测评方法进行详细的描述。图2为本发明实施例提供的基于多模态的测评方法。如图2所示，所述基于多模态的测评方法包括：
在步骤S101中，获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息。
如前所述，用户脸部图像主要由终端设备上的摄像头模块采集。摄像头模块采集到的是视频流信息，本发明实施例对所述视频流信息按照每秒钟1帧图像的速率下进行采样，从而得到用户脸部图像，所述用户脸部图像作为情绪检测和脸部朝向检测的输入参数。
在步骤S102中，对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息。
在这里，本发明实施例主要采用稠密卷积神经网络来对用户脸部图像进行脸部情绪检测，以获取用户的情绪信息。可选地，所述步骤S102还包括：
在步骤S201中，对所述用户脸部图像进行图像预处理。
在这里，本发明实施例以所述用户脸部图像作为输入图像，对其进行初步的图像预处理。其中图像预处理包括但不限于图像的降噪、图像灰度处理。
在步骤S202中，将图像预处理后的用户脸部图像输入至预设的稠密卷积神经网络，获取所述稠密卷积神经网络输出的情绪种类及其置信度。
在这里，本发明实施例预先对稠密卷积神经网络进行训练。然后将预处理后的用户脸部图像，作为稠密卷积神经网络的输入，通过所述稠密卷积神经网络对所述用户脸部图像进行情绪检测。
其中，所述稠密卷积神经网络包括输入层、卷积层、池化层、稠密层以及输出层。
所述输入层用于采用OpenCV中的Adaboost算法对输入图像进行人脸识别和裁剪处理，得到人脸图像区域，将所述人脸图像区域转换为N*N像素的灰度图像，以及将所述灰度图像表示为（1，N，N）的numpy数组。在这里，本发明实施例采用OpenCV做脸部识别，OpenCV中的haar_cascade_frontablface_default.xml文件包含预训练过滤器，使用Adaboost算法快速识别人脸并做裁剪,得到人脸图像区域。所述人脸图像区域是指仅包括人脸信息的图像。所述N表示像素大小，为正整数，可选地N可以为比如48，即所述输入层将人脸图像区域转换为48*48像素的灰度图像。
所述卷积层用于将输入图像对应的（1，N，N）的numpy数组传入2维卷积层，采用权值共享进行卷积生成所述输入图像的特征信息，所述特征信息包括颜色特征和几何特征。
所述池化层用于采用MaxPooling2池化方法降低所述特征信息的维度。在这里，池化操作是构建的卷积神经网络的重要步骤，因为增加多个卷积层会极大地影响计算时间。池化的作用则可以降低维度，常用于一个或多个卷积层之后。本发明实施例采用MaxPooling2池化方法，并使用（2,2）窗口作用于特征信息求解最大像素值，使得池化后降低4个维度。
所述稠密层用于将池化后的特征信息与训练权重进行相连。
所述输出层用于采用softmax激励函数作为训练函数，根据所述特征信息和训练权重输出情绪种类及其置信度。
可选地，作为本发明的一个优选实例，所述情绪种类包括但不限于开心、悲伤、惊讶、害怕、厌恶、生气和中性共7个种类。通过所述稠密卷积神经网络，可得到输入图像对应的这7种情绪对应的置信度。中性表示脸部无情绪。
在步骤S203中，获取置信度最大值对应的情绪种类，作为所述用户的情绪信息。
在这里，本发明实施例根据置信度对情绪种类进行排序，然后选择排列第一的情绪种类，作为所述用户的情绪信息。
在步骤S103中，对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息。
在这里，所述用户脸部图像也用于进行脸部朝向检测。本发明实施例基于离线训练人脸特征模型对图像进行特征点检测。可选地，所述步骤S103还包括：
在步骤S301中，采用OpenCV的脸部特征检测方法对所述用户脸部图像进行人脸特征提取，得到特征点坐标，这里可以通过harris角点的提取选取68个特征点。
在步骤S302中，根据所述特征点坐标，计算双眼角与嘴角所成平面的单应性矩阵，所述单应性矩阵表示所述双眼角与嘴角所成平面的法向与屏幕所在平面的夹角。
在这里，通常情况下用户做题是脸部正对屏幕所在平面，即双眼角与嘴角所成平面的法向是垂直于屏幕所在平面的。当用户脸部发生转动时，那么双眼角与嘴角所成平面的法向则不垂直于屏幕所在平面。所述单应性矩阵反映了用户双眼角与嘴角所成平面的法向与屏幕所在平面的夹角，相对于垂直情况下的偏移角度。
在步骤S303中，根据所述单应性矩阵选取不同角度拍摄的两帧用户脸部图像。
本发明实施例选取不同拍摄角度的两帧用户脸部图像，用于计算用户脸部转向信息。为便于描述，这里将所述两帧用户脸部图像记为I1和I2。
在步骤S304中，根据所述两帧用户脸部图像以及相机内参矩阵，计算所述用户的脸部朝向信息。
在这里，本发明实施例预先利用棋盘格对摄像头进行标定，获得相机内参矩阵，其中所述相机内参矩阵为深度摄像头的特征参数。不同深度相机具有不同的特征参数，在计算机视觉里面将这组参数作为相机的内参矩阵。可选地，在本实施例中，所述相机内参矩阵K为一个3*3的矩阵，表示为:
Figure 74490DEST_PATH_IMAGE001
。
可选地，所述步骤S304还包括：
根据两个所述投影点计算所述两帧用户脸部图像之间的单应性矩阵；
根据所述单应性矩阵和相机内参矩阵计算旋转矩阵；
在步骤S401中，将物理空间中的一个点作为目标点，计算所述目标点分别在所述不同角度拍摄的两帧用户脸部图像中的投影点。
在这里，本发明实施例预先从物理空间选取一个目标点X，分别获取所述目标点X在用户脸部图像I1的投影点，该投影点记为U1,所述目标点X在另一帧用户脸部图像I2中的投影点，该投影点记为U2。其中，所述投影点U1和U2分别表示目标点X从世界坐标系到相机坐标系的转换关系。
在步骤S402中，根据所述投影点计算所述两帧用户脸部图像之间的单应性矩阵。
在这里，本发明实施例采用所述投影点U1和U2的映射关系来表示两帧用户脸部图像之间的映射关系，U1=A*U2，其中，A表示单应性矩阵。根据步骤S401得到的U1和U2，求解所述单应性矩阵A，从而得到单应性矩阵A=[h1,h2,h3]。
在步骤S403中，根据所述单应性矩阵和相机内参矩阵计算旋转矩阵。
在这里，本发明实施例基于相机内参矩阵K和单应性矩阵A得到旋转矩阵R，
Figure 460472DEST_PATH_IMAGE002
。
在步骤S404中，根据所述旋转矩阵R求解相机旋转角度，包括相机在x轴、y轴、z轴方向的旋转角。
相机旋转角度分别包括x轴方向的旋转角
Figure 36947DEST_PATH_IMAGE003
、y轴方向的旋转角
Figure 25631DEST_PATH_IMAGE004
、z轴方向的旋转角
Figure 308845DEST_PATH_IMAGE005
。
Figure 131307DEST_PATH_IMAGE006
，
Figure 54133DEST_PATH_IMAGE007
，
Figure 987454DEST_PATH_IMAGE008
。
在上式中，
Figure 718650DEST_PATH_IMAGE009
表示旋转矩阵R中的第n行第m列对应的元素。
在步骤S405中，根据所述相机旋转角获取用户的脸部朝向信息。
在这里，头部的旋转角度与相机旋转角度相反。由于头部的旋转角度通常只关注基于x轴与基于z轴的旋转角度，即
Figure 305489DEST_PATH_IMAGE010
和
Figure 856556DEST_PATH_IMAGE011
，因此本发明实施例中所述用户的脸部朝向信息包括脸部左右朝向和脸部上下朝向。所述脸部左右朝向为相机在x轴方向的旋转角
Figure 655885DEST_PATH_IMAGE012
取反后的绝对值，所述脸部上下朝向为相机在z轴方向的旋转角
Figure 913691DEST_PATH_IMAGE011
取反后的绝对值，从而得到脸部的左右和上下旋转角度。
在步骤S104中，获取用户完成所述量表测试的阅题作答时间。
在用户完成整个量表测试的过程中，记录每一道题目的阅题作答时间。将所述用户的阅题作答时间，情绪信息以及脸部朝向信息进行关联存储。
可选地，本发明实施例通过设置数据存储模块来进行静态数据和过程数据存储，其中静态数据包括但不限于量表测试题目存储、稠密卷积神经网络模型存储、人脸特征检测深度学习模型存储，过程数据包括但不限于用户基本信息存储、阅题作答时间、情绪信息以及脸部朝向信息关联存储。
在步骤S105中，根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程。
在这里，本发明实施例综合分析用户的阅题作答时间、情绪信息以及脸部朝向信息，得到测评结果，并根据测评结果执行对应的测评处理流程，以判断用户的所述量表测试的结果是否有效。可选地，所述步骤S105还包括：
在步骤S501中，比对每一道题目的阅题作答时间与对应的预设答题时间范围，比较用户的脸部朝向信息与屏幕法向之间的夹角与预设角度阈值，判断用户的情绪信息会否存在指定的极端情绪。
在这里，由于所述量表测试中包括多道题目，本发明实施例预先通过多用户共同测试获取量表测试题目中每道题目的阅题作答时间，根据多用户的阅题作答时间设置每道题目的答题时间范围。可选地，每一道题目对应一个所述预设时间范围，所述预设时间范围包括时间上限值和时间下限值；
计算多个类别的若干个用户对同一题目的阅题作答平均时间的加权平均值；
所述时间上限值为所述加权平均值加上一个向上浮动数值；
所述时间下限值为所述加权平均值减去一个向下浮动数值。
为了便于理解，以下给出所示时间下限值的计算示例。假设所述用户包括小学、初中、高中三个学段的用户，在构建量表题库之后，分别从小学、初中、高中三个学段随机抽样不同年级、不同性别的学生共1000名，让1000名学生分别对所有量表题目进行阅读和作答，
Figure 140272DEST_PATH_IMAGE013
分别记录学生对应的阅题作答时间，然后对三个学段的学生阅题作答平均时间进行加权平均。计算公式如下：
在上式中，T即为多个类别的若干个用户对同一题目的阅题作答平均时间的加权平均值，
Figure 975373DEST_PATH_IMAGE014
表示小学学段的权重，
Figure 312814DEST_PATH_IMAGE015
表示中学学段的权重，
Figure 690705DEST_PATH_IMAGE016
表示高中学段的权重，n表示小学学段的参与人数，为正整数，m表示中学学段的参与人数，为正整数，l表示高中学段的参与人数，为正整数，
Figure 88189DEST_PATH_IMAGE017
、
Figure 879427DEST_PATH_IMAGE018
、...、
Figure 754979DEST_PATH_IMAGE019
分别表示小学学段参与者的阅题作答时间，
Figure 112011DEST_PATH_IMAGE020
、
Figure 680396DEST_PATH_IMAGE021
、...、
Figure 365455DEST_PATH_IMAGE022
分别表示中学学段参与者的阅题作答时间，
Figure 310277DEST_PATH_IMAGE023
、
Figure 459499DEST_PATH_IMAGE024
、...、
Figure 464364DEST_PATH_IMAGE025
分别表示高中学段参与者的阅题作答时间。然后根据T得到时间上限值和时间下限值，向上浮动数值和向下浮动数值可以作为经验值根据情况进行设定。
可选地，当所述测试用户的阅题作答时间小于所述时间下限值，表示测试用户未认真作答该道题目A，对该道题目A打上未认真作答的标签；若所述测试用户的阅题作答时间大于所述时间上限值，表示需要提醒测试用户作答该道题目A，对该道题目A打上提醒作答的标签。
可选地，所述预设角度阈值可以为5度。由于所述用户的脸部朝向信息包括左右朝向和/或上下朝向，本发明实施例分别将所述左右朝向与屏幕法向之间的夹角，与所述预设角度阈值进行比较，和/或，将所述上下朝向与屏幕法向之间的夹角，与所述预设角度阈值进行比较。
在步骤S502中，若所有题目的阅题作答时间均在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则所述量表测试的结果有效，以量表测试的结果作为用户的测评结果。
若在量表测评过程中，所有题目的阅题作答时间均在预设答题时间范围内，并且脸部朝向中的所述左右朝向与屏幕法向之间的夹角和上下朝向与屏幕法向之间的夹角，均与终端设备的屏幕法向夹角小于5度，且情绪检测过程中未出现极端情绪，此种情况获得的量表测试结果作为最终的用户测评结果。其中，所述极端情绪包括但不限于悲伤、害怕、厌恶、生气。
在步骤S503中，若存在题目的阅题作答时间不在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则所述量表测试的结果无效，在测评结束后输出阅题作答时间不在预设答题时间范围内的题目，以供用户再次测评。
若在量表测评过程中，部分题目的阅题作答时间不在预设答题时间范围内，而脸部朝向中的所述左右朝向与屏幕法向之间的夹角和上下朝向与屏幕法向之间的夹角均小于5度，且情绪检测正常，表示用户超时作答，可能在对抗题目意图或者对题目未理解到位，所得到的答案并不能反映真实的测评结果。此种情况将会在测评结束后，让用户对于不在预设答题时间范围内的题目进行二次作答，直到所有题目用时在合理范围里，此时获得的测评结果为最终结果。
在步骤S504中，若存在用户的脸部朝向信息与屏幕法向之间的夹角大于或等于预设角度阈值，则所述量表测试的结果无效，记录法向角大于或等于预设角度阈值对应的时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评。
若在量表测评过程中，在作答部分题目时，用户的脸部朝向信息中的所述左右朝向和上下朝向中的至少一个，与屏幕法向之间的夹角大于或等于预设角度阈值表示用户脸部朝向出现异常，表示用户动作过大，未认真作答，记录所有异常时间段对应的量表题目，然后在初次测评结束后，输出所有异常题目以供用户进行再次测评，直到正常作答所有题目，此时获得的测评结果为最终结果。
在步骤S505中，若用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值，则所述量表测试的结果无效，记录用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值对应时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评。
若在量表测评过程中，通过情绪检测，如果发生悲伤、害怕、厌恶、生气等不良情绪出现，并且持续时间超过预设的时间阈值，表示用户出现过渡焦虑情绪，此次测评即时中止，此次测评结果作废，稳定情绪后重新测评。可选地，所述预设的时间阈值可以为量表测试所有题目的预设时间范围下限值总和的50%。
本发明实施例通过结合用户脸部情绪信息和用户脸部朝向信息、用户完成所述量表测试的阅题作答时间进行多模态的综合分析，能够避免师生面对面交流对学生造成的负担，且可以避免用户对抗题目意图、未理解题目、未认真答题以及焦虑情绪导致的量表测评结果偏差的问题，有效地提高了在线量表测评的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例2
在一实施例中，本发明还提供一种基于多模态的测评装置，该基于多模态的测评装置与上述实施例中基于多模态的测评方法一一对应。如图3所示，该基于多模态的测评装置包括图像获取模块31、情绪检测模块32、脸部朝向检测模块33、时间获取模块34、分析模块35。各功能模块详细说明如下：
图像获取模块31，用于获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息；
情绪检测模块32，用于对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；
脸部朝向检测模块33，用于对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；
时间获取模块34，用于获取用户完成所述量表测试的阅题作答时间；
分析模块35，用于根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程。
可选地，所述情绪检测模块32包括：
预处理单元，用于对所述用户脸部图像进行图像预处理；
检测单元，用于将图像预处理后的用户脸部图像输入至预设的稠密卷积神经网络，获取所述稠密卷积神经网络输出的情绪种类及其置信度；
获取单元，用于获取置信度最大值对应的情绪种类，作为所述用户的情绪信息。
可选地，所述稠密卷积神经网络包括输入层、卷积层、池化层、稠密层以及输出层；
所述输入层用于采用OpenCV中的Adaboost算法对输入图像进行人脸识别和裁剪处理，得到人脸图像区域，将所述人脸图像区域转换为N*N像素的灰度图像，以及将所述灰度图像表示为（1，N，N）的numpy数组；
所述卷积层用于将输入图像对应的（1，N，N）的numpy数组传入2维卷积层，采用权值共享进行卷积生成所述输入图像的特征信息，所述特征信息包括颜色特征和几何特征；
所述池化层用于采用MaxPooling2池化方法降低所述特征信息的维度；
所述稠密层用于将池化后的特征信息与训练权重进行相连；
所述输出层用于采用softmax激励函数作为训练函数，根据所述特征信息和训练权重输出情绪种类及其置信度。
可选地，所述脸部朝向检测模块33包括：
提取单元，用于采用OpenCV的脸部特征检测方法对所述用户脸部图像进行人脸特征提取，得到特征点坐标；这里可以通过harris角点的提取选取68个特征点；
第一计算单元，用于根据所述特征点坐标，计算双眼角与嘴角所成平面的单应性矩阵，所述单应性矩阵表示所述双眼角与嘴角所成平面的法向与屏幕所在平面的夹角；
选取单元，用于根据所述单应性矩阵选取不同角度拍摄的两帧用户脸部图像；
第二计算单元，用于根据所述两帧用户脸部图像以及相机内参矩阵，计算所述用户的脸部朝向信息。
可选地，所述第二计算单元具体用于：
计算物理空间中的目标点分别在所述两帧用户脸部图像中的投影点；
根据所述投影点计算所述两帧用户脸部图像之间的单应性矩阵；
根据所述单应性矩阵和相机内参矩阵计算旋转矩阵；
根据所述旋转矩阵求解相机旋转角度，包括相机在x轴、y轴、z轴方向的旋转角；
根据所述相机旋转角获取用户的脸部朝向信息；
其中，所述用户的脸部朝向信息包括脸部左右朝向和脸部上下朝向，所述脸部左右朝向为相机在x轴方向的旋转角取反后的绝对值，所述脸部上下朝向为相机在z轴方向的旋转角取反后的绝对值。
可选地，所述分析模块35用于：
比对每一道题目的阅题作答时间与对应的预设答题时间范围，比较用户的脸部朝向信息与屏幕法向之间的夹角与预设角度阈值，判断用户的情绪信息会否存在指定的极端情绪；
若所有题目的阅题作答时间均在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则以量表测试的结果作为用户的测评结果；
若存在题目的阅题作答时间不在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则在测评结束后输出阅题作答时间不在预设答题时间范围内的题目，以供用户再次测评；
若存在用户的脸部朝向信息与屏幕法向之间的夹角大于或等于预设角度阈值，则记录法向角大于或等于预设角度阈值对应的时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评；
若用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值，则记录用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值对应时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评。
可选地，每一道题目对应一个预设时间范围，包括时间上限值和时间下限值；
计算多个类别的若干个用户对同一题目的阅题作答平均时间的加权平均值；
所述时间上限值为所述加权平均值加上一个向上浮动数值；
所述时间下限值为所述加权平均值减去一个向下浮动数值。
关于基于多模态的测评装置的具体限定可以参见上文中对于基于多模态的测评方法的限定，在此不再赘述。上述基于多模态的测评装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多模态的测评方法。
实施例3
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息；
对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；
对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；
获取用户完成所述量表测试的阅题作答时间；
根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多模态的测评方法，其特征在于，所述方法包括：
获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息；所述量表测试用于进行心理健康测试；
对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；
对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；
获取用户完成所述量表测试的阅题作答时间；
根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程，以判断用户的所述量表测试的结果是否有效。
2.如权利要求1所述的基于多模态的测评方法，其特征在于，所述对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息包括：
对所述用户脸部图像进行图像预处理；
将图像预处理后的用户脸部图像输入至预设的稠密卷积神经网络，获取所述稠密卷积神经网络输出的所有情绪种类及其置信度；
获取置信度最大值对应的情绪种类，作为所述用户的情绪信息。
3.如权利要求2所述的基于多模态的测评方法，其特征在于，所述稠密卷积神经网络包括输入层、卷积层、池化层、稠密层以及输出层；
所述输入层用于采用OpenCV中的Adaboost算法对输入图像进行人脸识别和裁剪处理，得到人脸图像区域，将所述人脸图像区域转换为N*N像素的灰度图像，以及将所述灰度图像表示为（1，N，N）的numpy数组；
所述卷积层用于将输入图像对应的（1，N，N）的numpy数组传入2维卷积层，采用权值共享进行卷积生成所述输入图像的特征信息，所述特征信息包括颜色特征和几何特征；
所述池化层用于采用MaxPooling2池化方法降低所述特征信息的维度；
所述稠密层用于将池化后的特征信息与训练权重进行相连；
所述输出层用于采用softmax激励函数作为训练函数，根据所述特征信息和训练权重输出情绪种类及其置信度。
4.如权利要求1所述的基于多模态的测评方法，其特征在于，所述对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息包括：
采用OpenCV的脸部特征检测方法对所述用户脸部图像进行人脸特征提取，得到特征点坐标；
根据所述特征点坐标，计算双眼角与嘴角所成平面的单应性矩阵，所述单应性矩阵表示所述双眼角与嘴角所成平面的法向与屏幕所在平面的夹角；
根据所述单应性矩阵选取不同角度拍摄的两帧用户脸部图像；
根据所述两帧用户脸部图像以及相机内参矩阵，计算所述用户的脸部朝向信息。
5.如权利要求4所述的基于多模态的测评方法，其特征在于，所述计算所述用户的脸部朝向信息的方法包括：
将物理空间中的一个点作为目标点，计算所述目标点分别在所述不同角度拍摄的两帧用户脸部图像中的投影点；
根据两个所述投影点计算所述两帧用户脸部图像之间的单应性矩阵；
根据所述单应性矩阵和相机内参矩阵计算旋转矩阵；
根据所述旋转矩阵求解相机旋转角度，包括相机在x轴、y轴、z轴方向的旋转角；
根据所述相机旋转角获取用户的脸部朝向信息；
其中，所述用户的脸部朝向信息包括脸部左右朝向，所述脸部左右朝向为相机在x轴方向的旋转角取反后的绝对值，和/或脸部上下朝向，所述脸部上下朝向为相机在z轴方向的旋转角取反后的绝对值。
6.如权利要求1所述的基于多模态的测评方法，其特征在于，所述根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程, 以判断用户的所述量表测试的结果是否有效包括：
比对每一道题目的阅题作答时间与对应的预设答题时间范围，比较用户的脸部朝向信息与屏幕法向之间的夹角与预设角度阈值，判断用户的情绪信息会否存在指定的极端情绪；
若所有题目的阅题作答时间均在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则所述量表测试的结果有效，以量表测试的结果作为用户的测评结果；
若存在题目的阅题作答时间不在预设答题时间范围内、用户的脸部朝向信息与屏幕法向之间的夹角小于预设角度阈值且用户的情绪信息未出现指定的极端情绪，则所述量表测试的结果无效，在测评结束后输出阅题作答时间不在预设答题时间范围内的题目，以供用户再次测评；
若存在用户的脸部朝向信息与屏幕法向之间的夹角大于或等于预设角度阈值，则所述量表测试的结果无效，记录法向角大于或等于预设角度阈值对应的时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评；
若用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值，则所述量表测试的结果无效，记录用户的情绪信息出现指定的极端情绪且持续时间超过预设的时间阈值对应时间段内的题目作为异常题目，在测评结束后输出异常题目以供用户再次测评。
7.如权利要求6所述的基于多模态的测评方法，其特征在于，每一道题目对应一个所述预设时间范围，所述预设时间范围包括时间上限值和时间下限值；
计算多个类别的若干个用户对同一题目的阅题作答平均时间的加权平均值；
所述时间上限值为所述加权平均值加上一个向上浮动数值；
所述时间下限值为所述加权平均值减去一个向下浮动数值。
8.一种基于多模态的测评装置，其特征在于，所述装置包括：
图像获取模块，用于获取用户脸部图像，所述用户脸部图像为用户在做量表测试时的脸部图像信息；
情绪检测模块，用于对所述用户脸部图像进行脸部情绪检测，得到用户的情绪信息；
脸部朝向检测模块，用于对所述用户脸部图像进行脸部朝向检测，得到用户的脸部朝向信息；
时间获取模块，用于获取用户完成所述量表测试的阅题作答时间；
分析模块，用于根据所述阅题作答时间、情绪信息以及脸部朝向信息，执行对应的测评处理流程。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于多模态的测评方法。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于多模态的测评方法。
CN202210941187.XA 2022-08-08 2022-08-08 基于多模态的测评方法、装置、介质及设备 Active CN114998440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210941187.XA CN114998440B (zh) 2022-08-08 2022-08-08 基于多模态的测评方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210941187.XA CN114998440B (zh) 2022-08-08 2022-08-08 基于多模态的测评方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN114998440A true CN114998440A (zh) 2022-09-02
CN114998440B CN114998440B (zh) 2022-11-11

Family

ID=83022973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210941187.XA Active CN114998440B (zh) 2022-08-08 2022-08-08 基于多模态的测评方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN114998440B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456826A (zh) * 2022-09-13 2022-12-09 杭州中暖科技有限公司 一种家庭教育模式优良指数的测评方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及系统
CN109805943A (zh) * 2017-11-20 2019-05-28 徐熠 一种基于微表情识别的智能评测系统及方法
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
WO2022067524A1 (zh) * 2020-09-29 2022-04-07 香港教育大学 自动情绪识别方法、系统、计算设备及计算机可读存储介质
CN114626818A (zh) * 2022-03-16 2022-06-14 湖南检信智能科技有限公司 一种基于大数据的岗前情绪综合测评方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109805943A (zh) * 2017-11-20 2019-05-28 徐熠 一种基于微表情识别的智能评测系统及方法
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及系统
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
WO2022067524A1 (zh) * 2020-09-29 2022-04-07 香港教育大学 自动情绪识别方法、系统、计算设备及计算机可读存储介质
CN114626818A (zh) * 2022-03-16 2022-06-14 湖南检信智能科技有限公司 一种基于大数据的岗前情绪综合测评方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱蔚蔚 等: "数字图书馆信息交互服务中用户情绪体验的实验研究", 《图书情报工作》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456826A (zh) * 2022-09-13 2022-12-09 杭州中暖科技有限公司 一种家庭教育模式优良指数的测评方法及系统
CN115456826B (zh) * 2022-09-13 2023-04-18 杭州中暖科技有限公司 一种家庭教育模式优良指数的测评方法及系统

Also Published As

Publication number Publication date
CN114998440B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US10706738B1 (en) Systems and methods for providing a multi-modal evaluation of a presentation
CN110070295B (zh) 课堂教学质量的评析方法、装置和计算机设备
Hu et al. Research on abnormal behavior detection of online examination based on image information
CN109685007B (zh) 用眼习惯的预警方法、用户设备、存储介质及装置
US20220319234A1 (en) Object Behavior Analysis Method, Information Display Method, and Electronic Device
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN113705349A (zh) 一种基于视线估计神经网络的注意力量化分析方法及系统
CN114998440B (zh) 基于多模态的测评方法、装置、介质及设备
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN111241980B (zh) 情绪识别能力测评方法、装置、电子设备及存储介质
CN113536893A (zh) 一种在线教学学习专注度识别方法、装置、系统及介质
CN111597305A (zh) 实体标记方法、装置、计算机设备和存储介质
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
Seneviratne et al. Student and lecturer performance enhancement system using artificial intelligence
CN116994465A (zh) 一种基于互联网的智能教学方法、系统及存储介质
CN111950480A (zh) 一种基于人工智能的英语发音自检方法和自检系统
CN116341983A (zh) 一种专注力评价和预警方法、系统、电子设备及介质
CN111507555B (zh) 人体状态检测方法、课堂教学质量的评价方法及相关装置
Beltrán et al. A multiplatform application for automatic recognition of personality traits for Learning Environments
JP7014761B2 (ja) 認知機能推定方法、コンピュータプログラム及び認知機能推定装置
CN114550918A (zh) 一种基于绘画特征数据的心理障碍测评方法及系统
RU2751759C2 (ru) Программно-аппаратный комплекс обучающей системы с автоматической оценкой эмоций обучаемого
Trabelsi et al. Behavioral-based real-time cheating detection in academic exams using deep learning techniques
CN113506027A (zh) 基于学生视觉注意及教师行为的课程质量评估与提升方法
Shenoy et al. A Study on various Applications of Computer Vision for Teaching Learning in Classroom

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant