CN114419711A - 基于ai教育系统的身份识别方法 - Google Patents

Abstract

本发明提供了一种基于AI教育系统的身份识别方法，该方法包括：捕获多个听课用户的输入视频帧；检测听课用户的人脸区域；计算该组人脸图像窗口的像素平均图像来建立听课用户的人脸外观模型；生成多个输入视频帧中的听课用户的路径；估计检测到的人脸方向以计算专注度；检测具有正面姿势的人脸的数量，检测在显示内容的方向上已注视预定义时间长度的听课用户；计算听课用户注视显示内容的时间来计算每个听课用户的专注度；将肢体行为与多个情绪类型标签之一相关联；使用从视频帧数据所提取的特征来训练分类器，利用分类器检测听课用户的情绪反馈。本发明提出了一种基于AI教育系统的身份识别方法，更好地适应低分辨率图像的应用场景，并将视觉识别和情绪识别进行结合，帮助AI教育系统实时获取听课用户的专注度分布状态。

Description

基于AI教育系统的身份识别方法

技术领域

本发明涉及智能教育，特别涉及一种基于AI教育系统的身份识别方法。

背景技术

近年来，图像识别与教育相关的场景结合，逐渐将应用到个性化教育、自动评分、语音识别评测等场景中。学生获得量身定制的学习支持，形成面向未来的自适应教育。为获取学生的专注度，可以通过摄像头采集课堂上课时学生的正面视频；提取视频图像中的人脸区域能够判断认真听课的学生数量以及学生人脸神情。为教育效果提供数据支持。在测量人的注意力程度时，现有技术已采用基于眼部凝视的技术，但测量人脸凝视通常需要近距离、高分辨率的图像。而在使用远距离、低分辨率图像时容易受到误差的影响。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于AI教育系统的身份识别方法，包括：

通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧；

采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素值的区域，并检测所述多个输入视频帧中的听课用户的人脸区域；

通过计算该组人脸图像窗口的像素平均图像来建立听课用户的人脸外观模型；

通过生成多个输入视频帧中的听课用户的路径，单独跟踪所检测到的人脸并保持分配给所述听课用户的身份，其中当检测到该听课用户的人脸时，生成该听课用户的路径，将检测到的人脸分配给所生成的路径；

估计检测到的人脸方向以计算专注度；

所述在多个输入视频帧中分割得到具有肤色像素值的区域，进一步包括：

在人脸检测过程中，首先处理肤色分割；在肤色分割步骤中，首先使用颜色信息分割出视频帧中可能存在人脸的区域，即检测到的皮肤区域；利用颜色空间变换，使得肤色在变换后的空间中形成紧凑区域，输出视频帧中的掩模区域的集合；

对所提取的人脸图像进行归一化；所述归一化包括根据伪极坐标系或直角坐标系将所述人脸图像数据重新映射，并且根据预定义尺寸对编码后的人脸模板进行缩放；将Gabor滤波器应用于人脸图像以识别人脸特征；根据所识别的人脸特征生成所述人脸模板；

基于广义高斯分布算法来过滤归一化后的人脸图像以选择人脸图像的子集，所述子集是基于归一化后的每个人脸图像的相似性测量来选择的；

将归一化人脸图像的子集中的每个图像划分为多个子图像，为多个子图像中的每个子图像分配子图像序列指示所述子图像的排序位置；通过融合所选择的所述子图像来生成合成人脸图像。

优选地，所述方法还包括：

通过跟踪显示内容周围的多个用户的多个行为来确定所述显示内容的潜在听课用户。

优选地，每个情绪反馈是表达所述听课用户的情绪状态的预测人脸表情，并且该方法还包括，捕获听课用户的第二视频帧数据；将从所述第二视频帧数据提取的特征应用于所述分类器，以确定所述听课用户的情绪状态。

优选地，该方法进一步包括：

将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域；应用基于可变形部分的模型来确定人脸区域中对应于听课用户的人脸标志的ROI区域；提取ROI区域中的特征；将所述特征与情绪类型相关联；并使用关联结果训练分类器。

优选地，从所提取的特征生成特征直方图；在多个视频帧中对所述ROI区域执行坐标变换；

将所提取的特征进行串联以生成特征描述符；

使用最终特征描述符和所述特征直方图来训练所述分类器。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于AI教育系统的身份识别方法，更好地适应低分辨率图像的应用场景，并将视觉识别和情绪识别进行结合，帮助AI教育系统实时获取听课用户的专注度分布状态。

附图说明

图1是根据本发明实施例的基于AI教育系统的身份识别方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于AI教育系统的身份识别方法。图1是根据本发明实施例的基于AI教育系统的身份识别方法流程图。

本发明通过统计听课用户的数量和听课用户注视的持续时间来自动测量听课用户对所显示内容的专注度。专注度还包括听课用户的专注等级、专注数量，例如有多少人实际注视了显示内容、专注平均长度、专注时间分布以及基于听课用户响应的评分。通过跟踪给定显示内容周围听课用户的行为来测量显示内容。采用捕获图像的装置来收集关于听课用户接近显示内容的信息。

使用用于捕获图像的前向装置来测量所显示内容的实际听课用户人数，该装置检测人们何时正在注视屏幕。当用户朝屏幕方向注视预定义的最小的时间长度时，开始计算专注时间。显示内容的专注总数构成了该显示内容的实际听课用户人数。

本发明利用肤色检测和基于模式的人脸检测的组合来正确地检测复杂背景中的人脸，使跟踪方法可以准确地标记进入和退出时间。通过结合人脸检测和人脸匹配来实现路径的连续性。利用人脸整体模式变化的三维姿态估计，确定注意力的程度，从而实现对专注更有意义的测量。将实际注视显示内容的听课用户与出现在显示内容附近但实际上没有注视显示内容的其他用户进行区分。

当多个用户出现在注视区域中时，图像捕获设备捕获多人图像。所捕获的图像由计算机系统的控制和处理系统处理，该系统将人脸检测、人脸跟踪和三维人脸姿态估计的多种视觉技术应用于所捕获的多用户的视觉信息。在示例性实施例中，本发明还测量显示内容对听课用户的有效性。用户在有限的空间范围内注视显示内容，以利用鲁棒的人脸检测/跟踪技术和人脸姿态估计。显示内容的专注用户总和得到该显示内容的实际听课用户人数。

本发明的AI教育系统包括肤色检测模块、人脸检测模块、用户路径管理模块、三维人脸姿态估计模块和数据收集模块。用户路径管理模块还包括几何匹配模块、路径生成模块、路径维护模块和路径终止模块。肤色检测模块确定视频帧中与人脸肤色相似的区域。人脸检测模块然后在由肤色检测模块确定的区域上运行人脸检测窗口。检测到的人脸首先由几何匹配模块处理，以确定人脸是否属于现有路径，以及人脸是否是新的用户，从而生成新的路径。如果人脸是新用户的，则路径生成模块被激活以生成新路径并将其放入路径队列中。如果人脸属于现有路径，则路径维护模块获取路径数据，并激活三维人脸姿态估计模块。如果几何匹配模块不能找到属于某个路径的后续面，则路径终止模块被激活以存储路径数据并从存储队列中移除路径。数据收集模块然后记录路径数据以及估计的人脸姿态数据。

所述AI教育系统通过处理来自显示内容附近的图像捕获设备的视频输入视频帧来自动计算显示内容的专注度。以现场视频为输入，在视频中检测用户的人脸，通过用户身份来单独跟踪各个用户，估计三维人脸姿态，记录出现和消失的时间戳，并收集数据，以收集了专注度的发生和专注时间。通过三维姿态估计方法来自动校正相机和显示内容之间的视角偏移。

在人脸检测过程中，首先处理肤色分割。在肤色分割步骤中，首先使用颜色信息分割出视频帧中可能存在人脸的区域，即检测到的皮肤区域。利用颜色空间变换，使得肤色在变换后的空间中形成紧凑区域，输出是视频帧中掩模区域的集合；

在人脸检测过程中采用基于机器学习的方法来检测在前一步确定的肤色区域内的人脸。对转换为灰度的图像进行操作，以检测人脸。该步骤提供给定视频帧中检测到的人脸的位置和大小。

在人脸跟踪过程中，一旦检测到人脸，则进入自动人脸几何形状校正步骤。估计的人脸几何形状用于从检测到的人脸图像生成校正的人脸，使得人脸特征被放置在裁剪的人脸图像窗口中的标准位置上，从而建立可靠的人脸外观模型，每次将人脸添加到用户路径中，都会通过计算路径中整个人脸图像窗口的像素平均图像来构建用户的外观模型。

跟踪步骤用于监视场景中的用户的身份，以得到注视显示内容的听课用户的持续时间的测量。跟踪利用两种测量：跟踪历史和新检测到的人脸之间的几何形状匹配。路径管理用于当新的人脸出现在场景中时生成路径，为检测到的人脸分配路径，以监视场景中的用户的身份，并且当用户离开场景时终止路径。

在当前视频帧中检测到新人脸时，构建人脸和路径的映射表。然后，计算每个人脸和路径对的几何匹配分值，用于测量给定人脸属于给定路径的可能性。所述几何匹配分值基于位置、大小以及校正的人脸和路径中最后一个人脸之间的时间差，以及存储在路径中的平均人脸外观和校正人脸之间的差异。如果总分值低于预定义阈值，则从映射表中排除该数据对。重复该过程，直到所有的人脸都被分配相匹配的路径。如果某个路径在超过预定义时间段内没有新的人脸，则终止该路径。

进一步地，通过计算听课用户关注显示内容的时间占总用户的人脸的总持续时间的比例，来精确地测量听课用户注视期间的专注度。基于估计的人脸方向来确定人脸是否处于正面方向。然后计算正面人脸数量与检测到的人脸数量的比率。

在优选的实施例中，当完成专注度的识别之后，继续处理视频帧数据，以检测听课用户在视频帧序列中的肢体行为；将观察到的肢体行为与多个情绪类型标签之一相关联，其中每个类型标签对应于相应的情绪反馈；使用从视频帧数据所提取的特征来训练分类器，利用所述分类器来检测听课用户在视频帧序列中的情绪反馈。

其中每个情绪反馈是表达所述听课用户的情绪状态的预测人脸表情，并且该方法还包括，捕获听课用户的第二视频帧数据；将从所述第二视频帧数据提取的特征应用于所述分类器，以确定所述听课用户的情绪状态。

其中。所述检测所述多个输入视频帧中的听课用户的人脸区域，进一步包括：

将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域；应用基于可变形部分的模型来确定人脸区域中对应于听课用户的人脸标志的ROI区域；提取ROI区域中的特征；将所述特征与情绪类型相关联；并使用关联结果训练分类器。从所提取的特征生成特征直方图；在多个视频帧中对所述ROI区域执行坐标变换；将所提取的特征进行串联以生成特征描述符；使用最终特征描述符和所述特征直方图来训练所述分类器。

优选地，所述分类器基于循环神经网络。向所述循环神经网络提供包括多个用户的人脸图像的训练集；使用循环神经网络计算所述多个人脸图像的嵌入空间表示，基于相同用户和不同用户的人脸图像的嵌入空间表示之间的距离来更新和训练所述循环神经网络。所述循环神经网络的层次结构包括池化层、亮度归一化层、卷积层、类初始层、修正线性层、软标记层。所述训练集包括人脸图像的三元组，并且使用所述人脸图像的三元组来学习所述循环神经网络。

为实现基于所提取的人脸图像进行听课用户的身份认证，对所提取的人脸图像进行归一化；所述归一化包括根据伪极坐标系或直角坐标系将所述人脸图像数据重新映射，并且根据预定义尺寸对编码后的人脸模板进行缩放；将Gabor滤波器应用于人脸图像以识别人脸特征；根据所识别的人脸特征生成所述人脸模板。执行基于广义高斯分布算法来过滤归一化后的人脸图像以选择人脸图像的子集，所述子集是基于归一化后的每个人脸图像的相似性测量来选择的；将归一化人脸图像的子集中的每个图像划分为多个子图像，为多个子图像中的每个子图像分配子图像序列指示所述子图像的排序位置；通过融合所选择的所述子图像来生成合成人脸图像。

优选地，可以在识别输入的第一视频帧的用户的人脸之后，启动光源，并使用图像捕获装置比所述第一视频帧更高的分辨率捕获用户的第二视频帧；分析第一视频帧和第二视频帧以识别人脸的位置；基于所识别的位置隔离第二视频帧内的人脸图像，分析人脸图像的像素的相对亮度，使用梯度算法识别眼部与面部之间的内边界和所述人脸的外边界，从分割的人脸图像中编码所述人脸图像数据作为人脸模板，将编码后的人脸模板与先前存储的人脸模板匹配以进行匹配，以认证所述用户。

针对所述人脸图像的多个区域测试人脸纹理的已知样本；基于测试结果识别所述人脸图像的与所述人脸纹理匹配的区域。检测所述人脸图像中的非生物特征；修改所述人脸图像和编码后的人脸模板，以移除检测到的非生物特征数据。所述修改过程包括，基于检测到的非生物特征生成覆盖对应于非生物特征的图像数据的掩模；将掩模应用于所述人脸图像和所述编码的人脸模板。

为实现确定注视点的视线检测过程，在进一步的实施例中，通过具有变焦功能的捕获装置拍摄听课用户，并输出通过拍摄获得的图像和缩放值；将所述用户的人脸的图像与所述图像的背景进行区分；然后基于人脸的图像指定用户的眼球的中心，并且指定用户与从眼球的中心到用户面部的垂直线之间的交点作为参考点；设置指示人脸图像的预定尺寸的缩放值，并基于所述缩放值指定从人脸到用户的距离；基于人脸图像的偏移量来确定人脸的偏移量，并基于人脸的偏移量以及从人脸到用户的距离指定用户上的视线偏移量；基于参考点和视线偏移量来计算所述注视点。

每次当检测到听课用户的位置的变化时，迭代执行距离测量步骤和参考点确定步骤。其中，距离测量步骤进一步包括，获取人脸图像的尺寸作为参考值，获取缩放值作为参考值，获取从人脸到显示内容的距离作为参考值，预先存储图像的尺寸、缩放值和距离；控制变焦功能，使得人脸的图像尺寸等于作为参考值的人脸图像的尺寸；基于所使用的缩放值来确定从人脸到显示内容的距离。其中，通过使用从眼球的中心到所述人脸的预先存储的距离来指定视线偏移量。

综上所述，本发明提出了一种基于AI教育系统的身份识别方法，更好地适应低分辨率图像的应用场景，并将视觉识别和情绪识别进行结合，帮助AI教育系统实时获取听课用户的专注度分布状态。

显然，本领域的技术用户应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种基于AI教育系统的身份识别方法，其特征在于，包括：

通过图像捕获装置捕获显示内容所在区域中的多个听课用户的多个输入视频帧；

采用基于机器学习的人脸检测方法在多个输入视频帧中分割得到具有肤色像素值的区域，并检测所述多个输入视频帧中的听课用户的人脸区域；

通过计算该组人脸图像窗口的像素平均图像来建立听课用户的人脸外观模型；

通过生成多个输入视频帧中的听课用户的路径，单独跟踪所检测到的人脸并保持分配给所述听课用户的身份，其中当检测到该听课用户的人脸时，生成该听课用户的路径，将检测到的人脸分配给所生成的路径；

估计检测到的人脸方向以计算专注度；

所述在多个输入视频帧中分割得到具有肤色像素值的区域，进一步包括：

在人脸检测过程中，首先处理肤色分割；在肤色分割步骤中，首先使用颜色信息分割出视频帧中可能存在人脸的区域，即检测到的皮肤区域；利用颜色空间变换，使得肤色在变换后的空间中形成紧凑区域，输出视频帧中的掩模区域的集合；

对所提取的人脸图像进行归一化；所述归一化包括根据伪极坐标系或直角坐标系将所述人脸图像数据重新映射，并且根据预定义尺寸对编码后的人脸模板进行缩放；将Gabor滤波器应用于人脸图像以识别人脸特征；根据所识别的人脸特征生成所述人脸模板；

基于广义高斯分布算法来过滤归一化后的人脸图像以选择人脸图像的子集，所述子集是基于归一化后的每个人脸图像的相似性测量来选择的；

将归一化人脸图像的子集中的每个图像划分为多个子图像，为多个子图像中的每个子图像分配子图像序列指示所述子图像的排序位置；通过融合所选择的所述子图像来生成合成人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过跟踪显示内容周围的多个用户的多个行为来确定所述显示内容的潜在听课用户。

3.根据权利要求1所述的方法，其特征在于，每个情绪反馈是表达所述听课用户的情绪状态的预测人脸表情，并且该方法还包括，捕获听课用户的第二视频帧数据；将从所述第二视频帧数据提取的特征应用于所述分类器，以确定所述听课用户的情绪状态。

4.根据权利要求1所述的方法，所述检测所述多个输入视频帧中的听课用户的人脸区域，进一步包括：

将ViolaJones人脸检测器算法应用于所述输入视频帧以确定人脸区域；应用基于可变形部分的模型来确定人脸区域中对应于听课用户的人脸标志的ROI区域；提取ROI区域中的特征；将所述特征与情绪类型相关联；并使用关联结果训练分类器。

5.根据权利要求4所述的方法，进一步包括：

从所提取的特征生成特征直方图；在多个视频帧中对所述ROI区域执行坐标变换；

将所提取的特征进行串联以生成特征描述符；

使用最终特征描述符和所述特征直方图来训练所述分类器。

Images