CN111738196A - 学习状态跟踪和分析设备和系统 - Google Patents

学习状态跟踪和分析设备和系统 Download PDF

Info

Publication number
CN111738196A
CN111738196A CN202010613589.8A CN202010613589A CN111738196A CN 111738196 A CN111738196 A CN 111738196A CN 202010613589 A CN202010613589 A CN 202010613589A CN 111738196 A CN111738196 A CN 111738196A
Authority
CN
China
Prior art keywords
image information
image
preset
preset object
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010613589.8A
Other languages
English (en)
Inventor
崔炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Original Assignee
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd filed Critical Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority to CN202010613589.8A priority Critical patent/CN111738196A/zh
Publication of CN111738196A publication Critical patent/CN111738196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了学习状态跟踪和分析设备，其通过对预设对象进行拍摄以获得相应的学习过程视频，再对该学习过程视频进行图像帧的分析以确定预设对象在学习过程中的面部区域图像信息和肢体区域图像信息，最后再根据这两种图像信息确定预设对象的实时学习状态分析结果，其利用预设对象在处于不同学习状态时其面部区域的五官表情状态和肢体区域的上肢位姿状态会相应不同，通过对该面部区域和该肢体区域的图像进行预设图像信息分析模型的处理，能够定量化和如实地得到预设对象的实时学习状态，从而提高对预设对象学习状态跟踪和分析的准确性、实时性和有效性，以及便于后续对预设对象的学习状态进行有针对性的提醒和改进。

Description

学习状态跟踪和分析设备和系统
技术领域
本发明涉及智能教学的技术领域，特别涉及学习状态跟踪和分析设备和系统。
背景技术
学生在学习过程中的学习状态会直接影响其自身的学习效率以及学习进度，但是学生的学习状态是时刻变化的，并且学习状态属于偏主观的评价量，因此在实际操作中，并不能准确地和实时地对学生的学习状态进行跟踪和分析，并且通过现有模型得到的学习状态分析结果并不能真实地和量化地反映学生当前的实际学习状态优劣，其只能对学生的学习状态进行大致定性的分析，这不利于对学生进行及时的和有针对性的提醒与改进。
发明内容
针对现有技术存在的缺陷，本发明提供学习状态跟踪和分析设备，该学习状态跟踪和分析设备通过对预设对象进行拍摄以获得相应的学习过程视频，再对该学习过程视频进行图像帧的分析以确定预设对象在学习过程中的面部区域图像信息和肢体区域图像信息，最后再根据这两种图像信息确定预设对象的实时学习状态分析结果；该学习状态跟踪和分析设备利用预设对象在处于不同学习状态时其面部区域的五官表情状态和肢体区域的上肢位姿状态会相应不同，通过对该面部区域和该肢体区域的图像进行预设图像信息分析模型的处理，能够定量化和如实地得到预设对象的实时学习状态，从而提高对预设对象学习状态跟踪和分析的准确性、实时性和有效性，以及便于后续对预设对象的学习状态进行有针对性的提醒和改进。
本发明提供学习状态跟踪和分析设备，其特征在于，包括视频拍摄器、图像帧提取与判断器、面部区域图像信息提取器、肢体区域图像信息提取器和学习状态分析判断器；其中，
所述视频拍摄器，用于对预设对象进行拍摄，以此获得所述预设对象的学习过程视频；
所述图像帧提取与判断器，用于从所述学习过程视频中依次提取得到相应的若干图像帧，并在所述图像帧包含超过预定面积比例值的预设对象图像信息时，将对应所述图像帧判断为有效图像帧；
所述面部区域图像信息提取器，用于从所述有效图像帧中，提取所述预设对象面部区域对应的第一图像信息；
所述肢体区域图像信息提取器，用于从所述有效图像帧中，提取所述预设对象肢体区域对应的第二图像信息；
所述学习状态分析判断器，用于通过预设图像信息分析模型对所述第一图像信息和所述第二图像信息进行分析计算，从而得到所述预设对象的实时学习状态分析结果；
进一步，所述视频拍摄器包括双目拍摄单元、对象追踪单元和拍摄动作调整单元；其中，
所述双目拍摄单元包括两个相对于所述预设对象分别处于不同位置处的拍摄仪，两个所述拍摄仪用于分别拍摄所述预设对象在不同视角的学习过程视频；
所述对象追踪单元用于对所述预设对象进行热红外线的定位与跟踪，从而确定所述预设对象的实时位置；
所述拍摄动作调整单元用于根据所述实时位置，调整每一个所述拍摄仪各自的拍摄角度和/或拍摄景深；
进一步，所述视频拍摄器还包括位置偏差确定单元；其中，
所述位置偏差确定单元用于计算所述实时位置与预设对象的期望标准位置之间的水平位置偏差值和纵深位置偏差值；
所述拍摄动作调整单元包括拍摄角度调整子单元和拍摄景深调整子单元；
所述拍摄角度调整子单元用于在所述水平位置偏差值超过预设水平位置偏差允许范围时，调整每一个所述拍摄仪各自的水平拍摄角度；
所述拍摄景深调整子单元用于在所述纵深位置偏差值超过预设纵深位置偏差允许范围时，调整每一个所述拍摄仪各自的拍摄焦距长度；
进一步，所述图像帧提取与判断器包括图像帧提取单元和图像帧有效性判断单元；其中，
所述图像帧提取单元用于根据预定时间间隔，从所述学习过程视频中依次提取得到相应的若干图像帧；
所述图像帧有效性判断单元用于在所述图像帧包含超过预定面积比例值的预设对象图像信息时，将对应所述图像帧判断为有效图像帧；
进一步，所述图像帧有效性判断单元包括人物-背景边界确定子单元、人物对象面积占比计算子单元、面积占比对比子单元和有效图像帧确定子单元；其中，
所述人物-背景边界确定单元用于根据所述图像帧中的人物所属像素和背景所属像素之间的区分结果，确定所述图像帧中所述预设对象与背景之间的像素分界线；
所述人物对象面积占比计算子单元用于计算所述像素分界线在所述图像帧所限定的预设对象区域对应面积、与所述图像帧全区域面积之间的实际面积比；
所述面积占比对比子单元用于将所述实际面积比与所述预定面积比例值进行大小关系的对比；
所述有效图像帧确定子单元用于在所述面积占比对比子单元确定所述实际面积比超过所述预定面积比例值时，将对应所述图像帧确定为有效图像帧；
进一步，所述面部区域图像信息提取器包括面部区域确定单元和面部五官图像信息提取单元；其中，
所述面部区域确定单元用于确定所述预设对象的面部在所述有效图像帧中的面部图像区域；
所述面部五官图像信息提取单元用于从所述面部图像区域中，提取所述预设对象的五官二维位置信息和/或五官形状信息，以作为所述第一图像信息；
或者，
所述肢体区域图像信息提取器包括上肢区域确定单元和上肢位姿信息提取单元；其中，
所述上肢区域确定单元用于确定所述预设对象的上肢在所述有效图像帧中的上肢图像区域；
所述上肢位姿信息提取单元用于从所述上肢图像区域中提取所述预设对象的上肢位姿信息，以作为所述第二图像信息；
进一步，所述面部区域确定单元包括第一图像降噪子单元、像素纹理特征计算子单元和面部边界确定子单元；其中，
所述第一图像降噪子单元用于对所述有效图像帧进行关于卡尔曼滤波的降噪处理；
所述像素纹理特征计算子单元用于计算经过所述降噪处理后的所述有效图像帧的像素纹理特征值平面分布信息，其中，所述像素纹理特征值平面分布信息是指所述有效图像帧中像素纹理在图像帧对应的图像平面上的纹理渐变梯度分布信息；
所述面部边界确定子单元用于根据所述像素纹理特征值平面分布信息的纹理值梯度变化，确定所述有效图像帧中所述预设对象的面部区域边界，从而再根据所述面部区域边界确定所述面部图像区域；
进一步，所述上肢区域确定单元包括第二图像降噪子单元、像素轮廓特征计算子单元和上肢边界确定子单元；其中，
所述第二图像降噪子单元用于对所述有效图像帧进行关于卡尔曼滤波的降噪处理；
所述像素轮廓特征计算子单元用于计算经过所述降噪处理后的所述有效图像帧的像素轮廓特征值平面分布信息，其中，所述像轮廓理特征值平面分布信息是指所述有效图像帧中像素轮廓在图像帧对应的图像平面上的轮廓渐变梯度分布信息；
所述上肢边界确定子单元用于根据所述像素轮廓特征值平面分布信息的轮廓值梯度变化，确定所述有效图像帧中所述预设对象的上肢区域边界，从而再根据所述上肢区域边界确定所述上肢图像区域；
进一步，所述学习状态分析判断器包括预设对象图像信息数据库构建单元和图像信息分析模型运行单元；其中，
所述预设对象图像信息数据库构建单元用于根据所述第一图像信息和所述第二图像信息构建得到预设对象图像信息数据库，其具体过程为：
A1、利用下面脊回归训练模型，对所述第一图像信息和所述第二图像信息进行图像信息元素项的综合训练，其中，所述图像信息元素项为所述第一图像信息或者所述第二图像信息对应的像素纹理信息项、像素轮廓信息项和像素色度信息项中的至少一者，
Figure BDA0002562975270000051
在上述脊回归训练模型中，X＝[x1,x2,…,xm]T和Y＝[y1,y2,…,ym]T分别表示所述脊回归训练模型的样品集的行向量和列向量，其分别对应于所述第一图像信息和所述第二图像信息各自的图像信息元素项，m表示所述图像信息元素项的总数量，h表示预设的所述列向量对应的权重系数，θ表示预设学习过程难度系数值，
Figure BDA0002562975270000052
表示在不同权重系数下的取最小值运算；
A2、根据下面公式(1)，计算一傅里叶对角化矩阵M，
Figure BDA0002562975270000053
在上述公式(1)中，h表示所述列向量对应的权重系数，m表示所述图像信息元素项的总数量；
A3、根据所述权重系数h的所述若干权重系数取值情况以及上述公式(1)，相应计算得到若干傅里叶对角化矩阵M，再通过若干所述傅里叶对角化矩阵M对所述脊回归训练模型进行收敛迭代训练，再经过收敛迭代后的所述脊回归训练模型对所述第一图像信息和所述第二图像信息进行图像信息元素项的综合训练，从而获得处于收敛状态的第一图像信息和第二图像信息、再将处于收敛状态的第一图像信息和第二图像信息组成所述预设对象图像信息数据库；
所述图像信息分析模型运行单元用于对所述预设对象图像信息数据库进行数据检测分析，从而所述预设对象的实时学习状态分析结果，其具体过程为：
B1、根据下面公式(2)构建关于所述预设对象图像信息数据库的图像信息数据的响应函数f
f＝(δTσ(X)σ(Z)T)T＝(Kerz)Tδ (2)
在上述公式(2)中，Z表示所述图像信息数据对应形成的像素信息矩阵，ker表示预设核空间的预定核矩阵、且所述预设核空间为高斯核函数对应的核空间，σ()表示预设非线性映射函数，δ表示所述预设核空间在进行脊回归拟合计算后得到的求导算子，X表示所述第一图像信息对应的像素信息矩阵，符号T表示矩阵的转置；
B2、在所述高斯核函数对应的核空间中，对所述相应函数f进行反演推算，从而得到所述预设对象图像信息数据库的图像信息数据的反演推算结果；
B3、根据预定吻合度计算模型，计算所述反演推算结果与若干备选学习状态中每一备选学习状态之间的吻合度值，再将具有最大吻合度值的备选学习状态作为所述预设对象的实时学习状态
本发明还提供学习状态跟踪和分析系统，其特征在于：
所述学习状态跟踪和分析系统包括学习状态跟踪和分析设备以及学习提醒设备；其中，
所述学习提醒设备与所述学习状态跟踪和分析设备之间信号连接；
所述学习提醒设备用于根据来自所述学习状态跟踪和分析设备的所述实时学习状态分析结果，对所述预设对象进行语音提醒和/或图像提醒。
相比于现有技术，该学习状态跟踪和分析设备通过对预设对象进行拍摄以获得相应的学习过程视频，再对该学习过程视频进行图像帧的分析以确定预设对象在学习过程中的面部区域图像信息和肢体区域图像信息，最后再根据这两种图像信息确定预设对象的实时学习状态分析结果；该学习状态跟踪和分析设备利用预设对象在处于不同学习状态时其面部区域的五官表情状态和肢体区域的上肢位姿状态会相应不同，通过对该面部区域和该肢体区域的图像进行预设图像信息分析模型的处理，能够定量化和如实地得到预设对象的实时学习状态，从而提高对预设对象学习状态跟踪和分析的准确性、实时性和有效性，以及便于后续对预设对象的学习状态进行有针对性的提醒和改进。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的学习状态跟踪和分析设备的结构示意图。
图2为本发明提供的学习状态跟踪和分析设备中视频拍摄器的结构示意图。
图3为本发明提供的学习状态跟踪和分析设备中图像帧提取与判断器的结构示意图。
图4为本发明提供的学习状态跟踪和分析设备中面部区域图像信息提取器的结构示意图。
图5为本发明提供的学习状态跟踪和分析设备中肢体区域图像信息提取器的结构示意图。
图6为本发明提供的学习状态跟踪和分析设备中学习状态分析判断器的结构示意图。
图7为本发明提供的学习状态跟踪和分析系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的学习状态跟踪和分析设备的结构示意图。该学习状态跟踪和分析设备包括视频拍摄器、图像帧提取与判断器、面部区域图像信息提取器、肢体区域图像信息提取器和学习状态分析判断器；其中，
该视频拍摄器，用于对预设对象进行拍摄，以此获得该预设对象的学习过程视频；
该图像帧提取与判断器，用于从该学习过程视频中依次提取得到相应的若干图像帧，并在该图像帧包含超过预定面积比例值的预设对象图像信息时，将对应该图像帧判断为有效图像帧；
该面部区域图像信息提取器，用于从该有效图像帧中，提取该预设对象面部区域对应的第一图像信息；
该肢体区域图像信息提取器，用于从该有效图像帧中，提取该预设对象肢体区域对应的第二图像信息；
该学习状态分析判断器，用于通过预设图像信息分析模型对该第一图像信息和该第二图像信息进行分析计算，从而得到该预设对象的实时学习状态分析结果。
由于学生等预设对象在学习过程中的面部表情和肢体动作与预设对象当前学习状态存在相应的联系，从而通过预设对象的面部表情和肢体动作就能够最大限度地反映得到预设对象当前的实际学习状态，该学习状态跟踪和分析设备通过视频拍摄的方式获得预设对象在学习过程中的视频，再对该视频中相应图像帧的预设对象面部区域和肢体区域进行图像分析，从而确定该预设对象的实际学状态，该学习状态跟踪和分析设备相比于现有技术，其能够根据目标表情和肢体动作这样客观存在的信息数据，对学习状态进行定量的和客观的计算分析，从而保证得到的实时学习状态分析结果能够最大限度地反映该预设对象的实时学习状态以及确保该实时学习状态的准确性和有效性。
参阅图2，为本发明提供的学习状态跟踪和分析设备中视频拍摄器的结构示意图。该视频拍摄器包括双目拍摄单元、对象追踪单元和拍摄动作调整单元；其中，
该双目拍摄单元包括两个相对于该预设对象分别处于不同位置处的拍摄仪，两个该拍摄仪用于分别拍摄该预设对象在不同视角的学习过程视频；
该对象追踪单元用于对该预设对象进行热红外线的定位与跟踪，从而确定该预设对象的实时位置；
该拍摄动作调整单元用于根据该实时位置，调整每一个该拍摄仪各自的拍摄角度和/或拍摄景深。
优选地，该视频拍摄器还包括位置偏差确定单元；其中，
该位置偏差确定单元用于计算该实时位置与预设对象的期望标准位置之间的水平位置偏差值和纵深位置偏差值；
该拍摄动作调整单元包括拍摄角度调整子单元和拍摄景深调整子单元；
该拍摄角度调整子单元用于在该水平位置偏差值超过预设水平位置偏差允许范围时，调整每一个该拍摄仪各自的水平拍摄角度；
该拍摄景深调整子单元用于在该纵深位置偏差值超过预设纵深位置偏差允许范围时，调整每一个该拍摄仪各自的拍摄焦距长度。
由于预设对象在学习过程中其坐姿或者位置是会发生变化的，通过调整水平拍摄角度和拍摄焦距长度的方式改变视频拍摄的动作，能够保证拍摄过程中能够最大限度地将预设对象进行整体拍摄，从而提高该学习过程视频的拍摄有效性和对预设对象的视频拍摄灵活性。
参阅图3，为本发明提供的学习状态跟踪和分析设备中图像帧提取与判断器的结构示意图。该图像帧提取与判断器包括图像帧提取单元和图像帧有效性判断单元；其中，
该图像帧提取单元用于根据预定时间间隔，从该学习过程视频中依次提取得到相应的若干图像帧；
该图像帧有效性判断单元用于在该图像帧包含超过预定面积比例值的预设对象图像信息时，将对应该图像帧判断为有效图像帧。
优选地，该图像帧有效性判断单元包括人物-背景边界确定子单元、人物对象面积占比计算子单元、面积占比对比子单元和有效图像帧确定子单元；其中，
该人物-背景边界确定单元用于根据该图像帧中的人物所属像素和背景所属像素之间的区分结果，确定该图像帧中该预设对象与背景之间的像素分界线；
该人物对象面积占比计算子单元用于计算该像素分界线在该图像帧所限定的预设对象区域对应面积、与该图像帧全区域面积之间的实际面积比；
该面积占比对比子单元用于将该实际面积比与该预定面积比例值进行大小关系的对比；
该有效图像帧确定子单元用于在该面积占比对比子单元确定该实际面积比超过该预定面积比例值时，将对应该图像帧确定为有效图像帧。
由于该学习状态跟踪和分析设备是根据预设对象的面部区域图像和肢体区域图像来进行后续的分析处理的，若该图像帧中预设对象区域于图像中的面积占比过低，这会使得面部区域图像相关数据量和肢体区域图像相关数据量不足而无法保证对该学习过程视频进行完整的和充分的分析处理，而通过上述方式确定并保留有效图像帧，能够最大限度地确保后续分析处理的图像数据信息充足性，以避免发生误分析处理的情况。
参阅图4，为本发明提供的学习状态跟踪和分析设备中面部区域图像信息提取器的结构示意图。该面部区域图像信息提取器包括面部区域确定单元和面部五官图像信息提取单元；其中，
该面部区域确定单元用于确定该预设对象的面部在该有效图像帧中的面部图像区域；
该面部五官图像信息提取单元用于从该面部图像区域中，提取该预设对象的五官二维位置信息和/或五官形状信息，以作为该第一图像信息.
优选地，该面部区域确定单元包括第一图像降噪子单元、像素纹理特征计算子单元和面部边界确定子单元；其中，
该第一图像降噪子单元用于对该有效图像帧进行关于卡尔曼滤波的降噪处理；
该像素纹理特征计算子单元用于计算经过该降噪处理后的该有效图像帧的像素纹理特征值平面分布信息，其中，该像素纹理特征值平面分布信息是指该有效图像帧中像素纹理在图像帧对应的图像平面上的纹理渐变梯度分布信息；
该面部边界确定子单元用于根据该像素纹理特征值平面分布信息的纹理值梯度变化，确定该有效图像帧中该预设对象的面部区域边界，从而再根据该面部区域边界确定该面部图像区域。
由于在学习过程视频对应的图像帧中，预设对象和学习环境背景之间在像素纹理分布和纹理形状大小等纹理特征上是存在显著的差异，通过确定图像帧中像素纹理特征存在的这种差异能够准确地确定预设对象的面部区域在有效图像帧中的区域边界，从图像分析技术可知，像素纹理是图像的一个基本的特征信息，其可通过专用的纹理提取模型就能够得到，而对提起得到的像素纹理进行梯度值的计算能够将预设对象和学习环境背景之间在纹理特征上的差异进行有效的放大，从而便于快速地和准确地确定该面部区域边界。
参阅图5，为本发明提供的学习状态跟踪和分析设备中肢体区域图像信息提取器的结构示意图。该肢体区域图像信息提取器包括上肢区域确定单元和上肢位姿信息提取单元；其中，
该上肢区域确定单元用于确定该预设对象的上肢在该有效图像帧中的上肢图像区域；
该上肢位姿信息提取单元用于从该上肢图像区域中提取该预设对象的上肢位姿信息，以作为该第二图像信息。
优选地，该上肢区域确定单元包括第二图像降噪子单元、像素轮廓特征计算子单元和上肢边界确定子单元；其中，
该第二图像降噪子单元用于对该有效图像帧进行关于卡尔曼滤波的降噪处理；
该像素轮廓特征计算子单元用于计算经过该降噪处理后的该有效图像帧的像素轮廓特征值平面分布信息，其中，该像轮廓理特征值平面分布信息是指该有效图像帧中像素轮廓在图像帧对应的图像平面上的轮廓渐变梯度分布信息；
该上肢边界确定子单元用于根据该像素轮廓特征值平面分布信息的轮廓值梯度变化，确定该有效图像帧中该预设对象的上肢区域边界，从而再根据该上肢区域边界确定该上肢图像区域。
由于在学习过程视频对应的图像帧中，预设对象和学习环境背景之间在像素轮廓分布和轮廓形状大小等轮廓特征上是存在显著的差异，通过确定图像帧中像素轮廓特征存在的这种差异能够准确地确定预设对象的上肢区域在有效图像帧中的区域边界，从图像分析技术可知，像素轮廓是图像的一个基本的特征信息，其可通过专用的轮廓提取模型就能够得到，而对提起得到的像素轮廓进行梯度值的计算能够将预设对象和学习环境背景之间在轮廓特征上的差异进行有效的放大，从而便于快速地和准确地确定该上肢区域边界。
参阅图6，为本发明提供的学习状态跟踪和分析设备中学习状态分析判断器的结构示意图。该学习状态分析判断器包括预设对象图像信息数据库构建单元和图像信息分析模型运行单元；其中，
该预设对象图像信息数据库构建单元用于根据该第一图像信息和该第二图像信息构建得到预设对象图像信息数据库，其具体过程为：
A1、利用下面脊回归训练模型，对该第一图像信息和该第二图像信息进行图像信息元素项的综合训练，其中，该图像信息元素项为该第一图像信息或者该第二图像信息对应的像素纹理信息项、像素轮廓信息项和像素色度信息项中的至少一者，
Figure BDA0002562975270000131
在上述脊回归训练模型中，X＝[x1,x2,…,xm]T和Y＝[y1,y2,…,ym]T分别表示该脊回归训练模型的样品集的行向量和列向量，其分别对应于该第一图像信息和该第二图像信息各自的图像信息元素项，m表示该图像信息元素项的总数量，h表示预设的该列向量对应的权重系数，θ表示预设学习过程难度系数值，
Figure BDA0002562975270000132
表示在不同权重系数下的取最小值运算；
A2、根据下面公式(1)，计算一傅里叶对角化矩阵M，
Figure BDA0002562975270000133
在上述公式(1)中，h表示该列向量对应的权重系数，m表示该图像信息元素项的总数量；
A3、根据该权重系数h的该若干权重系数取值情况以及上述公式(1)，相应计算得到若干傅里叶对角化矩阵M，再通过若干该傅里叶对角化矩阵M对该脊回归训练模型进行收敛迭代训练，再经过收敛迭代后的该脊回归训练模型对该第一图像信息和该第二图像信息进行图像信息元素项的综合训练，从而获得处于收敛状态的第一图像信息和第二图像信息、再将处于收敛状态的第一图像信息和第二图像信息组成该预设对象图像信息数据库；
该图像信息分析模型运行单元用于对该预设对象图像信息数据库进行数据检测分析，从而该预设对象的实时学习状态分析结果，其具体过程为：
B1、根据下面公式(2)构建关于该预设对象图像信息数据库的图像信息数据的响应函数f
f＝(δTσ(X)σ(Z)T)T＝(Kerz)Tδ (2)
在上述公式(2)中，Z表示该图像信息数据对应形成的像素信息矩阵，ker表示预设核空间的预定核矩阵、且该预设核空间为高斯核函数对应的核空间，σ()表示预设非线性映射函数，δ表示该预设核空间在进行脊回归拟合计算后得到的求导算子，X表示该第一图像信息对应的像素信息矩阵，符号T表示矩阵的转置；
B2、在该高斯核函数对应的核空间中，对该相应函数f进行反演推算，从而得到该预设对象图像信息数据库的图像信息数据的反演推算结果；
B3、根据预定吻合度计算模型，计算该反演推算结果与若干备选学习状态中每一备选学习状态之间的吻合度值，再将具有最大吻合度值的备选学习状态作为该预设对象的实时学习状态。
上述预设对象图像信息数据库的构建过程和对该预设对象图像信息数据库进行数据检测分析的过程是以脊回归训练模型来实现的，其能够有效地对该预设图像信息数据中的预设对象目标数据和周围环境数据进行有效的区域，这样能够保证该预设对象无论在何种学习场合都能将其对应的学习过程视频中预设对象进行有效的和准确的跟踪与分析，并且还通过迭代收敛的方式对该预设对象图像信息数据库中的图像信息数据进行有效的数据收敛，从而提高该图像信息数据的速度，此外，通过将反演推算结果与若干备选学习状态进行吻合度值的计算匹配，能够确保该实时学习状态的确定有效性。
参阅图7，为本发明提供的学习状态跟踪和分析系统的结构示意图。该学习状态跟踪和分析系统包括学习状态跟踪和分析设备以及学习提醒设备；其中，
该学习提醒设备与该学习状态跟踪和分析设备之间信号连接；
该学习提醒设备用于根据来自该学习状态跟踪和分析设备的该实时学习状态分析结果，对该预设对象进行语音提醒和/或图像提醒。
该学习状态跟踪和分析系统通过来自学习状态跟踪和分析设备的实时学习状态分析结果，指示该学习提醒设备进行适应性的语音提醒和/或图像提醒，这样能够及时地调整预设对象的学习状态和提高预设对象的学习效率。
从上述实施例的内容可知，该学习状态跟踪和分析设备通过对预设对象进行拍摄以获得相应的学习过程视频，再对该学习过程视频进行图像帧的分析以确定预设对象在学习过程中的面部区域图像信息和肢体区域图像信息，最后再根据这两种图像信息确定预设对象的实时学习状态分析结果；该学习状态跟踪和分析设备利用预设对象在处于不同学习状态时其面部区域的五官表情状态和肢体区域的上肢位姿状态会相应不同，通过对该面部区域和该肢体区域的图像进行预设图像信息分析模型的处理，能够定量化和如实地得到预设对象的实时学习状态，从而提高对预设对象学习状态跟踪和分析的准确性、实时性和有效性，以及便于后续对预设对象的学习状态进行有针对性的提醒和改进。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.学习状态跟踪和分析设备，其特征在于，包括视频拍摄器、图像帧提取与判断器、面部区域图像信息提取器、肢体区域图像信息提取器和学习状态分析判断器；其中，
所述视频拍摄器，用于对预设对象进行拍摄，以此获得所述预设对象的学习过程视频；
所述图像帧提取与判断器，用于从所述学习过程视频中依次提取得到相应的若干图像帧，并在所述图像帧包含超过预定面积比例值的预设对象图像信息时，将对应所述图像帧判断为有效图像帧；
所述面部区域图像信息提取器，用于从所述有效图像帧中，提取所述预设对象面部区域对应的第一图像信息；
所述肢体区域图像信息提取器，用于从所述有效图像帧中，提取所述预设对象肢体区域对应的第二图像信息；
所述学习状态分析判断器，用于通过预设图像信息分析模型对所述第一图像信息和所述第二图像信息进行分析计算，从而得到所述预设对象的实时学习状态分析结果。
2.如权利要求1所述的学习状态跟踪和分析设备，其特征在于：
所述视频拍摄器包括双目拍摄单元、对象追踪单元和拍摄动作调整单元；其中，
所述双目拍摄单元包括两个相对于所述预设对象分别处于不同位置处的拍摄仪，两个所述拍摄仪用于分别拍摄所述预设对象在不同视角的学习过程视频；
所述对象追踪单元用于对所述预设对象进行热红外线的定位与跟踪，从而确定所述预设对象的实时位置；
所述拍摄动作调整单元用于根据所述实时位置，调整每一个所述拍摄仪各自的拍摄角度和/或拍摄景深。
3.如权利要求2所述的学习状态跟踪和分析设备，其特征在于：
所述视频拍摄器还包括位置偏差确定单元；其中，
所述位置偏差确定单元用于计算所述实时位置与预设对象的期望标准位置之间的水平位置偏差值和纵深位置偏差值；
所述拍摄动作调整单元包括拍摄角度调整子单元和拍摄景深调整子单元；
所述拍摄角度调整子单元用于在所述水平位置偏差值超过预设水平位置偏差允许范围时，调整每一个所述拍摄仪各自的水平拍摄角度；
所述拍摄景深调整子单元用于在所述纵深位置偏差值超过预设纵深位置偏差允许范围时，调整每一个所述拍摄仪各自的拍摄焦距长度。
4.如权利要求1所述的学习状态跟踪和分析设备，其特征在于：
所述图像帧提取与判断器包括图像帧提取单元和图像帧有效性判断单元；其中，
所述图像帧提取单元用于根据预定时间间隔，从所述学习过程视频中依次提取得到相应的若干图像帧；
所述图像帧有效性判断单元用于在所述图像帧包含超过预定面积比例值的预设对象图像信息时，将对应所述图像帧判断为有效图像帧。
5.如权利要求4所述的学习状态跟踪和分析设备，其特征在于：
所述图像帧有效性判断单元包括人物-背景边界确定子单元、人物对象面积占比计算子单元、面积占比对比子单元和有效图像帧确定子单元；其中，
所述人物-背景边界确定单元用于根据所述图像帧中的人物所属像素和背景所属像素之间的区分结果，确定所述图像帧中所述预设对象与背景之间的像素分界线；
所述人物对象面积占比计算子单元用于计算所述像素分界线在所述图像帧所限定的预设对象区域对应面积、与所述图像帧全区域面积之间的实际面积比；
所述面积占比对比子单元用于将所述实际面积比与所述预定面积比例值进行大小关系的对比；
所述有效图像帧确定子单元用于在所述面积占比对比子单元确定所述实际面积比超过所述预定面积比例值时，将对应所述图像帧确定为有效图像帧。
6.如权利要求1所述的学习状态跟踪和分析设备，其特征在于：
所述面部区域图像信息提取器包括面部区域确定单元和面部五官图像信息提取单元；其中，
所述面部区域确定单元用于确定所述预设对象的面部在所述有效图像帧中的面部图像区域；
所述面部五官图像信息提取单元用于从所述面部图像区域中，提取所述预设对象的五官二维位置信息和/或五官形状信息，以作为所述第一图像信息；
或者，
所述肢体区域图像信息提取器包括上肢区域确定单元和上肢位姿信息提取单元；其中，
所述上肢区域确定单元用于确定所述预设对象的上肢在所述有效图像帧中的上肢图像区域；
所述上肢位姿信息提取单元用于从所述上肢图像区域中提取所述预设对象的上肢位姿信息，以作为所述第二图像信息。
7.如权利要求6所述的学习状态跟踪和分析设备，其特征在于：
所述面部区域确定单元包括第一图像降噪子单元、像素纹理特征计算子单元和面部边界确定子单元；其中，
所述第一图像降噪子单元用于对所述有效图像帧进行关于卡尔曼滤波的降噪处理；
所述像素纹理特征计算子单元用于计算经过所述降噪处理后的所述有效图像帧的像素纹理特征值平面分布信息，其中，所述像素纹理特征值平面分布信息是指所述有效图像帧中像素纹理在图像帧对应的图像平面上的纹理渐变梯度分布信息；
所述面部边界确定子单元用于根据所述像素纹理特征值平面分布信息的纹理值梯度变化，确定所述有效图像帧中所述预设对象的面部区域边界，从而再根据所述面部区域边界确定所述面部图像区域。
8.如权利要求6所述的学习状态跟踪和分析设备，其特征在于：
所述上肢区域确定单元包括第二图像降噪子单元、像素轮廓特征计算子单元和上肢边界确定子单元；其中，
所述第二图像降噪子单元用于对所述有效图像帧进行关于卡尔曼滤波的降噪处理；
所述像素轮廓特征计算子单元用于计算经过所述降噪处理后的所述有效图像帧的像素轮廓特征值平面分布信息，其中，所述像轮廓理特征值平面分布信息是指所述有效图像帧中像素轮廓在图像帧对应的图像平面上的轮廓渐变梯度分布信息；
所述上肢边界确定子单元用于根据所述像素轮廓特征值平面分布信息的轮廓值梯度变化，确定所述有效图像帧中所述预设对象的上肢区域边界，从而再根据所述上肢区域边界确定所述上肢图像区域。
9.如权利要求1所述的学习状态跟踪和分析设备，其特征在于：
所述学习状态分析判断器包括预设对象图像信息数据库构建单元和图像信息分析模型运行单元；其中，
所述预设对象图像信息数据库构建单元用于根据所述第一图像信息和所述第二图像信息构建得到预设对象图像信息数据库，其具体过程为：
A1、利用下面脊回归训练模型，对所述第一图像信息和所述第二图像信息进行图像信息元素项的综合训练，其中，所述图像信息元素项为所述第一图像信息或者所述第二图像信息对应的像素纹理信息项、像素轮廓信息项和像素色度信息项中的至少一者，
Figure FDA0002562975260000051
在上述脊回归训练模型中，X＝[x1,x2,…,xm]T和Y＝[y1,y2,…,ym]T分别表示所述脊回归训练模型的样品集的行向量和列向量，其分别对应于所述第一图像信息和所述第二图像信息各自的图像信息元素项，m表示所述图像信息元素项的总数量，h表示预设的所述列向量对应的权重系数，θ表示预设学习过程难度系数值，
Figure FDA0002562975260000052
表示在不同权重系数下的取最小值运算；
A2、根据下面公式(1)，计算一傅里叶对角化矩阵M，
Figure FDA0002562975260000053
在上述公式(1)中，h表示所述列向量对应的权重系数，m表示所述图像信息元素项的总数量；
A3、根据所述权重系数h的所述若干权重系数取值情况以及上述公式(1)，相应计算得到若干傅里叶对角化矩阵M，再通过若干所述傅里叶对角化矩阵M对所述脊回归训练模型进行收敛迭代训练，再经过收敛迭代后的所述脊回归训练模型对所述第一图像信息和所述第二图像信息进行图像信息元素项的综合训练，从而获得处于收敛状态的第一图像信息和第二图像信息、再将处于收敛状态的第一图像信息和第二图像信息组成所述预设对象图像信息数据库；
所述图像信息分析模型运行单元用于对所述预设对象图像信息数据库进行数据检测分析，从而所述预设对象的实时学习状态分析结果，其具体过程为：
B1、根据下面公式(2)构建关于所述预设对象图像信息数据库的图像信息数据的响应函数f
f＝(δTσ(X)σ(Z)T)T＝(Kerz)Tδ (2)
在上述公式(2)中，Z表示所述图像信息数据对应形成的像素信息矩阵，ker表示预设核空间的预定核矩阵、且所述预设核空间为高斯核函数对应的核空间，σ()表示预设非线性映射函数，δ表示所述预设核空间在进行脊回归拟合计算后得到的求导算子，X表示所述第一图像信息对应的像素信息矩阵，符号T表示矩阵的转置；
B2、在所述高斯核函数对应的核空间中，对所述相应函数f进行反演推算，从而得到所述预设对象图像信息数据库的图像信息数据的反演推算结果；
B3、根据预定吻合度计算模型，计算所述反演推算结果与若干备选学习状态中每一备选学习状态之间的吻合度值，再将具有最大吻合度值的备选学习状态作为所述预设对象的实时学习状态。
10.学习状态跟踪和分析系统，其特征在于：
所述学习状态跟踪和分析系统包括如权利要求1-9中任一项所述的学习状态跟踪和分析设备以及学习提醒设备；其中，
所述学习提醒设备与所述学习状态跟踪和分析设备之间信号连接；
所述学习提醒设备用于根据来自所述学习状态跟踪和分析设备的所述实时学习状态分析结果，对所述预设对象进行语音提醒和/或图像提醒。
CN202010613589.8A 2020-06-30 2020-06-30 学习状态跟踪和分析设备和系统 Pending CN111738196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010613589.8A CN111738196A (zh) 2020-06-30 2020-06-30 学习状态跟踪和分析设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010613589.8A CN111738196A (zh) 2020-06-30 2020-06-30 学习状态跟踪和分析设备和系统

Publications (1)

Publication Number Publication Date
CN111738196A true CN111738196A (zh) 2020-10-02

Family

ID=72653712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010613589.8A Pending CN111738196A (zh) 2020-06-30 2020-06-30 学习状态跟踪和分析设备和系统

Country Status (1)

Country Link
CN (1) CN111738196A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707975A (zh) * 2017-09-20 2018-02-16 天津大学 基于监控平台的视频智能剪辑方法
CN108961679A (zh) * 2018-06-27 2018-12-07 广州视源电子科技股份有限公司 一种注意力提醒方法、装置及电子设备
US20190180469A1 (en) * 2017-12-08 2019-06-13 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network
CN110728194A (zh) * 2019-09-16 2020-01-24 中国平安人寿保险股份有限公司 基于微表情和动作识别的智能培训方法、装置及存储介质
CN110942472A (zh) * 2019-11-28 2020-03-31 广西师范大学 一种基于特征融合与自适应分块的核相关滤波跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707975A (zh) * 2017-09-20 2018-02-16 天津大学 基于监控平台的视频智能剪辑方法
US20190180469A1 (en) * 2017-12-08 2019-06-13 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network
CN108961679A (zh) * 2018-06-27 2018-12-07 广州视源电子科技股份有限公司 一种注意力提醒方法、装置及电子设备
CN110728194A (zh) * 2019-09-16 2020-01-24 中国平安人寿保险股份有限公司 基于微表情和动作识别的智能培训方法、装置及存储介质
CN110942472A (zh) * 2019-11-28 2020-03-31 广西师范大学 一种基于特征融合与自适应分块的核相关滤波跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JBDDYGB: "KCF目标跟踪方法分析与总结", 《HTTPS://BLOG.CSDN.NET/JBDDYGB/ARTICLE/DETAILS/62894692》 *
张中伟: "基于时空上下文和核相关滤波器的密集采样目标跟踪方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN107103298B (zh) 基于图像处理的引体向上计数系统及计数方法
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN111914642B (zh) 一种行人重识别方法、装置、设备及介质
CN110717392B (zh) 一种坐姿检测与纠正方法和装置
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN109191488B (zh) 一种基于csk与tld融合算法的目标跟踪系统及方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN108052942A (zh) 一种飞机飞行姿态的视觉图像识别方法
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN113255608B (zh) 一种基于cnn分类的多摄像头人脸识别定位方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN104091173A (zh) 一种基于网络摄像机的性别识别方法及装置
CN112016454A (zh) 一种人脸对齐的检测方法
CN112183220A (zh) 一种驾驶员疲劳检测方法及其系统、计算机存储介质
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN111639562A (zh) 一种手掌感兴趣区域的智能定位方法
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
CN114299279A (zh) 基于脸部检测和识别的无标记群体恒河猴运动量估计方法
CN111738196A (zh) 学习状态跟踪和分析设备和系统
Li et al. Automatic dairy cow body condition scoring using depth images and 3D surface fitting
CN113808256B (zh) 一种结合身份识别的高精度全息人体重建方法
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
CN112766150A (zh) 基于大数据和人工智能的学校课堂学生学习行为跟踪分析方法及云管理平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002