CN113743263B - 一种教师非言语行为测量方法及系统 - Google Patents
一种教师非言语行为测量方法及系统 Download PDFInfo
- Publication number
- CN113743263B CN113743263B CN202110970746.5A CN202110970746A CN113743263B CN 113743263 B CN113743263 B CN 113743263B CN 202110970746 A CN202110970746 A CN 202110970746A CN 113743263 B CN113743263 B CN 113743263B
- Authority
- CN
- China
- Prior art keywords
- teacher
- head
- teaching
- equal
- classroom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims description 9
- 230000006399 behavior Effects 0.000 claims abstract description 70
- 230000004886 head movement Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000006185 dispersion Substances 0.000 claims abstract description 17
- 238000012800 visualization Methods 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001755 vocal effect Effects 0.000 claims 3
- 238000005096 rolling process Methods 0.000 claims 2
- 230000003542 behavioural effect Effects 0.000 claims 1
- 238000004091 panning Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明公开了一种教师非言语行为测量方法及系统，其中，测量方法包括：对教室进行三维建模，并对教学视频的二维图像信息进行分析处理，计算每一帧视频中的教师头部三维坐标和头部欧拉角，得到教师视线落点数据，并将视线落点投射在三维建模的教室空间中，实现了教师视线落点的可视化；本发明通过分析教师视线落点的离散度和覆盖率了解教师授课时的注意力分布情况；本发明将教学视频按每5帧分组，通过教师头部欧拉角解析教师头部移动，识别连续头部移动对应的不同教学行为，从而了解教师的授课风格和课堂氛围。
Description
技术领域
本发明属于教学质量评价与应用技术领域，更具体地，涉及一种教师非言语行为测量方法及系统。
背景技术
随着课堂教学改革的不断深化和教学交流的日益频繁,拍摄教学视频逐渐成为展示教学特色、深入研究课堂教学的一种重要形式。图像和语音是教学视频中传达信息的两种主要途径，随着人工智能技术的发展，通过对教学视频进行分析，可以实现对教学质量的评估与审核。
目前常用的教学视频的质量评估与审核方法，主要是对教学视频的图像和语音进行分析，识别教学知识点，对教学内容的合理性进行评估并形成评估反馈报告。
除了教学知识点，教师的非语言行为也会直接影响到学生的听课体验，进而影响教学质量。非语言行为主要包括眼神和头部动作。优秀的教师善于运用眼神来组织课堂教学，眼神是一种非语言表达的艺术，是课堂教学中的一种无声语言，眼神的巧妙运用可以有效地传递信息和表达情意，可拉近师生之间的距离，可把控课堂的氛围和秩序，使教学收到事半功倍的效果。
教师的头部动作也可反映出教师的教学风格和教学状态，教师的头部动作可以传达丰富的信息，头部动作对于表达思想起着重要作用，当学生回答问题时，教师为了表示对学生回答给以肯定，常用点头，为了表示不满意学生的回答常用摇头等。这种用头部动作表示情感的方式很委婉，比用语言直接表达更易于学生的接受，更富于表现力。
教学质量评估是教学管理的重要环节，对于教学视频的质量评估，除了教学内容的识别审核，还应当针对教师的视线落点和头部动作做出评估，通过教师视线落点和头部动作可以解析教师授课时的注意力，而教师注意力能反映出教师在课堂教学中关注学生、关注教学的能力。因此，有必要通过教学视频，对教师视线落点和头部动作进行有效的测量和解析。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种教师非言语行为测量分析方法及系统，旨在通过解析教学视频中教师的视线落点和头部动作，完成对教师授课时的注意力分布的分析与评价。
为实现上述目的，本发明提供了一种教师非言语行为测量方法，包括如下步骤：
对教室进行三维建模，得到教室三维立体图；通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；
根据所述教师头部欧拉角计算教师视线落点，检测教师头部移动；
将所述教师视线落点绘制在所述教室三维立体图上；计算所述教师视线落点的离散度和覆盖率；对所述教师头部移动的欧拉角的值进行解析，识别出对应的教学行为。
优选地，计算教师视线落点包括如下步骤：以教师头部为原点，得到教师脸部到摄像头的向量，根据所述向量和所述教师头部欧拉角，得到教师视觉方向向量；根据所述教师视觉方向向量和所述教师头部三维坐标，计算得到教师视线落点；
检测教师头部移动包括如下步骤：将所述教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min；设定角度阈值standard，当教师头部欧拉角的三个角中至少有一个角满足max与min的差值大于standard时，则认为是一个头部移动的发生。
优选地，当连续的所述教师头部移动的欧拉角的范围满足-12°≤α≤20°时，其对应的头部动作是点头；当0°≤α≤38°时，其对应的头部动作是低头；当-35°≤β≤35°时，其对应的头部动作是摇头；当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；当-35°≤β≤35°时，其对应的头部动作是环视四周。
优选地，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
本发明提供一种教师视线落点和头部动作的测量分析系统，包括：
头部欧拉角获取模块，用于对教室进行三维建模，得到教室三维立体图；通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；
视线落点计算模块，用于根据所述教师头部欧拉角计算教师视线落点；
头部移动检测模块，用于根据所述教师头部欧拉角检测教师头部移动；
视线落点可视化模块，用于将所述教师视线落点绘制在所述教室三维立体图上；
视线落点分析模块，用于计算所述教师视线落点的离散度和覆盖率；
头部移动分析模块，用于对所述教师头部移动的欧拉角的值进行解析，识别出该头部移动对应的教学行为。
优选地，所述视线落点计算模块包括：
第一向量计算单元，用于以教师头部为原点获得教师脸部到摄像头的向量，
第二向量计算单元，根据所述向量和所述教师头部欧拉角，得到教师视觉方向向量；
视线落点计算单元，根据所述教师视觉方向向量和所述教师头部三维坐标，计算得到教师视线落点。
所述头部移动检测模块包括：
分组单元，用于将所述教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min；
计算单元，用于设定角度阈值standard，当每一组教学视频中教师头部欧拉角的三个角中至少有一个角满足max与min的差值大于standard时，则认为是一个头部移动的发生。
优选地，所述头部移动分析模块包括：
点头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当所述欧拉角满足-12°≤α≤20°时，其对应的头部动作是点头；
低头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤α≤38°时，其对应的头部动作是低头；
摇头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是摇头；
回头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；
环视四周动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是环视四周。
优选地，所述头部移动分析模块识别教学行为时，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
本发明提供一种教师非言语行为测量装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述教师非言语行为测量方法。
本发明提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述教师非言语行为测量方法。
与现有技术相比，本发明对教学视频的二维图像信息进行分析处理，得到教师视线落点和头部动作数据，并将视线落点投射在三维建模的教室空间中，实现了教师视线落点的可视化；通过对视线落点和头部动作的解析，可以了解教师授课时的注意力分布情况，进而可以评价教师的教学风格和课堂气氛；此外，通过本发明对优秀教师的教学视频进行解析，可以得到优秀教师的非言语行为测量分析数据，可以为其他教师提供参考和学习的范本。
附图说明
图1是本发明实施例提供的教师非言语行为测量方法的流程图；
图2是本发明实施例提供的教师非言语行为测量系统的结构图；
图3是本发明实施例提供的教室三维立体图；
图4是本发明实施例提供的教师视线落点的可视化图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本实施例提供的教师非言语行为测量方法首先要对教室进行三维建模，得到教室三维立体图；对教室进行三维建模时，需要用户输入教室的长、宽、高，和课桌高度；建模效果如图3所示，教室是一个长方体，b边是教室的宽，a边是教室的长，c边是教室的高；教师授课时面对学生，背对黑板；教室一共有6个面：黑板所在的面是教室前面，黑板对面的面是教室后面，摄像机所在的面是教室左面，摄像机对面的面是教室右面，教师头上方的面是教室上面，教师脚下方的面是教室下面。
以教师头部为原点建系，建立参考坐标轴xyz，其中，x轴与教室的b边平行，x轴向教室后面延伸的方向为x轴正方向；y轴与教室的a边平行，y轴向教室右面延伸的方向为y轴正方向；z轴与教室的c边平行，z轴向教室上面延伸的方向为z轴正方向。
以教室前面、教室左面和教室下面交汇的点为教室原点，建立刚体坐标轴XYZ，X轴正方向从教室原点沿b边延伸，Y轴正方向从教室原点沿a边延伸，Z轴正方向从教室原点沿c边延伸。
在教学视频中，教师头部的位置是以二维坐标(X，Y)呈现的，在教室三维立体图中，教师头部的位置是以三维坐标(X，Y，Z)呈现的，因此需要将被视频抹去的第三个维度还原出来，本实施例使用张正友标定法将教师头部的二维坐标转换为三维坐标。
张正友标定方法是经典的相机标定方法，相机标定是三维场景重构中必不可少的步骤，目的是提取出二维图像中包含的计量信息。使用张正友标定可以从二维图像中获取到场景的三维信息。此外，张正友标定法可以对另外两个维度(X，Y)进行验证。张正友标定法还可以得到畸变参数，故可以矫正图像畸变。
坐标转换完成之后，对教学视频中每一帧的教师面部图像，使用头部姿态估计算法得到教师头部相对于摄像机的欧拉角；欧拉角用于在三维空间中表示物体的旋转姿态：俯仰角pitch，围绕X轴旋转；偏航角yaw，围绕Y轴旋转；滚转角roll，围绕Z轴旋转。
本实施例所使用的头部姿态估计算法是Nataniel Ruiz等人提出的一种头部姿态估计方法，该方法通过在大型综合扩展数据集300W-LP上训练一个多重损失卷积神经网络来确定欧拉角。
以教师头部为原点，由摄像机位置可以得到教师脸部到摄像机的向量再由欧拉角对应的旋转矩阵就可以得到教师的视觉方向向量/>
根据欧拉角的动态定义，最初，脸部朝向参考坐标轴xyz与刚体坐标轴XYZ重叠，依次让头部绕着z轴旋转γ角值，绕着x轴旋转β角值，绕着z轴旋转α角值，其中，α是滚转角roll，β是俯仰角pitch，γ是偏航角yaw；根据下列公式可得到视觉方向向量
其中，欧拉角可以用旋转矩阵表示：
根据教师视觉方向向量，计算得到教师视线落点，计算步骤如下：
xf,yf,zf分别是教室X,Y,Z轴正方向的视觉方向向量；(U,V,W)为教师头部的三维坐标；xr,yr,zr分别是教室在X,Y,Z轴上的长度；(x,y,z)为教师视线落点坐标。
令
视线落点可按以下算法计算：
当xf≥0且yf≥0时，
若0≤ta(xr-U)+V≤yr且0≤tb(xr-U)+W≤zr
则落点在教室右面，且
若0≤(yr-Y)/ta+U≤xr且0≤tc(yr-V)+W≤zr
则落点在教室上面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
当xf≥0且yf≤0时，
若0≤ta(xr-U)+V≤yr且0≤tb(xr-U)+W≤zr
则落点在教室右面，且
若0≤(0-V)/ta+U≤xr且0≤tc(0-V)+W≤zr
则落点在教室下面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
当xf≤0且yf≥0时，
若0≤ta(0-U)+V≤yr且0≤tb(0-U)+W≤zr
则落点在教室左面，且
若0≤(yr-V)/ta+U≤xr且0≤tc(yr-V)+W≤zr
则落点在教室上面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
当xf≤0且yf≤0时，
若0≤ta(0-U)+V≤yr且0≤tb(0-U)+W≤zr
则落点在教室左面，且
若0≤(0-V)/ta+U≤xr且0≤tc(0-V)+W≤zr
则落点在教室下面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
如图4所示，为了更直观的表现出教师视线落点在教室的分布情况，我们对教室进行了三维建模，得到教室三维立体图，并将教师视线落点绘制在教室三维立体图上。对教室进行三维建模时，需要用户输入教室的长、宽、高，和课桌高度；为了避免教师视线落点出现歧义，对教师视线落点所在平面进行了高亮处理。
教师在课堂教学时的注意力可以分为三大类，第一类是注意力在教学内容上，第二类是注意力在学生身上，第三类是非正常授课如发呆等。通过教师视线落点可以得到教师目光离散度和教师目光覆盖率，以此作为教师注意力的评价指标。
其中，教师目光离散度的计算方法为：将除教室前面的教室另外5个面分别作二维坐标系，确定每个落点的二维坐标，将落点坐标的均值除以标准差得到各个面的离散度，最后对所述5个面的离散度求和得出总的离散度。
教师目光覆盖率的计算方法为：将除教室前面的教室另外5个面分别进行切块操作，均匀地分为n×n个的小块，n为整数，其值由用户设定，本实施例中n的值为20；对于每个面，用大小为m×m的矩阵来存储各个小块的状态，m为整数，其值由用户设定，本实施例中m的值为20；所述各个小块的初始状态全为0，每当检测到有落点落在某一区域时，就将其对应的矩阵元素置为1；最后将值为1的元素总数除以总的元素数，得出覆盖率。
将教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min；因为希望得到比较连续且自然的教室头部动作输出序列，所以选定每5帧作为一个分组。
设定角度阈值standard，当教师头部欧拉角的三个角中至少有一个角满足max–min>standard时，则认为是一个头部移动的发生，本实施例中standard的值为10。
经过对教学视频和教师头部欧拉角的反复对比验证，可按下述规则识别头部动作：当连续的头部移动的欧拉角的范围满足-12°≤α≤20°时，其对应的头部动作是点头；当0°≤α≤38°时，其对应的头部动作是低头；当-35°≤β≤35°时，其对应的头部动作是摇头；当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；当-35°≤β≤35°时，其对应的头部动作是环视四周。
根据教师注意力集中的位置不同，教学行为可分为三大类，第一类是讲授课程，此时教师注意力集中在课程内容上；第二类是师生甲流，此时教师注意力集中在学生身上；第三类是无效授课行为如发呆等。
上述点头、摇头和环视四周的教学行为是师生交流；回头的教学行为是讲授课程；若低头的视线落点在教桌，则低头的教学行为是讲授课程，若低头的视线落点在学生，则低头的教学行为是师生交流，否则，则低头的教学行为是无效教学行为。
识别出头部动作对应的教学行为之后，可对不同的教学行为进行数量统计，从而了解教师的授课风格以及课堂气氛。
如图2所示，本实施例提供的教师非言语行为测量分析系统包括6个模块，分别是：头部欧拉角获取模块、视线落点计算模块、头部移动检测模块、视线落点可视化模块、视线落点分析模块、头部移动分析模块。
头部欧拉角获取模块首先要对教室进行三维建模，得到教室三维立体图；对教室进行三维建模时，需要用户输入教室的长、宽、高，和课桌高度；建模效果如图3所示，教室是一个长方体，b边是教室的宽，a边是教室的长，c边是教室的高；教师授课时面对学生，背对黑板；教室一共有6个面：黑板所在的面是教室前面，黑板对面的面是教室后面，摄像机所在的面是教室左面，摄像机对面的面是教室右面，教师头上方的面是教室上面，教师脚下方的面是教室下面。
以教师头部为原点建系，建立参考坐标轴xyz，其中，x轴与教室的b边平行，x轴向教室后面延伸的方向为x轴正方向；y轴与教室的a边平行，y轴向教室右面延伸的方向为y轴正方向；z轴与教室的c边平行，z轴向教室上面延伸的方向为z轴正方向。
以教室前面、教室左面和教室下面交汇的点为教室原点，建立刚体坐标轴XYZ，X轴正方向从教室原点沿b边延伸，Y轴正方向从教室原点沿a边延伸，Z轴正方向从教室原点沿c边延伸。
在教学视频中，教师头部的位置是以二维坐标(X，Y)呈现的，在教室三维立体图中，教师头部的位置是以三维坐标(X，Y，Z)呈现的，因此需要将被视频抹去的第三个维度还原出来，本实施例使用张正友标定法将教师头部的二维坐标转换为三维坐标。
坐标转换完成之后，对教学视频中每一帧的教师面部图像，使用头部姿态估计算法得到教师头部相对于摄像机的欧拉角。本实施例所使用的头部姿态估计算法是NatanielRuiz等人提出的一种头部姿态估计方法，该方法通过在大型综合扩展数据集300W-LP上训练一个多重损失卷积神经网络来确定欧拉角。
视线落点计算模块包括第一向量计算单元、第二向量计算单元和视线落点计算单元。
其中，第一向量计算单元以教师头部为原点，由摄像机位置可以得到教师脸部到摄像机的向量
第二向量计算单元根据向量和教师头部欧拉角，得到教师视觉方向向量/>计算过程如下：
根据欧拉角的动态定义，最初，脸部朝向参考坐标轴xyz与刚体坐标轴XYZ重叠，依次让头部绕着z轴旋转γ角值，绕着x轴旋转β角值，绕着z轴旋转α角值，其中，α是滚转角roll，β是俯仰角pitch，γ是偏航角yaw；根据下列公式可得到视觉方向向量
其中，欧拉角可以用旋转矩阵表示：
视线落点计算单元根据教师视觉方向向量和教师头部三维坐标，计算得到教师视线落点，计算过程如下：
xf,yf,zf分别是教室X,Y,Z轴正方向的视觉方向向量；(U,V,W)为教师头部的三维坐标；xr,yr,zr分别是教室在X,Y,Z轴上的长度；(x,y,z)为教师视线落点坐标。
令
视线落点可按以下算法计算：
当xf≥0且yf≥0时，
若0≤ta(xr-U)+V≤yr且0≤tb(xr-U)+W≤zr
则落点在教室右面，且
若0≤(yr-Y)/ta+U≤xr且0≤tc(yr-V)+W≤zr
则落点在教室上面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
当xf≥0且yf≤0时，
若0≤ta(xr-U)+V≤yr且0≤tb(xr-U)+W≤zr
则落点在教室右面，且
若0≤(0-V)/ta+U≤xr且0≤tc(0-V)+W≤zr
则落点在教室下面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
当xf≤0且yf≥0时，
若0≤ta(0-U)+V≤yr且0≤tb(0-U)+W≤zr
则落点在教室左面，且
若0≤(yr-V)/ta+U≤xr且0≤tc(yr-V)+W≤zr
则落点在教室上面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
当xf≤0且yf≤0时，
若0≤ta(0-U)+V≤yr且0≤tb(0-U)+W≤zr
则落点在教室左面，且
若0≤(0-V)/ta+U≤xr且0≤tc(0-V)+W≤zr
则落点在教室下面，且
若0≤(zr-W)/tb+U≤xr且0≤(zr-U)/tc+V≤yr
则落点在教室前面，且
如图4所示，为了更直观的表现出教师视线落点在教室的分布情况，视线落点可视化模块将教师视线落点绘制在教室三维立体图上。为了避免教师视线落点出现歧义，对教师视线落点所在平面进行了高亮处理。
视线落点分析模块通过教师视线落点可以得到教师目光离散度和教师目光覆盖率，以此作为教师注意力的评价指标。
其中，教师目光离散度的计算方法为：将除教室前面的教室另外5个面分别作二维坐标系，确定每个落点的二维坐标，将落点坐标的均值除以标准差得到各个面的离散度，最后对所述5个面的离散度求和得出总的离散度。
教师目光覆盖率的计算方法为：将除教室前面的教室另外5个面分别进行切块操作，均匀地分为n×n个的小块，n为整数，其值由用户设定，本实施例中n的值为20；对于每个面，用大小为m×m的矩阵来存储各个小块的状态，m为整数，其值由用户设定，本实施例中m的值为20；所述各个小块的初始状态全为0，每当检测到有落点落在某一区域时，就将其对应的矩阵元素置为1；最后将值为1的元素总数除以总的元素数，得出覆盖率。
头部移动检测模块包括分组单元和计算单元。其中，分组单元将所述教学视频按每5帧分组，分别找出每一组中教师头部欧拉角的俯仰角的最大值max，最小值min；偏航角的最大值max，最小值min；滚转角的最大值max，最小值min。计算单元设定角度阈值standard，当每一组教学视频中教师头部欧拉角的三个角中至少有一个角满足max与min的差值大于standard时，则认为是一个头部移动的发生，本实施例中standard的值为10。
头部移动分析模块包括点头动作分析单元、低头动作分析单元、摇头动作分析单元、回头动作分析单元和环视四周动作分析单元。
其中，点头动作分析单元检测连续的所述教师头部移动的欧拉角，当所述欧拉角满足-12°≤α≤20°时，其对应的头部动作是点头；
低头动作分析单元检测连续的所述教师头部移动的欧拉角，当0°≤α≤38°时，其对应的头部动作是低头；
摇头动作分析单元检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是摇头；
回头动作分析单元检测连续的所述教师头部移动的欧拉角，当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；
环视四周动作分析单元检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是环视四周。
上述点头、摇头和环视四周的教学行为是师生交流；回头的教学行为是讲授课程；若低头的视线落点在教桌，则低头的教学行为是讲授课程，若低头的视线落点在学生，则低头的教学行为是师生交流，否则，则低头的教学行为是无效教学行为。
识别出头部动作对应的教学行为之后，可对不同的教学行为进行数量统计，从而了解教师的授课风格以及课堂气氛。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种教师非言语行为测量方法，其特征在于，包括如下步骤：
对教室进行三维建模，得到教室三维立体图；
通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；
对于教学视频中每一帧，以教师头部为原点获得教师脸部到摄像头的向量，教师脸部到摄像机的向量直接与教师头部相对于摄像机的欧拉角的旋转矩阵相乘，得到教师视觉方向向量；结合教师视觉方向向量和所述教师头部三维坐标相对位置关系，计算教师视线落点三维坐标；
将所述教师视线落点绘制在所述教室三维立体图上；计算所述教师视线落点的离散度和覆盖率；
将教学视频按每5帧分组，分别获得每组中教师头部欧拉角的俯仰角的最大值、最小值，偏航角的最大值、最小值，以及滚转角的最大值、最小值；设定角度阈值，当教师头部欧拉角的俯仰角、偏航角和滚转角中至少有一个角满足最大值与最小值的差值大于所述角度阈值时，认定检测出教师头部移动；
对所述教师头部移动的欧拉角的值进行解析，识别出对应的教学行为。
2.根据权利要求1所述的教师非言语行为测量方法，其特征在于，当连续的所述教师头部移动的欧拉角的范围满足-12°≤α≤20°时，其对应的头部动作是点头；当0°≤α≤38°时，其对应的头部动作是低头；当-35°≤β≤35°时，其对应的头部动作是摇头；当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；当-35°≤β≤35°时，其对应的头部动作是环视四周。
3.根据权利要求2所述的教师非言语行为测量方法，其特征在于，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
4.一种教师非言语行为测量系统，其特征在于，包括：
头部欧拉角获取模块，用于对教室进行三维建模，得到教室三维立体图；通过教学视频中每一帧的教师面部图像，在所述教室三维立体图中计算得到每一帧视频的教师头部三维坐标和教师头部欧拉角；
视线落点计算模块，用于对于教学视频中每一帧，以教师头部为原点获得教师脸部到摄像头的向量，教师脸部到摄像机的向量直接与教师头部相对于摄像机的欧拉角的旋转矩阵相乘，得到教师视觉方向向量；结合教师视觉方向向量和所述教师头部三维坐标相对位置关系，计算教师视线落点三维坐标；
头部移动检测模块，用于将教学视频按每5帧分组，分别获得每组中教师头部欧拉角的俯仰角的最大值、最小值，偏航角的最大值、最小值，以及滚转角的最大值、最小值；设定角度阈值，当教师头部欧拉角的俯仰角、偏航角和滚转角中至少有一个角满足最大值与最小值的差值大于所述角度阈值时，认定检测出教师头部移动；
视线落点可视化模块，用于将所述教师视线落点绘制在所述教室三维立体图上；
视线落点分析模块，用于计算所述教师视线落点的离散度和覆盖率；
头部移动分析模块，用于对所述教师头部移动的欧拉角的值进行解析，识别出该头部移动对应的教学行为。
5.根据权利要求4所述的教师非言语行为测量系统，其特征在于，
所述头部移动分析模块包括：
点头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当所述欧拉角满足-12°≤α≤20°时，其对应的头部动作是点头；
低头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤α≤38°时，其对应的头部动作是低头；
摇头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是摇头；
回头动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当0°≤β≤90°或-90°≤β≤0°时，其对应的头部动作是回头；
环视四周动作分析单元，用于检测连续的所述教师头部移动的欧拉角，当-35°≤β≤35°时，其对应的头部动作是环视四周。
6.根据权利要求5所述的教师非言语行为测量系统，其特征在于，所述头部移动分析模块识别教学行为时，所述点头、所述摇头和所述环视四周的教学行为是师生交流；所述回头的教学行为是讲授课程；若所述低头的视线落点在教桌，则所述低头的教学行为是讲授课程，若所述低头的视线落点在学生，则所述低头的教学行为是师生交流，否则，则所述低头的教学行为是无效教学行为。
7.一种教师非言语行为测量装置，其特征在于，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-3任一项所述的教师非言语行为测量方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-3任一项所述的教师非言语行为测量方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970746.5A CN113743263B (zh) | 2021-08-23 | 2021-08-23 | 一种教师非言语行为测量方法及系统 |
| PCT/CN2021/116819 WO2023024155A1 (zh) | 2021-08-23 | 2021-09-07 | 一种教师非言语行为测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110970746.5A CN113743263B (zh) | 2021-08-23 | 2021-08-23 | 一种教师非言语行为测量方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743263A CN113743263A (zh) | 2021-12-03 |
| CN113743263B true CN113743263B (zh) | 2024-02-13 |
Family
ID=78732331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110970746.5A Active CN113743263B (zh) | 2021-08-23 | 2021-08-23 | 一种教师非言语行为测量方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113743263B (zh) |
| WO (1) | WO2023024155A1 (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321820A (zh) * | 2019-06-24 | 2019-10-11 | 东南大学 | 一种基于非接触式设备的视线落点检测方法 |
| CN111144356A (zh) * | 2019-12-30 | 2020-05-12 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
| CN111144333A (zh) * | 2019-12-30 | 2020-05-12 | 华南师范大学 | 基于视线追踪的教师行为监测方法 |
| CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
| CN111563449A (zh) * | 2020-04-30 | 2020-08-21 | 上海交通大学 | 一种实时课堂注意力检测方法及系统 |
| CN111709358A (zh) * | 2020-06-14 | 2020-09-25 | 东南大学 | 基于课堂视频的师生行为分析系统 |
| CN112599135A (zh) * | 2020-12-15 | 2021-04-02 | 华中师范大学 | 一种教学模式分析方法及系统 |
| CN112766130A (zh) * | 2021-01-12 | 2021-05-07 | 深圳市小熊创新科技有限公司 | 一种课堂教学质量监测方法、系统、终端及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419672B (zh) * | 2008-12-03 | 2010-09-08 | 中国科学院计算技术研究所 | 一种同步采集人脸图像和注视视角的装置及方法 |
| JP6346525B2 (ja) * | 2014-08-29 | 2018-06-20 | アルプス電気株式会社 | 視線検出装置 |
| CN107292271B (zh) * | 2017-06-23 | 2020-02-14 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN110334610B (zh) * | 2019-06-14 | 2024-01-26 | 华中师范大学 | 一种基于计算机视觉的多维度课堂量化系统及方法 |
| CN111950472A (zh) * | 2020-08-14 | 2020-11-17 | 北京高思博乐教育科技股份有限公司 | 教师磨课测评方法及系统 |
-
2021
- 2021-08-23 CN CN202110970746.5A patent/CN113743263B/zh active Active
- 2021-09-07 WO PCT/CN2021/116819 patent/WO2023024155A1/zh unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
| CN110321820A (zh) * | 2019-06-24 | 2019-10-11 | 东南大学 | 一种基于非接触式设备的视线落点检测方法 |
| CN111144356A (zh) * | 2019-12-30 | 2020-05-12 | 华中师范大学 | 一种远程教学的教师视线跟随方法及装置 |
| CN111144333A (zh) * | 2019-12-30 | 2020-05-12 | 华南师范大学 | 基于视线追踪的教师行为监测方法 |
| CN111563449A (zh) * | 2020-04-30 | 2020-08-21 | 上海交通大学 | 一种实时课堂注意力检测方法及系统 |
| CN111709358A (zh) * | 2020-06-14 | 2020-09-25 | 东南大学 | 基于课堂视频的师生行为分析系统 |
| CN112599135A (zh) * | 2020-12-15 | 2021-04-02 | 华中师范大学 | 一种教学模式分析方法及系统 |
| CN112766130A (zh) * | 2021-01-12 | 2021-05-07 | 深圳市小熊创新科技有限公司 | 一种课堂教学质量监测方法、系统、终端及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Pietro Salvagnini.Learning how to teach from "Videolectures": automatic prediction of lecture ratings based on teacher's nonverbal behavior.《2012 IEEE 3rd International Conference on Cognitive Infocommunications (CogInfoCom)》.2012,全文. * |
| 周小龙 ; 汤帆扬 ; 管秋 ; 华敏 ; .基于3D人眼模型的视线跟踪技术综述.计算机辅助设计与图形学学报.2017,(第09期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023024155A1 (zh) | 2023-03-02 |
| CN113743263A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292271B (zh) | 学习监控方法、装置及电子设备 | |
| CN106228293A (zh) | 教学评估方法及系统 | |
| CN111814587A (zh) | 人体行为检测方法、教师行为检测方法及相关系统和装置 | |
| CN112861809B (zh) | 基于多目标视频分析的课堂抬头检测系统及其工作方法 | |
| CN115933930A (zh) | 教育元宇宙中学习对象的注意力分析方法、终端及装置 | |
| CN112818796B (zh) | 一种适用在线监考场景下的智能姿态判别方法和存储设备 | |
| CN113743263B (zh) | 一种教师非言语行为测量方法及系统 | |
| KR102319328B1 (ko) | 비대면 학습자의 영상 이미지를 이용하는 학습 태도 평가 방법 및 이에 사용되는 관리 서버 | |
| CN113095274A (zh) | 一种视线估计方法、系统、装置及存储介质 | |
| CN113095259A (zh) | 远程在线课程教学管理方法 | |
| CN112087590A (zh) | 图像处理方法、装置、系统及计算机存储介质 | |
| CN116502923A (zh) | 虚拟仿真教学实训平台的仿真方法及系统 | |
| CN116704401A (zh) | 操作类考试的评分校验方法、装置、电子设备及存储介质 | |
| CN116704603A (zh) | 一种基于肢体关键点分析的动作评估纠正方法及系统 | |
| KR20200056760A (ko) | 인공지능을 이용하여 교육자를 평가하고 피교육자의 교육 성취를 향상하는 시스템 및 방법 | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及系统 | |
| CN111401240B (zh) | 一种课堂注意力检测方法、装置、设备及存储介质 | |
| CN113867532A (zh) | 一种基于虚拟现实技能训练的评估系统及评估方法 | |
| CN111652045B (zh) | 课堂教学质量评估方法和系统 | |
| Chen et al. | Kinect-based behavior measurement in group discussion | |
| CN113326751A (zh) | 一种手部3d关键点的标注方法 | |
| TWI750613B (zh) | 遠距教學成效呈現系統及方法 | |
| Ooi et al. | Study on visualization of different teacher behavior based on teacher experience during trial class | |
| CN113869241B (zh) | 一种融合人脸多属性的在线学习状态分析与报警方法 | |
| Mao | Evaluation of classroom teaching effect based on facial expression recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |