CN111144356B - 一种远程教学的教师视线跟随方法及装置 - Google Patents

一种远程教学的教师视线跟随方法及装置 Download PDF

Info

Publication number
CN111144356B
CN111144356B CN201911403027.4A CN201911403027A CN111144356B CN 111144356 B CN111144356 B CN 111144356B CN 201911403027 A CN201911403027 A CN 201911403027A CN 111144356 B CN111144356 B CN 111144356B
Authority
CN
China
Prior art keywords
image information
teacher
target
face
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911403027.4A
Other languages
English (en)
Other versions
CN111144356A (zh
Inventor
杨宗凯
吴珂
宋丽梅
李昂
习江涛
吴砥
钟正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN201911403027.4A priority Critical patent/CN111144356B/zh
Publication of CN111144356A publication Critical patent/CN111144356A/zh
Application granted granted Critical
Publication of CN111144356B publication Critical patent/CN111144356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本申请提供一种远程教学的教师视线跟随方法及装置。方法包括：获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；第一图像信息包括目标教师的人脸图像，第二图像信息包括学生的图像信息；采集第一图像信息的装置和第二图像信息的显示装置均面对教师设置；对目标教师的人脸图像进行特征提取获得多个面部关键点；根据多个面部关键点和标准模型对应的面部关键点计算获得目标教师的面部姿态偏转信息；根据所面部姿态偏转信息在第二图像信息中确定目标跟随区域；目标跟随区域包括目标教师的视线所指向的学生的图像信息。本申请实施例实现了目标跟随区域根据目标教师的面部姿态的移动而对应移动，提高教师与学生之间的互动性。

Description

一种远程教学的教师视线跟随方法及装置
技术领域
本申请涉及远程教育技术领域，具体而言，涉及一种远程教学的教师视线跟随方法及装置。
背景技术
现有技术中的远程教育大多数是通过摄像机以在线实时或者离线录制的方式采集教师的讲课视频，并将讲课视频在学生端进行播放，这种方式缺乏教师与学生之间的互动性。
发明内容
本申请实施例的目的在于提供一种远程教学的教师视线跟随方法及装置，用以提高远程教学中，教师与学生的互动性。
第一方面，本申请实施例提供一种远程教学的教师视线跟随方法，包括：
获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括至少一个学生的图像信息；并且，采集所述第一图像信息的装置和所述第二图像信息的显示装置均面对教师设置；
对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；
根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息；
根据所述面部姿态偏转信息在所述第二图像信息中确定目标跟随区域；其中，所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息。
本申请实施例通过根据目标教师多个面部关键点和标准模型对应的面部关键点确定目标教师的面部姿态偏转信息，然后根据面部姿态偏转信息确定第二图像信息中的目标跟随区域，从而实现了目标跟随区域根据目标教师的面部姿态的移动而对应移动，由于第二图像信息中显示的是学生的图像，因此能够提高教师与学生之间的互动性。
进一步地，在获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息和对所述目标教师的人脸图像进行特征提取之前，所述方法还包括：
对所述第一图像信息进行人脸检测，并用标注框框选出所述第一图像信息中的人脸；
选择面积最大的标注框对应的人脸作为所述目标教师的人脸图像。
本申请实施例通过对第一图像信息中的人脸进行检测，以获得目标教师。
进一步地，所述对所述目标教师的人脸图像进行特征提取，获得多个面部关键点，包括：
采用基于回归树的人脸对齐方法对所述目标教师的人脸图像进行特征提取，获得多个初始特征点；
对多个初始特征点进行筛选，获得所述多个面部关键点；其中，多个面部关键点包括左眼的左眼角、右眼的右眼角、鼻尖、左嘴角、右嘴角和下颌分别对应的关键点。
本申请实施例通过从多个初始特征点中选取多个面部关键点，从而能够通过多个面部关键点准确地确定目标教师的面部姿态偏转信息。
进一步地，所述标准模型包括与所述面部关键点相对应的多个标准关键点，所述根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息，包括：
根据所述标准关键点和所述面部关键点，计算获得所述标准模型到所述目标教师的人脸图像的旋转向量；
根据所述旋转向量获得所述目标教师的面部姿态偏转欧拉角。
本申请实施例通过根据标准关键点和目标教师的面部关键点计算获得面部姿态偏转欧拉角，从而准确地确定了目标教师的面部位置，进而能够准确获知目标教师当前视线指向第二图像信息中的哪个学生。
进一步地，所述根据所述标准关键点和所述面部关键点计算获得所述目标教师的旋转向量，包括：
将所述标准模型对应的标准关键点的二维投影与所述面部关键点重合，获得所述标准模型到所述目标教师的人脸图像的旋转向量。
本申请实施例通过利用标准模型的标准关键点的二维投影作为标准，来判断目标教师的面部姿态，从而能够准确地确定目标教师的面部姿态偏转信息。
进一步地，所述根据所述旋转向量获得所述目标教师的面部姿态偏转欧拉角，包括：
根据第一公式计算所述旋转向量对应的旋转矩阵，其中，所述第一公式为：
Figure GDA0002758677860000031
R为所述旋转矩阵；θ为所述旋转向量；I为单位矩阵；n为所述旋转向量的单位向量；
根据所述旋转矩阵和第二公式计算获得所述目标教师的面部姿态偏转欧拉角(θx,θy,θz)，其中，所述第二公式为：
Figure GDA0002758677860000041
θx为目标教师的人脸图像相对于x轴的偏转角度；θy为目标教师的人脸图像相对于y轴的偏转角度θz为目标教师的人脸图像相对于z轴的偏转角度。
进一步地，所述第二图像信息包括滑动框，所述根据所述面部姿态偏转欧拉角在所述第二图像信息中确定目标跟随区域，包括：
根据所述面部姿态偏转欧拉角确定所述滑动框的中心点在所述第二图像信息中的位置信息；
根据所述位置信息确定所述目标跟随区域。
本申请实施例通过面部姿态偏转欧拉角确定目标跟随区域，以获得目标教师的视线所指向的学生，提高了教师与学生之间的互动性。
进一步地，所述根据所述面部姿态偏转欧拉角确定所述滑动框的中心点在所述第二图像信息中的位置信息，包括：
利用第三公式计算获得所述滑动框的中心点在所述第二图像信息中的位置信息；其中，第三公式为：
Figure GDA0002758677860000042
k为所述滑动框的中心点在所述第二图像信息中的横坐标；t为所述滑动框的中心点在所述第二图像信息中的纵坐标；w为所述第二图像信息对应的长度；h为所述第二图像信息对应的宽度。
本申请实施例通过面部姿态偏转欧拉角确定目标跟随区域，以获得目标教师的视线所指向的学生，提高了教师与学生之间的互动性。
进一步地，在根据所述面部姿态偏转欧拉角在所述第二图像信息中确定目标跟随区域后，所述方法还包括：
将所述目标跟随区域对应的图像进行放大，并显示所述目标跟随区域中的学生的信息。
本申请实施例通过将目标跟随区域中的学生的信息进行放大，使得目标教师获知其视线所指向的学生的信息，提高了教师与学生的互动性。
第二方面，本申请实施例提供一种远程教学的教师视线跟随装置，包括：
图像获取模块，用于获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括多个学生的图像信息；
特征提取模块，用于对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；
姿态确定模块，用于根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转欧拉角；
目标区域确定模块，用于根据所述面部姿态偏转欧拉角在所述第二图像信息中确定目标跟随区域；所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的教师端讲课环境示意图；
图2为本申请实施例提供的远程教学的教师视线跟随方法流程示意图；
图3为本申请实施例提供的第二图像信息示意图；
图4为本申请实施例提供的装置结构示意图；
图5为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
在介绍本申请实施例提供的远程教学的教师视线跟随方法之前，为了便于理解，先介绍本申请的一个应用场景。对于远程教学来说，教师跟学生并不是面对面的，而是可能教师在一个城市，学生在另一个城市。在教师端和学生端分别设置有图像显示装置，该图像显示装置可以是液晶屏也可以是投影仪的幕布。在教师端的图像显示装置中显示的可以是学生端上课的情况，即显示的上课堂上的学生图像；在学生端显示的是教师的讲课的课件，也可以包括教师。另外，在学生端和教师端均设置有图像采集装置，学生端的图像采集装置用于采集学生上课情况，获得第二图像信息，并将第二图像信息传输至教师端的图像显示装置中；在教师端的图像采集装置可以设置在图像显示装置上，该图像采集装置用于采集教师的图像。采集到的教师的图像有两种用途，一种是将教师上课的情况发送给学生端，以供学生同步观看教师的讲课视频，另一种是获取教师的面部姿态偏转信息，以确定教师的视线锁定在哪个学生身上。应当说明的是，在教师端可以设定两个摄像头，一个摄像头用于采集教师的讲课视频，另一个摄像头采集教师的面部姿态偏转信息。还可以更定更多个摄像头，本申请实施例对摄像头的个数不作具体限定。图1为本申请实施例提供的教师端讲课环境示意图，如图1所示。图像采集装置采集到教师的第一图像信息后，从第一图像信息中确定目标教师，然后根据目标教师的面部姿态确定目标教师的视线聚焦在第二图像信息(即学生端的图像)中的哪个学生。
应当说明的是，图1中图像采集装置与图像显示装置的位置只是一种示例，具体位置可以根据实际情况进行设定，本申请实施例对此不作具体限定。
图2为本申请实施例提供的远程教学的教师视线跟随方法流程示意图，如图2所示，执行该方法的主体为跟随装置，该跟随装置可以为台式电脑、笔记本电脑、平板电脑、智能手机、智能穿戴设备等电子设备，该方法包括：
步骤201：获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括至少一个学生的图像信息；并且，采集所述第一图像信息的装置和所述第二图像信息的显示装置均面对教师设置；
步骤202：对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；
步骤203：根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息；
步骤204：根据所述面部姿态偏转信息在所述第二图像信息中确定目标跟随区域；其中，所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息。
下面对上述步骤201-步骤204进行详细介绍。
在步骤201中，教师端对应的第一图像信息是通过设置在教师端的图像采集装置采集获得的教师讲课的图像信息，该第一图像信息中包含有目标教师的人脸图像，当然，也可以包括其他人的人脸图像。学生端对应的第二图像信息可以由如下方式获得：第一种，所有的学生坐在一个教室中，通过一个或多个图像采集装置对教室里的学生进行图像采集，对于一个图像采集装置来说，该图像采集装置采集获得的图像即为第二图像信息；对于多个图像采集装置分片采集的情况，将多个图像采集装置分别采集获得的图像进行融合或拼接得到第二图像信息。第二种，每个学生坐在自己家中，每个学生处均设置有一个图像采集装置，将每个学生对应的图像采集装置采集获得的图像进行拼接或融合获得第二图像信息。跟随装置可以从教师端的图像采集装置中获取第一图像信息，从学生端的图像采集装置中获取与教师端同一时刻下的第二图像信息。应当说明的是，可能由于通信质量或其他原因导致学生端的图像采集装置采集到学生端的第二图像信息后，将第二图像信息传输至教师端的图像显示装置上会有延迟，因此，本申请实施例中的同一时刻可以不是绝对的时间相同，前后相差几秒都可以称为同一时刻。另外，学生端的图像采集装置采集到的第二图像信息也会同步至教师端的图像显示装置上。
在步骤202中，从第一图像信息中确定出目标教师的人脸图像，并对目标教师的人脸图像进行特征提取，以获得的多个面部关键点。
在步骤203中，根据目标教师的多个面部关键点预先构建标准模型，从而构建获得的标准模型中也包括上述多个面部关键点。其中，标准模型可以看作是一个标准的三维面部模型，将标准模型上的多个面部关键点作为初始点，从而可以根据目标教师的多个面部关键点和标准模型对应的面部关键点来确定出目标教师在当前时刻的面部姿态偏转信息。可以理解的是，面部姿态偏转信息是指目标教师的面部相对于初始点来说偏转的情况。
在步骤204中，跟随装置与教师端显示第二图像信息的图像显示装置通信，在图像显示装置中显示有一个预设大小的框，框内部的区域被称为目标跟随区域，跟随装置可以控制框所在图像显示装置中的位置。并且，跟随装置可以根据目标教师的面部姿态偏转信息来确定框所在图像显示装置中的位置。从而跟随装置根据目标教师的面部姿态偏转信息可以获知目标教师当前的视线所指向第二图像信息中的哪个位置，然后将框移动到该位置处。由于第二图像信息中显示的是学生的图像，因此，目标跟随区域中包括目标教师的视线所指向的学生的图像信息。
可以理解的是，本申请实施例中的目标教师处于直视状态，当目标教师处于直视状态时，才能够根据教师面部姿态偏转信息来确定目标教师的视线锁定的位置。
本申请实施例通过根据目标教师多个面部关键点和标准模型对应的面部关键点确定目标教师的面部姿态偏转信息，然后根据面部姿态偏转信息确定第二图像信息中的目标跟随区域，从而实现了目标跟随区域根据目标教师的面部姿态的移动而对应移动，由于第二图像信息中显示的是学生的图像，因此能够提高教师与学生之间的互动性。
在上述实施例的基础上，在获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息和对所述目标教师的人脸图像进行特征提取之前，所述方法还包括：
对所述第一图像信息进行人脸检测，并用标注框框选出所述第一图像信息中的人脸；
选择面积最大的标注框对应的人脸作为所述目标教师的人脸图像。
在具体的实施过程中，第一图像信息中可能只包含目标教师一个人脸图像，也可能包含多个人脸图像，因此，需要对第一图像信息进行人脸检测，并用标注框将一个个人脸框起来。
应当说明的是，通常使用卷积神经网络模型对第一图像信息进行人脸检测，例如：cascadeCNN，多任务卷积神经网络(Multi-task convolutional neural network，MTCNN)等。
以MTCNN为例：MTCNN由三个神经网络组成，分别是P-Net、R-Net和0-Net。在使用这些网络之前，首先要将原始图片缩放到不同尺度，形成一个“图像金字塔”。接着会对每个尺度的图片通过神经网络计算一遍。这样做的原因在于：原始图片中的人脸存在不同的尺度，如有的人脸比较大，有的人脸比较小。对于比较小的人脸，可以在放大后的图片上检测；对于比较大的人脸，可以在缩小后的图片上检测。这样，就可以在统一的尺度下检测人脸了。
P-Net是一个全卷积网络，通过浅层的卷积神经网络(Convolutional NeuralNetwork，CNN)用来生成候选区域。使用边框回归(Bounding box regression)和非极大值抑制(NMS)来过滤并校正候选区域。
N-Net对候选区域进行调整。将通过P-Net的候选窗输入R-Net中，拒绝掉大部分效果比较差的候选区域，使用Bounding box regression和NMS进一步优化候选区域。
O-Net是一个较为复杂的卷积神经网络。O-Net输出最终的人脸框。
在将第一图像信息中的人脸用标注框进行框起来后，选择面积最大的标注框作为对应的人脸作为目标教师的人脸图像。其中，标注框可以是矩形、圆形或者其他形状，面积最大可以理解为标注框内的像素点最多。
本申请实施例通过人脸检测的方法检测出第一图像信息中的人脸，并将所占面积最大的人脸作为目标教师的人脸，从而能够准确的获得目标教师的面部图像。
在上述实施例的基础上，所述对所述目标教师的人脸图像进行特征提取，获得多个面部关键点，包括：
采用基于回归树的人脸对齐方法对所述目标教师的人脸图像进行特征提取，获得多个初始特征点；
对多个初始特征点进行筛选，获得所述多个面部关键点；其中，多个面部关键点包括左眼的左眼角、右眼的右眼角、鼻尖、左嘴角、右嘴角和下颌分别对应的关键点。
在具体的实施过程中，人脸识别按顺序可以大体上分为四个部分，即人脸检测、人脸对齐、人脸校验和人脸识别。人脸对齐就是在已经检测到的人脸的基础上，自动找到人脸上的眼睛鼻子嘴和脸轮廓等标志性特征位置。在进行人脸对齐时，可以采用基于回归树的人脸对齐方法，即通过建立一个级联的残差回归树(GBDT)来使人脸形状从当前形状一步一步回归到真实形状。每一个GBDT的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差加到改输入上，起到回归的目的，最终将所有残差叠加在一起，就完成了人脸对齐的目的。
通过基于回归树的人脸对齐方法可以获得目标教师的人脸图像中多个初始特征点，例如可以获得68个初始特征点，并且，这68个初始特征点分布在目标教师面部的眼睛、鼻子、嘴巴、下颌等部位。
对68个初始特征点进行筛选，获得多个面部关键点，例如：可以从68个初始特征点中筛选6个面部关键点，这6个面部关键点分别位于左眼的左眼角、右眼的右眼角、鼻尖、左嘴角、右嘴角和下颌。通过多个面部关键点可以确定目标教师的面部位置。
本申请实施例通过对多个初始特征点进行筛选，获得较少个具有标志性的面部关键点，从而在保证准确获得目标教师的面部姿态偏转信息的同时，降低了计算量，提高了处理效率。
在上述实施例的基础上，所述标准模型包括与所述面部关键点相对应的多个标准关键点，所述根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息，包括：
根据所述标准关键点和所述面部关键点，计算获得所述标准模型到所述目标教师的人脸图像的旋转向量；
根据所述旋转向量获得所述目标教师的面部姿态偏转欧拉角。
在具体的实施过程中，将标准模型作为目标教师的初始状态，因此，可以根据标准模型上的标准关键点以及目标教师对应的面部关键点来计算目标教师的面部相对于标准模型旋转了多少，即旋转向量。该旋转向量既包括目标教师的面部在水平方向的旋转角度，又包括在竖直方向的旋转角度。根据旋转向量即可获得目标教师的面部姿态偏转欧拉角。
其中，在计算旋转向量时，将标准模型对应的标准关键点的二维投影与面部关键点重合，获得从标准模型到目标教师的人脸图像中的向对应关系，即旋转向量。可以理解的是，还可以获得平移向量。
在获得到旋转向量后，可以根据第一公式计算所述旋转向量对应的旋转矩阵，其中，第一公式为：
Figure GDA0002758677860000131
R为旋转矩阵；θ为旋转向量；I为单位矩阵；n为旋转向量的单位向量。
在获得旋转矩阵之后，根据旋转矩阵和第二公式计算获得目标教师的面部姿态偏转欧拉角(θx,θy,θz)，其中，第二公式为：
Figure GDA0002758677860000132
θx为目标教师的人脸图像相对于x轴的偏转角度；θy为目标教师的人脸图像相对于y轴的偏转角度θz为目标教师的人脸图像相对于z轴的偏转角度。应当说明的是，通过第二公式可以反映出目标教师的实际面部的偏转角度。
本申请实施例通过上述计算能够准确的获得目标教师的面部姿态情况。
在上述实施例的基础上，所述根据所述面部姿态偏转欧拉角确定所述滑动框的中心点在所述第二图像信息中的位置信息，包括：
利用第三公式计算获得所述滑动框的中心点在所述第二图像信息中的位置信息；其中，第三公式为：
Figure GDA0002758677860000133
k为所述滑动框的中心点在所述第二图像信息中的横坐标；t为所述滑动框的中心点在所述第二图像信息中的纵坐标；w为所述第二图像信息对应的长度；h为所述第二图像信息对应的宽度。
在具体的实施过程中，在第二图像信息中定义一个滑动框，该滑动框可以是矩形框，也可以是圆形、正方形等。本申请实施例以矩形框为例，滑动框的初始中心点位于第二图像信息的中心。例如：若第二图像信息的长为w，宽为h，其中，w和h的单位都是像素，初始状态时，滑动框的初始中心点坐标为(w/2,h/2)。另外，滑动框的大小可以根据实际情况预先设定，也可以根据第二图像信息的大小进行设定，例如：滑动框的长可以为第二图像信息长的1/10，宽为第二图像信息宽的1/10，其大小也可以是刚好能够框住第二图像信息中一个学生的大小。
在确定滑动框的初始中心位置后，可以根据上述第三公式计算获得第一图像信息中的目标教师的面部姿态对应的滑动框位置。从而实现目标教师的面部的不同角度位置的移动，滑动框在第二图像信息中对应移动。如图3所示，图中包括的多个学生，虚线矩形框为根据目标教师的面部姿态确定的目标跟随区域。
本申请实施例通过面部姿态偏转欧拉角确定目标跟随区域，以获得目标教师的视线所指向的学生，提高了教师与学生之间的互动性。
在上述实施例的基础上，在根据所述面部姿态偏转欧拉角在所述第二图像信息中确定目标跟随区域后，所述方法还包括：
将所述目标跟随区域对应的图像进行放大，并显示所述目标跟随区域中的学生的信息。
在具体的实施过程中，在对目标跟随区域中的图像进行放大时，可以采用双三次像素插值的方法对滑动框中图片部分进行放大。若目标跟随区域中包括一个学生，那么将该学生的信息显示，若目标跟随区域中包括了多个学生，那么可以将占有像素点个数最多的学生的信息进行显示。其中，学生的信息可以是预先录入信息资料库的学生资料信息，例如包括：姓名、年龄、班级排名等信息。
本申请实施例的远程教学场景中，使用摄像头实时跟随教师的视线方向，通过人脸姿态估计技术获取远程教师头部姿态位置信息，跟随教师视线。获得教师脸部朝向的角度信息后，结合学生端教室内实时信息，将实时视频传送给远程的教师，结合人脸识别技术、面部表情追踪技术和学生信息资料库查询技术，实时了解另一端远程教室中学生的实时状态。并且视线跟随方法实现对于某一区域的视频图像放大，实现对于某一指定学生的调取放大和资料显示，使远程教学场景实现逼真化，使教师与学生进行实时教学，实现面对面的感觉，增强互动性，实现情景交互的浑然一体。
图4为本申请实施例提供的装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图2方法实施例对应，能够执行图2方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括：图像获取模块401、特征提取模块402、姿态确定模块403和目标区域确定模块404；其中：
图像获取模块401用于获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括多个学生的图像信息；特征提取模块402用于对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；姿态确定模块403用于根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转欧拉角；目标区域确定模块404用于根据所述面部姿态偏转欧拉角在所述第二图像信息中确定目标跟随区域；所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息。
在上述实施例的基础上，该装置还包括：人脸检测模块，用于：
对所述第一图像信息进行人脸检测，并用标注框框选出所述第一图像信息中的人脸；
选择面积最大的标注框对应的人脸作为所述目标教师的人脸图像。
在上述实施例的基础上，特征提取模块402具体用于：
采用基于回归树的人脸对齐方法对所述目标教师的人脸图像进行特征提取，获得多个初始特征点；
对多个初始特征点进行筛选，获得所述多个面部关键点；其中，多个面部关键点包括左眼的左眼角、右眼的右眼角、鼻尖、左嘴角、右嘴角和下颌分别对应的关键点。
在上述实施例的基础上，所述标准模型包括与所述面部关键点相对应的多个标准关键点，姿态确定模块403具体用于：
根据所述标准关键点和所述面部关键点，计算获得所述标准模型到所述目标教师的人脸图像的旋转向量；
根据所述旋转向量获得所述目标教师的面部姿态偏转欧拉角。
在上述实施例的基础上，姿态确定模块403具体用于：
将所述标准模型对应的标准关键点的二维投影与所述面部关键点重合，获得所述标准模型到所述目标教师的人脸图像的旋转向量。
在上述实施例的基础上，姿态确定模块403具体用于：
根据第一公式计算所述旋转向量对应的旋转矩阵，其中，所述第一公式为：
Figure GDA0002758677860000161
R为所述旋转矩阵；θ为所述旋转向量；I为单位矩阵；n为所述旋转向量的单位向量；
根据所述旋转矩阵和第二公式计算获得所述目标教师的面部姿态偏转欧拉角(θx,θy,θz)，其中，所述第二公式为：
Figure GDA0002758677860000162
θx为目标教师的人脸图像相对于x轴的偏转角度；θy为目标教师的人脸图像相对于y轴的偏转角度θz为目标教师的人脸图像相对于z轴的偏转角度。
在上述实施例的基础上，目标区域确定模块404具体用于：
根据所述面部姿态偏转欧拉角确定所述滑动框的中心点在所述第二图像信息中的位置信息；
根据所述位置信息确定所述目标跟随区域。
在上述实施例的基础上，目标区域确定模块404具体用于：
利用第三公式计算获得所述滑动框的中心点在所述第二图像信息中的位置信息；其中，第三公式为：
Figure GDA0002758677860000171
k为所述滑动框的中心点在所述第二图像信息中的横坐标；t为所述滑动框的中心点在所述第二图像信息中的纵坐标；w为所述第二图像信息对应的长度；h为所述第二图像信息对应的宽度。
在上述实施例的基础上，装置还包括信息显示模块，用于：
将所述目标跟随区域对应的图像进行放大，并显示所述目标跟随区域中的学生的信息。
综上所述，本申请实施例通过目标教师的面部偏转信息从而确定目标教师的视线指向第二图像信息中的具体位置，从而实现了目标教师与其看向的学生之间的互动，提高了互动性。
图5为本申请实施例提供的电子设备实体结构示意图，如图5所示，所述电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；其中，
所述处理器501和存储器502通过所述总线503完成相互间的通信；
所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括至少一个学生的图像信息；并且，采集所述第一图像信息的装置和所述第二图像信息的显示装置均面对教师设置；对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息；根据所述面部姿态偏转信息在所述第二图像信息中确定目标跟随区域；其中，所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息。
处理器501可以是一种集成电路芯片，具有信号处理能力。上述处理器501可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器502可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括至少一个学生的图像信息；并且，采集所述第一图像信息的装置和所述第二图像信息的显示装置均面对教师设置；对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息；根据所述面部姿态偏转信息在所述第二图像信息中确定目标跟随区域；其中，所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括至少一个学生的图像信息；并且，采集所述第一图像信息的装置和所述第二图像信息的显示装置均面对教师设置；对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息；根据所述面部姿态偏转信息在所述第二图像信息中确定目标跟随区域；其中，所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种远程教学的教师视线跟随方法，其特征在于，包括：
获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括至少一个学生的图像信息；并且，采集所述第一图像信息的装置和所述第二图像信息的显示装置均面对教师设置；
对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；
根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息；
根据所述面部姿态偏转信息在所述第二图像信息中确定目标跟随区域；其中，所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息；
所述标准模型包括与所述面部关键点相对应的多个标准关键点，所述根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转信息，包括：
根据所述标准关键点和所述面部关键点，计算获得所述标准模型到所述目标教师的人脸图像的旋转向量；
根据所述旋转向量获得所述目标教师的面部姿态偏转欧拉角；
所述根据所述旋转向量获得所述目标教师的面部姿态偏转欧拉角，包括：
根据第一公式计算所述旋转向量对应的旋转矩阵，其中，所述第一公式为：
Figure FDA0002797758440000011
R为所述旋转矩阵；θ为所述旋转向量的模长，表示旋转角度；I为单位矩阵；n为所述旋转向量的单位向量；
根据所述旋转矩阵和第二公式计算获得所述目标教师的面部姿态偏转欧拉角(θx,θy,θz)，其中，所述第二公式为：
Figure FDA0002797758440000021
θx为目标教师的人脸图像相对于x轴的偏转角度；θy为目标教师的人脸图像相对于y轴的偏转角度；θz为目标教师的人脸图像相对于z轴的偏转角度；
所述第二图像信息包括滑动框，所述根据所述面部姿态偏转欧拉角在所述第二图像信息中确定目标跟随区域，包括：
根据所述面部姿态偏转欧拉角确定所述滑动框的中心点在所述第二图像信息中的位置信息；
根据所述位置信息确定所述目标跟随区域；
所述根据所述面部姿态偏转欧拉角确定所述滑动框的中心点在所述第二图像信息中的位置信息，包括：
利用第三公式计算获得所述滑动框的中心点在所述第二图像信息中的位置信息；其中，第三公式为：
Figure FDA0002797758440000022
k为所述滑动框的中心点在所述第二图像信息中的横坐标；t为所述滑动框的中心点在所述第二图像信息中的纵坐标；w为所述第二图像信息对应的长度；h为所述第二图像信息对应的宽度。
2.根据权利要求1所述的方法，其特征在于，在获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息和对所述目标教师的人脸图像进行特征提取之前，所述方法还包括：
对所述第一图像信息进行人脸检测，并用标注框框选出所述第一图像信息中的人脸；
选择面积最大的标注框对应的人脸作为所述目标教师的人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述目标教师的人脸图像进行特征提取，获得多个面部关键点，包括：
采用基于回归树的人脸对齐方法对所述目标教师的人脸图像进行特征提取，获得多个初始特征点；
对多个初始特征点进行筛选，获得所述多个面部关键点；其中，多个面部关键点包括左眼的左眼角、右眼的右眼角、鼻尖、左嘴角、右嘴角和下颌分别对应的关键点。
4.根据权利要求1所述的方法，其特征在于，所述根据所述标准关键点和所述面部关键点计算获得所述目标教师的旋转向量，包括：
将所述标准模型对应的标准关键点的二维投影与所述面部关键点重合，获得所述标准模型到所述目标教师的人脸图像的旋转向量。
5.一种远程教学的教师视线跟随装置，其特征在于，包括：
图像获取模块，用于获取同一时刻下教师端对应的第一图像信息和学生端对应的第二图像信息；其中，所述第一图像信息包括目标教师的人脸图像，所述第二图像信息包括多个学生的图像信息；
特征提取模块，用于对所述目标教师的人脸图像进行特征提取，获得多个面部关键点；
姿态确定模块，用于根据所述多个面部关键点和标准模型对应的面部关键点计算获得所述目标教师的面部姿态偏转欧拉角；
目标区域确定模块，用于根据所述面部姿态偏转欧拉角在所述第二图像信息中确定目标跟随区域；所述目标跟随区域包括所述目标教师的视线所指向的学生的图像信息；
所述标准模型包括与所述面部关键点相对应的多个标准关键点，所述姿态确定模块具体用于：
根据所述标准关键点和所述面部关键点，计算获得所述标准模型到所述目标教师的人脸图像的旋转向量；
根据所述旋转向量获得所述目标教师的面部姿态偏转欧拉角；
所述姿态确定模块具体用于：
根据第一公式计算所述旋转向量对应的旋转矩阵，其中，所述第一公式为：
Figure FDA0002797758440000041
R为所述旋转矩阵；θ为所述旋转向量的模长，表示旋转角度；I为单位矩阵；n为所述旋转向量的单位向量；
根据所述旋转矩阵和第二公式计算获得所述目标教师的面部姿态偏转欧拉角(θx,θy,θz)，其中，所述第二公式为：
Figure FDA0002797758440000042
θx为目标教师的人脸图像相对于x轴的偏转角度；θy为目标教师的人脸图像相对于y轴的偏转角度；θz为目标教师的人脸图像相对于z轴的偏转角度；
所述第二图像信息包括滑动框，所述目标区域确定模块具体用于：
根据所述面部姿态偏转欧拉角确定所述滑动框的中心点在所述第二图像信息中的位置信息；
根据所述位置信息确定所述目标跟随区域；
所述目标区域确定模块具体用于：
利用第三公式计算获得所述滑动框的中心点在所述第二图像信息中的位置信息；其中，第三公式为：
Figure FDA0002797758440000051
k为所述滑动框的中心点在所述第二图像信息中的横坐标；t为所述滑动框的中心点在所述第二图像信息中的纵坐标；w为所述第二图像信息对应的长度；h为所述第二图像信息对应的宽度。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-4任一项所述的方法。
CN201911403027.4A 2019-12-30 2019-12-30 一种远程教学的教师视线跟随方法及装置 Active CN111144356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403027.4A CN111144356B (zh) 2019-12-30 2019-12-30 一种远程教学的教师视线跟随方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403027.4A CN111144356B (zh) 2019-12-30 2019-12-30 一种远程教学的教师视线跟随方法及装置

Publications (2)

Publication Number Publication Date
CN111144356A CN111144356A (zh) 2020-05-12
CN111144356B true CN111144356B (zh) 2021-01-05

Family

ID=70522266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403027.4A Active CN111144356B (zh) 2019-12-30 2019-12-30 一种远程教学的教师视线跟随方法及装置

Country Status (1)

Country Link
CN (1) CN111144356B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914630A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111914629A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN113141464B (zh) * 2021-04-20 2023-04-18 北京安博盛赢教育科技有限责任公司 摄像头的控制方法、装置、介质和电子设备
CN113743263B (zh) * 2021-08-23 2024-02-13 华中师范大学 一种教师非言语行为测量方法及系统
CN113936512B (zh) * 2021-12-17 2022-03-01 正方软件股份有限公司 高校远程教学方法和系统
CN117152688A (zh) * 2023-10-31 2023-12-01 江西拓世智能科技股份有限公司 一种基于人工智能的智慧课堂行为分析方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921969B1 (ko) * 2012-02-01 2018-11-28 한국전자통신연구원 차량용 증강현실 헤드업 디스플레이 장치 및 방법
JP6346525B2 (ja) * 2014-08-29 2018-06-20 アルプス電気株式会社 視線検出装置
JP6551377B2 (ja) * 2016-12-15 2019-07-31 トヨタ自動車株式会社 車両用注意喚起装置
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及系统
CN107193383B (zh) * 2017-06-13 2020-04-07 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN109657553B (zh) * 2018-11-16 2023-06-20 江苏科技大学 一种学生课堂注意力检测方法
CN109697682A (zh) * 2019-01-21 2019-04-30 武汉迈辽网络科技有限公司 一种基于移动智能终端的在线教育系统

Also Published As

Publication number Publication date
CN111144356A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111144356B (zh) 一种远程教学的教师视线跟随方法及装置
CN106791485B (zh) 视频的切换方法及装置
US20230132407A1 (en) Method and device of video virtual background image processing and computer apparatus
CN111242962A (zh) 远程培训视频的生成方法、装置、设备及存储介质
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
WO2022156622A1 (zh) 脸部图像的视线矫正方法、装置、设备、计算机可读存储介质及计算机程序产品
US20240015340A1 (en) Live streaming picture processing method and apparatus based on video chat live streaming, and electronic device
CN114097248B (zh) 一种视频流处理方法、装置、设备及介质
US10567649B2 (en) Parallax viewer system for 3D content
CN106713740B (zh) 定位跟踪摄像方法与系统
CN110298569B (zh) 基于眼动识别的学习评价方法及装置
CN111008542A (zh) 对象专注度分析方法、装置、电子终端及存储介质
CN112036257A (zh) 一种无感知人脸图像采集方法和系统
CN112818933A (zh) 目标对象的识别处理方法、装置、设备及介质
CN113705349A (zh) 一种基于视线估计神经网络的注意力量化分析方法及系统
CN111967350A (zh) 远程课堂专注度分析方法、装置、计算机设备及存储介质
CN114387679A (zh) 基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法
CN111105487B (zh) 一种虚拟教师系统中的面部合成方法及装置
CN112288876A (zh) 远距离ar识别服务器及系统
CN114222065B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
WO2022070747A1 (ja) アシストシステム、アシスト方法、およびアシストプログラム
CN115065782A (zh) 一种场景采集方法、采集装置、摄像设备及存储介质
Mehrubeoglu et al. Capturing reading patterns through a real-time smart camera iris tracking system
CN113554046A (zh) 图像处理方法和系统、存储介质及计算设备
JP6539624B2 (ja) 視線一致顔画像合成方法、テレビ会議システム、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant