CN106778658B - 基于课堂场景及学习者视线分析学习者注意力的方法 - Google Patents

Abstract

本发明公开一种基于课堂场景及学习者视线分析学习者注意力的方法，首先采用图像增强技术对于课堂实时采集图像进行预处理，此后采用背景建模法对授课场景进行分析，提取出课堂场景中可能的感兴趣区域，同时对学生采集图像的颜色特征进行分析，确定学习者面部位置，通过Gabor滤波器获取眼部位置并对其眼动情况分析判定其视线，通过课堂场景中的感兴趣区域位置结合学习者视线判定学习者注意力是否集中。实时性高，可根据学生的眼动情况对课堂中内容进行有效的变换，实时生成对应学习策略。

Description

基于课堂场景及学习者视线分析学习者注意力的方法

技术领域

本发明涉及机器视觉方法及教育学理论，尤其是一种实时性高、基于课堂场景及学习者视线分析学习者注意力的方法。

背景技术

随着教育模式以及电子教学平台的丰富，自动地判定学习者注意力状态，从而更加智能的根据学习者自身生理、智力特点生成学习策略，显得尤为重要。传统教育者对于学习者注意力状态的检测与分析主要依靠学习者视线的变换情况，分析的效果与教育者的教育经验及能力紧密联系，缺乏统一的量化或者评判标准，当学习者众多时，教育者往往就不能估计所有学生。目前已有的解决方法主要针对学习者使用数字界面时的眼动情况进行分析，但是并没有结合课堂场景，即并不能根据学生的眼动情况对课堂中内容进行有效的变换，不能实时生成对应学习策略。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种一种实时性高、基于课堂场景及学习者视线分析学习者注意力的方法。

本发明的技术解决放案是：一种基于课堂场景及学习者视线分析学习者注意力的方法，按如下步骤进行：

a. 启动系统；

b. 设置拍摄教学区域的摄像机A，初始化摄像机A；

设摄像机A获取的视频帧图像为Image1，Image1的长为l1个像素，宽为w1个像素，摄像机A所照射区域的长为L1米，宽为W1米；

c. 设置拍摄学生所在区域的摄像机B，初始化摄像机B；

设摄像机2获取的视频帧图像为Image2，Image2的长为l2个像素，宽为w2个像素，摄像头机B所照射区域的长为L2米，宽为W2米；

d. 设i为摄像机A拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image1图像，记为Image1_i，i=1，6，11，16……n，对Image1_i进行双背景建模提取前景图像；

保留提取的前景图像内容，其余背景内容置零，保存前景图像结果图，记为Fimage_i;

计算Fimage_i所有非零内容的坐标的均值，记为（x_fcenteri,y_fcenteri）；

计算摄像机A照射区域的面积与图像Image1大小的比值，记为ratio1，

；

e. 设j为摄像机B拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image2图像，记为Image2_j，j=1，6，11，16……n，对Image2_j依次按照如下步骤处理：

e.1 将Image2_j由RGB颜色空间转为YcbCr颜色空间，转换公式为：

Y= 0.299*R + 0.587*G + 0.114*B，Cb=-0.1687*R-0.3313*G+0.5000*B+128，设Cb色调在130~170之间的内容作为常见的人脸色调，对整幅图像搜索，如果像素点Cb值小于170且大于130则置保存，否则置0，将上述结果反变换回RGB颜色空间并保存，

设为Image2_j-face；

e.2 生成两个规模为11*11的二维数组Array_x和Array_y，数组Array_x中每一行的值都为[-5,-4,-3,-2,-1,0,1,2,3,4,5]，数组Array_y中每一列的值都为[-5,-4,-3,-2,-1,0,1,2,3,4,5]，对Array_x，Array_y分别乘以方向参数theta以生成方向模板Direct_x和Direct_y，Direct_x= Array_x*cos(theta) + Array_y*sin(theta)，Direct_y= Array_x*cos(theta) +Array_y*sin(theta)，

所述方向参数theta为要生成Gabor滤波器的角度，生成水平Gabor滤波器Gabor_x时theta为0，生成竖直Gabor滤波器Gabor_y时theta为

, 按照如下公式：

，sigma设置为3，分别生成水平Gabor滤波器Gabor_x 和竖直Gabor滤波器Gabor_y；

e.3采用水平和竖直方向的Gabor滤波器Gabor_x和Gabor_y分别对Image2_j-face进行卷积操作，得到的结果为第j帧图像中眼部图像区域，记为Image2_j-eye；

e.4 对Image2_{j- eye}进行逐行扫描，计算两只眼睛的外包围盒：设图像中左眼外包围盒的左上角为（x1_{left j}，y1_{left j}），右下角为（x1_{right j}，y1_{right j}），设图像中右眼外包围盒的左上角为（x2_{left j}，y2_{left j}），右下角为（x2_{right j}，y2_{right j}），计算两个眼睛的中心坐标并保存，左眼的中心坐标为（x1_{center j}，y1_{center j}），

，

；右眼的中心坐标为

，

，

；

e.5计算摄像机B照射区域的面积与图像Image2大小的比值，设为ratio2，

;

f. 从i=1，j=1起，获取（x_fcentri+5,y_fcenteri+5）并保存为（x_fcentri,y_fcenteri），获取人眼的中心坐标（x1_centerj+5，y1_centerj+5）和（x2_centerj+5，y2_centerj+5），保存为（x1_centerj，y1_centerj）和（x2_centerj，y2_centerj），计算（x_fcentri+5,y_fcenteri+5）与（x_fcentri,y_fcenteri）的欧式距离D_mov；

g．如果D_mov大于20，进入下一步骤，否则置i+5，j+5回到步骤f，若i=n，j=n，则结束；

h. 计算学生眼睛应移动的距离为

，所述

；计算实际学生眼睛坐标（x1_centerj+5，y1_centerj+5）和与（x1_centerj，y1_centerj）的欧式距离

，计算学生眼睛（x2_{center j+5}，y2_{center j+5}）和与（x2_centerj，y2_centerj）的欧式距离

，如果

或者

，则系统发出警报并置i+5，j+5回到步骤f，否则不报警，置i+5，j+5回到步骤f，若i=n，j=n，则结束。

本发明先采用图像增强技术对于课堂实时采集图像进行预处理，此后采用背景建模法对授课场景进行分析，提取出课堂场景中可能的感兴趣区域，同时对学生采集图像的颜色特征进行分析，确定学习者面部位置，通过Gabor滤波器获取眼部位置并对其眼动情况分析判定其视线，通过课堂场景中的感兴趣区域位置结合学习者视线判定学习者注意力是否集中。实时性高，可根据学生的眼动情况对课堂中内容进行有效的变换，实时生成对应学习策略。

附图说明

图1为本发明实施例设备布置示意图。

图2 为本发明实施例摄像机B采集到的学生照片Image2_j。

图3 为本发明实施例确定面部区域图Image2_j-face。

图4 为本发明实施例确定眼部区域图Image2_j-eye。

具体实施方式

本发明的基于课堂场景及学习者视线分析学习者注意力的系统如图1所示：设有用于摄制教师所处的教学区域图像的摄像机A及用于摄制学习者所处区域图像的摄影机B，摄像机A、摄影机B通过传输线与分析系统（计算机）相接，按照如下方法进行：

a. 启动系统；

b. 设置拍摄教学区域的摄像机A，初始化摄像机A；

设摄像机A获取的视频帧图像为Image1，Image1的长为l1个像素，宽为w1个像素，摄像机A所照射区域的长为L1米，宽为W1米；

c. 设置拍摄学生所在区域的摄像机B，初始化摄像机B；

设摄像机2获取的视频帧图像为Image2，Image2的长为l2个像素，宽为w2个像素，摄像头机B所照射区域的长为L2米，宽为W2米；

d. 设i为摄像机A拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image1图像，记为Image1_i，i=1，6，11，16……n，对Image1_i进行双背景建模提取前景图像；

保留提取的前景图像内容，其余背景内容置零，保存前景图像结果图，记为Fimage_i;

计算Fimage_i所有非零内容的坐标的均值，记为（x_fcenteri,y_fcenteri）；

计算摄像机A照射区域的面积与图像Image1大小的比值，记为ratio1，

；

e. 设j为摄像机B拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image2图像，记为Image2_j（如图2所示），j=1，6，11，16……n，对Image2_j依次按照如下步骤处理：

e.1 将Image2_j由RGB颜色空间转为YcbCr颜色空间，转换公式为：

Y= 0.299*R + 0.587*G + 0.114*B，Cb=-0.1687*R-0.3313*G+0.5000*B+128，设Cb色调在130~170之间的内容作为常见的人脸色调，对整幅图像搜索，如果像素点Cb值小于170且大于130则置保存，否则置0，将上述结果反变换回RGB颜色空间并保存，设为Image2_j-face（如图3所示）；

e.2 生成两个规模为11*11的二维数组Array_x和Array_y，数组Array_x中每一行的值都为[-5,-4,-3,-2,-1,0,1,2,3,4,5]，数组Array_y中每一列的值都为[-5,-4,-3,-2,-1,0,1,2,3,4,5]，对Array_x，Array_y分别乘以方向参数theta以生成方向模板Direct_x和Direct_y，Direct_x= Array_x*cos(theta) + Array_y*sin(theta)，Direct_y= Array_x*cos(theta) +Array_y*sin(theta)，

所述方向参数theta为要生成Gabor滤波器的角度，生成水平Gabor滤波器Gabor_x时theta为0，生成竖直Gabor滤波器Gabor_y时theta为

, 按照如下公式：

，sigma设置为3，分别生成水平Gabor滤波器Gabor_x 和竖直Gabor滤波器Gabor_y；

e.3采用水平和竖直方向的Gabor滤波器Gabor_x和Gabor_y分别对Image2_j-face

进行卷积操作，得到的结果为第j帧图像中眼部图像区域，记为Image2_j-eye（如图4所示）；

e.4 对Image2_{j- eye}进行逐行扫描，计算两只眼睛的外包围盒：设图像中左眼

外包围盒的左上角为（x1_{left j}，y1_{left j}），右下角为（x1_{right j}，y1_{right j}），设图像中右眼外包围盒的左上角为（x2_{left j}，y2_{left j}），右下角为（x2_{right j}，y2_{right j}），计算两个眼睛的中心坐标并保存，左眼的中心坐标为（x1_{center j}，y1_{center j}），

，

；右眼的中心坐标为

，

，

；

e.5计算摄像机B照射区域的面积与图像Image2大小的比值，设为ratio2，

;

f. 从i=1，j=1起，获取（x_fcentri+5,y_fcenteri+5）并保存为（x_fcentri,y_fcenteri），获取人眼的中心坐标（x1_centerj+5，y1_centerj+5）和（x2_centerj+5，y2_centerj+5），保存为（x1_centerj，y1_centerj）和（x2_centerj，y2_centerj），计算（x_fcentri+5,y_fcenteri+5）与（x_fcentri,y_fcenteri）的欧式距离D_mov；

g．如果D_mov大于20，进入下一步骤，否则置i+5，j+5回到步骤f，若i=n，j=n，则结束；

h.计算学生眼睛应移动的距离为

，所述

；计算实际学生眼睛坐标（x1_centerj+5，y1_centerj+5）和与（x1_centerj，y1_centerj）的欧式距离

，计算学生眼睛（x2_{center j+5}，y2_{center j+5}）和与（x2_centerj，y2_centerj）的欧式距离

，如果

或者

，则系统发出警报并置i+5，j+5回到步骤f，否则不报警，置i+5，j+5回到步骤f，若i=n，j=n，则结束。

Claims (1)

1.一种基于课堂场景及学习者视线分析学习者注意力的方法，其特征在于按如下步骤进行：

a. 启动系统；

b. 设置拍摄教学区域的摄像机A，初始化摄像机A；

设摄像机A获取的视频帧图像为Image1，Image1的长为l1个像素，宽为w1个像素，摄像机A所照射区域的长为L1米，宽为W1米；

c. 设置拍摄学生所在区域的摄像机B，初始化摄像机B；

设摄像机B获取的视频帧图像为Image2，Image2的长为l2个像素，宽为w2个像素，摄像头机B所照射区域的长为L2米，宽为W2米；

d. 设i为摄像机A拍摄的帧图像序列，从第1帧开始，每隔5帧读取一幅Image1图像，记为Image1_i，i=1，6，11，16……n，对Image1_i进行双背景建模提取前景图像；

保留提取的前景图像内容，其余背景内容置零，保存前景图像结果图，记为Fimage_i;

计算Fimage_i所有非零内容的坐标的均值，记为（x_fcenteri,y_fcenteri）；

计算摄像机A照射区域的面积与图像Image1大小的比值，记为ratio1，

；

e. 设j为摄像机B拍摄的帧图像序列，从第1帧开始，每隔5帧读取一

幅Image2图像，记为Image2_j，j=1，6，11，16……n，对Image2_j依次按照如

下步骤处理：

e.1 将Image2_j由RGB颜色空间转为YcbCr颜色空间，转换公式为：

Y= 0.299*R + 0.587*G + 0.114*B，Cb=-0.1687*R-0.3313*G+0.5000*B+128，设

Cb色调在130~170之间的内容作为常见的人脸色调，对整幅图像搜索，如果像素

点Cb值小于170且大于130则置保存，否则置0，将上述结果反变换回RGB颜色

空间并保存，设为Image2_j-face；

e.2 生成两个规模为11*11的二维数组Array_x和Array_y，数组Array_x中每一行

的值都为[-5,-4,-3,-2,-1,0,1,2,3,4,5]，数组Array_y中每一列的值都为

[-5,-4,-3,-2,-1,0,1,2,3,4,5]，对Array_x，Array_y分别乘以方向参数theta以生成方向模

板Direct_x和Direct_y， Direct_x= Array_x*cos(theta) + Array_y*sin(theta)，

Direct_y= Array_x*cos(theta) + Array_y*sin(theta)，

所述方向参数theta为要生成Gabor滤波器的角度，生成水平Gabor滤波器Gabor_x时theta为0，生成竖直Gabor滤波器Gabor_y时theta为

, 按照如下公式：

，sigma设置为3，分别生成水平Gabor滤波器Gabor_x 和竖直Gabor滤波器Gabor_y；

e.3采用水平和竖直方向的Gabor滤波器Gabor_x和Gabor_y分别对Image2_j-face

进行卷积操作，得到的结果为第j帧图像中眼部图像区域，记为Image2_j-eye；

e.4 对Image2_{j- eye}进行逐行扫描，计算两只眼睛的外包围盒：设图像中左

眼外包围盒的左上角为（x1_{left j}，y1_{left j}），右下角为（x1_{right j}，y1_{right j}），设图像

中右眼外包围盒的左上角为（x2_{left j}，y2_{left j}），右下角为（x2_{right j}，y2_{right j}），计

算两个眼睛的中心坐标并保存，左眼的中心坐标为（x1_{center j}，y1_{center j}），

x1_{center j} =（x1_{left j} + y1_{right j}）/2，y1_{center j} =（y1_{left j} + y1_{right j}）/2；右眼的中心坐标为（x2_centerj，y2_{center j}），x2_centerj =（x2_{left j} + y2_{right j}）/2，y2_centerj =（y2_{left j} + y2_{right j}）/2；

e.5计算摄像机B照射区域的面积与图像Image2大小的比值，设为ratio2，

;

f. 从i=1，j=1起，获取（x_fcentri+5,y_fcenteri+5）并保存为（x_fcentri,y_fcenteri），获取

人眼的中心坐标（x1_centerj+5，y1_centerj+5）和（x2_centerj+5，y2_centerj+5），保存为（x1_centerj，

y1_centerj）和（x2_centerj，y2_centerj），计算（x_fcentri+5,y_fcenteri+5）与（x_fcentri,y_fcenteri）的欧

式距离D_mov；

g．如果D_mov大于20，进入下一步骤，否则置i+5，j+5回到步骤f，若i=n，j=n，则结束；

h. 计算学生眼睛应移动的距离为

，所述

；计算实际学生眼睛坐标（x1_centerj+5，y1_centerj+5）和与（x1_centerj，y1_centerj）的欧式距离

，计算学生眼睛（x2_{center j+5}，y2_{center j+5}）和与（x2_centerj，y2_centerj）的欧式距离

，如果

或者

，则系统发出警报并置i+5，j+5回到步骤f，否则不报警，置i+5，j+5回到步骤f，若i=n，j=n，则结束。

Images