CN111582003A - 一种视线跟踪学生教室预防近视系统 - Google Patents

Abstract

本发明公开了一种视线跟踪学生教室预防近视系统，本发明所述学生教室预防近视系统包含识别部分和提醒部分，识别部分有光源、距离图像感知装备、控制模块、连接模块1，所述提醒部分包含连接模块2、报警装置，本发明使用人工智能识别学生和课桌，计算出视线焦点与眼睛的距离，用三维重建的方法判断学生在上课时头歪、低头等现象，并提供座位单独报警的方法，不影响教师上课和其他同学听讲。

Description

一种视线跟踪学生教室预防近视系统

技术领域

本发明涉及预防近视领域，具体的为一种视线跟踪学生教室预防近视系统。

背景技术

随着当代通信科技的进步，手机、平板电脑等电子设备的功能越来越先进，使用者对手机、平板电脑等电子设备日益依赖，更加使使用者眼睛疲劳，尤其是中小学生的视力下降越来越成为一个不得不面对的问题，为了全面加强儿童青少年近视防控，教育部、国家卫生健康委员会共同起草《综合防控儿童青少年近视实施方案（征求意见稿）》，对2030年小学、中学毕业生的近视率提出了要求，各级教育部门也拿出了各种解决方案，如改善教室灯光、增加户外活动时间等，有些地方的学校甚至为课桌装上栏杆，用金属质地的栏杆阻止学生看书写字距离过近。如果不使用上述金属栏杆，没有一种简洁的方法能提醒学生坐姿，如果有学生写字、听讲的姿势不正确，由老师提醒，不但会占用老师的时间，还会打断其他同学的思路，也会打断老师的讲课思路，使老师上课、学生听讲效果打折扣，目前没有好的方法解决学生上课时头歪、低头等不良姿势这个问题，为此申请号为《201811231659.2》的发明专利提出了解决方案，但此解决方案存在如下问题：

1、 申请号为《201811231659.2》的发明专利使用人工智能识别学生的低头、头歪等情景，没有精准的识别学生眼睛到桌面视线焦点的距离，有些境况下，学生并没有低头、歪头，但是眼睛距离桌面的距离已经小于必要的距离，这使申请号为《201811231659.2》的发明专利在这些情况下起不到应有的作用，所以申请号为《201811231659.2》的发明专利有漏洞。

申请号为《201811231659.2》的发明专利没有对光圈进行控制，系统中摄像头有可能景深很长，无法使用申请号为《201811231659.2》的发明专利的方法分解出局部，这使申请号为《201811231659.2》的发明专利有可能无效。

发明内容

本发明所述一种视线跟踪学生教室预防近视系统，目的是解决中小学教室中课堂上学生坐姿出现头歪、低头、写字距离过近等不合适姿势出现时的提醒、督促问题，在提醒坐姿不合适的学生时不打扰老师上课和其他同学书写、听讲。

为实现本发明目的，本发明所述一种视线跟踪学生教室预防近视系统包含识别部分和提醒部分，所述识别部分包含光源、距离图像感知装备、控制模块、连接模块1，所述提醒部分包含连接模块2、报警装置，各部分的具体特征如下：

1、所述距离图像感知装备，距离图像感知装备可以是摄像头、TOF摄像机、结构光摄像机、红外摄像头和激光雷达，用于实时拍摄教室内学生的坐姿状态，并获得教室内各个物体的距离数据，根据距离数据、角度数据、所述距离图像感知装备的位置数据得到教室内学生、课桌的三维坐标；距离图像感知装备可以在所述控制模块的控制下调整焦距，可以有多个摄像头，多个摄像头的方向可以是两个一组朝向一个方向，摄像头的光圈设置为预设景深范围后根据摄像头焦点算出的光圈数或者是选用预设景深范围、焦点的摄像头，获得的图像可以是红外图像也可以是可见光图像。

2、所述光源可以是近红外光源，用于照到学生眼睛上产生普尔钦斑，考虑到环境自然光中近红外光的干扰，所述光源发出的近红外光可以使用预先设定的波形，以利于与环境自然光中近红外光的区分和滤波；

3、所述控制模块，用于控制所述光源、所述距离图像感知装备和所述连接模块1，并进行相关运算，具体功能如下：

1）校准功能，用于在本发明所述系统安装后，使用前校准焦距、距离的对应关系，并根据此关系建立对应表并存储，使用时直接用焦距作为输入查表，即可得到目前焦距对应的距离；校准多个摄像头的方向、相对位置。

2）加载功能，用于加载训练好的检测器，在系统使用前用人脸部照片训练人工智能人脸检测器，人工智能的方法可以是基于HAAR级联、LBP、HMM、CNN、RNN、SVM等算法的人脸检测器；同时训练一个基于人工智能算法的人眼检测器，用于检测指定人脸图片上的眼睛位置；同时训练一个基于人工智能算法的瞳孔检测器，用于检测指定眼睛图片上的瞳孔位置；同时训练一个基于人工智能算法的课桌检测器用于检测课桌；检测器训练好后存储供需要时加载；因为戴眼镜与不带眼镜时需要使用不同的检测器，本发明内描述只使用不戴眼镜的人眼检测器进行说明，戴眼镜时处理方法同不带眼镜时相同：即用不带眼镜的检测器识别后没有得到识别出的数据，则换戴眼镜的检测器重新检测，本发明后面的描述中只描述不带眼镜的情况。

3）标定功能，用于在系统安装后，使用前用距离、图像上的角度范围标定此距离上画面清晰的每一个座位，每个座位在不同的距离上可以只标注一次，标注的结果进行记录，记录可以包含焦距、距离、角度范围；标定时将每一个座位对应报警装置的信息同时录入；

4）识别脸部，得到所述距离图像感知装备传来的画面后，根据画面对应的焦距得到距离，根据距离、预标定的图像上的角度范围，在画面中将此范围的图像切出，从切出后的图片使用人脸检测器识别出人脸部分，将人脸部分从图片中切割出，对每一个人脸使用人眼检测器识别出眼睛的位置，根据识别信息得到两个眼睛的坐标、大小等信息，并根据这些信息切割出每一个脸部的两只眼睛。

5）识别头部姿态，载入预先建立的AAM（Active Appearance Model主动外观模型），使用反向合成匹配算法与切出的脸部图片进行匹配，多个匹配的结果使用POSIT（Posefrom Orthography and Scaling with Iterations 比例正交投影迭代变换算法）算法进行三维姿态估计，得到切出的脸部图片的头部状态的估计，从头部状态数据得到头部是否前倾、左右歪斜；

6）识别课桌，从画面中识别并取出课桌，使用霍夫（Hough）变换找到课桌的四个边或者直接取桌面上的多个点的三维坐标，计算出课桌平面，并得到课桌平面的参数；

7）计算距离，用视线追踪的技术计算出视线方向，计算时可以使用视频图像法（也称“瞳孔-角膜反射方法”）计算得到视线方向，也可以使用其它方法，具体的方法授权号为《CN103679180B》、《CN103356163B》、《CN 103761519 B》、《CN 104951084 B》、《CN 105425967B》的发明专利提供了视频图像法计算视线方向的多种实现方式；计算时可以使用多组识别出的瞳孔位置、所述光源的位置、眼睛反射光源产生的普尔钦斑信息作为视线追踪算法的输入；根据上述数据计算出的视线方向，根据视线方向与桌子平面的参数，计算出出瞳孔沿视线方向的视线与桌面交点的位置和瞳孔到交点的距离E。

8）报警，在人眼到桌面上人眼视线焦点的距离E小于设定数值一段时间后，给特定的报警装置发送指令使报警装置报警；人脸部前倾、左右歪斜超出设定的阀值的时间超出设定时间后报警；

4、所述连接模块1，用于通过有线、无线的方式连接所述连接模块2，使所述控制模块的报警指令可以顺利的下达给所述报警装置，可以使用ZigBee、BLE等方式传输。

所述报警装置，包含连接模块2，用于给特定座位的人报警，报警方式可以是声音、震动或者方向性强的光；也可以是通过讲台上的显示装置报警给教师；

所述连接模块2，用于通过有线、无线的方式连接所述连接模块1，使所述控制模块的报警指令可以顺利的下达给所述报警装置，可以使用ZigBee、BLE等方式传输。

本发明的有益效果如下：

1.在学生上课时或者做课堂练习，如果学生有头歪、写字趴的比较近的情况，系统可以直接报警；

2.报警方式灵活，既可以给教师报警也可以给学生报警；

3.系统造价低，系统如果采用向教师报警的方式，只需要一台电脑和一对可以调焦距的摄像头加光源和红外摄像头组成，成本低廉。

4.目前国家机关对中小学教室采光、照明、墙壁反光率都有要求，包括墙壁反光的均匀度，教室内使用的课桌等也都是按照制式生产出来，这些条件客观的使摄像头摄制的图片的明暗合适，教室的课桌椅采用制式装备，对人工智能识别人脸不会造成干扰，人工智能识别人脸、眼睛、瞳孔、桌子的识别率提高；

5.报警装置耗电极少，可以支持长达一个学期的使用，报警装置维护保养所需工作量少。

附图说明

附图1为本发明实施例眼睛与桌面距离过近报警流程示意图；

附图2为本发明实施例系统组成模块示意图。

具体实施方式

下面通过实施例来说明本发明的具体工作方式。

本发明实施例1流程如附图1，本发明实施例1系统组成模块如附图2，本发明在此实例上，有200识别部分和210报警部分，200识别部分包含201距离图像感知装备、202控制模块、203BLE模块1、204光源模块，每个模块具体功能如下：

1、201距离图像感知装备为两个可以调节焦距的广角摄像头X1、X2和一个近红外摄像机Y1，安装在教室的前部，通过USB口与202控制模块相连；

2、202控制模块为PC机，PC机通过串口与一个203BLE模块1连接，202控制模块功能有校准、标定、导入预训练数据、计算每一像素点距离、识别脸部、识别课桌、得到头部三维姿态估计、计算眼睛方向、计算距离、报警，功能具体如下：

1)校准功能，用于在系统安装后，使用前校准焦距、距离的对应关系，并根据此关系建立对应表并存储，使用时直接用焦距作为输入查表，即可得到目前焦距对应的距离；调整光圈，使景深为1米；同时校准多个摄像头的方向、相对位置。

2)导入预训练数据，加载训练好的检测器和数据，加载在系统使用前用人脸部照片训练过的人工智能人脸检测器S1及数据，方法是基于HAAR级联的人脸检测器；同时加载一个训练过的基于HAAR级联人工智能算法的人眼检测器S2，用于检测指定人脸图片上的眼睛位置；同时加载一个训练过的基于HAAR级联人工智能算法的瞳孔检测器S3及数据，用于检测指定眼睛图片上的瞳孔位置；同时加载一个训练过的基于HAAR级联人工智能算法的课桌检测器S5用于检测课桌及得到课桌数据；

3)标定功能，用于在系统安装后，使用前用焦距、图像上的角度范围标定此距离上画面清晰的每一个座位以及座位对应211BLE模块2的名称，所有的座位在不同的焦距只标注一次；标注的结果进行记录，记录包含焦距、距离、角度范围。

4) 计算每一像素点距离，根据两个摄像头同一时间拍摄画面的差异计算出每一像素点的距离，距离用Z=fB/d得到，其中f为相机焦距，B为两相机中心距，d为两个摄像头同一时间拍摄图像上检测目标的视差；根据摄像头的方向和每一个点在画面中的位置得到每一个点的方向，根据方向和距离、摄像头的位置得到每一个点的三维坐标；

5) 识别脸部，得到所述距离图像感知装备传来的图片后，根据焦距得到的距离，查出距离对应标定的座位角度，从图片上切割出角度范围内部分画面1，在画面1中使用人脸检测器S1识别出人脸部分，将人脸部分从画面1切割出，得到画面2，在画面2对每一个人脸使用人眼检测器S2识别出眼睛的位置，根据识别信息得到两个眼睛的坐标、大小等信息，并根据这些信息切割出每一个识别出的人脸的两只眼睛；

6)载入预先建立的76个标注点的主动外观模型AAM，使用反向合成匹配算法与切出的脸部图片进行匹配，多个匹配的结果使用比例正交投影迭代变换算法POSIT进行三维姿态估计，得到切出的脸部图片的头部的三个旋转自由度信息，从头部信息得到头部是否前倾、左右歪斜的具体信息。

7)识别课桌，从画面1中识别并取出课桌，切出课桌部分画面，对画面进行去噪，去噪算法使用中值滤波，再对图像使用Canny边缘检测，再用预先设置的阈值进行二值化，二值化后的图像，使用霍夫（Hough）变换找到课桌的四个边，找寻课桌边的时候，垂直方向的边舍弃掉，计算出课桌平面，并得到课桌平面的参数；

8)计算距离，根据识别出的眼睛信息对近红外相机Y1拍摄的画面2进行切割，得到眼睛的图片画面3、画面4，对画面进行去噪，去噪算法使用中值滤波，再对图像使用Canny边缘检测，再对图像使用预先设置的阈值进行二值化，二值化后的图像使用霍夫变换检测出画面3、画面4上的普尔钦斑；根据识别出的眼睛信息对摄像头X1的画面2进行切割，得到眼睛的图片画面5、画面6，使用瞳孔检测器S3识别出画面5、画面6上的瞳孔，根据瞳孔的中心点与对应的普尔钦斑上的中心点的三维坐标，用授权号为《CN103356163B》方法计算得到视线方向；使用此方向、瞳孔的位置、桌面的参数得到瞳孔与桌面的视线距离E；识别瞳孔可以根据多个摄像头拍摄的瞳孔，识别出瞳孔后，再对瞳孔进行椭圆拟合，得到多个椭圆后选出最优椭圆，选择方式是计算瞳孔边缘点到达中心点的距离与平均距离的差的平方，数值最小的为最优。

9)报警，在人眼到桌面上人眼视线焦点的距离E小于设定数值一段时间后，给特定的报警装置发送指令使报警装置报警；在头部前倾、左右歪斜角度超出预设值即人头部歪斜超出设定的阀值一段时间后报警；报警时根据人脸的位置、对应标定的角度、焦距查找标定的数据，得到需要报警的座位信息，由座位信息得到211BLE模块2的名称。

3、203BLE模块1，BLE模块工作在从模式，用于报警时根据需要报警的座位的211BLE模块2名称进行连接，连接后下达报警指令；

4、204光源模块，发出920nm近红外光；

210报警部分用于提示学生，210报警部分包含211BLE模块2、212报警模块，210报警部分有多个，每一个211BLE模块2有不同的名称，BLE模块工作在主模式，212报警模块使用振动器；实际使用时210报警部分安装在座位上，震动只影响需要提醒的学生，不对其他人造成影响。。

本发明实施例1眼睛与桌面距离过近报警流程如下（流程图见附图1）：

1)步骤101，202控制模块控制201距离图像感知装备由近及远拍摄图片，将图片按照顺序存储并记录相关拍摄时的焦距信息；

2)步骤102，创建检测器并加载预先存储的数据；

3)步骤103，轮询每一张图片，按照标定时焦距、角度信息从对应的图片中取出包含学生、课桌的区域F；

4)步骤104，对区域F使用HAAR级联分类器进行人脸识别，识别出区域F内的人脸，将人脸所在区域F从图片中取出得到图片F；

5)步骤105，用HAAR级联分类器在图片F中取到人眼、瞳孔的位置；

6)步骤106，计算图片F上每一个点的距离。

7)步骤107，导入预先建立的主动外观模型AAM并使用反向合成匹配算法进行匹配；

8)步骤108，使用比例正交投影迭代变换算法POSIT进行三维姿态估计，得到头前倾、左右歪斜信息；

9)步骤109，识别出图片F中桌子，计算出桌子平面的参数；

10)步骤110，计算出瞳孔与瞳孔方向直线与桌子平面交点的距离H；

11)步骤111，如果H小于设定值，判断同一个人距离桌面距离小于设定值的时间是否超出预设时间，头部前倾、左右歪斜时间是否超出预设值，超出进行下一步；

12)步骤112，根据图片F对应的焦距、角度得到211BLE模块2的名称；

13)步骤113， 203BLE模块1，工作在BLE从模式，在接到控制模块下发的BLE模块的名称后，即连接这个名字对应的211BLE模块2；

14)步骤114，211BLE模块2在203BLE模块1连接后，通知212报警模块；

15) 步骤115，212报警模块，在接到211BLE模块2的通知后，震动报警。

虽然本发明已以较佳实施例公开如上，但实施例和附图并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (7)

1.本发明所述一种视线跟踪学生教室预防近视系统包含识别部分和提醒部分，所述识别部分包含光源、距离图像感知装备、控制模块、连接模块1，所述提醒部分包含连接模块2、报警装置，各部分的具体特征如下：

所述距离图像感知装备，用于实时拍摄教室内学生的坐姿状态、近红外光图像；

所述光源，用于发出近红外光；

所述控制模块，用于控制光源、连接模块1、距离图像感知装备，并进行相关运算，具体特征如下：

校准功能，用于校准焦距、距离的对应关系，并根据此关系建立对应表并存储；

标定功能，标定距离对应的多个座位；

识别脸部，识别眼睛；

计算出头部实时三维状态；

识别眼睛中瞳孔位置、普尔钦斑位置；

识别课桌，并得到课桌平面的参数；

计算视线方向；

计算瞳孔到出瞳孔延瞳孔方向与桌面平面的交点间的距离；

在人眼到桌面上人眼视线焦点的距离小于设定数值一段时间后，给特定的报警装置发送指令使报警装置报警；在人头部前倾、左右歪斜超出预设值的时间超出设定时间后报警；

所述连接模块1，用于通过有线、无线的方式连接所述连接模块2，使所述控制模块的报警指令下达给所述报警装置；

所述报警装置，包含连接模块2，用于给指定座位的人报警，报警方式可以是声音、震动或者方向性强的光；

所述连接模块2，用于通过有线、无线的方式连接所述连接模块1，使所述控制模块的报警指令下达给所述报警装置。

2.根据权利要求1的一种视线跟踪学生教室预防近视系统，其特征在于所述控制模块使用的检测器有人脸检测器、人眼检测器、瞳孔检测器、课桌检测器，检测器使用的人工智能方法可以是基于HAAR级联、LBP、HMM、CNN、RNN算法的人脸检测器。

3.根据权利要求1的一种视线跟踪学生教室预防近视系统，其特征在于在系统安装后，使用前用距离、图像上的角度范围标定每一个座位，并建立座位与报警装置的对应关系。

4.根据权利要求1的一种视线跟踪学生教室预防近视系统，其特征在于所述控制模块计算出头部实时三维状态时先载入预先建立的AAM（Active Appearance Model主动外观模型），再使用反向合成匹配算法进行匹配，随后对多个匹配的结果使用POSIT（Pose fromOrthography and Scaling with Iterations 比例正交投影迭代变换算法）算法进行三维姿态估计。

5.根据权利要求1的一种视线跟踪学生教室预防近视系统，其特征在于所述控制模块计算瞳孔到出瞳孔延瞳孔方向与桌面平面的交点间的距离时，根据普尔钦斑与瞳孔的相对位置计算出视线的方向。

6.根据权利要求1的一种视线跟踪学生教室预防近视系统，其特征在于所述控制模块识别瞳孔可以根据多个摄像头拍摄的瞳孔，识别出瞳孔后，再对瞳孔进行椭圆拟合，得到多个椭圆后选出最优椭圆，选择方式是计算瞳孔边缘点到达中心点的距离与平均距离的差的平方，数值最小的为最优。

7.根据权利要求1的一种视线跟踪学生教室预防近视系统，其特征在于所述控制模块识别普尔钦斑前对画面进行去噪，去噪算法使用中值滤波，再对图像使用Canny边缘检测，再对图像使用预先设置的阈值进行二值化，二值化后的图像使用霍夫变换检测出普尔钦斑。

Images