CN112016492A - 基于视觉的教学注意力监测系统及方法 - Google Patents

Abstract

本发明公开了一种基于视觉的教学注意力监测系统及方法，属一种智能图像识别方法，该系统包括第一摄像头、第二摄像头与第三摄像头，第一摄像头、第二摄像头与第三摄像头分别接入中央处理单元，中央处理单元还接入后台录像分析单元，第一摄像头、第二摄像头与第三摄像头用于呈品字形安装在教学区域内，通过第一摄像头、第二摄像头与第三摄像头从不同的方位采集教学区域内的视频图像，并由中央处理单元与后台录像分析单元分别识别视频图像中的人体目标的视线与教学区域前部黑板墙之间的交点，从而以此判断学生是否注释黑板，因此确定教学区域监控视频内学生的专注度，从而有利于教学管理者通过监控视频了解到更为详细的信息，便于提升与改进教学质量。

Description

基于视觉的教学注意力监测系统及方法

技术领域

本发明涉及一种智能图像识别方法，更具体的说，本发明主要涉及一种基于视觉的教学注意力监测系统及方法。

背景技术

随着视频监控技术的不断发展，在一些特殊的场景中，人们对于监控区域内的监控需求不再局限于实况拍摄，而是想借助于拍摄的图像对场景内目标的状态进行分析与识别，从而增强监控视频的利用效率，亦可从中挖掘出更多的价值信息，为管理者提供更多的数据参考。例如在中小学生的教室内使用的监控系统，由于这类人群的自制力不佳且人数众多，如果要从监控视频中关注到每个学生专注度是非常困难的，这给教学管理造成的阻碍，亦无法掌握教学质量及效果的实施情况，因此有必要针对在教室等特殊场景中使用的监控及视频识别系统及识别方法做进一步的研究和改进。

发明内容

本发明的目的之一在于针对上述不足，提供一种基于视觉的教学注意力监测系统及方法，以期望解决现有技术中同类监控系统在教室等特殊场景中应用时无法识别目标的专注状态，对视频的及利用率不高等技术问题。

为解决上述的技术问题，本发明采用以下技术方案：

本发明一方面提供了一种基于视觉的教学注意力监测系统，所述的系统包括第一摄像头、第二摄像头与第三摄像头，第一摄像头、第二摄像头与第三摄像头分别接入中央处理单元，中央处理单元还接入后台录像分析单元，所述第一摄像头、第二摄像头与第三摄像头用于呈品字形安装在教学区域内，其中：所述第一摄像头、第二摄像头与第三摄像头用于分别采集教学区域内的图像并传输至中央处理单元；所述中央处理单元用于通过图像处理器分别对第一摄像头、第二摄像头与第三摄像头采集到的图像进行yolo检测，识别出图像中的各个人体目标，并形成检测结果S1、S2、S3；所述中央处理单元还用于将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总，得到总结果S；所述中央处理单元还用于将总结果S中的各个人体目标提取出来记为Srois，并通过Srois中每个人体目标所在点的坐标值P（x，0，z），由下式得到人体目标头部的高度h，从而得到人体目标头部在坐标系中的坐标值Ph（x，y，z）；

P(X+W/2,Z+H/10)

上式中，W为教学区域的宽度，H为教学区域的长度，X与Z 分别为P点所在坐标系中在X轴与Y轴上的值；所述后台录像分析单元用于通过Insightface从所述Srois中得出人体目标头部的姿态值HRt(rx,ry,rz)；然后通过下式得到人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz为人体目标头部在坐标系中的Z轴上的值，ry为人体目标头部的姿态值HRt在y轴上的值，Phx为人体目标头部在坐标系中的X轴上的值，rx为人体目标头部的姿态值HRt在x轴上的值，Phy为人体目标头部在坐标系中的Y轴上的值。

作为优选，进一步的技术方案是：所述的中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总时，如出现图像重叠，则删除置信度低的人体目标图像。

更进一步的技术方案是：所述中央处理单元形成的处理结果S1、S2、S3中包括各个人体目标的二维坐标位置、人体目标的脸部图像以及人体目标图像的置信度信息。

更进一步的技术方案是：所述的第一摄像头安装在教学区域的前端，所述第二摄像头与第二摄像头分别安装在教学区域的左右两侧，且所述第一摄像头、第二摄像头与第三摄像头在教学区域的三维坐标系中的坐标值分别为(W/2,height,0)、(0,height,H/3*2)、(W,height,H/3*2)；式中，W为教学区域的宽度，H为教学区域的长度，height为摄像头的安装高度。

更进一步的技术方案是：所述后台录像分析单元还用于通过Insightface识别Srois中人体目标的脸部图像，进行目标身份验证；所述后台录像分析单元还用于通过DeepPose识别Srois中的人体目标姿态，且根据人体目标姿态判断当前教学区域内人体目标是否存在异常状态。

本发明另一方面提供了一种基于视觉的教学注意力监测方法，所述方法包括如下步骤：

步骤A、第一摄像头、第二摄像头与第三摄像头分别采集教学区域内的图像并传输至中央处理单元；

步骤B、中央处理单元通过图像处理器分别对第一摄像头、第二摄像头与第三摄像头采集到的图像进行yolo检测，识别出图像中的各个人体目标，并形成检测结果S1、S2、S3；

步骤C、中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总，得到总结果S；

步骤D、中央处理单元将总结果S中的各个人体目标提取出来记为Srois，并通过Srois中每个人体目标所在点的坐标值P（x，0，z），由下式得到人体目标头部的高度h，从而得到人体目标头部在坐标系中的坐标值Ph（x，y，z）；

P(X+W/2,Z+H/10)

上式中，W为教学区域的宽度，H为教学区域的长度，X与Z 分别为P点所在坐标系中在X轴与Y轴上的值；

步骤E、后台录像分析单元通过Insightface得出人体目标头部的姿态值HRt(rx,ry,rz)；然后通过下式得到人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz为人体目标头部在坐标系中的Z轴上的值，ry为人体目标头部的姿态值HRt在y轴上的值，Phx为人体目标头部在坐标系中的X轴上的值，rx为人体目标头部的姿态值HRt在x轴上的值，Phy为人体目标头部在坐标系中的Y轴上的值。

作为优选，进一步的技术方案：所述步骤C中，中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总时，如出现图像重叠，则删除置信度低的人体目标图像。

更进一步的技术方案：所述步骤B中，中央处理单元形成的处理结果S1、S2、S3中包括各个人体目标的二维坐标位置，人体目标的脸部图像以及人体目标图像的置信度信息。

更进一步的技术方案：所述步骤A中的第一摄像头安装在教学区域的前端，所述第二摄像头与第二摄像头分别安装在教学区域的左右两侧，且所述第一摄像头、第二摄像头与第三摄像头在教学区域的三维坐标系中的坐标值分别为(W/2,height,0)、(0,height,H/3*2)、(W,height,H/3*2)；式中，W为教学区域的宽度，H为教学区域的长度，height为摄像头的安装高度。

更进一步的技术方案：所述方法还包括步骤F、后台录像分析单元通过Insightface识别Srois中人体目标的脸部图像，进行目标身份验证；同时通过DeepPose识别Srois中的人体目标姿态，且根据人体目标姿态判断当前教学区域内人体目标是否存在异常状态。

与现有技术相比，本发明的有益效果之一是：通过第一摄像头、第二摄像头与第三摄像头从不同的方位采集教学区域内的视频图像，并由中央处理单元与后台录像分析单元分别识别视频图像中的人体目标的视线与教学区域前部黑板墙之间的交点，从而以此判断学生是否注释黑板，因此确定教学区域监控视频内学生的专注度，从而有利于教学管理者通过监控视频了解到更为详细的信息，便于提升与改进教学质量，同时本发明所提供的一种基于视觉的教学注意力监测系统架构简单，适于在各类教学区域以及类似场景中安装使用，应用范围广阔。

附图说明

图1为用于说明本发明一个实施例的系统结构示意框图；

图2为用于说明本发明一个实施例的摄像头安装位置示意图；

图3为用于说明本发明一个实施例的方法逻辑流程图；

图2中，1为第一摄像头、2为第二摄像头、3为第三摄像头。

具体实施方式

下面结合附图对本发明作进一步阐述。

参考图1所示，本发明的一个实施例是一种基于视觉的教学注意力监测系统，该系统包括三个摄像头，其分别为第一摄像头、第二摄像头与第三摄像头，并且前述第一摄像头、第二摄像头与第三摄像头需分别接入中央处理单元，该中央处理单元再接入后台录像分析单元，正如图2所述出的，第一摄像头、第二摄像头与第三摄像头在系统应用中，需呈品字形安装在教学区域内，即将第一摄像头安装在教学区域的全部，而将第一摄像头安装在教学区域的前端，所述第二摄像头与第二摄像头分别安装在教学区域的左右两侧，同时考虑到摄像头拍摄角度的适宜性，如图2所示的教学区域的三维坐标系状态，使第一摄像头、第二摄像头在其中的坐标值为(W/2,height,0)，第二摄像头的坐标值为 (0,height,H/3*2)，第三摄像头的坐标值为 (W,height,H/3*2)；前述的坐标值中，W为教学区域的宽度，H为教学区域的长度，height为摄像头的安装高度。

基于上述的系统结构，具体来说：

第一摄像头、第二摄像头与第三摄像头用于分别从不同的角度采集教学区域内的图像并传输至中央处理单元；

中央处理单元用于通过图像处理器分别对第一摄像头、第二摄像头与第三摄像头采集到的图像进行yolo检测，识别出图像中的各个人体目标，并形成检测结果S1、S2、S3；一般而言，为便于在中央处理单元中对图像的要素进行处理，前述yolo检测结果至少应包括各个人体目标的二维坐标位置、人体目标的脸部图像以及人体目标图像的置信度信息；前述要素在后续的处理方式中将得到相应的应用；

中央处理单元还用于将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总，得到总结果S；此时由于三个摄像头拍摄的区域具有重叠，因此经yolo检测识别出来的各个人体目标仍然可能出现重复，因此在此过程中，如果出现图像重叠，则删除置信度低的人体目标图像，即一个人体目标仅保留一个人体目标图像；

中央处理单元还用于将总结果S中的各个人体目标提取出来记为Srois，并通过Srois中每个人体目标所在点的坐标值P（x，0，z），由下式得到人体目标头部的高度h，从而得到人体目标头部在坐标系中的坐标值Ph（x，y，z）；

P(X+W/2,Z+H/10)

上式中，W为教学区域的宽度，H为教学区域的长度，X与Z 分别为P点所在坐标系中在X轴与Y轴上的值；

后台录像分析单元还用于通过Insightface从所述Srois中得出人体目标头部的姿态值HRt(rx,ry,rz)；然后通过下式得到人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz为人体目标头部在坐标系中的Z轴上的值，ry为人体目标头部的姿态值HRt在y轴上的值，Phx为人体目标头部在坐标系中的X轴上的值，rx为人体目标头部的姿态值HRt在x轴上的值，Phy为人体目标头部在坐标系中的Y轴上的值。

在本实施例中，通过上述的方式得到了人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)后，从而可以得出学生是否在看黑板，其原因是在衡量学生的专注度时，是否在看黑板是一个重要的指标，因此将该指标反应为前述的Ep(x,y)，从而有利于进行教学监控，并且由于人体的头部以及视线是不断的变化的，因此前述的Ep(x,y)也会随着人体头部姿态以及目光的方向变化而变化，而需确定的是，由于教学区域内的黑板墙位置是固定不同的，因此只要前述的交点Ep(x,y)存在，即可表示此目标正注视着黑板，反之则表示目标未注视黑板，此时开小差等注意力不集中的概率较大，从而使得管理者可快速掌握摄像头监控区域内每个人体目标的专注状态。

根据本发明的另一实施例，利用三个摄像头从不同范围所采集的监控图像，系统还可通过该图像进行身份识别与目标异常的判断，上述已经提到通过Insightface从所述Srois中得出人体目标头部的姿态值HRt(rx,ry,rz)，基于同一思路以及Insightface的固有功能，后台录像分析单元还可通过Insightface识别Srois中人体目标的脸部图像，将脸部图像与预置的目标身份信息进行核对，从而完成目标身份验证，同时亦可通过人脸识别判断当前教学区域中是否有学生缺席；并且在后台录像分析单元还可集成DeepPose，其通过DeepPose识别Srois中的人体目标姿态，且根据人体目标姿态判断当前教学区域内人体目标是否存在异常状态，即利用多个线段表示目标的人体姿态，例如学生出现打架等影响教学活动秩序的行为。

需要说明的是，上述Insightface为视频图像识别领域已普遍应用的一种人脸识别算法，而DeepPose则是一种普遍应用的姿态识别算法，由于此两种方式在本领域内应用多且较为成熟，本发明仅是利用两种成熟的视频图像识别技术实现相应技术目的，并非对其识别方法本身提出的改进，因此对其原理及实现方式不在详述，本领域技术人员可参考视频识别领域中此两种算法的应用方式结合实现本发明的目的。而关于将二维图像中的人体目标映射到三维坐标系中的方式，采用的是摄像机坐标系与现实三维坐标系（即教学区域的三维坐标系）投影的方式，其属于一种摄像机坐标变换与标定的方式，此类方式在视频识别领域中存在较多研究，目前主要应用在高级驾驶辅助系统，包括车辆检测、行人检测、盲区检测、车道线检测等场景中，其一般也是通过相应的算法实现坐标标定与转化，同样的，二维坐标映射到三维坐标系亦属于本发明实现技术目的的一种方式，并非对其本身进行的改进，因此本领域技术人员同样可参考视频识别领域中此两种算法的应用方式结合实现本发明的目的。

参考图3所示，与上述的实施例相对应，本发明的另一个实施例是一种基于视觉的教学注意力监测方法，该方法包括如下步骤：

步骤S1、第一摄像头、第二摄像头与第三摄像头分别采集教学区域内的图像并传输至中央处理单元；在本步骤中，第一摄像头安装在教学区域的前端，所述第二摄像头与第二摄像头分别安装在教学区域的左右两侧，且所述第一摄像头、第二摄像头与第三摄像头在教学区域的三维坐标系中的坐标值分别为：

第一摄像头(W/2,height,0)

第二摄像头 (0,height,H/3*2)

第三摄像头 (W,height,H/3*2)；

上述坐标值中，W为教学区域的宽度，H为教学区域的长度，height为摄像头的安装高度。

步骤S2、中央处理单元通过图像处理器分别对第一摄像头、第二摄像头与第三摄像头采集到的图像进行yolo检测，识别出图像中的各个人体目标，并形成检测结果S1、S2、S3；在本步骤中，中央处理单元形成的处理结果S1、S2、S3中包括各个人体目标的二维坐标位置，人体目标的脸部图像以及人体目标图像的置信度信息。

步骤S3、中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总，得到总结果S；在本步骤中，中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总时，如出现图像重叠，则删除置信度低的人体目标图像；

步骤S4、中央处理单元将总结果S中的各个人体目标提取出来记为Srois，并通过Srois中每个人体目标所在点的坐标值P（x，0，z），由下式得到人体目标头部的高度h，从而得到人体目标头部在坐标系中的坐标值Ph（x，y，z）；

P(X+W/2,Z+H/10)

上式中，W为教学区域的宽度，H为教学区域的长度，X与Z 分别为P点所在坐标系中在X轴与Y轴上的值；

步骤S5、后台录像分析单元通过Insightface得出人体目标头部的姿态值HRt(rx,ry,rz)；然后通过下式得到人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz为人体目标头部在坐标系中的Z轴上的值，ry为人体目标头部的姿态值HRt在y轴上的值，Phx为人体目标头部在坐标系中的X轴上的值，rx为人体目标头部的姿态值HRt在x轴上的值，Phy为人体目标头部在坐标系中的Y轴上的值。

步骤S6、后台录像分析单元通过Insightface识别Srois中人体目标的脸部图像，进行目标身份验证；同时通过DeepPose识别Srois中的人体目标姿态，且根据人体目标姿态判断当前教学区域内人体目标是否存在异常状态。

基于本发明上述的实施例，使得本发明在应用中，可监测学生在上课时的注意力集中程度。亦可检测检测教室中的每一名学生是否缺席，并识别学生身份，保证课堂的管理秩序以及教学效果。

除上述以外，还需要说明的是在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种基于视觉的教学注意力监测系统，其特征在于所述的系统包括第一摄像头、第二摄像头与第三摄像头，所述第一摄像头、第二摄像头与第三摄像头分别接入中央处理单元，所述中央处理单元还接入后台录像分析单元，所述第一摄像头、第二摄像头与第三摄像头用于呈品字形安装在教学区域内，其中：

所述第一摄像头、第二摄像头与第三摄像头用于分别采集教学区域内的图像并传输至中央处理单元；

所述中央处理单元用于通过图像处理器分别对第一摄像头、第二摄像头与第三摄像头采集到的图像进行yolo检测，识别出图像中的各个人体目标，并形成检测结果S1、S2、S3；

所述中央处理单元还用于将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总，得到总结果S；

所述中央处理单元还用于将总结果S中的各个人体目标提取出来记为Srois，并通过Srois中每个人体目标所在点的坐标值P（x，0，z），由下式得到人体目标头部的高度h，从而得到人体目标头部在坐标系中的坐标值Ph（x，y，z）并传输至后台录像分析单元；

P(X+W/2,Z+H/10)

上式中，W为教学区域的宽度，H为教学区域的长度，X与Z 分别为P点所在坐标系中在X轴与Y轴上的值；

所述后台录像分析单元用于通过Insightface从所述Srois中得出人体目标头部的姿态值HRt(rx,ry,rz)；然后通过下式得到人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz为人体目标头部在坐标系中的Z轴上的值，ry为人体目标头部的姿态值HRt在y轴上的值，Phx为人体目标头部在坐标系中的X轴上的值，rx为人体目标头部的姿态值HRt在x轴上的值，Phy为人体目标头部在坐标系中的Y轴上的值。

2.根据权利要求1所述的基于视觉的教学注意力监测系统，其特征在于：所述中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总时，如出现图像重叠，则删除置信度低的人体目标图像。

3.根据权利要求1或2所述的基于视觉的教学注意力监测系统，其特征在于：所述中央处理单元形成的处理结果S1、S2、S3中包括各个人体目标的二维坐标位置、人体目标的脸部图像以及人体目标图像的置信度信息。

4.根据权利要求1所述的基于视觉的教学注意力监测系统，其特征在于：所述的第一摄像头安装在教学区域的前端，所述第二摄像头与第二摄像头分别安装在教学区域的左右两侧，且所述第一摄像头、第二摄像头与第三摄像头在教学区域的三维坐标系中的坐标值分别为(W/2,height,0)、(0,height,H/3*2)、(W,height,H/3*2)；

式中，W为教学区域的宽度，H为教学区域的长度，height为摄像头的安装高度。

5.根据权利要求1所述的基于视觉的教学注意力监测系统，其特征在于：所述后台录像分析单元还用于通过Insightface识别Srois中人体目标的脸部图像，进行目标身份证验证；所述后台录像分析单元还用于通过DeepPose识别Srois中的人体目标姿态，且根据人体目标姿态判断当前教学区域内人体目标是否存在异常状态。

6.一种基于视觉的教学注意力监测方法，其特征在于所述方法包括如下步骤：

步骤A、第一摄像头、第二摄像头与第三摄像头分别采集教学区域内的图像并传输至中央处理单元；

步骤B、中央处理单元通过图像处理器分别对第一摄像头、第二摄像头与第三摄像头采集到的图像进行yolo检测，识别出图像中的各个人体目标，并形成检测结果S1、S2、S3；

步骤C、中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总，得到总结果S；

步骤D、中央处理单元将总结果S中的各个人体目标提取出来记为Srois，并通过Srois中每个人体目标所在点的坐标值P（x，0，z），由下式得到人体目标头部的高度h，从而得到人体目标头部在坐标系中的坐标值Ph（x，y，z）传输至后台录像分析单元；

P(X+W/2,Z+H/10)

上式中，W为教学区域的宽度，H为教学区域的长度，X与Z 分别为P点所在坐标系中在X轴与Y轴上的值；

步骤E、后台录像分析单元通过Insightface得出人体目标头部的姿态值HRt(rx,ry,rz)；然后通过下式得到人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz为人体目标头部在坐标系中的Z轴上的值，ry为人体目标头部的姿态值HRt在y轴上的值，Phx为人体目标头部在坐标系中的X轴上的值，rx为人体目标头部的姿态值HRt在x轴上的值，Phx为人体目标头部在坐标系中的Y轴上的值。

7.根据权利要求5所述的基于视觉的教学注意力监测方法，其特征在于：所述步骤C中，中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总时，如出现图像重叠，则删除置信度低的人体目标图像。

8.根据权利要求5或6所述的基于视觉的教学注意力监测方法，其特征在于：所述步骤B中，中央处理单元形成的处理结果S1、S2、S3中包括各个人体目标的二维坐标位置，人体目标的脸部图像以及人体目标图像的置信度信息。

9.根据权利要求5所述的基于视觉的教学注意力监测方法，其特征在于：所述步骤A中的第一摄像头安装在教学区域的前端，所述第二摄像头与第二摄像头分别安装在教学区域的左右两侧，且所述第一摄像头、第二摄像头与第三摄像头在教学区域的三维坐标系中的坐标值分别为(W/2,height,0)、(0,height,H/3*2)、(W,height,H/3*2)；

式中，W为教学区域的宽度，H为教学区域的长度，height为摄像头的安装高度。

10.根据权利要求5所述的基于视觉的教学注意力监测方法，其特征在于：所述方法还包括步骤F、后台录像分析单元通过Insightface识别Srois中人体目标的脸部图像，进行目标身份证验证；同时通过DeepPose识别Srois中的人体目标姿态，且根据人体目标姿态判断当前教学区域内人体目标是否存在异常状态。

Images