CN108460707A - 一种学生的作业智能监管方法及其系统 - Google Patents

Abstract

本发明公开一种学生的作业智能监管方法及其系统，通过感知设备对学生做作业的情况进行全方位实时感知、全过程智能监管，家长利用智能手机对其做作业情况进行掌控和指导，教师（尤其是班主任）可查看所属学生完成作业的汇总分析数据，视情调整作业量；通过家长与学生之间正式的书面协议来约束双方行为及奖惩兑现，基于传感器、计算机视觉处理、图像增强、大数据分析和机器深度学习等技术，实现制式协议生成、作业时间安排智能引导、作业状况全方位监测、鼓励语贴心显示、作业情况一键上传、积分奖励乐在其中、时间知识全面管用等七大功能，着重促使学生认清时间的重要性，提高时间利用率和做作业效率，增加做作业的乐趣。本发明促进学生逐步养成科学安排和使用时间的良好习惯，有利于学生成才、成人，会使学生受益终身。

Description

一种学生的作业智能监管方法及其系统

技术领域

本发明涉及教学教育领域，尤其涉及一种学生的作业智能监管方法及其系统。

背景技术

很多家长可能都会遇到这样的难题：孩子尤其是学生，写作业太慢，拖拖拉拉、磨磨唧唧、没完没了，老是不能按时完成作业, 晚上搞得很晚才睡觉，严重影响了睡眠，造成第二天上课没精神,课堂很多东西没有学懂，放学后家庭作业更是无从下手，从而进入恶性循环，非常令人头疼，家长伤透了脑筋。对此，家长训斥多、鼓励少，学生压力很大、充满了无奈与厌烦，家长与学生之间争吵不断，许多家庭失去了应有的欢乐。

写作业拖沓、不抓紧时间是很多孩子的通病。主要原因如下：

（一）条理性差——学习无方法

孩子写作业时先后顺序不懂得合理安排，写作业时文具准备不齐全，用到的时候才慌慌忙忙去找……这样不能合理规划，写作业当然慢了！其实如果仔细观察这类孩子，就会发现：他们在生活中也是这样，丢三拉四，不懂得安排和规划。

（二）注意力不集中——无关动作多

孩子天性爱玩，管不住自己，不能做到“做好作业再玩”。写作业时总是东看西看，磨磨蹭蹭，一会儿玩橡皮，一会儿吃铅笔，要么咬手指，而且写一会儿就起来溜达一圈，到外摸摸看看。

（三）时间观念差——不会管理时间

孩子做事磨蹭很大程度上是因为他年龄小，还没有时间观念，不知道时间对他来讲意味着什么。另一方面，很多家长总是习惯什么都替孩子想好、安排好，“该写作业了。”“到练琴时间了，别看电视了！”“该洗澡了！”这样一遍一遍地提醒，也让孩子产生依赖性。

（四）放任自流——缺乏应有的家庭监督

不少孩子在家中是“小皇帝”，爷爷奶奶外公外婆围着转，管教不力。或因父母都在外地打工，放学后无人管束，缺乏应有的陪伴。

（五）被逼无奈——故意磨蹭

现在的家长望子成龙、望女成凤心切，会在孩子做完学校的家庭作业后要求再多做些题目，造成孩子害怕写完，故意磨蹭。

（六）学习基础差——学习没有兴趣，学习有困难

学习基础差，很多知识点没弄懂，不会做，造成学习障碍，可是又不想方设法去解决，而是“遇到困难绕着走，绕不过去就不走”； 还有的孩子，只想玩不想学习，对于作业能凑合就凑合，在学习上感受不到半点乐趣，实在逼得没办法了，才做点。

（七）追求完美——橡皮综合症

有些孩子写作业特别慢，写的字稍微有一点点不整齐或者不干净的地方，就会马上擦掉重写，有时甚至把本子擦破了，所以写作业花的时间就长了。这与父母要求过于严格、希望孩子样样都完美有直接关系。

另外，现在有相当一部分学校的学生都需要通过手机或平板电脑，使用不同版本的APP软件完成英语、数学、语文等科目的作业，虽然老师们乐意接受这种生动的教学方式，孩子们热衷每天捧着手机像做游戏一样完成作业，但大部分家长对此颇有微词，认为这种方式,对孩子们的视力伤害很大。教育专家认为，学校在推行这种教学模式时应多一份思考和衡量。学习本身就是一个艰苦的动脑过程，依靠科技包装来培养孩子的学习兴趣，会加重学生对科技的依赖，不利于学生独立学习的能力。同时，学习是一种静心思考的过程，要培养孩子自发地产生学习动力，而不是把学习用APP进行包装。

为较好地解决学生做作业太慢及长时间使用APP进行学习对视力影响大两大问题，亟需研发一个学生做作业的智能监管系统，以提高作业效率，培养学生珍惜时间、科学安排时间等良好习惯，并通过一键上传作业的方式，有效克服长时间使用电子产品伤眼睛和教师、家长因无法长时间陪在身边而不能实时了解学生做作业情况的矛盾。

发明内容

本发明的目的在于克服现有技术的不足，提供一种学生的作业智能监管方法及其系统。

本发明采用的技术方案是：

一种学生的作业智能监管方法，其包括以下步骤：

步骤1：家长与学生订立约定协议，并上传至服务器保存；

步骤2：提供至少两种作业时间安排模板供学生选择；

步骤3：学生输入对应的学习内容在选定的作业时间安排模板引导下生成的作业计划表；

步骤4：基于作业计划表依次提示学生完成每项作业，

步骤5：实时监控、自动判定学生的作业状态，并上传分发至对应家长的终端设备上，同时语音提醒学生纠正不正确状态；

步骤6：家长基于监控数据进行相应的处理，

步骤7：反馈家长的处理至学生的终端设备并提醒学生进行响应；

步骤8：学生完成每项作业后进行拍照并上传，

步骤9：对上传的作业进行评判，并根据评判结果加减对应的积分；

步骤10：汇总所有学生的积分进行排名，并实时显示于学生的终端设备上；

步骤11：汇总并分析所属学生完成作业情况给教师（尤其是班主任），教师视情调整作业量。

进一步地，步骤2中作业时间安排模板为三种，分别为小番茄法、小象法和小青蛙法。

进一步地，小番茄法的具体步骤为：

A1：学生从学生终端触输入作业内容及预估所需时间；

A2：以25分钟为一个番茄时间，相邻两个番茄时间之间设有5分钟休息时间，将每项作业的预估所需时间进行番茄时间划分，

A3：当某项作业的预估所需时间小于25分钟时，将该项作业与其他作业组合成一个番茄时间；

当某项作业的预估所需时间超过5个番茄时间时，将该项作业分为两个以上的子内容并确定子内容所需时间；

A4：将划分后的作业内容按照相邻两个番茄时间之间设有5分钟休息时间的原则并以当前时间为开始时间生成作业计划表。

进一步地，小象法的具体步骤为：

B1：学生从学生终端触输入作业内容及预估所需时间；

B2：根据作业内容重要和紧急程度依照议定的归类标准进行归类形成四个分类，形成四个象限的作业全图；

B3：四个分类按照作业内容重要和紧急程度排序，

B4：按照每45分钟为一个作业时段，每个作业时段后安排15分钟休息时段的原则并以当前时间为开始时间生成作业计划表。

进一步地，小青蛙法的具体步骤为：

C1：学生从学生终端触输入作业内容及预估所需时间；

C2：在每项作业根据困难及重要程度由高到低按英文字母顺序进行标号；

C3：每项作业依照英文字母标号的字母顺序重新排序；

C4：按照每45分钟为一个作业时段，每个作业时段后安排15分钟休息时段的原则并以当前时间为开始时间生成作业计划表。

进一步地，步骤5中通过光照度和温湿度传感器采集学生做作业的环境信息，通过高清摄像头采集学生及周边全景图片，通过双目摄像头采集学生的照片和影像，并基于学生的照片和影像实时校正学生做作业时的姿势。

进一步地，步骤5中姿势校正的具体方法包括以下步骤：

步骤5-1：采用张正友标定法标定双目摄像头，

步骤5-2：两个摄像头拍摄学生的同一幅场景，获取立体图像对；

步骤5-3：立体图像对预处理：首先用小波阈值滤波算法去除高斯噪声和随机噪声，再用直方图均衡化方法平衡立体图对间的亮度差异，最后用拉普拉斯算子对图像进行锐化处理，突出图像的边缘与细节；

步骤5-4：特征检测与提取：应用Sift角点检测算法提取照片极值点，再采用Harris角点检测算法对Sift算法所提取出的极值点进行二次检测，并将二次检测后的结果作为最终的照片特征；

步骤5-5：立体匹配：运用归一化积相关NPC图像匹配算法对照片特征的角点间的相似度进行计算，得到相对应的匹配点对；

步骤5-6：三维重建：匹配点对进行三维坐标的求解；

步骤5-7：姿势分析：将求解的三维坐标与预先拍摄的学生规范的坐姿和握笔姿势对应的标准三维坐标信息进行比对分析；当两者的误差超过10%，则提醒学生纠正姿势。

步骤5-7中当监控到学生做作业期间1分钟内均无握笔，则判断学生没有在做作业，语音提醒学生开始做作业，同时家长端弹窗显示学生没在做作业。

进一步地，步骤6中家长给予学生的贴心鼓励提示。

进一步地，本发明还公开了一种学生的作业智能监管系统，其包括学生端感知设备、家长端智能手机、教师端电脑或智能手机和后方服务器，学生端感知设备采集学生的作业状态，作业状态包括做作业的环境状况、学生的坐姿和握笔以及作业的时间安排和进度；学生端感知设备同时担负与学生的人机交互；家长端智能手机用于查看学生当前做作业状态、指导学生科学安排时间以及评价作业完成情况；教师端电脑或智能手机用于查看监督所属学生完成作业的汇总和分析数据，视情调整作业量；后方服务器提供网页服务、资源共享和数据存储。

进一步地，学生端感知设备包括麦克风、ARM处理器以及与ARM处理器相连的云台、FPGA、按键板、存储器、扬声器、网络模块、USB HUB、触摸显示器和电源管理，云台连接有高清摄像头、FPGA分别连接有双目摄像头、高清摄像头、DDR和A/D转换，A/D转换的输入端连接有温湿度传感器和光照度传感器，麦克风通过一I/O口接入ARM处理器，高清摄像头用于作业环境、约定协议和完成作业的采集，双目摄像头用于学生姿势的采集，温湿度传感器用于感知作业环境的温度和湿度，光照度传感器用于感知作业环境的光照度。

本发明采用以上技术方案，通过感知设备对学生做作业的情况进行全方位实时感知、全过程智能监管，家长不需要陪在学生身旁即可利用智能手机对其做作业情况进行全面掌控和指导，教师（尤其是班主任）可查看所属学生完成作业的汇总分析数据，视情调整作业量；通过家长与学生之间正式的书面协议来约束双方行为及奖惩兑现，教师（尤其是班主任）可视情查看监督，秉持“严格督促，多看进步，奖励为主，惩罚为辅”的原则，充分调动学生“按合同办事”的积极性，让学生产生自我管理的乐趣，从而自愿履行协议中的条款，既让学生体味到了尊重，还培养了规范意识。基于传感器、计算机视觉处理、图像增强、大数据分析和机器深度学习等技术，实现制式协议生成、作业时间安排智能引导、作业状况全方位监测、鼓励语贴心显示、作业情况一键上传、积分奖励乐在其中、时间知识全面管用等七大功能，着重促使学生认清时间的重要性，提高时间利用率和做作业效率，增加做作业的乐趣，有效解决学生做作业太慢和长时间使用APP进行学习对视力影响大等问题，促进学生逐步养成科学安排和使用时间的良好习惯，有利于学生成才、成人，会使学生受益终身。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种学生的作业智能监管方法的流程示意图；

图2为本发明一种学生的作业智能监管系统的结构示意图。

具体实施方式

如图1或2所示，本发明公开了一种学生的作业智能监管方法，其包括以下步骤：

步骤1：家长与学生订立约定协议，并上传至服务器保存；

具体地，该步骤可藉由一系统来实现，该系统预存制式的协议（参照合同法）Word模板文件（后缀名为*.dot），通过调用微软Word对象库（Microsoft word/excel objectlibrary），在评定标准、奖惩条款等需约定明确的内容位置插入书签（系统预留一定位置可自行添加），经家长与学生沟通、协商后，在家长端智能手机上输入具体内容，系统内置TFTP服务器实现与电脑之间的文件互传，也可导出模板文件到电脑上修改后再导入系统，系统替换相应书签，自动生成并保存制式协议的Word文档，该文档由打印机控件通过WIFI直接连接打印机打印，也可通过TFTP服务器导出电脑后打印，由家长和学生共同签字盖手印后，通过家长智能手机拍照后上传到系统，或者将协议放在学生端设备摄像头下方的垫板上，按下“上传”键，系统自动拍照并存储电子照片，作为实施做作业奖惩的正式书面依据。此协议可以修改，但必须双方确认，在家长端和学生端操作后，系统在原协议的每一页右上角帖上“作废”字样的图片并储存在服务器中备查。

步骤2：提供至少两种作业时间安排模板供学生选择；

进一步地，步骤2中作业时间安排模板为三种，采用小动物的名称来命名，并通过一段简短的文字进行介绍和讲解，分别为小番茄法、小象法和小青蛙法，默认推荐小番茄法，学生也可自选。

进一步地，小番茄法：选择一项作业或作业的子部分，将番茄时间设为25分钟，一个番茄时间是不可分割的，必须专注做作业，中途不可以被打断、不允许做任何与该任务无关的事，直到番茄时钟响起，如果番茄时间被某人或某事强制打断，那么这个番茄时间就相当于白费了，应该重新开始这个番茄时间，然后短暂休息5分钟，每4个番茄时间多休息一会儿，如此反复，直到作业全部完成。小番茄法的具体步骤为：

A1：学生从学生终端触输入作业内容及预估所需时间；

A2：以25分钟为一个番茄时间，相邻两个番茄时间之间设有5分钟休息时间，将每项作业的预估所需时间进行番茄时间划分，

A3：当某项作业的预估所需时间小于25分钟时，将该项作业与其他作业组合成一个番茄时间；

当某项作业的预估所需时间超过5个番茄时间时，将该项作业分为两个以上的子内容并确定子内容所需时间；

A4：将划分后的作业内容按照相邻两个番茄时间之间设有5分钟休息时间的原则并以当前时间为开始时间生成作业计划表。

进一步地，小象法：即四象限法则，把工作和生活中的事务按照重要和紧急两个不同的程度划分为四个“象限”：既紧急又重要（马上去做，首先完成的）、重要但不紧急（分解任务，制定计划，按部就班）、紧急但不重要（能不做就不做或授权他人做）、既不紧急也不重要（放在最后做，甚至可以不做）。如果总有紧急又重要的事情要做，说明在时间管理上存在问题，设法减少它。尽可能地把时间花在重要但不紧急的事情上，这样才能减少第一象限的工作量。对于紧急但不重要的事情的处理原则是授权，让别人去做。不重要也不紧急的事情尽量少做。小象法的具体步骤为：

B1：学生从学生终端触输入作业内容及预估所需时间；

B2：根据作业内容重要和紧急程度依照议定的归类标准进行归类形成四个分类，形成四个象限的作业全图；

B3：四个分类按照作业内容重要和紧急程度排序，

B4：按照每45分钟为一个作业时段，每个作业时段后安排15分钟休息时段的原则并以当前时间为开始时间生成作业计划表。

进一步地，小青蛙法：即吃青蛙理论，它是由博恩·崔西创立的一种简单实用的工作理论和方法。如果你每天早晨第一件事就是吃掉一只活青蛙，那么你会欣喜地发现，今天没有什么比这更糟糕的事情了（先解决最具挑战性的任务）；如果你必须吃掉两只青蛙，那就先吃那只长得丑的（先处理更重要、更困难的工作）；如果你必须吃掉一只活青蛙，就算你一直坐在那里盯着它也无济于事（动手去做）。小青蛙法的具体步骤为：

C1：学生从学生终端触输入作业内容及预估所需时间；

C2：在每项作业根据困难及重要程度由高到低按英文字母顺序进行标号；

每一项后面分别标上字母A、B、C、D、E（标有字母A的作业是非常困难且重要的，必须迅速地完成，否则，后果十分严重，如果不止一项，则分别是A-1、A-2、A-3这样的符号来区分，作业A-1就是要立刻吃掉的最大、最丑陋的那只青蛙；标有字母B的作业是应该做的，但是这些作业的后果并不十分严重，就好比一只蝌蚪；标有字母C的作业是做起来轻松愉快、地位却无足轻重；标有字母D的项目是可以请父母做的，原则是：应该把所有别人可以做的事情交给他们去做；标有字母E的项目是完全可以取消不做的事情，这些事情没有任何意义），该方法的最重要原则是：只要A项目还没有最后完成，就决不要先去做B项目，也就是说，当你还有一只大青蛙要吃的时候，决不要分心去吃一只小蝌蚪。

C3：每项作业依照英文字母标号的字母顺序重新排序；

C4：按照每45分钟为一个作业时段，每个作业时段后安排15分钟休息时段的原则并以当前时间为开始时间生成作业计划表。

步骤3：学生输入对应的学习内容在选定的作业时间安排模板引导下生成的作业计划表；

进一步地，相关系统可以运用ToolTip组件在每步操作前弹出透明小对话框提示如何操作，需做选择的每个选项给出简要说明及实例，在学生要输入作业时间时，根据历史输入数据情况自动预估时间，并高亮显示，可直接修改。输入作业内容、预估时间等信息存入数据库，并发送到家长手机端，家长和学生之间建立Socket聊天室，家长可实时指导，全部内容输入完毕，系统提取数据，运用表格控件生成作业计划表(含作业内容、开始时间、结束时间、预估时段数<番茄数>及完成数、增加的时段数<番茄数>及完成数、被打断数、备注等列)、“计划外的紧急事件”表(含事件内容、记录时间、备注等列)和活动清单(含活动内容、截止时间、备注等列)，家长可随时查看、指导、监督。

步骤4：基于作业计划表依次提示学生完成每项作业，

具体地，相关系统提示开始第一项作业，并显示做作业倒计时钟（小番茄法为25分钟，小象法和小青蛙法为45分钟），每秒发出一声“嘀嗒”，学生开始专心做作业，倒计时结束，触发响铃或提示音响起，系统在该项作业内容旁边列对应位置上画个“√”，同时进入休息倒计时钟（小番茄法默认5分钟，学生可在3－8分钟内修改；小象法和小青蛙法默认15分钟，学生可在10－20分钟内修改），学生停止作业进行休息，休息完毕系统以响铃或提示音提醒学生进入下一轮作业（小番茄法为下一个番茄时间，每4个番茄时间后休息默认15分钟，学生可在10－20分钟内修改）。如此反复，直到做完这项作业，学生按下“完成”键，系统在作业计划表中这项作业内容标注删除线。

针对做作业过程中常见问题处理：1、关于提前完成作业。如果在作业计时器响起前就完成了作业按下“完成”键，系统按照“一个计时器开始计时，就必须要到响起为止”的规则，提醒学生利用剩余的时间，复习一遍之前所学的，或检查一下所做的作业，直到铃声响起；如果在作业计时器的前 5 分钟里就完成了任务，而且学生觉得它本可以在上一个时间就完成的，然而再去复习一遍又没什么必要，那系统提醒学生按两次“完成”键，按照“特殊情况下，当前作业时间作废”的规则重新开启新的作业时段(或番茄时间)。2、关于打断。对于内部和外部打断，提醒学生按下“打断”键并输入具体事情（内部打断，系统在该作业时间的作业内容后标记“,”号；外部打断，系统在该作业时间的作业内容后标记“－”号），然后选择该事情重要与否，不重要的输入截止时间，系统将该事情记入活动清单中并标记“U”(Unplanned 计划外)和截止时间，如果是外部打断，应询问打断的人是否同意，重要由记入“计划外的紧急事件”表中，然后继续做作业，直到铃声响起，对于“计划外的紧急事件”可根据实际采取移入活动清单、休息时间处理、直接删除三种方式处置，如果该事确实很紧急，则提醒学生再按下“打断”键，在下一个作业时间处理、推迟原任务，或者再按两次“打断”键以此事情直接替换当前作业重新安排计划。3、关于估计与实际时段数（番茄数）。如果恰好在估测的时间内完成了作业，就在作业计划表中这项作业内容标注删除线；如果没有用完估测的时段数（番茄数）作业就完成了，即估测值过大，同样也从表中标注删除线，系统自动调整剩余作业安排；如果用完了估测的时段数（番茄数）还没有完成作业，即估测值过小，则可以直接继续工作，不再对剩余的任务进行估测，在方框外又增加一个时段数（番茄数），也可以再进行一次估测，估测剩余的作业需要的时段数（番茄数），用“○”来表示，系统自动调整作业安排。

步骤5：实时监控、自动判定学生的作业状态，并上传分发至对应家长的终端设备上，同时语音提醒学生纠正不正确状态；

进一步地，步骤5中通过光照度和温湿度传感器采集学生做作业的环境信息，通过高清摄像头采集学生及周边全景图片，通过双目摄像头采集学生的照片和影像，并基于学生的照片和影像实时校正学生做作业时的姿势。

进一步地，步骤5中姿势校正的具体方法包括以下步骤：

步骤5-1：采用张正友标定法标定双目摄像头，

步骤5-2：两个摄像头拍摄学生的同一幅场景，获取立体图像对；

步骤5-3：立体图像对预处理：首先用小波阈值滤波算法去除高斯噪声和随机噪声，再用直方图均衡化方法平衡立体图对间的亮度差异，最后用拉普拉斯算子对图像进行锐化处理，突出图像的边缘与细节；

步骤5-4：特征检测与提取：应用Sift角点检测算法提取照片极值点，再采用Harris角点检测算法对Sift算法所提取出的极值点进行二次检测，并将二次检测后的结果作为最终的照片特征；

步骤5-5：立体匹配：运用归一化积相关NPC图像匹配算法对照片特征的角点间的相似度进行计算，得到相对应的匹配点对；

步骤5-6：三维重建：匹配点对进行三维坐标的求解；

步骤5-7：姿势分析：将求解的三维坐标与预先拍摄的学生规范的坐姿和握笔姿势对应的标准三维坐标信息进行比对分析；当两者的误差超过10%，则提醒学生纠正姿势。

步骤5-7中当监控到学生做作业期间1分钟内均无握笔，则判断学生没有在做作业，语音提醒学生开始做作业，同时家长端弹窗显示学生没在做作业。

具体地，采集周围环境的光照度、温湿度、全景图片和学生做作业的照片、影像，通过计算机视觉处理和图像增强技术，实时监测、智能判断和监督提醒7种状况：光照、温度、湿度是否过高或过低；周围是否有会影响学生做作业的玩具或其他物品；做作业的工具是否准备齐全；学生在不在位；在做作业还是在玩；坐姿是否端正；握笔姿势是否正确。

采集和判定环境状况的具体方法：通过光照度和温湿度传感器采集学生做作业的环境信息，经过放大、A/D转换后传给FPGA，FPGA按照传感器产品提供的模拟量与光照度（温度或湿度）换算关系计算后通过处理器给显示器显示，当温度不在15－25度、湿度不在45%RH-75%RH、光照度不在750-1000 Lx范围内（均为系统预设值，家长可适当调整），语音提醒学生环境状况超标，通过空调、风扇、台灯等设备来调节，同时家长端弹窗显示环境状况超标，并显示实际检测值。

采集和判定周围物品摆设及做作业工具准备情况的具体方法：家长与学生协商好作业桌上的所需作业工具和其他物品，按照“分类设置、取用方便”的原则明确具体位置并逐一摆放好，系统采集并储存高清照片作为判读标准照片；处理器控制云台转动，同时通知FPGA控制高清摄像头拍摄全景照片，运用OpenCV的Sfit算法对高清摄像头实际采集照片与标准照片进行特征提取和匹配，Sfit算法的实质是在不同的尺度空间上查找关键点，即特征点，计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述的问题，Sift所查找的关键点都是一些十分突出，不会因光照，仿射变换和噪声等因素而变换的“稳定”特征点，如角点、边缘点、暗区的亮点以及亮区的暗点等，匹配的过程就是对比这些特征点的过程。具体步骤是：第一步，生成高斯差分金字塔（DOG金字塔），尺度空间构建；第二步，空间极值点检测；第三步，稳定关键点的精确定位；第四步，稳定关键点方向信息分配；第五步，关键点描述；第六步，特征点匹配。当匹配度低于90%时，语音提醒学生纠正，同时家长端弹窗显示周围有会影响学生做作业的物品或做作业的工具准备不齐全。

采集和判定学生在位情况的具体方法：双目摄像头正对着学生，可以实时采集学生的照片和影像。当需要知道学生是否在位时，使用OpenCV自带的Haar分类器对所采集的照片进行人脸检测（检测前，对照片进行灰度和直方图均衡化处理效果更好），再通过LBP算法（LBP算法的基本思想是：在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经过比较可产生8位二进制数，通常转换为十进制数即LBP码，共256种，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息）对全局照片进行LBP特征提取得到LBP图，再对LBP特征图进行分块并计算每个分块的直方图，通过直方图的统计信息进行识别，最后将各块的直方图首尾相连就得到一张图片最终的LBP特征描述向量，计算两张图片（一张是标定的学生脸部照片，另一张是实际采集的照片）的LBP特征向量的相似度即可实现人脸识别，进而得知学生在位情况。当学生连续不在位时间超过1分钟（除非在休息期间或学生按下“休息”键，学生再次按下“休息”表示休息完成，重新开始计算不在位时间），同时家长端弹窗显示学生不在位。

采集和判定学生坐姿、握笔姿势及做作业状态的具体方法：通过FPGA和双目摄像头组成的双目立体视觉系统来自动采集和研判。双目立体视觉(Binocular StereoVision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。主要包括七个步骤：摄像头标定、图像采集、图像预处理、特征检测与提取、立体匹配、三维重建和姿势分析。具体如下：1、摄像头标定，采用张正友标定法(指张正友教授于1998年提出的单平面棋盘格的摄像机标定方法)，可用封装好的函数来完成。2、图像采集，由不同位置的两个摄像头拍摄同一幅场景，获取立体图像对。3、图像预处理，首先用小波阈值滤波算法去除高斯噪声和随机噪声，再用直方图均衡化方法平衡立体图对间的亮度差异，最后用拉普拉斯算子对图像进行锐化处理，突出图像的边缘与细节。4、特征检测与提取，应用Sift角点检测算法提取照片极值点，再采用Harris角点检测算法对Sift算法所提取出的极值点进行二次检测，并将二次检测后的结果作为最终的照片特点，以减少特征点的个数，提高照片匹配的效率及正确率。5、立体匹配，运用归一化积相关NPC图像匹配算法对特征角点间的相似度进行计算，得到相对应的匹配点对。6、三维重建，按opencv中cvcalibratecamera2()函数得到的匹配点对进行三维坐标的求解。7、姿势分析，预先拍摄学生规范的坐姿和握笔姿势照片，并按1-6步骤进行三维重建，存储、计算，并经深度学习训练算法，得出相关三维坐标信息(坐姿、握笔姿势等行为)作为标准，实际做作业过程中采集并计算后与标准值进行比对分析，误差超过10%则语音提醒学生进行纠正，同时家长端弹窗显示学生姿势不正确；连续拍摄学生做作业期间1分钟内握笔的照片(每分钟15张)，如果手上均无笔，则判断学生没有在做作业，语音提醒学生开始做作业，同时家长端弹窗显示学生没在做作业。

步骤6：家长基于监控数据进行相应的处理，

具体地，当家长需要了解学生的做作业状态时，进入系统“实时状态”界面，系统实时显示步骤5中检测到的每项状态值及判定结果，如果状态良好可给予贴心鼓励提示（具体内容系统自动优先推荐，家长可自行快速搜索、自行选择）；对于步骤5中弹窗显示到家长端的学生不正确的状态提醒，家长可不予处理，由学生自行纠正，当同一项提醒连续显示2分钟，说明学生未及时纠正，语音提醒家长干预，家长可通过聊天室与学生进行对话提醒或者到现场进行查看和纠正。

进一步地，步骤6中家长给予学生的贴心鼓励提示。对学生做作业情况的评价只有各种鼓励语，数据库中预存经典鼓励语、激励语(包括中外名人名言、中外名著中的经典语句、增广贤文、谚语、俗语等等)，家长和学生均可自行添加，还可以录制语音和短视频存入数据库(通过数据库的增加字段功能来实现)，同时按照使用场合及不同评定标准进行分类，服务器自动记录鼓励语使用次数，同类别的鼓励语使用次数多的优先推荐显示，家长还可快速搜索、自行选择(通过数据库的查询功能来实现)。

步骤7：反馈家长的处理至学生的终端设备并提醒学生进行响应；

具体地，当学生做作业状态良好，家长给予贴心鼓励提示时，学生终端显示家长选择的鼓励内容，具体显示方式可根据内容灵活采取弹窗、高亮、运用鲜艳颜色、播放语音或视频等；当家长通过聊天室与学生进行对话提醒时，系统会自动接通，并发出家长的语音，学生通过麦克风与家长进行对话；当家长到达学生做作业现场时，学生按家长的要求纠正不正确的做作业状态。

步骤8：学生完成每项作业后进行拍照并上传，

具体地，当学生完成一项作业，作业本在垫板上放好，按下垫板旁边的按钮，由放置在垫板上方的高清摄像头自动拍照，

进一步地，所有作业完成后，对每项作业的开始时间、实际完成时间、预测时段数(番茄数)、实际时段数(番茄数)、预测时段数(番茄数)准确程度、被打断次数等相关情况进行统计，记录、比对预估作业时间与实际作业时间，对实际作业时间进行概率分析，推荐概率最高的时间给学生选择。

步骤9：对上传的作业进行评判，并根据评判结果加减对应的积分；

具体地，采取两种方式评判作业情况：一是人工评判，照片直接上传到家长手机端，由家长来评判作业完成情况，并按照约定评定标准给予学生一定积分奖励，同时可按照步骤6的方法给予学生相应的鼓励提示；二是系统自动评判，通过OCR文字识别技术，将照片自动转换成文字，与系统试题数据库(含答案)自动比对，自动判定作业完成程度、完成正确率，按照约定评定标准给予学生相应的积分奖励，并指出错误所在、错误原因、如何防止(结合大数据分析算法)。

严格按计划完成作业，质量较高的（具体评定标准在协议中明确），奖励积分，积累到一定程度，可以提升等级（等级越高，积分价值越高）、也可以按约定方式兑换奖励或奖品，还可以进行抽奖(系统内置抽奖程序，具体奖项由家长和小学生协商)；没有按计划完成作业，或完成作业质量不高、情况不好，扣减一定积分。奖励包括由家长手机端控制时间的游戏、动画片、电影、电视剧等，家长可在系统内自行添加或安装，启动权限在家长，小学生在没有授权的情况下不能打开;奖品包括学习用品、玩具、生活用品等。奖励、奖品兑现后由家长和小学生确认后扣减积分。

步骤10：汇总所有学生的积分进行排名，并实时显示于学生的终端设备上。

具体地，好友之间按积分进行排名，排名、等级及积分在常用界面实时显示，以不断提醒或激励小学生。

步骤11：汇总并分析所属学生完成作业情况给教师（尤其是班主任），教师视情调整作业量。

具体地，由教师（尤其是班主任）设定所属学生，计算每名所属学生实际完成每项作业的时间（该项作业实际完成时间－该项作业开始时间－做该项作业过程中实际休息时间总和）、实际完成每个学科作业的时间（实际完成该学科每项作业的时间之和）、实际完成所有作业的总时间（实际完成所有作业的时间－第一项作业的实际开始时间－完成作业过程中的实际休息时间总和），进而统计所属学生完成每项作业、每个学科作业、所有作业的平均时间（即相应项的平均值）、最短时间（即相应项的最小值）、最长时间（即相应项的最大值）。根据一段时间的汇总分析数据，教师可视情调整作业安排量。

进一步地，本发明还公开了一种学生的作业智能监管系统，其包括学生端感知设备、家长端智能手机、教师端电脑或智能手机和后方服务器，学生端感知设备采集学生的作业状态，作业状态包括做作业的环境状况、学生的坐姿和握笔以及作业的时间安排和进度；学生端感知设备同时担负与学生的人机交互；家长端智能手机用于查看学生当前做作业状态、指导学生科学安排时间以及评价作业完成情况；教师端电脑或智能手机用于查看监督所属学生完成作业的汇总和分析数据，视情调整作业量；后方服务器提供网页服务、资源共享和数据存储。

进一步地，学生端感知设备包括麦克风、ARM处理器以及与ARM处理器相连的云台、FPGA、按键板、存储器、扬声器、网络模块、USB HUB、触摸显示器和电源管理，云台连接有高清摄像头、FPGA分别连接有双目摄像头、高清摄像头、DDR和A/D转换，A/D转换的输入端连接有温湿度传感器和光照度传感器，麦克风通过一I/O口接入ARM处理器，高清摄像头用于作业环境、约定协议和完成作业的采集，双目摄像头用于学生姿势的采集，温湿度传感器用于感知作业环境的温度和湿度，光照度传感器用于感知作业环境的光照度。

本发明的监管系统实现如下功能：1、奖惩协议自动生成。系统根据家长与小学生沟通、协商好的奖惩条款，自动生成制式的协议，作为实施做作业奖惩的正式书面依据。2、作业时间安排智能引导。系统提供常用或经典的多种时间安排方式，并一步步指导小学生根据作业量自主安排时间，家长可同时查看、监督、指导。3、做作业状况全方位监测。系统可实时监测、智能判断和监督提醒小学生做作业过程的温湿度、光照度、坐姿、握笔姿势等7种状况，做到全方位覆盖、全过程监管。 4、鼓励语贴心显示。系统内设常用鼓励语，自动记录、分析使用情况，智能贴心显示。5、作业情况一键上传。当小学生完成一项作业，并在垫板上放好，按下按钮，系统自动拍照上传到家长手机端，同时，对作业情况进行自动评判。6、积分奖励乐在其中。作业完成的好奖励积分，完成的不好扣减积分，积分可累积升级，也可以兑换奖励或奖品，还可以抽奖，好友之间按积分进行排名，不断提醒或激励小学生。7、时间知识全面管用。系统预装与时间相关的经典、实用知识，小学生可在家长的监督下自行学习，提高对时间的认识。

本发明采用以上技术方案，通过感知设备对学生做作业的情况进行全方位实时感知、全过程智能监管，家长不需要陪在学生身旁即可利用智能手机对其做作业情况进行全面掌控和指导，教师（尤其是班主任）可查看所属学生完成作业的汇总分析数据，科学调整作业量；通过家长与学生之间正式的书面协议来约束双方行为及奖惩兑现，教师（尤其是班主任）可视情查看监督，秉持“严格督促，多看进步，奖励为主，惩罚为辅”的原则，充分调动学生“按合同办事”的积极性，让学生产生自我管理的乐趣，从而自愿履行协议中的条款，既让学生体味到了尊重，还培养了规范意识。基于传感器、计算机视觉处理、图像增强、大数据分析和机器深度学习等技术，实现制式协议生成、作业时间安排智能引导、作业状况全方位监测、鼓励语贴心显示、作业情况一键上传、积分奖励乐在其中、时间知识全面管用等七大功能，着重促使学生认清时间的重要性，提高时间利用率和做作业效率，增加做作业的乐趣，有效解决学生做作业太慢和长时间使用APP进行学习对视力影响大等问题，促进学生逐步养成科学安排和使用时间的良好习惯，有利于学生成才、成人，会使学生受益终身。

Claims (10)

1.一种学生的作业智能监管方法，其特征在于：其包括以下步骤：

步骤1：家长与学生订立约定协议，并上传至服务器保存；

步骤2：提供至少两种作业时间安排模板供学生选择；

步骤3：学生输入对应的学习内容在选定的作业时间安排模板引导下生成的作业计划表；

步骤4：基于作业计划表依次提示学生完成每项作业，

步骤5：实时监控、自动判定学生的作业状态，并上传分发至对应家长的终端设备上，同时语音提醒学生纠正不正确状态；

步骤6：家长基于监控数据进行相应的处理，

步骤7：反馈家长的处理至学生的终端设备并提醒学生进行响应；

步骤8：学生完成每项作业后进行拍照并上传，

步骤9：对上传的作业进行评判，并根据评判结果加减对应的积分；

步骤10：汇总所有学生的积分进行排名，并实时显示于学生的终端设备上；

步骤11：汇总并分析所属学生完成作业情况给教师，教师视情调整作业量。

2.根据权利要求1所述的一种学生的作业智能监管方法，其特征在于：步骤2中作业时间安排模板为三种，分别为小番茄法、小象法和小青蛙法。

3.根据权利要求2所述的一种学生的作业智能监管方法，其特征在于：小番茄法的具体步骤为：

A1：学生从学生终端触输入作业内容及预估所需时间；

A2：以25分钟为一个番茄时间，相邻两个番茄时间之间设有5分钟休息时间，将每项作业的预估所需时间进行番茄时间划分，

A3：当某项作业的预估所需时间小于25分钟时，将该项作业与其他作业组合成一个番茄时间；

当某项作业的预估所需时间超过5个番茄时间时，将该项作业分为两个以上的子内容并确定子内容所需时间；

A4：将划分后的作业内容按照相邻两个番茄时间之间设有5分钟休息时间的原则并以当前时间为开始时间生成作业计划表。

4.根据权利要求2所述的一种学生的作业智能监管方法，其特征在于：小象法的具体步骤为：

B1：学生从学生终端触输入作业内容及预估所需时间；

B2：根据作业内容重要和紧急程度依照议定的归类标准进行归类形成四个分类，形成四个象限的作业全图；

B3：四个分类按照作业内容重要和紧急程度排序，

B4：按照每45分钟为一个作业时段，每个作业时段后安排15分钟休息时段的原则并以当前时间为开始时间生成作业计划表。

5.根据权利要求2所述的一种学生的作业智能监管方法，其特征在于：小青蛙法的具体步骤为：

C1：学生从学生终端触输入作业内容及预估所需时间；

C2：在每项作业根据困难及重要程度由高到低按英文字母顺序进行标号；

C3：每项作业依照英文字母标号的字母顺序重新排序；

C4：按照每45分钟为一个作业时段，每个作业时段后安排15分钟休息时段的原则并以当前时间为开始时间生成作业计划表。

6.根据权利要求1所述的一种学生的作业智能监管方法，其特征在于：步骤5中通过光照度和温湿度传感器采集学生做作业的环境信息，通过高清摄像头采集学生及周边全景图片，通过双目摄像头采集学生的照片和影像，并基于学生的照片和影像实时校正学生做作业时的姿势。

7.根据权利要求6所述的一种学生的作业智能监管方法，其特征在于：步骤5中姿势校正的具体方法包括以下步骤：

步骤5-1：采用张正友标定法标定双目摄像头，

步骤5-2：两个摄像头拍摄学生的同一幅场景，获取立体图像对；

步骤5-3：立体图像对预处理：首先用小波阈值滤波算法去除高斯噪声和随机噪声，再用直方图均衡化方法平衡立体图对间的亮度差异，最后用拉普拉斯算子对图像进行锐化处理，突出图像的边缘与细节；

步骤5-4：特征检测与提取：应用Sift角点检测算法提取照片极值点，再采用Harris角点检测算法对Sift算法所提取出的极值点进行二次检测，并将二次检测后的结果作为最终的照片特征；

步骤5-5：立体匹配：运用归一化积相关NPC图像匹配算法对照片特征的角点间的相似度进行计算，得到相对应的匹配点对；

步骤5-6：三维重建：匹配点对进行三维坐标的求解；

步骤5-7：姿势分析：将求解的三维坐标与预先拍摄的学生规范的坐姿和握笔姿势对应的标准三维坐标信息进行比对分析；当两者的误差超过10%，则提醒学生纠正姿势；

当监控到学生做作业期间1分钟内均无握笔，则判断学生没有在做作业，语音提醒学生开始做作业，同时家长端弹窗显示学生没在做作业。

8.根据权利要求1所述的一种学生的作业智能监管方法，其特征在于：步骤6中家长给予学生的贴心鼓励提示。

9.一种学生的作业智能监管系统，其特征在于：其包括学生端感知设备、家长端智能手机、教师端电脑或智能手机和后方服务器，学生端感知设备采集学生的作业状态，作业状态包括做作业的环境状况、学生的坐姿和握笔以及作业的时间安排和进度；学生端感知设备同时担负与学生的人机交互；家长端智能手机用于查看学生当前做作业状态、指导学生科学安排时间以及评价作业完成情况；教师端电脑或智能手机用于查看监督所属学生完成作业的汇总和分析数据，视情调整作业量；后方服务器提供网页服务、资源共享和数据存储。

10.根据权利要求1所述的一种学生的作业智能监管方法，其特征在于：学生端感知设备包括麦克风、ARM处理器以及与ARM处理器相连的云台、FPGA、按键板、存储器、扬声器、网络模块、触摸显示器和电源管理，云台连接有高清摄像头、FPGA分别连接有双目摄像头、高清摄像头、DDR和A/D转换，A/D转换的输入端连接有温湿度传感器和光照度传感器，麦克风通过一I/O口接入ARM处理器，高清摄像头用于作业环境、约定协议和完成作业的采集，双目摄像头用于学生姿势的采集，温湿度传感器用于感知作业环境的温度和湿度，光照度传感器用于感知作业环境的光照度。