CN113516395B - 一种基于智能台灯的作业监测方法及系统 - Google Patents

Abstract

本发明公开了一种基于智能台灯的作业监测方法及系统，利用摄像头，把学生的每道题的做题过程制成一个帧率非常低而且不带声音的“小视频”,连同作业结果图片一起提交给老师或者家长。老师和家长在自身的移动终端可以点击作业上的小视频快速浏览学生的做题过程，花很短的时间就能了解学生完整的答题情况，从而为将来给学生进行有针对性地辅导创造了条件。

Description

一种基于智能台灯的作业监测方法及系统

技术领域

本发明涉及智能台灯技术领域，具体涉及一种基于智能台灯的作业监测方法及系统。

背景技术

智能台灯已经走进大众的生活，智能台灯一般带有智能操作系统，支持联网和支持拍照摄像等功能，而且摄像头普遍安装在方便拍摄学生作业的位置，比如安装在台灯灯罩的下方，正对桌面。ZL201910089150公开了一种基于台灯的智能作业系统，提供了作业辅导的功能，该发明提供的老师或家长对学生的作业辅导主要有两个途径，一是学生端(智能台灯)向老师或者家长发送对作业的拍照；另一个是老师或家长发起对学生的视频聊天，通过摄像头实时查看学生的作业情况。

对于以上两种作业辅导的途径，都存在不足，发送作业的拍照，老师或家长只能知道作业的结果，无法了解过程。老师或家长发起的视频聊天也存在问题，一是视频聊天的方式辅导耗时太长老师或家长没有那么多时间，二是学生被动地和老师或家长视频会影响学生的学习。很多时候，家长或教师需要培养学生独立作业的能力，同时还需要对作业过程有详细的了解。

发明内容

针对现有技术的不足，本发明旨在提供一种基于智能台灯的作业监测系统及系统。

为了实现上述目的，本发明采用如下技术方案：

一种基于智能台灯的作业监测方法，具体过程为：

服务器端为每个学生和老师分别分配ID和密码，并预先存储每个班级中各个老师和学生的ID，创建每个班级相应的班级数据库；

老师在教师端中通过自己的ID和密码登录作业管控程序，家长在家长端中通过学生的ID和密码登录作业管控程序，学生在智能台灯通过自己的ID和密码登录作业监测程序，智能台灯通过作业监测程序与学生的ID绑定；老师每天在布置完作业后，用教师端对布置的作业进行拍照，如果有多页，就分页拍照，然后通过教师端的作业管控程序上传至服务器端并指定该作业对应的班级，服务器端保存在相应的班级数据库中；

当学生打开智能台灯时，智能台灯的操作系统自动启动，并随后启动作业监测程序，作业监测程序通过上传学生的ID查询服务器端的班级数据库是否有新的作业，如果有就下载作业的拍照图片，识别出本次作业各个题目信息，包括题目编号和题目文本，然后打开智能台灯的摄像头，驱使摄像头定时拍照，并根据摄像头获取的照片识别出桌面是否有作业本，如果有作业本则进一步识别出作业本上的题目信息是不是和本次作业的题目信息匹配，如果匹配表示学生开始做作业了；

作业监测程序识别出学生开始做作业后，启动答题过程识别和提取，具体过程为：定义一个用于统计有效拍照次数的变量picNum，一个可动态增加用于记录每次拍照重复次数的数组picRepeatNumArray和一个固定大小的用于记录每道题目对应起始图片索引的数组picIdxPerExerciseArray，作业监测程序每隔设定的时长通过摄像头拍一次照，每次得到的照片先备份一张，然后识别出照片中笔尖的位置，如果识别不到笔尖就丢弃此次照片，如果识别到笔尖就从照片中裁剪出一个矩形图片，该矩形图片具有预先定义的区域大小，并且以笔尖为右下角的点；每次裁剪到的矩形图片和上一个矩形图片进行比较，如果两张矩形图片有实质性差异，这次的矩形图片为有效的矩形图片，将有效的矩形图片命名为picNum.png然后保存,picNum加1，相反，如果发现两张矩形图片没有实质性差异就舍弃本次裁剪的矩形图片，这时需要记录picRepeatNumArray[picNum]++，表示将来的播放答题过程时，当前帧用上一张矩形图片补充；

另外，作业监测程序还要识别题目跳变的发生，即笔尖第一次在另一个题目编号的题目区域上书写；当发生题目跳变时，把跳变后的题目编号和此时的picNum值保存到picIdxPerExerciseArray，即picIdxPerExerciseArray[题目编号]＝picNum；如果学生把作业本翻页了，根据教师端的作业管控程序上传的作业拍照图片识别出来后，把上一次拍照备份的照片按设定的命名规则命名后保存下来，作为当前页作业的结果图片；当学生在最后一题书写之后放下笔超过设定的时长或者作业本被合上，作业监测程序据此判断学生完成了作业，这时作业监测程序把上一次拍照备份的照片按设定的命名规则命名后保存下来作为当前页作业的结果图片，然后把所有的作业结果图片和答题过程裁剪出的矩形图片，连同picNum、picRepeatNumArray和picIdxPerExerciseArray上传至服务器端，服务器端将这些作业情况数据和学生ID关联保存在相应的班级数据库；

家长端和教师端的作业管控程序会定时访问服务器端的班级数据库，判断是否有新的作业情况提交，在教师端的作业管控程序会获取班级所有学生的作业情况数据，在家长端的作业管控程序只获取登录使用的学生ID对应的作业情况数据。

进一步地，作业管控程序会以如下方式显示具体某个学生的作业情况：

首先展示所有的作业结果图片，然后在每道题上显示一个播放小窗口，播放当前题目的答题过程动画：根据题目编号从picIdxPerExerciseArray中得到当前题目答题过程的起始矩形图片和下一题答题过程的起始矩形图片，把这之间的矩形图片按矩形图片名称先后顺序逐个播放，播放过程中根据picRepeatNumArray中每张矩形图片重复次数信息，对于有重复次数图片，在重复次数个单位时间间隔内都重复播放上一张矩形图片。

更进一步地，每张矩形图片的播放间隔可以通过作业管控程序进行设置。

更进一步地，多个题目的答题过程动画可以同时播放也可以逐个播放。

本发明公开了一种实现上述方法的系统，包括智能台灯、服务器端、家长端和教师端；

所述智能台灯设有摄像头，所述摄像头用于拍摄学生写作业的过程，其受微控制器的控制，微控制器中运行有操作系统和作业监测程序；作业监测程序用于根据摄像头拍摄的照片，按照权利要求1所述的方法在学生做作业的过程中识别和提取学生的作业情况数据并提交至服务器端；

服务器端用于管理学生和老师的ID和密码、管理和维护各个班级中的学生和老师信息、管理和维护各个班级对应的班级数据库；

家长端和教师端中均运行有作业管控程序；

教师端的作业管控程序用于上传布置的作业的拍照图片至服务器端，以及从服务器端获取班级数据库中各个学生的作业情况数据进行显示，供老师查看；

家长端的作业管控程序用于获取绑定的学生ID对应的作业情况数据进行显示，供家长查看。

本发明的有益效果在于：本发明利用摄像头，把学生的每道题的做题过程制成一个帧率非常低而且不带声音的“小视频”,连同作业结果图片一起提交给老师或者家长。老师和家长在自身的移动终端可以点击作业上的小视频快速浏览学生的做题过程，花很短的时间就能了解学生完整的答题情况，从而为将来给学生进行有针对性地辅导创造了条件。

具体实施方式

以下将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

实施例1

本实施例提供一种基于智能台灯的作业监测方法，具体过程为：

服务器端为每个学生和老师分别分配ID和密码，并预先存储每个班级中各个老师和学生的ID，创建每个班级相应的班级数据库；

老师在教师端中通过自己的ID和密码登录作业管控程序，家长在家长端中通过学生的ID和密码登录作业管控程序，学生在智能台灯通过自己的ID和密码登录作业监测程序，智能台灯通过作业监测程序与学生的ID绑定；老师每天在布置完作业后，用教师端对布置的作业进行拍照，如果有多页，就分页拍照，然后通过教师端的作业管控程序上传至服务器端并指定该作业对应的班级，服务器端保存在相应的班级数据库中。

当学生打开智能台灯时，智能台灯的操作系统自动启动，并随后启动作业监测程序，作业监测程序通过上传学生的ID查询服务器端的班级数据库是否有新的作业，如果有就下载作业的拍照图片，识别出本次作业各个题目信息，包括题目编号和题目文本，然后打开智能台灯的摄像头，驱使摄像头定时拍照，并根据摄像头获取的照片识别出桌面是否有作业本，如果有作业本则进一步识别出作业本上的题目信息是不是和本次作业的题目信息匹配，如果匹配表示学生开始做作业了；

作业监测程序识别出学生开始做作业后，启动答题过程识别和提取，具体过程为：定义一个用于统计有效拍照次数的变量picNum，一个可动态增加用于记录每次拍照重复次数的数组picRepeatNumArray和一个固定大小的用于记录每道题目对应起始图片索引的数组picIdxPerExerciseArray，作业监测程序每隔设定的时长(例如0.5秒)通过摄像头拍一次照，每次得到的照片先备份一张(在后面用作判断是否能当作当前页作业的结果图片，如果不能会在下次拍照识别确认后删除，如果能当作当前页作业的结果图片，会被取特定的名称保留用于将来提交到服务器端)，然后识别出照片中笔尖的位置，如果识别不到笔尖就丢弃此次照片，如果识别到笔尖就从照片中裁剪出一个矩形图片，该矩形图片具有预先定义的区域大小，并且以笔尖为右下角的点，该矩形图片的大小在能看到笔尖左上方一定区域的内容的基础上尽量小，目的是为了减少展示答题过程的数据量，也不用担心区域太小看不到学生书写的完整内容而只能看到笔尖附近的若干个字，因为多张矩形图片连续播放时自然能够展示学生完整的书写内容。为了减少矩形图片的冗余，每次裁剪到的矩形图片要和上一个矩形图片进行比较，如果两张矩形图片有实质性差异，这次的矩形图片为有效的矩形图片，将有效的矩形图片命名为picNum.png(例如0.png,1.png等)然后保存,picNum加1，相反，如果发现两张矩形图片没有实质性差异就舍弃本次裁剪的矩形图片，这时需要记录picRepeatNumArray[picNum]++，表示将来的播放答题过程时，当前帧用上一张矩形图片补充。需要说明的是，两张矩形图片是否存在实质性差异可以用相似度阈值界定。

另外，作业监测程序还要识别题目跳变的发生，即笔尖第一次在另一个题目编号的题目区域上书写；当发生题目跳变时，需要把跳变后的题目编号和此时的picNum值保存到picIdxPerExerciseArray，即picIdxPerExerciseArray[题目编号]＝picNum，比如第10张图中笔尖第一次在第二题上写，这时的picIdxPerExerciseArray里面的值为：picIdxPerExerciseArray[1]等于10，这里题目编号从0开始。第一题编号为0,第二题编号为1。需要说明的是，学生答题过程中自然会用到草稿纸之类，也就是笔尖离开了作业本，但是这不影响题目跳变的识别，因为即使笔尖离开了作业本跳到草稿纸书写，但是只要笔尖没有落在作业本上另一题目编号的题目区域上，此时的作业过程依然属于当前题目的答题过程，只有识别出笔尖第一次出现在作业本的某道题上书写，才可判断题目发生了跳变。如果学生把作业本翻页了，根据作业的题目信息，也可以识别出来，这时需要把上一次拍照备份的照片按设定的命名规则命名后保存下来，作为当前页作业的结果图片。当学生在最后一题书写之后放下笔超过设定的时长或者作业本被合上，作业监测程序可以据此判断学生完成了作业，这时作业监测程序把上一次拍照备份的照片按设定的命名规则命名后保存下来作为当前页作业的结果图片，然后把所有的作业结果图片和答题过程裁剪出的矩形图片，连同picNum、picRepeatNumArray和picIdxPerExerciseArray上传至服务器端，服务器端将这些作业情况数据和学生ID关联保存在相应的班级数据库。

作业管控程序会定时访问服务器端的班级数据库，判断是否有新的作业情况提交，在教师端的作业管控程序会获取班级所有学生的作业情况数据，在家长端的作业管控程序只获取登录使用的学生ID对应的作业情况数据。

进一步地，作业管控程序会以如下方式显示具体某个学生的作业情况：

首先展示所有的作业结果图片，然后在每道题上显示一个播放小窗口，播放当前题目的答题过程动画：根据题目编号从picIdxPerExerciseArray中得到当前题目答题过程的起始矩形图片和下一题答题过程的起始矩形图片，把这之间的矩形图片按矩形图片名称先后顺序逐个播放，播放过程中根据picRepeatNumArray中每张矩形图片重复次数信息，对于有重复次数图片，在重复次数个单位时间间隔内都重复播放上一张矩形图片；每张矩形图片的播放间隔可以通过作业管控程序进行设置，从而实现快速播放或者慢速播放。多个题目的答题过程可以同时播放也可以一个播放完再播放下一个，尽量方便老师或者家长对学生答题过程的了解，同时播放可以节约老师或者家长的时间。

进一步地，老师或者家长通过对答题过程的了解，尤其是在草稿纸上的计算过程的展示，非常有利于老师或家长了解学生对知识点的掌握程度。

实施例2

本实施例提供一种实现实施例1所述方法的系统，包括智能台灯、服务器端、家长端和教师端；

所述智能台灯设有摄像头，所述摄像头用于拍摄学生写作业的过程，其受微控制器的控制，微控制器中运行有操作系统和作业监测程序；作业监测程序用于根据摄像头拍摄的照片，按照权利要求1所述的方法在学生做作业的过程中识别和提取学生的作业情况数据并提交至服务器端；

服务器端用于管理学生和老师的ID和密码、管理和维护各个班级中的学生和老师信息、管理和维护各个班级对应的班级数据库；

家长端和教师端中均运行有作业管控程序；

教师端的作业管控程序用于上传布置的作业的拍照图片至服务器端，以及从服务器端获取班级数据库中各个学生的作业情况数据进行显示，供老师查看；

家长端的作业管控程序用于获取绑定的学生ID对应的作业情况数据进行显示，供家长查看。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于智能台灯的作业监测方法，其特征在于，具体过程为：

服务器端为每个学生和老师分别分配ID和密码，并预先存储每个班级中各个老师和学生的ID，创建每个班级相应的班级数据库；

老师在教师端中通过自己的ID和密码登录作业管控程序，家长在家长端中通过学生的ID和密码登录作业管控程序，学生在学生端通过自己的ID和密码登录作业监测程序，智能台灯通过作业监测程序与学生的ID绑定；老师每天在布置完作业后，用教师端对布置的作业进行拍照，如果有多页，就分页拍照，然后通过教师端的作业管控程序上传至服务器端并指定该作业对应的班级，服务器端保存在相应的班级数据库中；

当学生打开智能台灯时，智能台灯的操作系统自动启动，并随后启动作业监测程序，作业监测程序通过上传学生的ID查询服务器端的班级数据库是否有新的作业，如果有就下载作业的拍照图片，识别出本次作业各个题目信息，包括题目编号和题目文本，然后打开智能台灯的摄像头，驱使摄像头定时拍照，并根据摄像头获取的照片识别出桌面是否有作业本，如果有作业本则进一步识别出作业本上的题目信息是不是和本次作业的题目信息匹配，如果匹配表示学生开始做作业了；

作业监测程序识别出学生开始做作业后，启动答题过程识别和提取，具体过程为：定义一个用于统计有效拍照次数的变量picNum，一个可动态增加用于记录每次拍照重复次数的数组picRepeatNumArray和一个固定大小的用于记录每道题目对应起始图片索引的数组picIdxPerExerciseArray，作业监测程序每隔设定的时长通过摄像头拍一次照，每次得到的照片先备份一张，然后识别出照片中笔尖的位置，如果识别不到笔尖就丢弃此次照片，如果识别到笔尖就从照片中裁剪出一个矩形图片，该矩形图片具有预先定义的区域大小，并且以笔尖为右下角的点；每次裁剪到的矩形图片和上一个矩形图片进行比较，如果两张矩形图片有实质性差异，这次的矩形图片为有效的矩形图片，将有效的矩形图片命名为picNum.png然后保存,picNum加1，相反，如果发现两张矩形图片没有实质性差异就舍弃本次裁剪的矩形图片，这时需要记录picRepeatNumArray[picNum]++，表示将来的播放答题过程时，当前帧用上一张矩形图片补充；

另外，作业监测程序还要识别题目跳变的发生，即笔尖第一次在另一个题目编号的题目区域上书写；当发生题目跳变时，把跳变后的题目编号和此时的picNum值保存到picIdxPerExerciseArray，即picIdxPerExerciseArray[题目编号]＝picNum；如果学生把作业本翻页了，根据教师端的作业管控程序上传的作业拍照图片识别出来后，把上一次拍照备份的照片按设定的命名规则命名后保存下来，作为当前页作业的结果图片；当学生在最后一题书写之后放下笔超过设定的时长或者作业本被合上，作业监测程序据此判断学生完成了作业，这时作业监测程序把上一次拍照备份的照片按设定的命名规则命名后保存下来作为当前页作业的结果图片，然后把所有的作业结果图片和答题过程裁剪出的矩形图片，连同picNum、picRepeatNumArray和picIdxPerExerciseArray上传至服务器端，服务器端将这些作业情况数据和学生ID关联保存在相应的班级数据库；

家长端和教师端的作业管控程序会定时访问服务器端的班级数据库，判断是否有新的作业情况提交，在教师端的作业管控程序会获取班级所有学生的作业情况数据，在家长端的作业管控程序只获取登录使用的学生ID对应的作业情况数据。

2.根据权利要求1所述的方法，其特征在于，作业管控程序会以如下方式显示具体某个学生的作业情况：

首先展示所有的作业结果图片，然后在每道题上显示一个播放小窗口，播放当前题目的答题过程动画：根据题目编号从picIdxPerExerciseArray中得到当前题目答题过程的起始矩形图片和下一题答题过程的起始矩形图片，把这之间的矩形图片按矩形图片名称先后顺序逐个播放，播放过程中根据picRepeatNumArray中每张矩形图片重复次数信息，对于有重复次数图片，在重复次数个单位时间间隔内都重复播放上一张矩形图片。

3.根据权利要求2所述的方法，其特征在于，每张矩形图片的播放间隔可以通过作业管控程序进行设置。

4.根据权利要求2所述的方法，其特征在于，多个题目的答题过程动画可以同时播放也可以逐个播放。

5.一种实现权利要求1-4任一所述方法的系统，其特征在于，包括智能台灯、服务器端、家长端和教师端；

所述智能台灯设有摄像头，所述摄像头用于拍摄学生写作业的过程，其受微控制器的控制，微控制器中运行有操作系统和作业监测程序；作业监测程序用于根据摄像头拍摄的照片，按照权利要求1所述的方法在学生做作业的过程中识别和提取学生的作业情况数据并提交至服务器端；

服务器端用于管理学生和老师的ID和密码、管理和维护各个班级中的学生和老师信息、管理和维护各个班级对应的班级数据库；

家长端和教师端中均运行有作业管控程序；

教师端的作业管控程序用于上传布置的作业的拍照图片至服务器端，以及从服务器端获取班级数据库中各个学生的作业情况数据进行显示，供老师查看；

家长端的作业管控程序用于获取绑定的学生ID对应的作业情况数据进行显示，供家长查看。