CN104731971B - 一种校园个性化掌上服务及用户行为习惯分析的实现方法 - Google Patents

一种校园个性化掌上服务及用户行为习惯分析的实现方法 Download PDF

Info

Publication number
CN104731971B
CN104731971B CN201510168149.5A CN201510168149A CN104731971B CN 104731971 B CN104731971 B CN 104731971B CN 201510168149 A CN201510168149 A CN 201510168149A CN 104731971 B CN104731971 B CN 104731971B
Authority
CN
China
Prior art keywords
student
task
work attendance
information
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510168149.5A
Other languages
English (en)
Other versions
CN104731971A (zh
Inventor
朱全银
张宇洋
刘文儒
张亮
辛诚
黄涛贻
戎圣吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Hongtu Intelligent Technology Co ltd
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN201510168149.5A priority Critical patent/CN104731971B/zh
Publication of CN104731971A publication Critical patent/CN104731971A/zh
Application granted granted Critical
Publication of CN104731971B publication Critical patent/CN104731971B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种校园个性化掌上服务及用户行为习惯分析的实现方法，本发明属于Web数据采集和大数据分析领域，为提高校园管理系统的便捷性和实用性，弥补校园考勤方式单一、身份识别方式单一、机动性差、数据同步性差、成本高等缺点，进行学生行为习惯研究提供保证。在指定教务网网站的特定爬虫的基础上，利用NFC、OTG设备和蓝牙RFID/指纹设备实现了多终端、多设备支持的考勤方法，采用Web、微信公众平台、App实现系统的管理，使用预警预测、聚类、协同过滤模型进行用户行为习惯分析。本发明为校园课程、成绩信息提供了一种稳定便利的数据来源，为校园考勤提供了多种便携的考勤方式，为校园学院管理提供了一种多平台的管理方式，为师生的行为习惯研究提供了一种快捷的分析途径。

Description

一种校园个性化掌上服务及用户行为习惯分析的实现方法
技术领域
本发明属于Web数据采集和大数据分析领域，特别涉及一种校园个性化服务及用户行为习惯分析的实现方法，可应用于指定校园课表、成绩信息的采集，考勤及用户行为习惯的分析。
背景技术
校园个性化掌上服务及用户行为习惯分析，是一种多平台系统构架。随着网络信息和校园数字化管理需求的高速增长，校园数字化服务面临着网络信息更新速度快、管理个性化需求增多等多方面问题。为了解决这些问题，一种校园个性化掌上服务及用户行为习惯分析应运而生。传统的教务网信息数据的分析与采集主要采用代理形式，需要用户授权并提供用户账号密码，存在用户账号信息泄露的安全隐患，本方法的爬虫只需一个拥有查询权限账户便能完成全局信息的爬取。传统考勤方式主要使用固定的考勤设备，存在考勤方式单一、身份识别方式单一、机动性差、数据同步性差、成本高等缺点，而本方法中的考勤实现了多终端、多设备支持的考勤方法，弥补了上述缺陷。本方法采用多平台系统构架，支持Web端、微信公众平台、App端的信息查询，结合用户行为分析模型，整体提高考勤系统的便捷性和实用性，满足了校园数字化管理的需求。
本方法中的爬虫程序使用Java进行爬虫的编写，使用多线程技术提高爬虫的性能，并结合正则表达式的文本分析功能和CSS选择器的选取器功能实现爬虫中文本信息的分析与抓取。
正则表达式：
正则表达式（Regular Expression），通过使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。给定一个正则表达式和另一个字符串，可以判断给定的字符串是否符合正则表达式的过滤逻辑（称作“匹配”），并通过正则表达式，从字符串中获取我们想要的特定部分。正则表达式灵活性、逻辑性和功能性强，可以迅速地用极简单的方式达到字符串的复杂控制。
CSS选择器：
层叠样式表（Cascading Style Sheets，简写CSS），又称串样式列表、层次结构式样式表文件，一种用来为结构化文档（如HTML文档或XML应用）添加样式（字体、间距和颜色等）的计算机语言，能够对网页中的对象的位置排版进行像素级的精确控制，支持几乎所有的字体字号样式，拥有对网页对象和模型样式编辑的能力，并能够进行初步交互设计，是目前基于文本展示最优秀的表现设计语言。通过类别，标签，ID等选择器，可以对页面元素进行编辑。2010年至2012年，朱全银等给出了商品销售数据抽取与数据挖掘的方法（QuanyinZhu, Yunyang Yan, Jin Ding and Jin Qian. The Case Study for Price Extractingof Mobile Phone Sell Online. IEEE 2nd International Conference on SoftwareEngineering and Service Science, Beijing, Chian, July.2011, pp.281-295;Quanyin Zhu, Yunyang Yan, Jin Ding and Yu Zhang. The Commodities PriceExtracting for Shop Online, 2010 International Conference on FutureInformation Technology and Management Engineering，Changzhou,Jiangsu,Chian,Dec.2010, Vol.2,pp.317-320）该方法能同样运用于本方法中的教务网信息数据挖掘。
多线程：
多线程是一种机制，它允许在程序中并发执行多个指令流，每个指令流都称为一个线程，彼此间互相独立。线程又称为轻量级进程，它和进程一样拥有独立的执行控制，由操作系统负责调度，区别在于线程没有独立的存储空间，而是和所属进程中的其他线程共享存储空间，这使得线程间的通信较简单。多个线程的执行是并发的，即在逻辑上是“同时”的。如果系统只有一个CPU，那么真正的“同时”是不可能的，但是由于CPU切换的速度非常快，用户感觉不到其中的区别，因此用户感觉到线程是同时执行的。
为了提升程序性能，本系统中的爬虫程序与数据分析程序采用多线程技术，这样能极大地提高程序运行的效率。
NFC：
近距离无线通讯技术(Near Field Communication,简称NFC) ，该技术由免接触式射频识别演变而来，由飞利浦半导体、诺基亚和索尼共同研制开发，其基础是RFID及互连技术。近场通信是一种短距高频的无线电技术，在13.56MHz频率运行于20厘米距离内。目前该技术广泛应用于移动智能设备领域。
OTG：
一键拷贝（USB On-The-Go标准 ，简称OTG），采用USB2.O的传输接口，是在没有Host的情况下，实现设备间的数据传送。OTG标准支持电源管理（节省功耗）功能，允许设备既可作为主机，也可作为外设操作，并支持主机通令协议（HNP）和对话请求协议（SRP）。OTG设备主要应用于各种不同的设备或移动设备间的联接，进行数据交换。目前OTG外设广泛应用于移动智能设备的功能拓展。
本方法中的移动设备采用NFC手机和OTG外设进行手机App的RFID卡的物理卡号识别，大大提高移动智能设备考勤操作的便携性。
用户行为分析（Consumer Behavior）：
用户行为分析主要是研究对象用户的行为。数据来源包括用户的日志信息、用户主体信息和外界环境信息。通过特定的工具对用户在互联网/移动互联网上的行为进行记录，记录的信息通常称为用户日志。数据内容：
（1）网站日志：用户在访问某个目标网站时，网站记录的用户相关行为信息；
（2）搜索引擎日志：搜索引擎日志系统所记录的用户在搜索引擎上的相关行为信息；
（3）用户浏览日志：通过特定的工具和途径记录用户所记录的用户在该搜索引擎上的相关行为信息；
（4）用户主体数据：如用户群的年龄、受教育程度、兴趣爱好等；
（5）外界环境数据：如移动互联网流量、手机上网用户增长、自费套餐等；
本方法中的用户行为主要指用户信息、考勤状况、浏览日志及学生成绩等信息。
发明内容
本发明的目的是将数据挖掘方法和移动智能考勤方法与用户行为分析方法结合，运用聚焦爬虫对某指定教务网网站进行信息数据的分析与采集，运用支持多种设备（NFC移动设备、OTG设备和基于蓝牙的RFID/指纹识别装置）的移动设备App或PC端应用进行终端考勤，运用预警预测和聚类方法对行为习惯日志进行数据分析、建模和预测，实现用户行为分析，运用Web、微信和App实现系统的管理与查询。进而提高数据挖掘的安全性，改善校园考勤和校园管理的便捷程度。
本发明的技术方案：
数据挖掘方案：通过队列管理任务的先后顺序，在任务添加到队列后由线程池管理机制来分配队列中的任务给子线程，当任务处理课程信息的页面，获取课程的参数信息以及学生选课信息保存到数据库中，当任务处理成绩信息的页面，获取学生信息及成绩的参数信息保存到数据库中，进而实现指定教务网网站的特定爬虫。
移动设备App考勤方案：App同时支持NFC、OTG设备和蓝牙RFID/指纹设备。使用NFC模块识别时，调用NFC模块NFCAdapter，使用读操作完成对RFID卡的识别。使用OTG设备时，调用按键事件监听，实现对OTG设备传入物理卡号信息的识别。使用基于蓝牙的RFID/指纹识别设备时，开启设备电源，蓝牙与设备进行配对，操作蓝牙模块BluetoothAdapter开启蓝牙模块，使用BluetoothSocket完成物理卡号和指纹信息的交换。
行为习惯分析方案：通过队列管理任务的先后顺序，在任务添加到队列后由线程池管理机制来分配队列中的任务给子线程，当任务处理用户行为习惯信息的时，从数据库提取学生的各科出勤记录、浏览记录和各科成绩信息进行基于预警预测、聚类和协同过滤的数学建模，通过神经元反馈完成训练，生成各科出勤、浏览记录和成绩的因果关系结论，并将结论信息保存到数据库中。
具体的说，本发明方案通过如下各步骤实现校园个性化掌上服务及用户行为习惯分析：
步骤1、开始爬虫程序，初始化指定Web页面学生列表的入口URL；
步骤2、将初始化的URL添加到任务队列；
步骤3、开启线程池；
步骤4、线程池从队列中获取任务并分配给子线程；
步骤5、子线程调用解析列表URL的匹配模板，对目标URL的页面信息进行分析，获取页面的课程和成绩信息参数，参数包括：学生编号、班级编号、课程编号、教师编号、课程时间和成绩，调用数据存储模块将参数信息存入数据库；
步骤6、写入日志文件，结束该子进程；
步骤7、 检测当前任务队列是否还有任务存在，当有任务存在，执行步骤4；当没有任务存在，执行步骤8；
步骤8、将当次的抓取统计信息写入日志文件，结束爬虫程序；
步骤9、拥有教师或辅导员权限的用户通过访问系统的Web页面；
步骤10、从数据库提取爬虫程序爬取的课程信息，生成建议课表；
步骤11、教师或辅导员权限的用户创建课程、添加班级和分配考勤权限；
步骤12、后台生成考勤任务；
步骤13、拥有考勤权限的用户登陆手机App或PC客户端，请求服务器，获取考勤任务；
步骤14、选择考勤任务，请求服务器，获取所选择考勤任务中的学生队列（包括学生学号、班级、姓名、RFID卡卡号和指纹信息）及网络时间;
步骤15、考勤人员使用RFID卡接触NFC手机、OTG设备或RFID终端，并将RFID卡卡号传送给手机App或PC客户端，或使用指纹设备读取考勤人员指纹，将指纹信息通过蓝牙模块传送给手机App或PC客户端;
步骤16、将获取的RFID卡卡号或指纹信息与学生队列中的信息进行比对，如匹配到相应学生，则按当前时间标记该学生为已考勤，则执行步骤18，否则执行步骤17；
步骤17、进入新卡设置界面，选择新卡所对应的考勤人员，并对人员完成考勤；
步骤 18、是否结束考勤，是则将考勤记录本地备份，上传服务器端，否则执行15；
步骤 19、若上传成功，服务器返回成功参数，删除本地备份数据，执行步骤21，否则执行步骤20；
步骤 20、上传失败，请求上传本地备份，执行步骤19；
步骤 21、完成考勤任务；
步骤 22、服务器统计考勤数据，生成考勤报告（包括各学院出勤率统计、个人出勤信息统计和TOP10缺勤信息），开放供Web和微信查询接口，针对缺勤学生，生成缺勤信息文本，通过语音包生成音频，呼叫学生家长预留电话，完成语音播放；
步骤 23、读取学生当前学期考勤信息和成绩列表，生成用户行为习惯日志队列；
步骤 24、开启训练线程池；
步骤 25、线程池从队列中获取任务并分配给子线程；
步骤26、子线程运用预警、预测和聚类方法对各学生行为习惯日志建立分析模型，调用数据存储模块将结果存入数据库；
步骤 27、写入日志文件，结束该子进程；
步骤 28、 检测当前任务队列是否还有任务存在，当有任务存在，执行步骤25；当没有任务存在，执行步骤29；
步骤 29、写入日志文件，结束该进程；
步骤 30、服务器生成行为习惯报告，开放供Web和微信查询接口，生成缺勤信息文本，通过语音包生成音频，呼叫学生家长预留电话，完成语音播放；
步骤1所述URL是指在方法中表现为一串代表网页地址的字符串以及该地址中包含的网页内容；Web页面是指需要爬取的课程和成绩页面，使用指定的正则匹配模板匹配爬虫所爬取的页面信息；学生列表入口URL是指Web页面URL，根据需求指定需要信息采集的URL；
步骤2到步骤3是对数据采集系统的初始化，步骤2中将初始化的URL添加到任务队列是指系统中的数据结构存放着需要采集的学生列表入口URL；步骤3开启线程池是初始化一个线程池，线程池中有n个提供任务调度的子线程，n的值由服务器处理能力决定，取值范围为4-6个；
步骤4中的线程池从队列中获取任务分配给子线程，具体是指线程池不断地检测队列是否为空和线程池存在空闲的子线程，当队列不为空和线程池中存在空闲子线程时，从队列前端取出一个任务分配给一个空闲的子线程；
步骤5和步骤6是判断模板对URL进行域的判断，指定Web页面中的课程列表域和单个学生使用不同的域，子线程通过对域的判断选择调用不同的处理策略，并完成匹配日志的生成；
步骤7是检测队列中是否有任务存在是指检测队列是否为空；
步骤8是指队列中无任务，不存在运行的子线程的情况下，进程将退出，此时将本次运行的总体结果写入日志文件，主要包括采集的数量情况，出现分析失败的个数；
步骤9是指系统对不同用户进行权限识别，本系统中权限分为全局管理员、校级检查者、院级检查者、辅导员、教师和拥有考勤权限的学生；
步骤10是指系统通过用户的工号和数据库中该工号所对应的数据，逻辑生成教师或辅导员的课表；
步骤11和步骤12是指用户可通过操作建议课表，生成考勤任务，也可通过自行创建课程、添加班级和设置考勤时间来创建考勤任务，用户通过将考勤任务分配给学生权限用户完成考勤权限的分配；
步骤13、步骤14和步骤15是指拥有考勤权限的用户，通过手机App或PC客户端执行考勤任务，手机App可以通过调用NFC模块识别RFID卡，没有NFC的手机可通过USB接口连接OTG设备识别RFID卡，也可连接外设设备的蓝牙模块进行RFID卡的识别或指纹识别，PC客户端可以通过USB接口插入OTG设备识别RFID卡，也可以直接连接RFID设备识别RFID卡；
步骤16和步骤17是指身份识别及新卡判别模块，对学生队列中的存在的指纹或RFID卡进行身份判别并完成考勤，对学生队列中的不存在的新RFID卡物理卡号进行覆盖；
步骤18、步骤19和步骤20是指考勤结果上传，若上传失败则将本次考勤数据本地备份，提供再次上传的机会；
步骤22是指将当日考勤结果生成考勤报告，供学生所属的辅导员和家长通过访问Web或微信的方式进行查询，同时服务器端统计当日缺勤学生名单，将具体的缺勤信息以音频的形式使用网络电话通知家长；
步骤23和步骤24是指对各学生行为习惯日志的训练和预测的初始化，行为习惯日志指，该系统获取的该学生的相关行为信息，数据来源包括用户的日志信息、用户主体信息和外界环境信息，开启线程池是初始化一个线程池，线程池中有n个提供任务调度的子线程，n的值由服务器处理能力决定，取值范围为4-6个；
步骤26是指运用预警、预测和聚类方法对行为习惯日志进行分析和建模，并提供实时高速的复杂分析，本方法中的缺勤率预警值为30%，成绩不合格率预警值为20%；本方法中的聚类使用的是密度算法，对于相同班级的学生，成绩密度大过某阈值则将该学生加到与之相近的聚类中去；本方法中的预测方法主要使用基于滑动窗口的BP神经网络行为习惯预测预警算法；
步骤30是指将当前学期该学生的行为分析结论，供学生所属的辅导员和家长通过访问Web或微信的方式进行查询，同时服务器端将具体的行为分析报告以音频的形式使用网络电话通知家长。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明：
如附图1所示，本发明实施方案按照以下步骤进行：
步骤1、初始化指定教务网网站中的学生列表入口URL的数据集X1={A1,A2,...,An};
步骤2、将初始化的数据集X1添加到任务队列；
步骤3、开启线程池P；
步骤4、线程池P从队列中取出任务交给子线程Pn，启动子线程
步骤5、子线程利用分析课程的匹配模板对该子线程读取的Ai的页面信息进行分析，得到学生下课程编号course_id、课程时间course_time、课程名称course_name、学生编号student_id、教师编号teacher_id和班级名称class_id, 利用分析成绩的匹配模板对该子线程读取的Bi的页面信息进行分析，得到学生编号student_id,学生课程编号student_course_id和学生课程成绩student_course_grade，将以上信息按关联关系存入数据库中;
步骤6、写入日志文件Data Mining Log，结束该子线程Pn；
步骤7、 检测当前任务队列是否还有任务存在，当有任务存在，执行步骤4；当没有任务存在，执行步骤8；
步骤8、统计当次程序运行的任务数task_number、爬取数success_number和错误编号wrong_number写入日志文件Data Mining Log，关闭线程池P；
步骤9、用户通过访问Web页面，拥有教师或辅导员权限的用户完成身份认证后，进入操作页面；
步骤10、从数据库提取爬虫程序爬取的教师编号teacher_id下的课程编号course_id及其关联的课程时间course_time和课程名称course_name，生成建议课表；
步骤11、教师或辅导员权限的用户操作Web页面，确定创建课程的course_id，导入添加班级的class_id，通过选择操作确认导入该class_id下的student_id，选择考勤周次和考勤时间段，将指定课程course_id的考勤权限分配给指定student_id，将请求提交；
步骤12、后台根据考勤周次和考勤时间段生成考勤任务，存入数据库；
步骤13、拥有考勤权限的用户登陆手机App或PC客户端，请求服务器，获取考勤任务；
步骤14、选择考勤任务，请求服务器，获取所选择考勤任务中的学生队列信息（包括student_id、class_id、student_id、RFID卡卡号student_card和指纹信息student_fingerprint）及网络时间net_time并开始计时；
步骤15、考勤人员使用RFID卡接触NFC手机、OTG设备或RFID终端，并调用NFC模块NFCAdapter或按键事件监听将RFID卡卡号传送给手机App或PC客户端。使用指纹设备读取考勤人员指纹，将指纹信息student_fingerprint通过蓝牙模块BluetoothAdapter传送给手机App或PC客户端；
步骤16、若获取的是RFID卡卡号，则与学生信息队列中的student_card进行对比，若夺取的是指纹信息，则与学生信息队列中的student_fingerprint进行比对，如匹配到相应学生，则按当前时间标记该学生的考勤状态attendance_status，执行步骤18，否则执行步骤17；
步骤 17、进入新卡设置界面，选择新卡所对应的student_id，使用获取的物理卡号覆盖该学生的student_card，并对按当前时间标记该学生的考勤状态attendance_status；
步骤 18、是否结束考勤，是则将考勤记录本地备份，上传服务器端，否则执行15；
步骤 19、若上传成功，服务器返回成功参数upload status为true，删除本地备份数据，执行步骤21，否则执行步骤20；
步骤 20、上传失败，请求上传本地备份，执行步骤19；
步骤 21、完成考勤任务；
步骤 22、服务器统计考勤数据，将各学生的考勤状态与任务开放时间比对，超出开放时间则标记迟到状态，若上传的物理卡号改变覆盖数据库内的student_card，生成考勤报告（包括各学院出勤率统计、个人出勤信息统计和TOP10缺勤信息），开放供Web和微信查询接口。针对缺勤student_id，生成缺勤信息文本，通过语音开发包生成音频，使用网络电话呼叫学生家长预留电话，完成语音播放；
步骤 23、读取各学生student_id下当前学期的考勤日志和成绩列表，生成用户行为习惯日志队列Y1={B1,B2,...,Bn};；
步骤 24、开启线程池D；
步骤 25、线程池D从队列中取出任务交给子线程Dn，启动子线程；
步骤26、子线程利用预警、预测和聚类模板对该子线程读取的行为习惯信息进行分析，本方法中的缺勤率预警值为30%，成绩不合格率预警值为20%，超过预警值则在结果中添加预警信息；聚类算法使用密度算法，对于相同班级的学生，成绩密度大过某阈值则将该学生加到与之相近的聚类中去，根据不同的聚类将学生进行分类；本方法中的预测算法为BP神经网络，设置出勤率、成绩合格率分别为两次输入层input layer，成绩为输出层output layer，利用给定的样本标准进行训练，输出因果关系日志，存入数据库；
步骤 27、写入日志文件，结束该子进程Dn；
步骤 28、检测当前任务队列是否还有任务存在，当有任务存在，执行步骤25；当没有任务存在，执行步骤29；
步骤 29、写入日志文件，关闭线程池D；
步骤 30、服务器生成行为习惯报告，开放供Web和微信查询接口。生成缺勤行为习惯报告文本，通过语音包生成音频，呼叫学生家长预留电话，完成语音播放；
在本方法提出的系统环境下，在教务网信息数据挖掘时，课程信息爬取实验结果为：课程挖全率为99.34%，正确率为100%；成绩信息爬取实验结果为：成绩挖全率为99.62%，正确率为100%；Web网站支持500-600人的同时访问、每秒10次的点击和保持10分钟以上的Vuser数；手机App在3G流量下获取任务成功率为96%；语音包生成音频程序成功率为98%。
本发明可与校园网络课堂相结合，从而实现指定教务网网站、网络课堂网站和课堂教学的个性化管理，减少校园管理的繁琐操作。
本发明创造性地提出了NFC设备、OTG设备和蓝牙RFID/指纹设备结合实现考勤操作的方法，提供了多种考勤方式和多种身份识别方式，提高了考勤的机动性和数据同步速率，降低了成本。创造性地提出了使用用户的考勤信息、成绩信息和外界环境信息进行行为习惯进行分析，提高了校园数字化管理的水平。
本发明提出了一种支持多平台多种设备的校园个性化掌上服务及用户行为习惯分析的实现方法，可以用于各类教育机构的教学管理和学生行为习惯研究。

Claims (2)

1.一种校园个性化掌上服务及用户行为习惯分析的实现方法，其特征在于：使用网络爬虫爬取Web页面的课程表和成绩信息，本方法包括NFC手机、OTG设备、RFID终端和指纹终端的多种考勤方式，提供Web、App和微信公众平台的课程和成绩查询方法，利用学生的考勤和成绩数据实现对用户进行行为习惯分析，具体步骤包括以下步骤：
步骤1、开始爬虫程序，初始化指定Web页面学生列表的入口URL；
步骤2、将初始化的URL添加到任务队列；
步骤3、开启线程池；
步骤4、线程池从队列中获取任务并分配给子线程；
步骤5、子线程调用解析列表URL的匹配模板，对目标URL的页面信息进行分析，获取页面的课程和成绩信息参数，参数包括：学生编号、班级编号、课程编号、教师编号、课程时间和成绩，调用数据存储模块将参数信息存入数据库；
步骤6、写入日志文件，结束该子进程；
步骤7、 检测当前任务队列是否还有任务存在，当有任务存在，执行步骤4；当没有任务存在，执行步骤8；
步骤8、将当次的抓取统计信息写入日志文件，结束爬虫程序；
步骤9、拥有教师或辅导员权限的用户通过访问系统的Web页面；
步骤10、从数据库提取爬虫程序爬取的课程信息，生成建议课表；
步骤11、教师或辅导员权限的用户创建课程、添加班级和分配考勤权限；
步骤12、后台生成考勤任务；
步骤13、拥有考勤权限的用户登陆手机App或PC客户端，请求服务器，获取考勤任务；
步骤14、选择考勤任务，请求服务器，获取所选择考勤任务中的学生队列及网络时间，所述学生队列包括学生学号、班级、姓名、RFID卡卡号和指纹信息；
步骤15、考勤人员使用RFID卡接触NFC手机、OTG设备或RFID终端，并将RFID卡卡号传送给手机App或PC客户端，或使用指纹设备读取考勤人员指纹，将指纹信息通过蓝牙模块传送给手机App或PC客户端;
步骤16、将获取的RFID卡卡号或指纹信息与学生队列中的信息进行比对，如匹配到相应学生，则按当前时间标记该学生为已考勤，则执行步骤18，否则执行步骤17；
步骤17、进入新卡设置界面，选择新卡所对应的考勤人员，并对人员完成考勤；
步骤 18、是否结束考勤，是则将考勤记录本地备份，上传服务器端，否则执行15；
步骤 19、若上传成功，服务器返回成功参数，删除本地备份数据，执行步骤21，否则执行步骤20；
步骤 20、上传失败，请求上传本地备份，执行步骤19；
步骤 21、完成考勤任务；
步骤 22、服务器统计考勤数据，生成考勤报告，包括各学院出勤率统计、个人出勤信息统计和TOP10缺勤信息，开放供Web和微信查询接口，针对缺勤学生，生成缺勤信息文本，通过语音包生成音频，呼叫学生家长预留电话，完成语音播放；
步骤 23、读取学生当前学期考勤信息和成绩列表，生成用户行为习惯日志队列；
步骤 24、开启训练线程池；
步骤 25、线程池从队列中获取任务并分配给子线程；
步骤26、子线程运用预警、预测和聚类方法对各学生行为习惯日志建立分析模型，调用数据存储模块将结果存入数据库；
步骤 27、写入日志文件，结束该子进程；
步骤 28、 检测当前任务队列是否还有任务存在，当有任务存在，执行步骤25；当没有任务存在，执行步骤29；
步骤 29、写入日志文件，结束该进程；
步骤 30、服务器生成行为习惯报告，开放供Web和微信查询接口，生成缺勤信息文本，通过语音包生成音频，呼叫学生家长预留电话，完成语音播放。
2.根据权利要求1所述的一种校园个性化掌上服务及用户行为习惯分析的实现方法，其特征在于：
步骤1所述URL是指在方法中表现为一串代表网页地址的字符串以及该地址中包含的网页内容；Web页面是指需要爬取的课程和成绩页面，使用指定的正则匹配模板匹配爬虫所爬取的页面信息；学生列表入口URL是指Web页面URL，根据需求指定需要信息采集的URL；
步骤2到步骤3是对数据采集系统的初始化，步骤2中将初始化的URL添加到任务队列是指系统中的数据结构存放着需要采集的学生列表入口URL；步骤3开启线程池是初始化一个线程池，线程池中有n个提供任务调度的子线程，n的值由服务器处理能力决定，取值范围为4-6个；
步骤4中的线程池从队列中获取任务分配给子线程，具体是指线程池不断地检测队列是否为空和线程池存在空闲的子线程，当队列不为空和线程池中存在空闲子线程时，从队列前端取出一个任务分配给一个空闲的子线程；
步骤5和步骤6是判断模板对URL进行域的判断，指定Web页面中的课程列表域和单个学生使用不同的域，子线程通过对域的判断选择调用不同的处理策略，并完成匹配日志的生成；
步骤7是检测队列中是否有任务存在是指检测队列是否为空；
步骤8是指队列中无任务，不存在运行的子线程的情况下，进程将退出，此时将本次运行的总体结果写入日志文件，主要包括采集的数量情况，出现分析失败的个数；
步骤9是指系统对不同用户进行权限识别，本系统中权限分为全局管理员、校级检查者、院级检查者、辅导员、教师和拥有考勤权限的学生；
步骤10是指系统通过用户的工号和数据库中该工号所对应的数据，逻辑生成教师或辅导员的课表；
步骤11和步骤12是指用户可通过操作建议课表，生成考勤任务，也可通过自行创建课程、添加班级和设置考勤时间来创建考勤任务，用户通过将考勤任务分配给学生权限用户完成考勤权限的分配；
步骤13、步骤14和步骤15是指拥有考勤权限的用户，通过手机App或PC客户端执行考勤任务，手机App可以通过调用NFC模块识别RFID卡，没有NFC的手机可通过USB接口连接OTG设备识别RFID卡，也可连接外设设备的蓝牙模块进行RFID卡的识别或指纹识别，PC客户端可以通过USB接口插入OTG设备识别RFID卡，也可以直接连接RFID设备识别RFID卡；
步骤16和步骤17是指身份识别及新卡判别模块，对学生队列中的存在的指纹或RFID卡进行身份判别并完成考勤，对学生队列中的不存在的新RFID卡物理卡号进行覆盖；
步骤18、步骤19和步骤20是指考勤结果上传，若上传失败则将本次考勤数据本地备份，提供再次上传的机会；
步骤22是指将当日考勤结果生成考勤报告，供学生所属的辅导员和家长通过访问Web或微信的方式进行查询，同时服务器端统计当日缺勤学生名单，将具体的缺勤信息以音频的形式使用网络电话通知家长；
步骤23和步骤24是指对各学生行为习惯日志的训练和预测的初始化，行为习惯日志指，该系统获取的该学生的相关行为信息，数据来源包括用户的日志信息、用户主体信息和外界环境信息，开启线程池是初始化一个线程池，线程池中有n个提供任务调度的子线程，n的值由服务器处理能力决定，取值范围为4-6个；
步骤26是指运用预警、预测和聚类方法对行为习惯日志进行分析和建模，并提供实时高速的复杂分析，本方法中的缺勤率预警值为30%，成绩不合格率预警值为20%；本方法中的聚类算法使用的是密度算法，对于相同班级的学生，成绩密度大过某阈值则将该学生加到与之相近的聚类中去；本方法中的预测算法主要使用基于滑动窗口的BP神经网络行为习惯预测预警算法；
步骤30是指将当前学期该学生的行为分析结论，供学生所属的辅导员和家长通过访问Web或微信的方式进行查询，同时服务器端将具体的行为分析报告以音频的形式使用网络电话通知家长。
CN201510168149.5A 2015-04-11 2015-04-11 一种校园个性化掌上服务及用户行为习惯分析的实现方法 Expired - Fee Related CN104731971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510168149.5A CN104731971B (zh) 2015-04-11 2015-04-11 一种校园个性化掌上服务及用户行为习惯分析的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510168149.5A CN104731971B (zh) 2015-04-11 2015-04-11 一种校园个性化掌上服务及用户行为习惯分析的实现方法

Publications (2)

Publication Number Publication Date
CN104731971A CN104731971A (zh) 2015-06-24
CN104731971B true CN104731971B (zh) 2017-09-12

Family

ID=53455858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510168149.5A Expired - Fee Related CN104731971B (zh) 2015-04-11 2015-04-11 一种校园个性化掌上服务及用户行为习惯分析的实现方法

Country Status (1)

Country Link
CN (1) CN104731971B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992479A (zh) * 2015-07-21 2015-10-21 华北理工大学 学生行为分析系统及方法
CN105373914A (zh) * 2015-11-18 2016-03-02 浙江广厦建设职业技术学院 一种课堂纪律管理与奖励相结合的实现方法
CN105809595A (zh) * 2016-03-14 2016-07-27 河南省阳光智创物联网科技有限公司 大学生行为预测管理系统
CN107220226A (zh) * 2016-03-21 2017-09-29 上海鸣皋教育科技有限公司 一种创课方法及系统
CN106156943A (zh) * 2016-06-21 2016-11-23 河南省阳光智创物联网科技有限公司 大学生行为智能管理预警系统
CN107870816B (zh) * 2016-09-27 2021-11-26 苏宁易购集团股份有限公司 一种用于图像处理和存储的方法及装置
CN106652073A (zh) * 2016-12-14 2017-05-10 天津志学科技有限公司 一种机电一体化指纹打卡机与手机通信识别系统
CN106780813A (zh) * 2016-12-14 2017-05-31 天津志学科技有限公司 一种机电一体化指纹打卡机与手机通信系统
CN106652071A (zh) * 2016-12-14 2017-05-10 天津晟金创科技有限公司 一种机电一体化考勤智能系统
CN106600736A (zh) * 2016-12-14 2017-04-26 天津晟金创科技有限公司 一种机电一体化指纹考勤智能系统
CN106600735A (zh) * 2016-12-14 2017-04-26 天津飞鸟科技有限公司 一种指纹打卡机与手机通信识别智能系统
CN106652072A (zh) * 2016-12-14 2017-05-10 天津晟金创科技有限公司 一种机电一体化考勤系统
CN108304298B (zh) * 2018-02-09 2021-03-16 北京航智信息技术有限公司 基于教育行业实现多管理端对学生移动终端的监管系统
CN108347490A (zh) * 2018-04-25 2018-07-31 衢州龙瀚计算机科技有限公司 一种基于生物识别技术的校园应用装置及系统
CN108764533B (zh) * 2018-05-05 2021-12-14 吉林大学 基于虹膜识别的预测迟到概率的学校考勤系统及方法
CN108921744A (zh) * 2018-06-29 2018-11-30 合肥霞康电子商务有限公司 一种智能教育用教学管理系统
CN109035095A (zh) * 2018-08-02 2018-12-18 杭州华网信息技术有限公司 一种智慧校园旷课预警方法与系统
CN109246615A (zh) * 2018-10-11 2019-01-18 武汉微道云信息科技有限公司 云服务智能考勤记录方法、系统、云服务器及存储介质
CN109558895A (zh) * 2018-11-07 2019-04-02 广州慧睿思通信息科技有限公司 一种基于智能感知的校园管理方法、系统及介质
CN109978511A (zh) * 2019-04-09 2019-07-05 艾伯资讯（深圳）有限公司 基于网页爬取的项目管理检查系统及方法
CN110363181A (zh) * 2019-07-24 2019-10-22 安徽锦星信息技术有限公司 基于ai人脸识别的校园安全管理系统
CN113065055B (zh) * 2021-04-21 2024-04-02 深圳赛安特技术服务有限公司 新闻资讯抓取方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673379A (zh) * 2009-10-09 2010-03-17 广州市城飞计算机科技有限公司 学生联络管理系统
CN101950391A (zh) * 2010-09-20 2011-01-19 清华大学 基于无线掌上电脑和数据库的实验评估系统及其方法
CN102646256A (zh) * 2012-03-21 2012-08-22 张革伕 一种基于互联网的学生学习状态家校完全通系统与方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673379A (zh) * 2009-10-09 2010-03-17 广州市城飞计算机科技有限公司 学生联络管理系统
CN101950391A (zh) * 2010-09-20 2011-01-19 清华大学 基于无线掌上电脑和数据库的实验评估系统及其方法
CN102646256A (zh) * 2012-03-21 2012-08-22 张革伕 一种基于互联网的学生学习状态家校完全通系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于NFC的考勤系统设计与实现;孙佳伟等;《安徽电子信息职业技术学院学报》;20150220;第14卷(第76期);第29-31,103页 *

Also Published As

Publication number Publication date
CN104731971A (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
CN104731971B (zh) 一种校园个性化掌上服务及用户行为习惯分析的实现方法
CN106372113B (zh) 新闻内容的推送方法及系统
CN110377814A (zh) 题目推荐方法、装置及介质
CN109543034B (zh) 基于知识图谱的文本聚类方法、装置及可读存储介质
Baur et al. eXplainable cooperative machine learning with NOVA
CN107733782A (zh) 根据任务生成群的方法、装置及系统
CN102915493A (zh) 信息处理装置和方法
CN109783624A (zh) 基于知识库的答案生成方法、装置和智能会话系统
CN115481969A (zh) 简历筛选方法、装置、电子设备及可读存储介质
CN102411540A (zh) 基于工作流的通用软件测试过程自动化管理系统
CN110598070A (zh) 应用类型识别方法及装置、服务器及存储介质
CN102609423A (zh) 一种协同式题库系统及实现方法
CN112231563A (zh) 一种内容推荐方法、装置及存储介质
Hoppe et al. Using sequence analysis to determine the well-functioning of small groups in large online courses
CN110489649A (zh) 标签关联内容的方法及装置
CN112596731A (zh) 一种融合智能教育的编程教学系统及方法
CN112328806A (zh) 一种数据的处理方法、系统、计算机设备和存储介质
JP2022516227A (ja) 自然言語ソリューション
CN109242431B (zh) 一种基于数据体系的企业管理方法及其系统
CN113723853A (zh) 岗位胜任力需求数据处理方法及装置
Zhang et al. Optimization of ideological and political education under the epidemic via mobile learning auxiliary platform in the era of digitization
Kinra et al. Textual data in transportation research: Techniques and opportunities
Tan et al. Does informativeness matter? Active learning for educational dialogue act classification
CN109891410A (zh) 用于新的会话对话系统的数据收集
CN113407704A (zh) 文本匹配方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190625

Address after: 223005 No. 9 Haikou Road, Huaian Economic and Technological Development Zone, Jiangsu Province

Patentee after: HUAIAN FUN SOFWARE CO.,LTD.

Address before: 223005 Jiangsu Huaian Higher Education Park 1 East Road

Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210425

Address after: No. 555, hengchangjing Road, Zhoushi Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee after: Suzhou Hongtu Intelligent Technology Co.,Ltd.

Address before: 223005 No. 9, Haikou Road, Huaian economic and Technological Development Zone, Jiangsu, China

Patentee before: HUAIAN FUN SOFWARE Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170912