CN109859078A - 一种学生学习行为分析干预方法、装置及系统 - Google Patents

Abstract

本发明公开了一种学生学习行为分析干预方法、装置及系统，该方法包括：接收课堂中实时的学生视频数据和环境数据，进行预处理，提取学生视觉特征和空气成分特征；将学生行为特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，完成学生学习行为分析，并根据分析结果调整环境数据进行干预。

Description

一种学生学习行为分析干预方法、装置及系统

技术领域

本公开属于智能监控的技术领域，涉及一种学生学习行为分析干预方法、装置及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着“互联网+智能终端”迅速崛起，全球都在风靡建设“智慧城市、智慧交通、智能家居”等，最终在城市、交通、电力、医疗、银行、矿山和供应链等方面提出“智慧地球”建设方案覆盖全行业、全领域，为此校园也在慢慢地追逐智能建设领域中。

智能监控技术源于计算机技术、数字图像处理技术以及人工智能技术，它利用计算机视觉和视频分析的方法对视频序列行一系列分析，实现对动态场景中目标的检测、定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而既能完成日常管理工作又能在异常情况发生时及时做出反应。基于现有智能视频分析的应用主要聚集在视频监控的异常检测、人流量统计等。其中运动目标检测、分割、识别与跟踪是智能视频分析研究领域当中比较常见的几个问题，至于行为理解和描述分析则是最近几年以来颇受关注的一个研究重点问题。

对于课堂学生行为监控，是学校评价教学质量的重要环节，充分了解学生上课的行为反应，才能保证高质量教学水平。现有对于课堂行为的监控采用学生记录的方式，无法同时实现对学生的课堂行为的采集、分析、记录及评价；目前逐渐出现通过视频监控技术对课堂学生行为的监控，但现有的仅通过采集视频音频数据进行分析，对于学生行为分析数据较单一，无法准确反应学生的课堂行为。

因此，如何利用基于智能监控技术来对学生的课堂行为进行精确采样和智能分析与评价，实现对教学课堂中学生的表现行为进行观察和记录，并融合多种课堂环境数据对学生行为关联分析，提出相应的措施，有效提高课堂教学效果，促进学生的全面发展是值得研究和开发的课题。

发明内容

针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种学生学习行为分析干预方法、装置及系统，融合室内环境数据检测和视频识别技术，综合空气质量、温、湿度等环境数据和视频识别，对学生学习行为做出综合分析评判；同时，通过摄像头视频分析，识别群体学习状态、追踪个体学习状态，分析实时采集到的教室环境数据对学生学习影响规律；并可以结合教室新风系统对教室空气质量进行及时调节。

根据本公开的一个或多个实施例的一个方面，提供一种学生学习行为分析方法。

一种学生学习行为分析方法，该方法包括：

接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；

对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；

将学生视觉特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；

通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；

将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状态，完成学生学习行为分析。

进一步地，在该方法中，所述对视频数据进行预处理包括：

对视频数据进行解码，对解码后的视频数据进行画面分割；

对每个画面分割后的视频数据利用运动对象检测和跟踪技术提取学生视觉特征，所述学生视觉特征包括学生的面部特征和行为特征。

进一步地，该方法还包括，将相同时间段的学生视觉特征和空气成分特征合并为新的特征向量；在新的特征空间下利用GMM-HMM统计模型分析和处理进行特征融合。

进一步地，在该方法中，将单视频数据提取的学生视觉特征和相同时间段的空气成分特征利用人工神经网络对特征向量进行特征融合计算，得到单视频多环境数据的特征融合数据，调整特征融合时的神经网络模型权向量。

进一步地，在该方法中，当确定当前空气状况下的学生状态处于非学习状态的异常事件，将该异常事件下的视频数据和环境数据进行存储，并记录存储异常事件开始时间；

对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；

对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；

调取数据存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种学生学习行为分析方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种学生学习行为分析方法。

根据本公开的一个或多个实施例的一个方面，提供一种学生学习行为分析干预方法。

一种学生学习行为分析干预方法，该方法包括：

接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；

对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；

将学生行为特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；

通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；

将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状态，完成学生学习行为分析；

当学生状态为非学习状态时进行报警，并发送第一空气质量调节指令至新风系统；当学生状态为学习状态时，根据当前空气状况与学生状态的期望值与实时的特征融合数据差值的趋势进行预警，并发送第二空气质量调节指令至新风系统。

进一步地，在该方法中，所述对视频数据进行预处理包括：

对视频数据进行解码，对解码后的视频数据进行画面分割；

对每个画面分割后的视频数据利用运动对象检测和跟踪技术提取学生视觉特征，所述学生视觉特征包括学生的面部特征和行为特征。

进一步地，该方法还包括，将相同时间段的学生视觉特征和空气成分特征合并为新的特征向量；在新的特征空间下利用GMM-HMM统计模型分析和处理进行特征融合。

进一步地，在该方法中，将单视频数据提取的学生视觉特征和相同时间段的空气成分特征利用人工神经网络对特征向量进行特征融合计算，得到单视频多环境数据的特征融合数据，调整特征融合时的神经网络模型权向量。

进一步地，在该方法中，当确定当前空气状况下的学生状态处于非学习状态的异常事件，将该异常事件下的视频数据和环境数据进行存储，并记录存储异常事件开始时间；

对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；

对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；

调取数据存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种学生学习行为分析干预方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种学生学习行为分析干预方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种学生学习行为分析干预系统。

一种学生学习行为分析干预系统，基于所述的一种学生学习行为分析干预方法，包括数据分析存储层和应用服务层；

所述数据分析存储层包括视频信息采集系统、环境信息采集系统、数据处理器、数据存储服务器和数据分析服务器；

所述视频信息采集系统，被配置为采集视频数据，传输至所述数据处理器；

所述环境信息采集系统，被配置为环境数据，传输至所述数据处理器；

所述数据处理器，被配置为接收视频数据和环境数据进行预处理，并将预处理后的数据处理器传输至所述数据分析服务器；

所述数据分析服务器，被配置为执行所述一种学生学习行为分析干预方法；

所述数据存储服务器，被配置为存储异常事件下的视频数据和环境数据；

所述应用服务层包括应用服务器和监控工作站，

所述应用服务器，被配置为接收所述数据分析服务器的结果数据进行展示及预警、报警；

所述监控工作站，被配置为接收所述应用服务器的数据的管理终端。

本公开的有益效果：

(1)本发明所述的一种学生学习行为分析干预方法、装置及系统，操作简便，可通过点击校园地图中教室实现对摄像头画面按区域查看，本发明采用智能楼宇的思路，对整个校园进行可视化处理，设计监控视频和空气数据全方位展示。

(2)本发明所述的一种学生学习行为分析干预方法、装置及系统，实现异常事件视频和空气数据的永久保存，并可快速展示永久存储的实时录制视频或者历史异常视频。同时极大的降低了存储空间的浪费，若所有数据都永久存储，硬盘成本高、硬盘管理困难。本发明只针对异常数据进行永久存储，节约成本，实现简单，便于管理，但只保存部分视频。

(3)本发明所述的一种学生学习行为分析干预方法、装置及系统，本发明对学校课堂全方位检测，通过多个层次不同角度对学生上课安全和上课状态进行预警和分析，保证学生安全，并可依据数据提出措施改善学生学习状态。

(4)本发明所述的一种学生学习行为分析干预方法、装置及系统，学生行为关联分析系统数据分析服务器端性能强大，运算能力、分析能力、判断能力远大于设备终端的性能，具有更高的效率、更快速和准确的判断和分析，同时保证数据分析的全面性、可靠性、完整性。

(5)本发明所述的一种学生学习行为分析干预方法、装置及系统，数据存储服务器提供了最可靠、最安全的数据存储，避免了数据丢失、病毒入侵等问题，为预警分析提供有力的依据。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是根据一个或多个实施例的一种学生学习行为分析干预系统结构示意图；

图2是根据一个或多个实施例的课堂学生行为分析中基于特征的关联分析方法流程图；

图3是根据一个或多个实施例的关联分析方法中单视频多空气数据对象的监控场景事件融合模型示意图；

图4是根据一个或多个实施例的融合智能监控与课堂空气监测的学生行为关联分析方法流程图；

图5是根据一个或多个实施例的课堂学生行为分析系统数据分析与存储层视频存储结构示意图。

具体实施方式：

下面将结合本公开的一个或多个实施例中的附图，对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本公开的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合，下面结合附图与实施例对本公开作进一步说明。

根据本公开的一个或多个实施例的一个方面，还提供一种学生学习行为分析干预系统。

一种学生学习行为分析干预系统，基于所述的一种学生学习行为分析干预方法，包括数据分析存储层和应用服务层；

所述数据分析存储层包括视频信息采集系统、环境信息采集系统、数据处理器、数据存储服务器和数据分析服务器；

所述视频信息采集系统，被配置为采集视频数据，传输至所述数据处理器；

所述环境信息采集系统，被配置为环境数据，传输至所述数据处理器；

所述数据处理器，被配置为接收视频数据和环境数据进行预处理，并将预处理后的数据处理器传输至所述数据分析服务器；

所述数据分析服务器，被配置为执行所述一种学生学习行为分析干预方法；

所述数据存储服务器，被配置为存储异常事件下的视频数据和环境数据；

所述应用服务层包括应用服务器和监控工作站，

所述应用服务器，被配置为接收所述数据分析服务器的结果数据进行展示及预警、报警；

所述监控工作站，被配置为接收所述应用服务器的数据的管理终端。

本发明提供了一种融合室内环境数据检测和视频识别的学生学习行为分析干预方法与系统，综合空气质量、温、湿度等环境数据和视频识别，对学生学习行为做出综合分析评判。实时采集教室环境数据(有害气体、二氧化碳、氧气含量，空气湿度、温度等)，通过摄像头视频分析，识别群体学习状态、追踪个体学习状态，摸清环境数据对学生学习影响的规律；并可以结合教室新风系统对教室空气质量进行及时调节。本发明提供一种操作简便，数据精确，便于展示的一种融合室内环境数据检测和视频识别的学生学习行为分析干预方法与系统。

如图1所示，一种融合室内环境数据检测和视频识别的学生学习行为分析干预方法与系统，包括：数据分析与存储层和应用服务层；其中，

在数据分析与存储层中，包括

所述的视频信息采集系统，包括安装在教室前后的摄像头、与摄像头相连的解码器、与解码器相连的画面分割器，用于采集课堂中学生视频数据信息；

所述的课堂空气数据信息采集系统，包括安装在教室内的传感器，用于采集课堂中空气成分数据信息；

所述的数据处理器，利用运动对象检测与跟踪技术提取视觉特征；提取学生的面部特征主要集中于虹膜中心、内眼角点、外眼角点、鼻尖点、鼻孔点、耳屏点、耳下点、口角点、头顶点、眉内点和眉外点；提取学生的行为特征，其中行为特征提取主要集中于四肢、头部位置，所述学生行为包括举手、低头做笔记和抬头听课。

利用传感器采集分析并提取空气数据，读取传感器的对课堂内二氧化碳和氧气、甲醛、PM2.5、空气湿度、空气温度等空气检测的数据，并对学生的视频数据信息和课堂中空气成分数据信息进行预处理，提取学生的课堂行为特征和空气成分数据特征；

所述的数据存储服务器是对融合监控与课堂空气的学生行为关联分析系统录制的异常事件的课堂空气异常数据、实时视频和磁盘阵列内下载的历史异常视频进行存储。

所述的数据分析服务器，结合信息融合技术快速计算，根据得出的数据结果，进行联合场景事件判断、决策和产生警报信息，实现在应用服务层中多种媒体信息结合的监控与报警，并传输给各个监控工作站与用户进行交互；

数据分析服务器部署了智能预警分析系统，智能预警分析系统对课堂室内空气的历史数据和实时数据进行挖掘分析，并结合视频监控录像，找出上课教学过程中潜在的空气异常，并提供解决措施；

传感器包括二氧化碳传感器、温度传感器、湿度传感器、甲醛传感器、PM2.5传感器；所述的二氧化碳传感器、温度传感器、湿度传感器、甲醛传感器、PM2.5传感器的数据通过通信模块与数据处理器进行数据交互；向数据处理器采集的数据提交处理申请，并获取数据处理器的处理结果和指令。

数据存储服务器是对融合监控与课堂空气的学生行为关联分析系统录制的异常事件的课堂空气异常数据、实时视频和磁盘阵列内下载的历史异常视频进行存储。

以上各服务器之间通过计算机网络连接。

所述的信息融合技术包括基于特征的融合方法、单视频多空气数据对象的监控场景事件融合模型。

本发明的课堂学生行为分析中基于特征的关联分析方法流程图如图2所示；所述的信息融合技术中的基于特征的融合方法用于从视频和课堂空气数据序列中分别提取各自的特征信息合并为新的特征向量在新的特征空间下利用人工神经网络或统计模型(GMM，HMM)分析和处理进行特征融合，进行学生行为关联的数据分析并产生判断该场景下的事件。

Yd、Yv分别表示课堂空气数据与视频的特征列向量。

如图3所示，所述的信息融合技术中的单视频多空气数据对象的监控场景事件融合模型用于数据分析服务器中的智能预警分析系统；随着抽象层次的提高，系统数据信息经过了数据流、事件流和决策流三个阶段，在数据分析服务器智能预警系统中的决策模型则基于对事件流的特征融合分析进行决策。数据处理器将单视频对象和相同时间段课堂室内空气数据流的特征提取后，上传至数据分析服务器对特征向量进行特征融合计算，其输出向量作为神经网络模型权向量的调整依据，神经网络模型输出结果反馈给数据分析服务器。

所述智能预警分析系统，是利用先进的神经元网络技术，实现对校园课堂室内的空气质量及学生上课状态进行早期智能预警的系统。相对于传统的基于预定义限值的报警系统，该系统能通过神经元网络算法对归档历史数据学习训练，形成一个课堂空气数据的正常值模型，并将其与实时学生状态进行比较，计算出当前值和模型计算出的期望值之间的偏差，并提供室内空气恶化导致学生学习状态低下趋势早期预警功能，以降低学生学习状态低下或者发生教学事故的风险，提高学校教学质量和教学安全水平。

智能预警分析系统包括：实时数据接收模块、基于Spark的实时数据库、智能预警功能模块、自动报警模块。智能预警分析系统基于神经元网络模型。该模型为三层结构，由输入层、过程神经元隐含层和过程神经元输出层组成。输入层完成系统信号的输入及隐层过程神经元输出信号向系统的反馈；过程神经元隐含层用于完成输入信号的空间加权聚合和激励运算，同时将输出信号传输到输出层并将加权反馈到输入层；输出层完成隐层输出信号的空间加权聚集和对时间的聚合运算以及系统输出。智能预警分析系统需对实时采集到的数据和历史数据进行训练，建立课堂空气数据与学生行为状态正常值的正常运行模型，该模型结合相关参数通过神经网络算法，计算出当前课堂空气状况与学生行为状态正常的一个期望数值，当前课堂状况下的期望数值与实际测量数值并行显示。

(1)当模型能够训练学习到各种课堂空气状况与学生行为状态下的数据样本，如果实际测量数值几乎与期望数值保持一致，则说明课堂空气状况与学生行为状态正常。

(2)如果实际测量数值与期望数值之间出现了一个偏差，当这个差值大于一定范围时，并且这一差值有继续放大的趋势，智能预警分析系统会自动报警提示，提前预知该课堂某一测点当前运行值偏离正常运行时的期望值，可能存在某类隐患的初始苗头，提醒管理人员把隐患消除在萌芽状态之内，从而提高空气状况质量与学生行为状态。

智能预警分析系统具有以下显著特点：

1、传统监视系统只是基于固定限值产生报警，而数据分析服务器可以实时分析所有运行模式，并根据实时状态与模型运行状态的偏差提供早期预警。

2、智能预警分析系统具有简单的建模功能，可以用于各种不同学生状态的建模，甚至可以针对整个课堂中的学生进行建模。

3、智能预警分析系统具有自定义报警规则功能，所有可用的信号都可以基于预定义逻辑判断规则，这样就可以针对设备一些典型课堂空气环境或者学生学习状态预定义相应规则，一旦这些规则触发，则意味着某类课堂环境或者学生这状态肯定存在，从而提高了判断的准确率。

4、智能预警分析系统不仅可以监视信号的期望值和残差(期望值与当前值得差值)，而且可以提供一个预测值和状态量输出，用于指明该信号在指定时间区间内是否会有偏差发生，或者根据预测该偏差将在什么时间发生。

所述的数据存储服务器，通过数据分析服务器中得出的数据实现分析后，通过与数据存储服务器的存储实现对异常事件的视频数据与课堂空气监测数据永久存储。

在应用服务层中，包括，

所述的应用服务器，应用服务器收集来自数据分析服务器对学生行为视频数据和空气成分数据的关联分析判决信息通过各种方式为特定用户提供远程和本地报警服务，如现场声光、邮件通知、呼叫器等方式来报警。并将判决为异常事件信息的数据存储到数据存储服务器，同时将信息转发到监控工作站实现交互层的警报，如界面效果展示、报表呈现等方式；

所述的监控工作站，作为管理终端则以图形化的用户接口，为身处监控室中的管理员提供了人机交互的方式。其它的终端设备还包括手机、寻呼机、对讲机等，随着无线通讯技术的推广，基于手机和J2ME平台的应用终端将为系统提供更可靠及时的响应。

所述的加解密模块，对收到的数据进行解密和解析，对发送的数据进行加密和打包。

所述的实时视频播放功能模块，实现对课堂内空气或者学生行为异常事件的监控视频的实时播放。

所述的实时视频录制功能模块，实现对课堂内空气或者学生行为异常事件的监控视频的实时录制，并同时将录制的视频存储到数据存储服务器中。

所述的传感器模块包括二氧化碳传感器、温度传感器、湿度传感器、甲醛传感器、PM2.5传感器；所述的二氧化碳传感器、温度传感器、湿度传感器、甲醛传感器、PM2.5传感器的数据通过通信模块与数据处理器进行数据交互；向数据处理器采集的数据提交处理申请，并获取数据处理器的处理结果和指令。

所述通信模块采用GPRS、EDGE、CDMA、3G、4G、WIFI在内的至少一种通信方式完成传感器、视频采集系统与数据处理器的数据交互；

所述二氧化碳传感器与数据处理器采用系统总线、串口或Modbus方式连接，安装在校园教室内多个不同位置，测得校园教室内的二氧化碳浓度。

所述温度传感器与数据处理器采用系统总线、串口或Modbus方式连接，安装在校园教室内多个不同位置，测得校园教室内的温度。

所述湿度传感器与数据处理器采用系统总线、串口或Modbus方式连接，安装在校园教室内多个不同位置，测得校园教室内的适度。

所述甲醛传感器与数据处理器采用系统总线、串口或Modbus方式连接，安装在校园教室内多个不同位置，测得校园教室内的甲醛浓度。

所述PM2.5传感器与数据处理器采用系统总线、串口或Modbus方式连接，安装在校园教室内多个不同位置，测得校园教室内的PM2.5值。

根据本公开的一个或多个实施例的一个方面，提供一种学生学习行为分析方法。

一种学生学习行为分析方法，该方法包括：

接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；

对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；

将学生视觉特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；

通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；

将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状态，完成学生学习行为分析。

进一步地，在该方法中，所述对视频数据进行预处理包括：

对视频数据进行解码，对解码后的视频数据进行画面分割；

对每个画面分割后的视频数据利用运动对象检测和跟踪技术提取学生视觉特征，所述学生视觉特征包括学生的面部特征和行为特征。

进一步地，该方法还包括，将相同时间段的学生视觉特征和空气成分特征合并为新的特征向量；在新的特征空间下利用GMM-HMM统计模型分析和处理进行特征融合。

进一步地，在该方法中，将单视频数据提取的学生视觉特征和相同时间段的空气成分特征利用人工神经网络对特征向量进行特征融合计算，得到单视频多环境数据的特征融合数据，调整特征融合时的神经网络模型权向量。

进一步地，在该方法中，当确定当前空气状况下的学生状态处于非学习状态的异常事件，将该异常事件下的视频数据和环境数据进行存储，并记录存储异常事件开始时间；

对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；

对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；

调取数据存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种学生学习行为分析方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种学生学习行为分析方法。

根据本公开的一个或多个实施例的一个方面，提供一种学生学习行为分析干预方法。

一种学生学习行为分析干预方法，该方法包括：

接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；

对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；

将学生行为特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；

通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；

将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状态，完成学生学习行为分析；

当学生状态为非学习状态时进行报警，并发送第一空气质量调节指令至新风系统；当学生状态为学习状态时，根据当前空气状况与学生状态的期望值与实时的特征融合数据差值的趋势进行预警，并发送第二空气质量调节指令至新风系统。

进一步地，在该方法中，所述对视频数据进行预处理包括：

对视频数据进行解码，对解码后的视频数据进行画面分割；

对每个画面分割后的视频数据利用运动对象检测和跟踪技术提取学生视觉特征，所述学生视觉特征包括学生的面部特征和行为特征。

进一步地，该方法还包括，将相同时间段的学生视觉特征和空气成分特征合并为新的特征向量；在新的特征空间下利用GMM-HMM统计模型分析和处理进行特征融合。

进一步地，在该方法中，将单视频数据提取的学生视觉特征和相同时间段的空气成分特征利用人工神经网络对特征向量进行特征融合计算，得到单视频多环境数据的特征融合数据，调整特征融合时的神经网络模型权向量。

进一步地，在该方法中，数据分析服务器对采集的数据进行分析和预警判断，并通过智能预警分析系统计算，如果数据判定为异常数据，调取课堂的摄像头实时画面，录像保存异常事件记录，并通过现场声光警报、邮件通知或者呼叫器通知相关部门领导等方式做出警报，返回数据给监控工作站交互警报，结合教室新风系统对教室空气质量进行及时调节。如果数据判定为正常数据，将判断信息返回给数据分析服务器，并结合历史数据和当前实时数据进行数据挖掘，进行全方位综合预警分析；

进一步地，在该方法中，当确定当前空气状况下的学生状态处于非学习状态的异常事件，将该异常事件下的视频数据和环境数据进行存储，并记录存储异常事件开始时间；

对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；

对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；

调取数据存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间。

如图4所示，一种融合室内环境数据检测和视频识别的学生学习行为分析干预方法，步骤如下：

步骤(1)：视频信息采集系统采集课堂中学生视频数据信息；

步骤(2)：课堂空气数据信息采集系统采集课堂中空气成分数据信息；

步骤(3)：通过数据处理器对学生的视频数据信息进行预处理，提取学生的面部特征和行为特征；

步骤(4)：通过数据处理器对课堂空气数据信息进行预处理，提取空气数据特征；

步骤(5)：利用信息融合技术处理，对学生的视频特征数据和课堂空气数据特征进行信息融合，并上传数据分析服务器分析；

步骤(6)：数据分析服务器对采集的数据进行分析和预警判断，并通过智能预警分析系统计算，如果数据判定为异常数据，调取课堂的摄像头实时画面，录像保存异常事件记录，并通过现场声光警报、邮件通知或者呼叫器通知相关部门领导等方式做出警报，返回数据给监控工作站交互警报，结合教室新风系统对教室空气质量进行及时调节。如果数据判定为正常数据，将判断信息返回给数据分析服务器，并结合历史数据和当前实时数据进行数据挖掘，进行全方位综合预警分析；

步骤(7)：在步骤(6)的基础上，利用数据存储服务器存储异常事件的课堂视频和空气数据，将异常事件课堂视频和空气数据文件永久保存于数据存储服务器，调取数据存储服务器中设定时间段内的异常视频详细情况，回放课堂异常事件实时视频或者历史异常视频，以此分析异常产生的原因；在事件回放中，根据记录的事件开始时间直接定位到对应时间，而不必观看整个视频。

所述步骤(1)、步骤(2)中，数据处理器定时采集由课堂摄像头拍摄的、信息采集系统采集课堂中学生视频数据信息；数据处理器定时采集二氧化碳传感器、温度传感器、湿度传感器、甲醛传感器、PM2.5传感器、加解密模块的数据。

所述步骤(3)中，利用运动对象检测与跟踪技术提取视觉特征；提取学生的面部特征主要集中于虹膜中心、内眼角点、外眼角点、鼻尖点、鼻孔点、耳屏点、耳下点、口角点、头顶点、眉内点和眉外点；提取学生的行为特征，其中行为特征提取主要集中于四肢、头部位置，所述学生行为包括举手、低头做笔记和抬头听课。

所述步骤(4)中，利用传感器采集分析并提取空气数据，读取传感器的对课堂内二氧化碳和氧气、甲醛、PM2.5、空气湿度、空气温度等空气检测的数据，存储到关系型数据库中。

所述步骤(5)中：利用信息融合技术处理对学生的视频特征数据和课堂空气数据特征进行信息融合，方法是基于特征的融合方法用于从视频和课堂空气数据序列中分别提取各自的特征信息合并为新的特征向量Ya、Yv分别表示课堂空气数据与视频的特征列向量。在新的特征空间下利用人工神经网络或统计模型(GMM，HMM)分析和处理进行特征融合，并上传数据分析服务器分析；为在数据分析服务器进行学生行为关联的数据分析并产生判断该场景下的事件做准备。

所述步骤(6)中：数据分析服务器对采集的数据进行分析和预警判断，通过智能预警分析系统通过神经元网络算法对归档历史数据学习训练，形成一个课堂空气数据的正常值模型，并将其与实时学生状态进行比较，计算出当前值和模型计算出的期望值之间的偏差，并提供室内空气恶化导致学生学习状态低下趋势早期预警功能，以降低学生学习状态低下或者发生教学事故的风险，提高学校教学质量和教学安全水平；

(1)当模型能够训练学习到各种课堂空气状况与学生行为状态下的数据样本，如果实际测量数值几乎与期望数值保持一致，则说明课堂空气状况与学生行为状态正常，将判断信息返回给数据分析服务器，继续结合历史数据进行数据挖掘，进行全方位综合预警分析；

(2)如果实际测量数值与期望数值之间出现了一个偏差，当这个差值大于一定范围时，并且这一差值有继续放大的趋势，数据判定为异常数据，智能预警分析系统会自动报警提示，调取课堂的摄像头实时画面，录像保存异常事件记录，并通过现场声光警报、邮件通知或者呼叫器通知相关部门领导等方式做出警报，返回数据给监控工作站交互警报。

提前预知该课堂某一测点当前运行值偏离正常运行时的期望值，可能存在某类隐患的初始苗头，提醒管理人员把隐患消除在萌芽状态之内，从而提高空气状况质量与学生行为状态。

如图5所示，展示了本发明以HDFS、关系型数据库、磁盘阵列组成的永久存储机制。将异常历史视频和相应时段课堂空气数据文件永久保存于数据存储服务器中，对于实时视频录制，通过RTSP将实时视频流录制成MP4格式文件，并将与课堂空气数据关联关系存储到关系型数据库中，将录制的实时视频储存到数据存储服务器HDFS中，实现实时视频的永久存储；

所述步骤(7)中，将异常事件课堂视频和空气数据文件永久保存于数据存储服务器；对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；

对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；

调取数据存储存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间，而不必观看整个视频。

在事件视频存储中，所述实时视频录制、历史数据回放的基础在于以HDFS、关系型数据库、磁盘阵列组成的存储机制。

这种存储结构的设计具有以下优点：

1)原有应用改动小。视频首先存储到磁盘阵列中，原视频接受程序无需修改。若抛弃磁盘阵列，全部采用HDFS存储，则需要修改原视频接受程序，并且目前一些使用视频文件的应用也需要修改。

2)节约成本。根据调研情况，我们估算出摄像头每月产生的视频数据约为140T。为了保证数据不丢失，数据至少应当有三份。因此每月至少产生的视频应占用420T的空间。目前大部分硬盘的存储空间为2T、1T或500G(在存储方面，1T＝1000G)。若所有数据都永久存储，硬盘成本高、硬盘管理困难。在我们的方案中，只针对异常历史视频和相应时段空气数据进行永久存储，节约成本，实现简单，便于管理，但只保存部分视频和相应时段空气数据。

在环境异常或者学生学习状态低下等事件检测与视频联动中，对事件进行处理后需要将这次事件记录至统一的可读取关系型数据库中，定时读取异常事件信息更新到系统中以供事件回放所用。

在所述以HDFS、关系型数据库、磁盘阵列组成的存储机制与视频定位播放技术。

与现有技术相比，本发明的有益效果是：

(1)采用课堂内摄像头和传感器中空气环境监测对课堂中学生的课堂行为和课堂环境进行科学、客观的采样，提供量化分析数据；通过数据处理器和数据分析服务器对采集到的数据进行分析处理，得到学生的学习投入程度与课堂空气环境的关联关系，并评价其学习效果与空气环境的关系，基于该分析结果学校能够采取有效策略正确引导学生，帮助学校做决策；

(2)利用基于智能监控技术来对学生的课堂行为进行精确采样和智能分析与评价，实现对教学课堂中学生的表现行为进行观察和记录，并融合课堂空气监测的数据对学生行为关联分析，提出相应的措施，有效提高课堂教学效果。

(3)本发明实现对课堂内二氧化碳和氧气、甲醛、PM2.5、空气湿度、空气温度等空气数据的检测，结合教室新风系统对教室空气质量进行及时调节，并通过与摄像头拍摄画面的学生行为进行关联分析，可以进行全方面的检测和预警、数据挖掘分析、事故预警，对课堂学生上课的安全和学习状态进行预警和分析，来保证学生上课环境安全性。

该方法与系统具有以下优势：

(1)操作简便，可通过点击校园地图中教室实现对摄像头画面按区域查看，本发明采用智能楼宇的思路，对整个校园进行可视化处理，设计监控视频和空气数据全方位展示。

(2)实现异常事件视频和空气数据的永久保存，并可快速展示永久存储的实时录制视频或者历史异常视频。同时极大的降低了存储空间的浪费，若所有数据都永久存储，硬盘成本高、硬盘管理困难。本发明只针对异常数据进行永久存储，节约成本，实现简单，便于管理，但只保存部分视频。

(3)本发明对学校课堂全方位检测，通过多个层次不同角度对学生上课安全和上课状态进行预警和分析，保证学生安全，并可依据数据提出措施改善学生学习状态。

(4)学生行为关联分析系统数据分析服务器端性能强大，运算能力、分析能力、判断能力远大于设备终端的性能，具有更高的效率、更快速和准确的判断和分析，同时保证数据分析的全面性、可靠性、完整性。

(5)数据存储服务器提供了最可靠、最安全的数据存储，避免了数据丢失、病毒入侵等问题，为预警分析提供有力的依据。

根据本公开的一个或多个实施例的另一个方面，还提供一种计算机可读存储介质。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种学生学习行为分析干预方法。

根据本公开的一个或多个实施例的另一个方面，还提供一种终端设备。

一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种学生学习行为分析干预方法。

在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。

本公开的有益效果：

(1)本发明所述的一种学生学习行为分析干预方法、装置及系统，操作简便，可通过点击校园地图中教室实现对摄像头画面按区域查看，本发明采用智能楼宇的思路，对整个校园进行可视化处理，设计监控视频和空气数据全方位展示。

(2)本发明所述的一种学生学习行为分析干预方法、装置及系统，实现异常事件视频和空气数据的永久保存，并可快速展示永久存储的实时录制视频或者历史异常视频。同时极大的降低了存储空间的浪费，若所有数据都永久存储，硬盘成本高、硬盘管理困难。本发明只针对异常数据进行永久存储，节约成本，实现简单，便于管理，但只保存部分视频。

(3)本发明所述的一种学生学习行为分析干预方法、装置及系统，本发明对学校课堂全方位检测，通过多个层次不同角度对学生上课安全和上课状态进行预警和分析，保证学生安全，并可依据数据提出措施改善学生学习状态。

(4)本发明所述的一种学生学习行为分析干预方法、装置及系统，学生行为关联分析系统数据分析服务器端性能强大，运算能力、分析能力、判断能力远大于设备终端的性能，具有更高的效率、更快速和准确的判断和分析，同时保证数据分析的全面性、可靠性、完整性。

(5)本发明所述的一种学生学习行为分析干预方法、装置及系统，数据存储服务器提供了最可靠、最安全的数据存储，避免了数据丢失、病毒入侵等问题，为预警分析提供有力的依据。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种学生学习行为分析方法，其特征在于，该方法包括：

接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；

对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；

将学生视觉特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；

通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；

将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状态，完成学生学习行为分析。

2.如权利要求1所述的一种学生学习行为分析方法，其特征在于，在该方法中，所述对视频数据进行预处理包括：

对视频数据进行解码，对解码后的视频数据进行画面分割；

对每个画面分割后的视频数据利用运动对象检测和跟踪技术提取学生视觉特征，所述学生视觉特征包括学生的面部特征和行为特征。

3.如权利要求1所述的一种学生学习行为分析方法，其特征在于，该方法还包括，将相同时间段的学生视觉特征和空气成分特征合并为新的特征向量；在新的特征空间下利用GMM-HMM统计模型分析和处理进行特征融合。

进一步地，在该方法中，将单视频数据提取的学生视觉特征和相同时间段的空气成分特征利用人工神经网络对特征向量进行特征融合计算，得到单视频多环境数据的特征融合数据，调整特征融合时的神经网络模型权向量。

进一步地，在该方法中，当确定当前空气状况下的学生状态处于非学习状态的异常事件，将该异常事件下的视频数据和环境数据进行存储，并记录存储异常事件开始时间；

对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；

对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；

调取数据存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间。

4.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1-3中任一项所述的一种学生学习行为分析方法。

5.一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1-3中任一项所述的一种学生学习行为分析方法。

6.一种学生学习行为分析干预方法，其特征在于，该方法包括：

接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；

对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；

将学生行为特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；

通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；

将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状态，完成学生学习行为分析；

当学生状态为非学习状态时进行报警，并发送第一空气质量调节指令至新风系统；当学生状态为学习状态时，根据当前空气状况与学生状态的期望值与实时的特征融合数据差值的趋势进行预警，并发送第二空气质量调节指令至新风系统。

7.如权利要求1所述的一种学生学习行为分析干预方法，其特征在于，在该方法中，所述对视频数据进行预处理包括：

对视频数据进行解码，对解码后的视频数据进行画面分割；

对每个画面分割后的视频数据利用运动对象检测和跟踪技术提取学生视觉特征，所述学生视觉特征包括学生的面部特征和行为特征。

进一步地，该方法还包括，将相同时间段的学生视觉特征和空气成分特征合并为新的特征向量；在新的特征空间下利用GMM-HMM统计模型分析和处理进行特征融合。

进一步地，在该方法中，将单视频数据提取的学生视觉特征和相同时间段的空气成分特征利用人工神经网络对特征向量进行特征融合计算，得到单视频多环境数据的特征融合数据，调整特征融合时的神经网络模型权向量。

进一步地，在该方法中，当确定当前空气状况下的学生状态处于非学习状态的异常事件，将该异常事件下的视频数据和环境数据进行存储，并记录存储异常事件开始时间；

对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；

对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；

调取数据存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间。

8.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求6-7中任一项所述的一种学生学习行为分析干预方法。

9.一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求6-7中任一项所述的一种学生学习行为分析干预方法。

10.一种学生学习行为分析干预系统，基于如权利要求6-7中任一项所述的一种学生学习行为分析干预方法，其特征在于，包括数据分析存储层和应用服务层；

所述数据分析存储层包括视频信息采集系统、环境信息采集系统、数据处理器、数据存储服务器和数据分析服务器；

所述视频信息采集系统，被配置为采集视频数据，传输至所述数据处理器；

所述环境信息采集系统，被配置为环境数据，传输至所述数据处理器；

所述数据处理器，被配置为接收视频数据和环境数据进行预处理，并将预处理后的数据处理器传输至所述数据分析服务器；

所述数据分析服务器，被配置为执行所述一种学生学习行为分析干预方法；

所述数据存储服务器，被配置为存储异常事件下的视频数据和环境数据；

所述应用服务层包括应用服务器和监控工作站，

所述应用服务器，被配置为接收所述数据分析服务器的结果数据进行展示及预警、报警；

所述监控工作站，被配置为接收所述应用服务器的数据的管理终端。