CN117237155A - 一种基于人工智能的智慧校园学生行为分析系统 - Google Patents

Abstract

本发明属于学生行为分析技术领域，本发明公开了一种基于人工智能的智慧校园学生行为分析系统，包括，数据采集模块，采集学生信息；视频采集模块，采集校园的监控视频数据；视频分析模块，对监控视频数据进行分析，判定是否生成可疑目标区域，若生成可疑目标区域，则生成语音获取信息；语音获取模块，根据语音获取信息，获取可疑目标区域语音数据；语音识别模块，对可疑目标区域语音数据进行识别，判定是否存在欺凌行为语句；若存在校园欺凌行为，实时确定行为人，根据确定行为人对应的学生信息，由班主任根据学生信息对应的联系方式及时联系，及时制止这一行为，避免这一行为对他人造成更大伤害，有效减小校园欺凌的发生。

Description

一种基于人工智能的智慧校园学生行为分析系统

技术领域

本发明涉及学生行为分析技术领域，更具体地说，本发明涉及一种基于人工智能的智慧校园学生行为分析系统。

背景技术

现有申请公开号CN110348754A公开了一种基于人工智能技术的校园霸凌行为预警系统和方法，包括：每个学生根据平时表现被赋予一个类别系数K，该类别系数K根据该学生的日常表现进行赋值，其受到霸凌的可能性越大，赋值越大，对其他同学进行霸凌的可能性越大，赋值越小，学生终端有指纹识别模块、摄像头模块和显示屏模块；受到霸凌时，可以通过指纹识别模块快速报警，以此来保护自己不收侵犯。

然而，现有技术中依然存在以下弊端：

1.发现和制止这一行为均存在滞后性，更大的伤害已经发生，导致制止效果不理想；

2.仍需要学生主动进行报警；

3.学生也可能由于胆子小、怕受到报复，不敢报警；

鉴于此，本发明提出一种基于人工智能的智慧校园学生行为分析系统以解决上述问题。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于人工智能的智慧校园学生行为分析系统。

为实现上述目的，本发明提供如下技术方案：

一种基于人工智能的智慧校园学生行为分析系统，应用于人工智能服务器中，包括：

数据采集模块，采集学生信息；

视频采集模块，采集校园的监控视频数据；

视频分析模块，对监控视频数据进行分析，判定是否生成可疑目标区域，若生成可疑目标区域，则生成语音获取信息；

语音获取模块，根据语音获取信息，获取可疑目标区域语音数据；

语音识别模块，对可疑目标区域语音数据进行识别，判定是否存在欺凌行为语句，若存在欺凌行为语句，则提取语音数据的声纹数据，根据声纹数据确定n个行为人。

进一步地，学生信息包括身份信息与声纹数据，身份信息至少包括身份证号，学生信息每学期开学的时候采集，并上传到人工智能服务器中的数据库存储；

监控视频数据通过安装在校园内易发生校园欺凌的公共区域的摄像头获取。

进一步地，判定是否生成可疑目标区域的方法包括：

对监控视频数据逐帧分析，通过人员识别模型识别每一帧画面中的人数；

将帧画面中人员距离小于预设距离的w个人所在区域进行可疑标记，将可疑标记所在区域持续时长大于预设时长阈值的所在区域标记为可疑目标区域。

进一步地，可疑标记所在区域持续时长获得方法包括：

S＝(Z-1)×T,S为可疑标记所在区域持续时长，Z为具有人员距离小于预设距离的w个人所在区域的帧画面数量，T为帧画面的间隔时长。

进一步地，语音获取信息包括可疑目标区域的坐标数据。

进一步地，获取可疑目标区域语音数据的方法包括：

相应的语音获取模块与视频采集模块位置一一对应安装，语音获取模块包括舵机模块与舵机模块连接的远程获取声音模块，舵机模块根据可疑目标区域的坐标数据，控制远程获取声音模块的指向，远程获取可疑目标区域语音数据。

进一步地，判定是否存在欺凌行为语句的方法包括：

将可疑目标区域语音数据转换为识别文字，将数据库中预存的欺凌词汇与识别文字比对，若存在与欺凌词汇一致的识别文字，则判定存在欺凌行为语句，欺凌词汇。

进一步地，根据声纹数据确定n个行为人的方法包括：

将提取语音数据的声纹数据与数据库中预存的声纹数据比对，根据比对一致的声纹数据确定学生信息，根据确定的学生信息确定行为人；参与的学生数量根据提取语音数据的声纹数据数量确定。

进一步地，还包括表情识别模型，表情识别模型对存在欺凌行为语句对应的监控视频数据逐帧进行分析，若存在欺凌情绪表情，则根据声纹数据确定学生信息。

进一步地，还包括设备联动模块，设备联动模块将各个视频采集模块的安装方向位置进行关联，关联后的视频采集模块至少位于同一监控区域的r个不同方向上，r为大于1的整数；

若存在欺凌行为语句时，设备联动模块启用r个中剩余的视频采集模块，获取可疑目标区域监控视频数据，将r个监控视频数据关联作为对存在欺凌行为语句对应的监控视频数据。

本发明一种基于人工智能的智慧校园学生行为分析系统的技术效果和优点：通过监控视频数据确定可疑目标区域，然后获取可疑目标区域语音数据，将语音数据转换为识别文字，判定存在与欺凌词汇一致的识别文字，来确定是否存在校园欺凌行为，若存在校园欺凌行为，实时确定行为人，根据确定行为人对应的学生信息，可以由班主任根据学生信息对应的联系方式及时联系，及时制止这一行为，避免这一行为对他人造成更大伤害，有效减小校园欺凌的发生，该方法具有及时性，制止效果更好，同时对行为人加强学校的思想教育，有效的对校园内出现的欺凌行为进行控制，有利于营造一个良好的校园环境，维护学生的心理健康。

附图说明

图1为本发明实施例1中的一种基于人工智能的智慧校园学生行为分析系统示意图；

图2为本发明的一种基于人工智能的智慧校园学生行为分析方法示意图；

图3为本发明的一种电子设备示意图；

图4为本发明实施例2中的一种基于人工智能的智慧校园学生行为分析系统示意图；

图5为本发明实施例3的一种基于人工智能的智慧校园学生行为分析系统示意图；

图6为本发明的语音获取模块构成示意图；

图7为本发明的表情识别模型训练方法示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1所示，本实施例所述一种基于人工智能的智慧校园学生行为分析系统，应用于人工智能服务器中，包括数据采集模块、视频采集模块、视频分析模块、语音获取模块与语音识别模块，上述各个模块间通过有线和/或无线连接，实现模块间的数据传输。

数据采集模块，用于采集学生信息，学生信息包括身份信息与声纹数据，身份信息至少包括身份证号，学生信息可以每学期开学的时候采集，上传到人工智能服务器中的数据库存储。

视频采集模块，用于采集校园的监控视频数据，并发送至视频分析模块；视频采集模块为安装在校园内各个公共区域，且易发生校园欺凌的地方的摄像头获取；

视频分析模块，对监控视频数据进行分析，判定是否生成可疑目标区域，若生成可疑目标区域，则生成语音获取信息，并将语音获取信息发送至相应的语音获取模块；

判定是否生成可疑目标区域的方法包括：

对监控视频数据逐帧分析，通过人员识别模型识别每一帧画面中的人数；

将帧画面中人员距离小于预设距离的w个人所在区域进行可疑标记，将可疑标记所在区域持续时长大于预设时长阈值的所在区域标记为可疑目标区域，在实施例中，可疑标记所在区域为聚集区域，示例性的预设距离取值范围在50cm-60cm均可，预设时长阈值，示例性的可以为大于1分钟的时间；

帧画面中人员距离通过现有的目标检测算法，如基于深度学习的目标检测算法(如YOLO、SSD、Faster R-CNN等)，检测视频帧画面中的每个人员的边界框，根据边界框计算人员距离，距离可以通过欧氏距离、马氏距离或其他距离度量来计算，人员识别模型采用摄像头中现有的计算机视觉模型即可。

可疑标记所在区域持续时长获得方法包括：

S＝(Z-1)×T,S为可疑标记所在区域持续时长，Z为具有人员距离小于预设距离的w个人所在区域的帧画面数量，T为帧画面的间隔时长。

语音获取信息包括可疑目标区域的坐标数据，坐标数据可根据可疑目标区域确定坐标数据，例如首先场景测量：

在监控区域内放置已知尺寸的参考物体或标定板，以便在监控视频中测量这些物体的像素坐标和实际物理坐标；通过已知的像素坐标和实际物理坐标，建立像素坐标和实际物理坐标之间的映射关系；

坐标系转换：

利用摄像头标定和场景测量的结果，建立像素坐标系和实际物理坐标系之间的转换关系；将监控视频中的像素坐标转换为实际物理坐标，从而建立平面坐标系，再通过建立的平面坐标系提取可疑目标区域的坐标数据；

还可以通过与摄像头安装在一起的雷达模块，获取可疑目标区域的坐标数据。

语音获取模块，根据语音获取信息启动，获取可疑目标区域语音数据，并可疑目标区域语音数据发送至语音识别模块；

获取可疑目标区域语音数据的方法包括：

请参阅图6所示，相应的语音获取模块与视频采集模块位置一一对应安装，语音获取模块包括舵机模块与舵机模块连接的远程获取声音模块，舵机模块根据可疑目标区域的坐标数据，控制远程获取声音模块的指向，远程获取可疑目标区域语音数据；

本实施例中远程获取声音模块采用现有的激光声音获取设备或其他能够远程获取声音的设备，以激光声音获取设备为例，通过向可疑目标区域物体发射使用红外激光光束，当激光光束照射到物体表面时，物体在其表面振动(例如由声音引起的振动)，物体表面会发生微小的位移；物体表面振动引起光束反射光的相位或强度发生微小变化；然后使用光学传感器或光学探测器来检测被反射的激光光束的变化；最后声音还原：

通过分析检测到的光学信号的变化，激光声音获取设备可以还原出声音波形，从而获得可疑目标区域语音数据。

语音识别模块，对可疑目标区域语音数据进行识别，判定是否存在欺凌行为语句，若存在欺凌行为语句，则提取语音数据的声纹数据，根据声纹数据确定n个行为人。

判定是否存在欺凌行为语句的方法包括：

将可疑目标区域语音数据转换为识别文字，将数据库中预存的欺凌词汇与识别文字比对，若存在与欺凌词汇一致的识别文字，则判定存在欺凌行为语句，欺凌词汇，示例性的，如：给钱、教训你、听我的话以及找人揍你等。

根据声纹数据确定学生信息的方法包括：

将提取语音数据的声纹数据与数据库中预存的声纹数据比对，根据比对一致的声纹数据确定学生信息，根据确定学生信息确定行为人；n根据提取语音数据的声纹数据数量确定。

本实施例通过监控视频数据确定可疑目标区域，然后获取可疑目标区域语音数据，将语音数据转换为识别文字，判定存在与欺凌词汇一致的识别文字，来确定是否存在校园欺凌行为，若存在校园欺凌行为，实时确定行为人，根据确定行为人对应的学生信息，可以由班主任根据学生信息对应的联系方式及时联系，及时制止这一行为，避免这一行为对他人造成更大伤害，有效减小校园欺凌的发生，该方法具有及时性，制止效果更好，同时对行为人加强学校的思想教育，有效的对校园内出现的欺凌行为进行控制，有利于营造一个良好的校园环境，维护学生的心理健康。

实施例2

请参阅图4所示，本实施例在实施例1的基础上进一步改进设计，当监控区域出现可疑目标区域时，获取的可疑目标区域语音数据，存在欺凌行为语句时，也有可能是学生之间的开玩笑，如何提升学生行为分析系统的分析准确性，本实施例提供的一种基于人工智能的智慧校园学生行为分析系统，还包括表情识别模型；

若存在欺凌行为语句时，表情识别模型对存在欺凌行为语句对应的监控视频数据逐帧进行分析，若存在欺凌情绪表情，则根据声纹数据确定学生信息。

请参阅图7所示，表情识别模型训练方法为：

步骤1、预先收集多组欺凌行为人的面部表情样本数据，

步骤2、将样本数据按照8:2的比例分为训练样本集与验证样本集；

步骤3、将训练样本集输入表情识别模型进行训练并得到训练后的表情识别模型；

步骤4、将验证样本集输入训练后的表情识别模型，得到表情识别模型的输出值并通过验证样本集中的实际标签得到预测标签与实际值的误差；

步骤5、判断误差是否在设置的范围内，若是，则停止训练，若不是，则根据得到的误差对表情识别模型的权值与偏置进行调整，并且返回步骤3继续训练；表情识别模型如卷积神经网络(CNN)，标签如愤怒、悲伤或恐惧等等。

本实施例通过预先收集多组欺凌行为人的面部表情样本数据，对表情识别模型进行训练，然后通过训练完成的表情识别模型，在可疑目标区域语音数据，存在欺凌行为语句时，对存在欺凌行为语句对应的监控视频数据逐帧进行分析，可以降低人工智能服务器的运行内存，若存在欺凌情绪表情，则根据声纹数据确定学生信息，进一步提升了系统的对行为人识别的准确性，降低误识别的概率，更好的制止欺凌行为的发生。

实施例3

请参阅图5所示，由于监控视频数据是由单个摄像头获取，当出现可疑目标区域时，人员分布大多是环形分布，例如多个学生围绕一个学生，此时通过单个摄像头获取的监控视频数据，表情识别模型在对存在欺凌行为语句对应的监控视频数据进行分析时，则很难全面的分析所有参与人的表情，即判定是否在欺凌情绪表情不够全面；本实施例在实施例2的基础上进一步改进，不同的是，一种基于人工智能的智慧校园学生行为分析系统，还包括设备联动模块；

设备联动模块根据各个视频采集模块的安装方向位置进行关联，关联后的视频采集模块至少位于同一监控区域的r个不同方向上，r为大于1的整数，优选r为4；

若存在欺凌行为语句时，设备联动模块启用r个中剩余的视频采集模块，获取可疑目标区域监控视频数据，将r个监控视频数据关联作为对存在欺凌行为语句对应的监控视频数据。

本实施例通过增加同一监控区域的r个不同方向上监控视频数据，将r个监控视频数据关联作为对存在欺凌行为语句对应的监控视频数据，使得系统全面的分析所有参与人的表情，进一步提升系统的对行为人识别的准确性。

实施例4

请参阅图2所示，本实施例未详细叙述部分见实施例一描述内容，提供一种基于云计算的智慧校园在线管理方法，所述方法包括：

采集学生信息；

采集校园的监控视频数据；

对监控视频数据进行分析，判定是否生成可疑目标区域，若生成可疑目标区域，则生成语音获取信息；

根据语音获取信息启动，获取可疑目标区域语音数据；

对可疑目标区域语音数据进行识别，判定是否存在欺凌行为语句，若存在欺凌行为语句，则提取语音数据的声纹数据，根据声纹数据确定n个行为人。

实施例5

请参阅图3所示，本实施例公开提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于云计算的智慧校园在线管理方法。

由于本实施例所介绍的电子设备为实施本申请实施例中一种基于云计算的智慧校园在线管理方法所采用的电子设备，故而基于本申请实施例中所介绍的一种基于云计算的智慧校园在线管理方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中一种基于云计算的智慧校园在线管理方法所采用的电子设备，都属于本申请所欲保护的范围。

实施例6

请参阅图3所示，根据示例性实施例示出的一种计算机可读存储介质，其上存储有可擦写的计算机程序；

当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的一种基于云计算的智慧校园在线管理方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的智慧校园学生行为分析系统，其特征在于，应用于人工智能服务器中，包括：

数据采集模块，采集学生信息；

视频采集模块，采集校园的监控视频数据；

视频分析模块，对监控视频数据进行分析，判定是否生成可疑目标区域，若生成可疑目标区域，则生成语音获取信息；

语音获取模块，根据语音获取信息，获取可疑目标区域语音数据；

语音识别模块，对可疑目标区域语音数据进行识别，判定是否存在欺凌行为语句，若存在欺凌行为语句，则提取语音数据的声纹数据，根据声纹数据确定n个行为人。

2.根据权利要求1所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，学生信息包括身份信息与声纹数据，身份信息至少包括身份证号；

监控视频数据通过安装在校园内易发生校园欺凌的公共区域的摄像头获取。

3.根据权利要求2所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，判定是否生成可疑目标区域的方法包括：

对监控视频数据逐帧分析，通过人员识别模型识别每一帧画面中的人数；

将帧画面中人员距离小于预设距离的w个人所在区域进行可疑标记，将可疑标记所在区域持续时长大于预设时长阈值的所在区域标记为可疑目标区域。

4.根据权利要求3所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，可疑标记所在区域持续时长获得方法包括：

S＝(Z-1)×T,S为可疑标记所在区域持续时长，Z为具有人员距离小于预设距离的w个人所在区域的帧画面数量，T为帧画面的间隔时长。

5.根据权利要求4所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，语音获取信息包括可疑目标区域的坐标数据。

6.根据权利要求5所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，获取可疑目标区域语音数据的方法包括：

相应的语音获取模块与视频采集模块位置一一对应安装，语音获取模块包括舵机模块与舵机模块连接的远程获取声音模块，舵机模块根据可疑目标区域的坐标数据，控制远程获取声音模块的指向，远程获取可疑目标区域语音数据。

7.根据权利要求6所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，判定是否存在欺凌行为语句的方法包括：

将可疑目标区域语音数据转换为识别文字，将数据库中预存的欺凌词汇与识别文字比对，若存在与欺凌词汇一致的识别文字，则判定存在欺凌行为语句。

8.根据权利要求7所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，根据声纹数据确定n个行为人的方法包括：

提取语音数据的声纹数据与数据库中预存的声纹数据比对，根据比对一致的声纹数据确定学生信息，根据确定的学生信息确定行为人；参与的学生数量根据提取语音数据的声纹数据数量确定。

9.根据权利要求1所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，还包括表情识别模型，表情识别模型对存在欺凌行为语句对应的监控视频数据逐帧进行分析，若存在欺凌情绪表情，则根据声纹数据确定学生信息。

10.根据权利要求9所述的一种基于人工智能的智慧校园学生行为分析系统，其特征在于，还包括设备联动模块，设备联动模块根据各个视频采集模块的安装方向位置进行关联，关联后的视频采集模块至少位于同一监控区域的r个不同方向上，r为大于1的整数；

若存在欺凌行为语句时，设备联动模块启用r个中剩余的视频采集模块，获取可疑目标区域监控视频数据，将r个监控视频数据关联作为对存在欺凌行为语句对应的监控视频数据。