CN117172989B - 一种基于大数据的智慧校园管理方法及系统 - Google Patents
一种基于大数据的智慧校园管理方法及系统 Download PDFInfo
- Publication number
- CN117172989B CN117172989B CN202311447308.6A CN202311447308A CN117172989B CN 117172989 B CN117172989 B CN 117172989B CN 202311447308 A CN202311447308 A CN 202311447308A CN 117172989 B CN117172989 B CN 117172989B
- Authority
- CN
- China
- Prior art keywords
- information
- judging
- result
- monitoring area
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 54
- 230000006399 behavior Effects 0.000 claims abstract description 68
- 238000012544 monitoring process Methods 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 28
- 238000013145 classification model Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000008451 emotion Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 13
- 238000007405 data analysis Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于大数据分析领域，涉及一种基于大数据的智慧校园管理方法及系统，所述方法包括获取视频信息和音频信息；根据视频信息判断监测区域内是否发生危险行为，得到第一判断结果；根据音频信息判断监测区域内是否发生危险行为，得到第二判断结果；根据第一判断结果与第二判断结果判断监测区域内发生危险行为的概率，得到第三判断结果；根据第三判断结果确定监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于第一定位信息生成路径信息发送至学生管理终端，本发明基于采集的视频信息和音频信息对监测区域内是否发生危险行为进行综合的判断，有效的提高了危险行为识别的准确率。
Description
技术领域
本发明涉及大数据分析技术领域，具体而言，涉及一种基于大数据的智慧校园管理方法及系统。
背景技术
智慧校园指的是以物联网为基础的智慧化的校园工作、学习、安全、管理和生活一体化环境，而其中的校园安全更是重中之重，学校中一旦发生危险行为则对学生以及学校造成较大影响，因此，亟需一种基于大数据的智慧校园管理方法，能够对发生的危险行为进行及时的预警，防止更加严重的后果发生，以保证学生的身心安全。
发明内容
本发明的目的在于提供一种基于大数据的智慧校园管理方法及系统，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了一种基于大数据的智慧校园管理方法，所述方法包括：
获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；
判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；
根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；
根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；
根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。
第二方面，本申请实施例提供了一种基于大数据的智慧校园管理系统，所述系统包括：
获取模块，用于获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；
第一判断模块，用于判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；
第二判断模块，用于根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；
第三判断模块，用于根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；
管理模块，用于根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于大数据的智慧校园管理方法的步骤。
本发明的有益效果为：
本发明通过对监测区域的视频信息和音频信息进行采集，并基于采集的视频信息和音频信息对监测区域内是否发生危险行为进行综合的判断，避免了现有技术中容易将学生之间的打闹嬉笑识别为危险行为，导致误报的问题，有效的提高了危险行为识别的准确率，此外，对确定发生危险行为的监测区域进行定位，并生成相应的路径信息发送至学生管理终端，使救护人员或安保人员能迅速前往现场干预危险行为，防止更加严重的后果发生，以保证学生的身心安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于大数据的智慧校园管理方法流程示意图。
图2为本发明实施例中所述的基于大数据的智慧校园管理系统结构示意图。
图3为本发明实施例中所述的基于大数据的智慧校园管理设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于大数据的智慧校园管理方法，可以理解的是，在本实施例中可以铺设一个场景，例如:在学校内各个监测区域安装相应的摄像头以及声音采集装置采集监测区域内的视频信息以及音频信息，通过采集的监测区域内的视频信息以及音频信息对监测区域内是否发生危险行为进行判断的场景。
参见图1，图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4以及步骤S5，其中具体为：
步骤S1、获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；
在本步骤中，在校园内各个监测区域安装有摄像头以及声音采集装置以采集每个监测区域的视频信息和音频信息，其中，监测区域可以是食堂、寝室楼道、教室但不限于食堂、寝室楼道、教室，学校的教务系统中录有所有学生的人脸图像，学校的人事系统中录有所有教职工的人脸图像。
步骤S2、判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；
在本步骤中，通过判断视频信息中的人脸和人脸图像信息是否匹配可以初步判断监测区域内是否存在校外人员，当视频信息中人脸与人脸图像信息无法匹配，则判断监测区域内存在校园人员，则发送报警信息避免学生发生安全隐患，当视频信息中人脸与人脸图像信息相匹配时，则判断监测区域内无校外人员，再根据视频信息进一步判断监测区域是否发生可能对学生人身安全造成危险的行为。
具体的，在所述步骤S2中还包括步骤S21至步骤S26：
步骤S21、对所述视频信息进行预处理，得到视频帧序列信息；
在本步骤中，对视频信息的预处理包括保留视频信息中每一帧图像的红、绿、蓝3个通道即保留原始的彩色图像，以便保留更多的视频帧图像特征。
步骤S22、根据所述视频帧序列信息确定关键帧信息；
进一步的，在所述步骤22中还包括步骤S221至步骤S223：
步骤S221、将所述视频帧序列信息中的每一帧发送至人体姿态估计模型，得到每一视频帧对应的骨架位置信息；
在本步骤中，人体姿态估计模型的构建为本领域技术人员所熟知的技术方案，故不再赘述，将视频帧序列信息发送至人体姿态估计模型即可得到每一帧关节点的坐标位置。
步骤S222、对每一视频帧对应的骨架位置信息进行特征提取，得到特征序列信息；
在本步骤中，得到特征序列信息的具体计算过程为：
；
上式中，为特征序列信息，/>为在第a帧第j个人体关键点提取的特征，W1为线性变换矩阵，W2和W3表示两个权重矩阵，用于学习不同人体关键点之间的相互关系，/>表示第a帧图像的第j个关键点坐标，ReLu表示激活函数，T表示转置矩阵。
步骤S223、将所述特征序列信息发送至动作分析模型，得到关键帧信息。
在本步骤中，动作分析模型为ST-LSTM，通过ST-LSTM同时对人体关节点之间的时序依赖关系及空间关系依赖进行建模，完成关键帧的检测，其中，ST-LSTM模型的构建为本领域技术人员所熟知的技术方案，故不在此赘述。
步骤S23、将所述视频帧序列信息发送至三维卷积神经网络，得到第一特征向量；
在本步骤中，三维卷积神经网络采用I3D神经网络，将视频帧序列信息发送至I3D网络进行特征提取，即可得到第一特征向量。
步骤S24、将所述关键帧信息发送至二维卷积神经网络，得到第二特征向量；
步骤S25、将所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；
由于在校园内极易存在高密度人群的情景，人体目标可能存在人体遮挡、背景与人体肤色相近等问题，使得网络难以学习到有效特征，故而出现较多的漏检和误检问题，本步骤在使用三维卷积网络提取全局时空特征（即第一特征向量）的同时，还并行提取关键帧的二维特征（即第二特征向量，也即局部空间特征），并通过将全局的时空特征和局部的空间特征进行融合，以提高危险行为识别的准确率；
步骤S26、将所述第三特征向量发送至分类模型，得到第一判断结果。
由此，通过将第三特征向量发送至分类模型可以得到第一判断结果，第一判断结果具体为通过视频判断监测区域发生危险行为的概率，需要说明的是，分类模型的训练为本领域技术人员所熟知的技术方案，故不在此赘述。
步骤S3、根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；
进一步的，在所述步骤S3中还包括步骤S31至步骤S35：
步骤S31、将所述音频信息进行傅里叶变换得到所述音频信息对应的频谱信息，所述频谱信息包括所述音频信息对应的频谱图；
步骤S32、利用梅尔尺度滤波器组对所述频谱图进行滤波，得到滤波后的频谱图，所述滤波后的频谱图包括幅值精简后的频域信号；
可以理解的是，滤波的具体过程为：
；
上式中，m表示滤波器的组数，通常取22-26，k表示点的编号，为滤波器的输出值，f(·)为滤波器的中心频率，将频谱图进行滤波不仅可以使语音频谱变得更加平滑并且削弱谐波的作用，还可以使原先音频的共振峰更加明显，可有效提高模型的训练效率。
步骤S33、计算每个滤波器组的输出能量，得到计算结果；
在本步骤中，计算每个滤波器组输出信号能量为本领域技术人员所熟知的技术方案，故不在此赘述。
步骤S34、对所述计算结果进行离散余弦变换，得到音频特征信息；
在本步骤中，通过对输出能量经过离散余弦变换即可得到MFCC参数，即音频特征信息。
步骤S35、将所述音频特征信息发送至情绪分类模型，得到第二判断结果。
情绪分类模型的构建为本领域技术人员所熟知的技术方案，故不在此赘述，通过将音频特征信息发送至情绪分类模型即可得到通过音频判断监测区域发生危险行为的概率。
步骤S4、根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；
由于现有技术中通过单一的视频判断监测区域是否发生危险行为，这种方式容易将学生之间的打闹嬉笑误识别为危险行为，造成误报的问题，因此，通过视频信息结合音频信息判断监测区域是否发生危险行为可以有效的避免误报的问题，提高校园内监测区域危险行为识别的准确率。
进一步的，在所述步骤S4中还包括步骤S41至步骤S44：
步骤S41、获取预设的基本分配函数；
由于视频证据对危险行为的支持程度远大于音频证据对危险行为的支持程度，容易将学生之间的打闹误判为危险行为，因此，若直接利用DS融合算法对第一判断结果和第二判断结果进行融合，则最终的危险行为识别结果准确率并不高，因此，本申请重新设置基本分配函数形式，并将其定义为：
；
上式中，Ni表示重新定义为第i组证据对识别结果的支持程度，r为调节因子，ni表示第i组证据对集合内识别结果的支持程度，通过将基本分配函数定义为上式可以避免焦元函数出现为0的情况，以解决传统DS融合算法存在一票否决的问题。
步骤S42、利用预设的所述基本分配函数和所述第一判断结果进行计算，得到第一计算结果；
具体的，本步骤通过下述公式得到第一计算结果：
；
上式中，I为第一计算结果，r为调节因子，为第一判断结果，即发生危险行为的概率，n为未发生危险行为的概率。
步骤S43、利用预设的所述基本分配函数和所述第二判断结果进行计算，得到第二计算结果；
在本步骤中，同样利用预设的基本分配函数和第二判断结果进行计算，得到第二计算结果的公式与第一计算结果的计算公式相同。
步骤S44、利用DS融合算法对所述第一计算结果和所述第二计算结果进行计算，得到第三判断结果。
在本步骤中，利用DS融合算法对第一计算结果和第二计算结果进行融合为本领域技术人员所熟知的技术方案，故不在此赘述，通过将第一计算结果和第二计算结果进行融合即可得到监测区域发生危险行为的概率。
步骤S5、根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。
具体的，本步骤中首先预设阈值信息，当第三判断结果大于预设的阈值信息时，判断监测区域发生危险行为，当第三判断结果小于预设的阈值信息时，判断监测区域内未发生危险行为。
进一步的，在所述步骤S5中还包括步骤S51至步骤S54：
步骤S51、获取第二定位信息和校园区域属性信息，所述第二定位信息为学生管理终端的位置信息，所述校园区域属性信息为区域内学生的密度属性；
所述校园区域属性信息包括禁止通行区域、通行区域与易通行区域，根据区域内学生的密度进行划分。
步骤S52、根据所述第一定位信息和所述第二定位信息建立网格模型，所述网格模型包括至少一个网格单元；
步骤S53、将所述校园区域属性信息解析至所述网格模型中，得到解析后的网格模型；
由此，本步骤可将学校内的建筑、道路与网格模型相对应，再将
校园区域属性信息进行解析，并填充至网格单元中，得到解析后的网格模型，需要说明的是，将校园区域属性信息解析为禁止通行区域、通行区域与易通行区域，并分别赋予其不同的值，其中具体为：不通行区域为2、通行区域为1和易通行区0，通过对不同的区域赋予网格不同的值，以有效提高路径规划的精度。
步骤S54、利用Astar算法对所述解析后的网格模型进行搜索，得到路径信息，所述路径信息用于辅助安保人员迅速到达发生危险行为的监测区域，防止更加严重的后果发生，以保证学生的身心安全。
实施例2：
如图2所示，本实施例提供了一种基于大数据的智慧校园管理系统，所述系统包括获取模块901、第一判断模块902、第二判断模块903、第三判断模块904以及管理模块905，其中具体为：
获取模块901，用于获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；
第一判断模块902，用于判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；
第二判断模块903，用于根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；
第三判断模块904，用于根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；
管理模块905，用于根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。
在本公开的一种具体实施方式中，所述第一判断模块902中还包括预处理单元9021、第一处理单元9022、第二处理单元9023、第三处理单元9024、融合单元9025以及第一判断单元9026，其中具体为：
预处理单元9021，用于对所述视频信息进行预处理，得到视频帧序列信息；
第一处理单元9022，用于根据所述视频帧序列信息确定关键帧信息；
第二处理单元9023，用于将所述视频帧序列信息发送至三维卷积神经网络，得到第一特征向量；
第三处理单元9024，用于将所述关键帧信息发送至二维卷积神经网络，得到第二特征向量；
融合单元9025，用于将所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；
第一判断单元9026，用于将所述第三特征向量发送至分类模型，得到第一判断结果。
在本公开的一种具体实施方式中，所述第一处理单元9022中还包括第四处理单元90221、第五处理单元90222以及第六处理单元90223，其中具体为：
第四处理单元90221，用于将所述视频帧序列信息中的每一帧发送至人体姿态估计模型，得到每一视频帧对应的骨架位置信息；
第五处理单元90222，用于对每一视频帧对应的骨架位置信息进行特征提取，得到特征序列信息；
第六处理单元90223，用于将所述特征序列信息发送至动作分析模型，得到关键帧信息。
在本公开的一种具体实施方式中，所述第二判断模块903中还包括第七处理单元9031、滤波单元9032、第八处理单元9033、第九处理单元9034以及第十处理单元9035，其中具体为：
第七处理单元9031，用于将所述音频信息进行傅里叶变换得到所述音频信息对应的频谱信息，所述频谱信息包括所述音频信息对应的频谱图；
滤波单元9032，用于利用梅尔尺度滤波器组对所述频谱图进行滤波，得到滤波后的频谱图，所述滤波后的频谱图包括幅值精简后的频域信号；
第八处理单元9033，用于计算每个滤波器组的输出能量，得到计算结果；
第九处理单元9034，用于对所述计算结果进行离散余弦变换，得到音频特征信息；
第十处理单元9035，用于将所述音频特征信息发送至情绪分类模型，得到第二判断结果。
在本公开的一种具体实施方式中，所述第三判断模块904中还包括第一获取单元9041、第一计算单元9042、第二计算单元9043以及第十一处理单元9044，其中具体为：
第一获取单元9041，用于获取预设的基本分配函数；
第一计算单元9042，用于利用预设的所述基本分配函数和所述第一判断结果进行计算，得到第一计算结果；
第二计算单元9043，用于利用预设的所述基本分配函数和所述第二判断结果进行计算，得到第二计算结果；
第十一处理单元9044，用于利用DS融合算法对所述第一计算结果和所述第二计算结果进行计算，得到第三判断结果。
在本公开的一种具体实施方式中，所述管理模块905中还包括第二获取单元9051、建立单元9052、解析单元9053以及第十二处理单元9054，其中具体为：
第二获取单元9051，用于获取第二定位信息和校园区域属性信息，所述第二定位信息为学生管理终端的位置信息，所述校园区域属性信息为区域内学生的密度属性；
建立单元9052，用于根据所述第一定位信息和所述第二定位信息建立网格模型，所述网格模型包括至少一个网格单元；
解析单元9053，用于将所述校园区域属性信息解析至所述网格模型中，得到解析后的网格模型；
第十二处理单元9054，用于利用Astar算法对所述解析后的网格模型进行搜索，得到路径信息，所述路径信息用于辅助安保人员迅速达到发生危险行为的监测区域。
需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种基于大数据的智慧校园管理设备，其与上文描述的一种基于大数据的智慧校园管理方法相互对应参照。
图3是根据示例性实施例示出的一种基于大数据的智慧校园管理设备800的框图。如图3所示，该基于大数据的智慧校园管理设备800可以包括：处理器801，存储器802。该基于大数据的智慧校园管理设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于大数据的智慧校园管理设备800的整体操作，以完成上述的基于大数据的智慧校园管理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于大数据的智慧校园管理设备800的操作，这些数据例如可以包括用于在该基于大数据的智慧校园管理设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据。
该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。通信组件805用于该基于大数据的智慧校园管理设备800与其他设备之间进行有线或无线通信。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于大数据的智慧校园管理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于大数据的智慧校园管理设备800的处理器801执行以完成上述的基于大数据的智慧校园管理方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，其与上文描述的一种基于大数据的智慧校园管理方法相互对应参照。
上述可读存储介质上存储有计算机程序，计算机程序被处理器执行时，可实现上述基于大数据的智慧校园管理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种基于大数据的智慧校园管理方法，其特征在于，包括：
获取视频信息、音频信息和人脸图像信息；
判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；
根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；
根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；
根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息，并发送至学生管理终端进行预警；
其中，根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果，包括：
将所述音频信息进行傅里叶变换得到所述音频信息对应的频谱信息，所述频谱信息包括所述音频信息对应的频谱图；
利用梅尔尺度滤波器组对所述频谱图进行滤波，得到滤波后的频谱图，所述滤波后的频谱图包括幅值精简后的频域信号；
计算每个滤波器组的输出能量，得到计算结果；
对所述计算结果进行离散余弦变换，得到音频特征信息；
将所述音频特征信息发送至情绪分类模型，得到第二判断结果；
其中，根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果，包括：
对所述视频信息进行预处理，得到视频帧序列信息；
根据所述视频帧序列信息确定关键帧信息；
将所述视频帧序列信息发送至三维卷积神经网络，得到第一特征向量；
将所述关键帧信息发送至二维卷积神经网络，得到第二特征向量；
将所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；
将所述第三特征向量发送至分类模型，得到第一判断结果;
其中，根据所述视频帧序列信息确定关键帧信息，包括：
将所述视频帧序列信息中的每一帧发送至人体姿态估计模型，得到每一视频帧对应的骨架位置信息；
对每一视频帧对应的骨架位置信息进行特征提取，得到特征序列信息；
将所述特征序列信息发送至动作分析模型，得到关键帧信息；
其中，根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果，包括：
获取预设的基本分配函数；
利用预设的所述基本分配函数和所述第一判断结果进行计算，得到第一计算结果；
利用预设的所述基本分配函数和所述第二判断结果进行计算，得到第二计算结果；
利用DS融合算法对所述第一计算结果和所述第二计算结果进行计算，得到第三判断结果。
2.根据权利要求1所述的智慧校园管理方法，其特征在于，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警，还包括：
获取第二定位信息和校园区域属性信息，所述第二定位信息为学生管理终端的位置信息，所述校园区域属性信息为区域内学生的密度属性；
根据所述第一定位信息和所述第二定位信息建立网格模型，所述网格模型包括至少一个网格单元；
将所述校园区域属性信息解析至所述网格模型中，得到解析后的网格模型；
对所述解析后的网格模型进行搜索，得到路径信息，所述路径信息用于辅助安保人员迅速达到发生危险行为的监测区域。
3.根据权利要求1所述的智慧校园管理方法，其特征在于，所述三维卷积神经网络为I3D神经网络。
4.根据权利要求1所述的智慧校园管理方法，其特征在于，预设的所述基本分配函数具体为：
;
上式中，Ni表示重新定义为第i组证据对识别结果的支持程度，r为调节因子，ni表示第i组证据对集合内识别结果的支持程度。
5.根据权利要求1所述的智慧校园管理方法，其特征在于，所述动作分析模型为ST-LSTM。
6.一种基于大数据的智慧校园管理系统，其特征在于，包括：
获取模块，用于获取视频信息、音频信息和人脸图像信息；
第一判断模块，用于判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；
第二判断模块，用于根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；
第三判断模块，用于根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；
管理模块，用于根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警；
其中，所述第二判断模块，包括：
第七处理单元，用于将所述音频信息进行傅里叶变换得到所述音频信息对应的频谱信息，所述频谱信息包括所述音频信息对应的频谱图；
滤波单元，用于利用梅尔尺度滤波器组对所述频谱图进行滤波，得到滤波后的频谱图，所述滤波后的频谱图包括幅值精简后的频域信号；
第八处理单元，用于计算每个滤波器组的输出能量，得到计算结果；
第九处理单元，用于对所述计算结果进行离散余弦变换，得到音频特征信息；
第十处理单元，用于将所述音频特征信息发送至情绪分类模型，得到第二判断结果；
其中，所述第一判断模块，包括：
预处理单元，用于对所述视频信息进行预处理，得到视频帧序列信息；
第一处理单元，用于根据所述视频帧序列信息确定关键帧信息；
第二处理单元，用于将所述视频帧序列信息发送至三维卷积神经网络，得到第一特征向量；
第三处理单元，用于将所述关键帧信息发送至二维卷积神经网络，得到第二特征向量；
融合单元，用于将所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；
第一判断单元，用于将所述第三特征向量发送至分类模型，得到第一判断结果；
其中，所述第一处理单元，包括：
第四处理单元，用于将所述视频帧序列信息中的每一帧发送至人体姿态估计模型，得到每一视频帧对应的骨架位置信息；
第五处理单元，用于对每一视频帧对应的骨架位置信息进行特征提取，得到特征序列信息；
第六处理单元，用于将所述特征序列信息发送至动作分析模型，得到关键帧信息；
其中，所述第三判断模块，包括：
第一获取单元，用于获取预设的基本分配函数；
第一计算单元，用于利用预设的所述基本分配函数和所述第一判断结果进行计算，得到第一计算结果；
第二计算单元，用于利用预设的所述基本分配函数和所述第二判断结果进行计算，得到第二计算结果；
第十一处理单元，用于利用DS融合算法对所述第一计算结果和所述第二计算结果进行计算，得到第三判断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447308.6A CN117172989B (zh) | 2023-11-02 | 2023-11-02 | 一种基于大数据的智慧校园管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311447308.6A CN117172989B (zh) | 2023-11-02 | 2023-11-02 | 一种基于大数据的智慧校园管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117172989A CN117172989A (zh) | 2023-12-05 |
| CN117172989B true CN117172989B (zh) | 2024-02-02 |
Family
ID=88930194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311447308.6A Active CN117172989B (zh) | 2023-11-02 | 2023-11-02 | 一种基于大数据的智慧校园管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117172989B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300569A (ja) * | 2001-03-30 | 2002-10-11 | Fujitsu General Ltd | ネットワークカメラによる監視方法と監視システム |
| JP2011091859A (ja) * | 2011-01-14 | 2011-05-06 | Mitsubishi Electric Corp | 映像記録装置、映像記録方法、映像音声記録装置、及び映像音声記録方法 |
| KR101235777B1 (ko) * | 2011-09-26 | 2013-02-21 | 유성훈 | 복합진단장비를 이용한 인공지능형 전력설비 진단 판정시스템 |
| CN106713857A (zh) * | 2016-12-15 | 2017-05-24 | 重庆凯泽科技股份有限公司 | 一种基于智慧视频的校园安全系统和方法 |
| CN111312367A (zh) * | 2020-05-11 | 2020-06-19 | 成都派沃智通科技有限公司 | 一种基于自适应云管理平台的校园人员异常心理预测方法 |
| CN112382051A (zh) * | 2020-11-11 | 2021-02-19 | 潘鑫 | 一种基于区块链的智慧住宅安防系统 |
| CN114782897A (zh) * | 2022-05-09 | 2022-07-22 | 江西交通职业技术学院 | 基于机器视觉及深度学习的危险行为检测方法及系统 |
| KR102524779B1 (ko) * | 2022-11-18 | 2023-04-24 | 주식회사 엔엔에프텍 | 멀티 센싱 데이터 기반 지하구 결함 탐지를 위한 네트워크시스템 |
| CN116109461A (zh) * | 2023-03-08 | 2023-05-12 | 济南幼儿师范高等专科学校 | 一种基于人工智能的智慧校园安全管理预警系统 |
| WO2023164020A2 (en) * | 2022-02-25 | 2023-08-31 | Op Solutions, Llc | Systems, methods and bitstream structure for video coding and decoding for machines with adaptive inference |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070256105A1 (en) * | 2005-12-08 | 2007-11-01 | Tabe Joseph A | Entertainment device configured for interactive detection and security vigilant monitoring in communication with a control server |
| US11087614B2 (en) * | 2018-11-21 | 2021-08-10 | Hemal B. Kurani | Methods and systems of smart campus security shield |
-
2023
- 2023-11-02 CN CN202311447308.6A patent/CN117172989B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300569A (ja) * | 2001-03-30 | 2002-10-11 | Fujitsu General Ltd | ネットワークカメラによる監視方法と監視システム |
| JP2011091859A (ja) * | 2011-01-14 | 2011-05-06 | Mitsubishi Electric Corp | 映像記録装置、映像記録方法、映像音声記録装置、及び映像音声記録方法 |
| KR101235777B1 (ko) * | 2011-09-26 | 2013-02-21 | 유성훈 | 복합진단장비를 이용한 인공지능형 전력설비 진단 판정시스템 |
| CN106713857A (zh) * | 2016-12-15 | 2017-05-24 | 重庆凯泽科技股份有限公司 | 一种基于智慧视频的校园安全系统和方法 |
| CN111312367A (zh) * | 2020-05-11 | 2020-06-19 | 成都派沃智通科技有限公司 | 一种基于自适应云管理平台的校园人员异常心理预测方法 |
| CN112382051A (zh) * | 2020-11-11 | 2021-02-19 | 潘鑫 | 一种基于区块链的智慧住宅安防系统 |
| WO2023164020A2 (en) * | 2022-02-25 | 2023-08-31 | Op Solutions, Llc | Systems, methods and bitstream structure for video coding and decoding for machines with adaptive inference |
| CN114782897A (zh) * | 2022-05-09 | 2022-07-22 | 江西交通职业技术学院 | 基于机器视觉及深度学习的危险行为检测方法及系统 |
| KR102524779B1 (ko) * | 2022-11-18 | 2023-04-24 | 주식회사 엔엔에프텍 | 멀티 센싱 데이터 기반 지하구 결함 탐지를 위한 네트워크시스템 |
| CN116109461A (zh) * | 2023-03-08 | 2023-05-12 | 济南幼儿师范高等专科学校 | 一种基于人工智能的智慧校园安全管理预警系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117172989A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Machine learning-based regional scale intelligent modeling of building information for natural hazard risk management | |
| Cameron et al. | Emergency situation awareness from twitter for crisis management | |
| CN111626116B (zh) | 基于融合多注意力机制和Graph的视频语义分析方法 | |
| Chen et al. | Towards automatic analysis of social interaction patterns in a nursing home environment from video | |
| CN112541529A (zh) | 表情与姿态融合的双模态教学评价方法、设备及存储介质 | |
| CN113065515B (zh) | 基于相似度图神经网络的异常行为智能检测方法及系统 | |
| CN111738044A (zh) | 一种基于深度学习行为识别的校园暴力评估方法 | |
| CN105139029A (zh) | 一种监狱服刑人员的行为识别方法及装置 | |
| Oldoni et al. | Context-dependent environmental sound monitoring using SOM coupled with LEGION | |
| Elbasi | Reliable abnormal event detection from IoT surveillance systems | |
| CN113887446A (zh) | 一种基于神经网络的音视频联合行人意外跌倒监控方法 | |
| CN115294519A (zh) | 一种基于轻量化网络的异常事件检测及预警方法 | |
| CN115546899A (zh) | 一种基于深度学习的考场异常行为分析方法、系统及终端机 | |
| CN116884192A (zh) | 一种电力生产作业风险预警方法、系统和设备 | |
| CN118037047A (zh) | 基于ai的矿山安全监控系统 | |
| CN116912744B (zh) | 基于物联网的智能监控系统及其方法 | |
| CN117172989B (zh) | 一种基于大数据的智慧校园管理方法及系统 | |
| Celik et al. | Change detection without difference image computation based on multiobjective cost function optimization | |
| US20240233385A1 (en) | Multi modal video captioning based image security system and method | |
| Shah et al. | Dangerous object detection for visually impaired people using computer vision | |
| CN116152745A (zh) | 一种抽烟行为检测方法、装置、设备及存储介质 | |
| CN114782675B (zh) | 一种安全技术服务领域项目动态定价方法和系统 | |
| CN115909144A (zh) | 一种基于对抗学习的监控视频异常检测方法及系统 | |
| CN115147921A (zh) | 基于多域信息融合的重点区域目标异常行为检测与定位方法 | |
| Zhang | A Gaussian High‐Dimensional Random Matrix‐Based Method for Detecting Abnormal Student Behaviour in Chinese Language Classrooms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |