CN111901562B - 一种面向校园的音视频智能监控系统 - Google Patents

Abstract

本发明提供一种面向校园的音视频智能监控系统，在该音视频智能监控系统中，因为通过监控服务器的车辆识别部对所有目标车辆进行识别得到目标车辆识别结果，轨迹记录部又根据目标车辆识别结果对目标车辆不同时间下对应的位置信息按照目标车辆被采集终端抓拍到时间先后顺序一一记录，形成车辆轨迹信息，服务侧通信部将记录的所有车辆轨迹信息发送到监控终端显示，安保人员通过查看车辆轨迹，从而实时掌握车辆行驶动态，不需要安保人员对车辆进行人工跟踪，节省人力和时间，有利于安保人员及时预防校园安全事故以及对已发生的校园安全事故采取相应的补救措施，将损失和伤害降到最低。

Description

一种面向校园的音视频智能监控系统

技术领域

本发明属于计算机视觉、人工智能技术领域，具体涉及一种面向校园的音视频智能监控系统。

背景技术

校园视频监控系统是校园安防的重要组成部分。安保人员通过监控视频对校园内或者校园周围的人员和车辆进行实时监控。而车辆的跟踪是视频监控系统中的一个重点。安保人员通过校园视频监控系统对校园周围以及校园内的车辆进行跟踪，发现车辆是否在非车道区域行驶；或者发现车辆是否在学校周围逗留徘徊，准备在学校周围或者学校内进行犯罪；或者确定犯案车辆在学校周围或学校内哪些地方停留过，及时发现案发现场进行补救。车辆跟踪可以预防校园事故发生以及让安保人员及时对发生的校园事故采取相应补救措施。

传统的车辆跟踪是安保人员根据车辆的车牌号从所有监控视频中找出包含该车的监控视频，再对包含该车的监控视频按照时间顺序确定该车的行驶路线，不仅需要大量安保人员的时间和精力而且无法预防校园安全事故或者无法让安保人员及时赶往校园安全事故发生地采取补救措施，对学生和学校造成严重影响和损失。实时的车辆监控需要安保人员一直盯着监控视频中的某辆车查看，不仅无法做到对所有车辆进行跟踪而且安保人员的精力跟不上。

传统的校园视频监控系统只能对出现在校园的人员和车辆进行监控，无法对校园内出现的异常声音如爆炸声、枪声等进行监控。安保人员只能根据监控视频中人员或车辆的举动进行判断是否发生校园安全事故，而无法根据校园内的声音来判断校园内是否发生校园安全事故。

发明内容

为解决上述问题，本发明提供了一种针对校园内或校园周围的车辆实时车辆跟踪音视频智能监控系统，本发明采用了如下技术方案：

本发明提供了一种面向校园的音视频智能监控系统，其特征在于，包括：多个采集终端，分散设置在校园内的各个监控区域；监控服务器，与采集终端分别通信连接；以及监控终端，与监控服务器通信连接，其中，采集终端包括：监控视频采集部，用于实时对监控区域进行视频采集从而获得对应的区域监控视频；以及采集侧通信部，用于将区域监控视频发送至监控服务器，监控服务器包括：服务侧通信部，用于接收区域监控视频；目标车辆信息存储部，存储有各个目标车辆的目标车辆信息；位置信息存储部，用于存储各个采集终端的位置信息；待测图像获取部，从各个区域监控视频中依次获取图片帧作为待测图像；车辆识别部，用于根据预先训练好的车辆识别模型依次对待测图像进行车辆识别从而得到待测图像中待测车辆的车辆信息；目标车辆判断设定部，依次判断车辆信息是否与目标车辆信息一致，并在判断为一致时判断将该待测车辆设定为目标车辆；以及轨迹记录部，将含有目标车辆的待测图像的监控视频对应的采集终端的位置信息作为目标位置信息、将目标车辆被采集终端采集到的时间作为目标时间信息，根据时间先后顺序依次将各个目标车辆的目标位置信息以及目标时间信息作为对应的车辆轨迹信息进行记录，一旦轨迹记录部输出车辆轨迹信息，服务侧通信部就把车辆轨迹信息发送至监控终端，监控终端包括：画面存储部，存储有车辆轨迹画面；监控侧通信部，接收车辆轨迹信息；以及输入显示部，显示车辆轨迹画面让安保人员对目标车辆轨迹进行查看。

发明作用与效果

根据本发明提供的面向校园的音视频智能监控系统，因为通过监控服务器的车辆识别部对所有目标车辆进行识别得到目标车辆识别结果，轨迹记录部又根据目标车辆识别结果对目标车辆不同时间下对应的位置信息按照目标车辆被采集终端抓拍到时间先后顺序一一记录，形成车辆轨迹信息，服务侧通信部将记录的所有车辆轨迹信息发送到监控终端显示，安保人员通过查看车辆轨迹，从而实时掌握车辆行驶动态，不需要安保人员对车辆进行人工跟踪，节省人力和时间。当校园安全事故未发生时，安保人员可以根据车辆的轨迹判断该车辆是否准备在学校引发校园安全事故，或者是因为该车辆的行驶轨迹超出校内的车道区域而造成校内交通事故；当因为车辆而引发校园安全事故时，掌握车辆轨迹的安保人员能及时赶往事故发生地，对已造成的损失和伤害采取相应的补救措施，将损失和伤害降到最低。

附图说明

图1为本发明实施例的面向校园的音视频智能监控系统的结构框图；

图2为本发明实施例的采集终端的结构框图；

图3为本发明实施例的监控服务器的结构框图；

图4为本发明实施例的车辆监控流程的示意图；

图5为本发明实施例的人员监控流程的示意图；

图6为本发明实施例的人群监控流程的示意图

图7为本发明实施例的预谋作案车辆判断设定部的结构框图；

图8为本发明实施例的监控终端的结构框图；

图9为本发明实施例的车辆轨迹画面的示意图；

图10为本发明实施例的黑名单车辆预警画面的示意图；

图11为本发明实施例的禁停查看通知画面的示意图；

图12为本发明实施例的黑名单人员预警画面的示意图；

图13为本发明实施例的人群密度预警画面的示意图；

图14为本发明实施例的车辆监控过程的流程图；

图15为本发明实施例的人员监控过程的流程图；

图16为本发明实施例的人群监控过程的流程图；

图17为本发明实施例的声音监控过程的流程图。

具体实施方式

以下结合附图来说明本发明涉及的面向校园的音视频智能监控系统的实施例进行详细地说明。

图1为本发明实施例中面向校园的音视频智能监控系统的结构框图。

如图1所示，面向校园的音视频智能监控系统具有多个采集终端101、监控服务器102以及监控终端103。采集终端101通过通信结构104与监控服务器102连接，监控服务器102通过通信结构104监控终端103连接。

采集终端101分散设置在校园内的各个监控区域，包括监控视频采集部111、语音采集部112以及采集侧通信部113。

图2为本发明实施例中采集终端的结构框图。

如图2所示，采集终端包含监控视频采集部111、语音采集部112以及采集侧通信部113。监控视频采集部111、语音采集部112都与采集侧通信部113连接。

其中，监控视频采集部111是高清监控摄像头，可以监控校园内区域以及校园周围区域，可以拍摄到出现在校园内以及校园周围的人和车，采集侧通信部113将实时采集到的各个监控区域内的监控视频发送至监控服务器102。

语音采集部112用于监听校园内所有需要监听的区域内的声音，形成区域监控音频，一旦语音采集部112有区域监控音频输出，采集侧通信部113将实时采集到的各个监听区域内的区域监控音频发送至监控服务器102。

采集侧通信部113用于进行采集终端101与监控服务器102之间的数据交换。

图3为本发明实施例的监控服务器的结构框图。

如图3所示，监控服务器102包括13目标车辆信息存储部11、黑名单人员信息存储部12、位置信息存储部13、异常声音信息存储部14、待测图像获取部15、车辆识别部16、人脸识别部17、人群密度检测部18、语音识别部19、目标车辆判断设定部20、轨迹记录部21、预谋作案车辆判断设定部22、预谋作案车辆提醒指令生成部23、黑名单车辆判断设定部24、黑名单车辆预警指令生成部25、禁停判断设定部26、禁停查看通知指令生成部27、黑名单人员判断设定部28、黑名单人员预警指令生成部29、人群预警判断设定部30、人群密度预警指令生成部31、异常声音判断设定部32、异常声音预警指令生成部33、搜索查询部34以及服务侧通信部35。

目标车辆信息存储部11存储有各个目标车辆的目标车辆信息以及黑名单车辆信息。

其中，目标车辆是在学校周围以及学校内出现过的车辆，目标车辆信息包括目标车辆的车牌号和车型，车型可以分为大型和小型；黑名单车辆可以是公开的逃逸车辆、存在安全隐患的车辆也可以是安保人员设定的禁止入校车辆等各种不能进入校园内的车辆，黑名单车辆信息包括黑名单车辆的车牌号和车型。

黑名单人员信息存储部12存储有黑名单人员信息。

其中，黑名单人员可以是公开的在逃案犯、失信人员、安保人员设定的不允许入校人员等各种不能进入校园内的人员；黑名单人员信息包括黑名单人员的脸部图像、姓名以及危险等级等信息，其中危险等级可以是根据黑名单人员的危险程度划分为ABC三级。

位置信息存储部13存储有各个采集终端101的位置信息以及识别信息。

其中，位置信息是采集终端101所对应的监控区域的地理位置，如校园车道、校园大门、地下停车场等；识别信息可以是采集终端101的设备编号、型号等能识别出各个采集终端101的信息。完成识别的人和车的位置信息需要监控视频追溯到对应的采集终端101确定，追溯时可以依据采集终端101的识别信息进行。

待测图像获取部15将各个采集终端101发送过来的监控视频转成一帧一帧待测图像。

车辆识别部16根据预先训练好的车辆识别模型依次对待测图像进行车辆识别从而得到待测图像中待测车辆的车辆信息。

其中，预先训练好的车辆识别模型可以是常规的车辆识别模型，待测车辆的车辆信息包括待测车辆的车牌号以及车型。

人脸识别部17根据预先训练好的人脸识别模型依次对待测图像进行人脸识别从而得到待测图像中待测人员信息。

其中，预先训练好的人脸识别模型可以是常规的人脸识别模型。

人群密度检测部18根据预先训练好的人群密度检测模型依次对待测图像进行人群密度检测从而得到图像中待测人群的人群密度。

其中，预先训练好的人群密度检测模型可以是常规的人群密度检测模型，人群密度是指在某一时刻特定区域内的采集终端101抓拍到的人数。

目标车辆判断设定部20依次判断车辆信息是否与目标车辆信息一致，并在判断为一致时判断将该待测车辆设定为目标车辆，不一致时将该待测车辆信息作为新的目标车辆信息自动存储到目标车辆信息存储部11。

具体地，待测车辆之前在学校内或学校周围出现过时，目标车辆判断设定部20会将该待测车辆设定为目标车辆；没有出现过时，该待测车辆的信息自动存储到目标车辆信息存储部11中形成新的目标车辆信息库。

轨迹记录部21将含有目标车辆的待测图像的监控视频对应的采集终端101的位置信息作为目标位置信息、将目标车辆被采集终端101采集到的时间作为目标时间信息，根据时间先后顺序依次将各个目标车辆的目标位置信息以及目标时间信息作为对应的车辆轨迹信息进行记录。

一旦轨迹记录部21有车辆轨迹信息生成，服务侧通信部35就把车辆轨迹信息发送至监控终端103。

其中，目标位置信息是根据目标车辆出现的监控视频对应到的采集终端101的位置信息，目标时间信息则是各个采集终端101抓拍到该目标车辆的时间，车辆轨迹信息是各个目标车辆在行驶过程中形成的轨迹线，主要根据该目标车辆被抓拍到的时间以及抓拍到该目标车辆的采集终端101所对应的位置确定该目标车辆的轨迹线。

轨迹记录部21又包括轨迹生成单元以及轨迹存储单元。

其中，轨迹生成单元用来生成目标车辆的轨迹；轨迹存储单元用来对生成的目标车辆轨迹进行存储方便安保人员对以往的车辆轨迹进行查看。

预谋作案车辆判断设定部22基于各个目标车辆的车辆轨迹信息依次判断各个目标车辆是否为预谋作案车辆，当判断为是时将该目标车辆设定为预谋作案车辆。

本实施例中，预谋作案车辆判断设定部22根据目标车辆是否在校园周围徘徊以及其徘徊时长是否超过一般车辆的行驶时长来判断该目标车辆是否可能准备在校园内或者校园周围实施犯罪。当判断为是时，预谋作案车辆判断设定部22将该目标车辆设定为预谋作案车辆。当判断为否时，监控终端103无任何显示或预警。

一旦有目标车辆被预谋作案车辆判断设定部22设定为预谋作案车辆时，预谋作案车辆提醒指令生成部23就生成预谋作案车辆提醒指令，服务侧通信部35立即将预谋作案车辆提醒指令发送至监控终端103。

黑名单车辆判断设定部24将所有目标车辆信息依次与所有黑名单车辆信息进行比对。若是有比对成功的，黑名单车辆判断设定部24就会将该目标车辆设定为黑名单车辆。若是没有比对成功的，该目标车辆为普通车辆。

一旦黑名单车辆判断设定部24将目标车辆设定为黑名单车辆时，黑名单车辆预警指令生成部25就生成黑名单车辆预警指令，服务侧通信部35就把黑名单车辆预警指令发送至监控终端103。

禁停判断设定部26依次判断每个目标车辆的目标位置信息是否与预定的禁停位置信息一致并在判断一致时将该目标车辆设定为禁停车辆。

若目标车辆停在了禁停位置，监控终端103有禁停车辆提醒；若没有停在禁停位置，监控终端103无禁停车辆提醒。

一旦禁停判断设定部26将目标车辆设定为禁停车辆时，禁停查看通知指令生成部27就生成禁停查看通知指令，服务侧通信部就马上将禁停查看通知指令发送至监控终端103。

本实施例中，通过车辆识别部对所有车辆进行车辆识别根据车辆识别结果判断为黑名单车辆、白名单车辆以及非名单车辆中的哪一种，并采取后续的相应措施。

图4为本发明实施例的车辆监控流程的示意图。

如图4所示，车辆判断为黑名单车辆时监控终端进行黑名单车辆预警，从而安保人员及时处理黑名单车辆；白名单车辆又分为校园短驳车辆、教职工车辆和预约到访车辆，对校园短驳车辆和预约到访车辆进行车辆轨迹跟踪，对校园短驳车辆、教职工车辆和预约到访车辆判断是否为禁停车辆，一旦是禁停车辆，监控终端会发出禁停车辆预警，提醒安保人员对禁停车辆进行处理；对非名单车辆，安保人员禁止其入内，并且通过预谋作案车辆判断设定部对非名单车辆进行预谋作案车辆判断以及设定，方便安保人员对预谋作案车辆进行处理。

黑名单人员判断设定部28依次判断待测人员信息与黑名单人员信息是否一致，并在判断为一致设定该待测人员为黑名单人员，设定含有黑名单人员的待测图像的监控视频对应的采集终端101的位置信息为黑名单人员位置信息。

黑名单人员判断设定部28依次将所有人脸识别模型输出的人员信息与黑名人员库中的黑名单人信息进行比对。

如果有比对成功的，黑名单人员判断设定部28就将该待测人员设定为黑名单人员；如果没有比对成功的，该待测人员为普通人。

一旦黑名单人员判断设定部28将目标人员将待测人员设定为黑名单人员时，预警指令生成部27黑名单人员判断设定部28就生成黑名单人员预警指令，服务侧通信部35就马上将黑名单人员预警指令发送至监控终端103。

本实施例中，通过人脸识别部对所有人员进行人脸识别根据人脸识别结果判断为黑名单人员并采取后续的相应措施。

图5为本发明实施例的人员监控流程的示意图。

如图5所示，首先通过摄像头抓拍到待测人员图像，然后对所有待测人员图像进行人脸识别，将人脸识别结果与黑名单人员人脸库进行匹配，有匹配成功的，监控终端显示黑名单人员信息以及监控地点，并根据预警级别滚动显示，提醒安保人员根据黑名单人员的危险等级进行安保处理，处理完成后安保人员在监控终端解除预警。

人群预警判断设定部30用来判断人群密度是否超过人群密度上限。

当判断为超过时，人群预警判断设定部30将该待测人群设定为密集人群，含有密集人群的待测图像的监控视频对应的采集终端101的位置信息为密集人群位置信息。

当判断为没有超过时，该待测人群为正常人群，监控终端103无特殊显示。

一旦人群预警判断设定部30将待测人群设定为密集人群时，人群密度预警指令生成部31生成人群密度预警指令，服务侧通信部35就把人群密度预警指令发送至监控终端103。

本实施例中，通过人群密度检测部对所有监控区域进行人群密集检测根据人群密度检测结果判断该监控区域是否人群密集区域并采取后续的相应措施。

图6为本发明实施例的人群监控流程的示意图。

如图6所示，首先安保人员在监控终端设置人群上限数，然后监控服务器上的人群密度检测模型对摄像机抓拍到的人群图像进行检测得到人群检测结果，将设置的人群上限数与人群检测结果相比较得到是否超过人群上限数，如果超过，监控终端发出人群密集预警，提醒安保人员对人群图像对应的采集终端的监控区域的监控视频进行查看，并前往该监控区域处理，处理完成后，安保人员在监控终端上解除预警。

搜索查询部34从各个目标车辆的车牌信息中检索出与车牌检索信息一致的目标车辆轨迹信息，该目标车辆轨迹信息即为检索车辆轨迹信息，将该检索车辆轨迹信息的最新目标车辆时间信息的目标车辆位置信息作为检索车辆位置信息。根据输入的车牌号从轨迹存储单元检索出拥有该车牌号的车辆的车辆轨迹调出来，该车辆的轨迹中最新的位置作为搜索查询结果输出至监控终端103。

服务侧通信部35用于进行监控服务器102与监控终端103和采集终端101之间的数据交换。

图7为本发明实施例的预谋作案车辆判断设定部的结构框图。

如图7所示，预谋作案车辆判断设定部22包括校外车辆位置判断单元221、校外车辆时长统计单元222以及预谋作案车辆判断设定单元223。

校外车辆位置判断单元221根据目标车辆的车辆轨迹信息判断该目标车辆是否一直位于校园周围。目标车辆的行驶轨迹是否一致位于校园周围。

一旦校外车辆位置判断设定单元221判定为是时，校外车辆时长统计单元222就根据校外车辆的时间信息计算各个包含校外车辆的区域监控视频中校外车辆出现的时间总和。校外车辆时长统计单元222对一直徘徊在校园周围的目标车辆进行徘徊时间计算。

预谋作案车辆判断设定单元223在计算出目标车辆的徘徊时长后判断该校外车辆徘徊时长是否超过预定时长。

其中，预定时长是指目标车辆在校园周围行驶时一般行驶时长。

当判断为超过时该校外车辆为预谋作案车辆将该校外车辆设定为预谋作案车辆，监控终端103会显示预谋作案车辆预警信号；当判断为未超过时预谋作案车辆判断设定单元223将该校外车辆设定为普通校外车辆，监控终端103无特殊显示。

异常声音信息存储部14用于存储所有异常声音信息。

其中，异常声音信息包括爆炸声、枪击声等各种发生校园事故时产生的声音。

语音识别部19利用常规的语音识别模型依次对服务侧通信部35接收到的区域监控音频进行语音识别从而得到区域监控音频中待测音频的声音信息。

一旦语音识别部19输出待测音频的声音信息，异常声音判断设定部32就判断待测音频的声音信息是否与异常声音信息是否一致。当一致时，异常声音判断设定部32将待测音频设定为异常音频。

一旦异常声音判断设定部32将待测音频设定为异常音频，异常声音预警指令生成部33就生成异常声音预警指令，服务侧通信部就将异常声音预警指令以及异常音频发送至监控终端103。

图8为本发明实施例的监控终端的结构框图。

如图8所示，监控终端103包括画面存储部36、监控侧通信部37、输入显示部38、搜素查询指令生成部39以及异常声音播报部40。

监控侧通信部37用于进行监控终端103与监控服务器102之间的数据交换。

画面存储部36存储有车辆轨迹画面、预谋作案车辆提醒画面、黑名单车辆预警画面、禁停查看通知画面、车牌信息输入画面、搜索车辆输出画面、黑名单人员预警画面、人群密度预警画面等画面以及异常声音预警画面。

车辆轨迹画面在监控侧通信部37接收到车辆轨迹信息时显示，显示所有出现在校园内和校园周围的车辆的行驶路径，从而让安保人员掌握所有车辆的实时动态。

图9为本发明实施例的车辆轨迹画面的示意图。

如图9所示，车辆轨迹画面41包括轨迹显示部分411。

轨迹显示部分411用于向安保人员显示车辆的行驶过程，每辆车辆的行驶过程以不同颜色加以区分，方便安保人员分辨。其中，行驶过程的表现形式可以是一条具有方向指示功能的曲线或折线，也可以是一组具有方向指示性的点，也可以是其它能表示车辆行驶方向以及行驶路径的表现形式。

预谋作案车辆提醒画面在监控侧通信部37接收到预谋作案车辆提醒指令时显示，显示预谋作案车辆的信息，从而告知安保人员校园周围出现预谋作案车辆，提醒安保人员采取相关安保措施。

其中，预谋作案车辆的信息包括预谋作案车辆位置、预谋作案车辆被采集终端101抓拍到的时间以及需要对该预谋作案车辆采取的措施。

其中，对该预谋作案车辆采取的措施可以是上前排查询问也可以是联系警务人员等其它安保措施。

黑名单车辆预警画面在监控侧通信部37接收到黑名车辆预警指令时显示，显示黑名单车辆信息，从而告知安保人员学校周围或者学校内有黑名单车辆出现，提醒安保人员立即阻拦该黑名单车辆。

图10为本发明实施例的黑名单车辆预警画面的示意图。

如图10所示，黑名单车辆预警画面42包含黑名单车辆地图显示部分421以及黑名单车辆文字显示部分422。

黑名单车辆地图显示部分421通过弹窗的形式显示黑名单车辆的位置以及黑名单车辆的车牌号，以图像的形式提醒安保人员有黑名单车辆出现，方便安保人员及时拦截该黑名单车辆。

黑名单车辆文字显示部分422以文字的方式显示黑名单车辆的位置、黑名单车辆被采集终端101抓拍到的时间、黑名单车辆的车牌以及对黑名单车辆采取的措施。其中，黑名单车辆采取的措施为阻拦。

禁停查看通知画面在监控侧通信部37接收到禁停查看通知指令时显示，显示禁停车辆的信息，从而告知安保人员学校禁停区域内有车辆乱停车，提醒安保人员对禁停车辆采取相应措施。

图11为本发明实施例的禁停查看通知画面的示意图。

如图11所示，禁停查看通知画面43包括禁停车辆图像显示部分431以及禁停车辆文字显示部分432。

禁停车辆图像显示部分431以弹窗的形式显示禁停车辆的位置、禁停车辆的车牌号以及禁停车辆的处理方式。

其中，禁停车辆的处理方式可以是安保人员赶往禁停区域通知禁停车辆车主挪动停车位置，也可以是安保人员通过广播方式在禁停区域内通知禁停车辆车主挪动停车位置。

禁停车辆文字显示部分432以文字的形式显示禁停车辆的禁停类型、禁停车辆被采集终端101抓拍到的时间、禁停车辆的车牌号以及禁停车辆的位置。

其中，禁停车辆的禁停类型可以是主干道停车、校门口停车、消防通道停车等各种校园内的禁停方式。

黑名单人员预警画面在监控侧通信部37接收到黑名单人员预警指令时显示，显示黑名单人员的信息，从而告知安保人员校园内或周围有黑名单人员出现，提醒安保人员对黑名单人员采取相应的措施。

图12为本发明实施例的黑名单人员预警画面的示意图。

如图12所示，黑名单人员预警画面44包括黑名单人员图像显示部分441、黑名单人员文字显示部分442以及黑名单人员处理显示部分443。

黑名单人员图像显示部分441以弹窗的形式显示黑名单人员被采集终端101抓拍到的最新头部图像、黑名单人员姓名、危险等级、备注以及当前位置。

黑名单人员文字显示部分442以文字的方式显示黑名单人员的行经路线、被采集终端101抓拍到的时间、姓名以及危险等级。

黑名单人员处理显示部分443用于显示安保人员对黑名单人员的处理状态。

其中，危险等级是该黑名单人员的危险程，备注是该黑名单人员是哪种黑名单人员如在逃案犯、失信人员、安保人员设定的不允许入校人员等各种不能进入校园内的人员。

人群密度预警画面在监控侧通信部37接收到人群密度预警指令时显示，显示特定区域内的人群信息，从而告知安保人员该特定区域内的人数超过人数上限，提醒安保人员对该特定区域的人群进行相应安保措施。

图13为本发明实施例的人群密度预警画面的示意图。

如图13所示，人群密度预警画面45包括人群密集图像显示部分451以及人群密集文字显示部分452。

人群密集图像显示部分451以弹窗的形式显示人群密集区域最新被采集终端101抓拍到的图像(如图13所示)以及突出显示人群密集区域。

其中，突出显示人群密集区域可以是以红色阴影方式突出显示也可以是其它能突出显示该人群密集区域的方式突出显示。

人群密集文字显示部分452以文字的方式显示人群密集位置、被采集终端101抓拍的时间以及人群密集类型。

其中，人群密集类型可以是异常聚集，也可以是人流密集。

其中，异常聚集是指在不应该出现大量人群的区域如地下车库、校园角落等地方出现大量人员时产生的人群密度预警。此时，安保人员需要前往异常聚集地查看是否发生聚众闹事等异常行为。

其中，人流密集是指在校内有大型活动的情况下，活动场地人流密度超过正常人流密度时产生的人群密度预警。此时，安保人员需要对活动场地的人群进行疏通，防止踩踏等事故发生。

车牌信息输入画面在安保人员点击系统的搜索查询按钮时显示，显示搜索查询内容的输入对话框，从而让安保人员进行车牌信息输入。

一旦车牌信息输入画面完成车牌信息输入，搜素查询指令生成部39在车牌信息输入画面就生成搜素查询指令，监控侧通信部37立即将搜素查询指令发送至监控服务器102。

搜索车辆输出画面在监控侧通信部37接受到检索车辆位置信息显示，显示检索车辆位置信息，从而让安保人员掌握检索车辆的最新位置。

异常声音预警画面在校园监听区域内出现异常声音时显示，显示异常声音的位置信息，从而使得安保人员能立即掌握异常声音发生位置，及时赶往异常声音发生地采取相应安保措施。

输入显示部38用于显示上述画面，从而让安保人员通过这些画面完成相应的人机交互。

异常声音播报部40用于播报监控侧通信部37接收到的异常音频，向安保人员展示异常音频内容，让安保人员根据异常音频内容采取一定安保措施。

图14为本发明实施例的车辆监控过程的流程图。

如图14所示，车辆监控过程包括如下步骤：

步骤S1-1，监控视频采集部获得区域监控视频，然后进入步骤S1-2；

步骤S1-2，采集侧通信部把区域监控视频发送至服务侧通信部，然后进入步骤S1-3；

步骤S1-3，待测图像获取部从服务侧通信部接收到的区域监控视频中依次获取图片帧作为待测图像，然后进入步骤S1-4；

步骤S1-4，车辆识别部依次对待测图像进行车辆识别从而得到待测车辆的车辆信息，然后进入步骤S1-5；

步骤S1-5，目标车辆判断设定部依次判断待测车辆的车辆信息是否与目标车辆信息一致，并在判断为一致时判断将该待测车辆设定为目标车辆，如果目标车辆判断设定部将待测车辆设定为目标车辆就进入步骤S1-6，如果目标车辆判断设定部未将待测车辆设定为目标车辆就进入步骤S1-7；

步骤S1-6，轨迹记录部记录目标车辆的目标位置信息以及目标时间信息信息从而得到车辆轨迹信息，然后进入步骤S1-8；

步骤S1-7，将待测车辆的车辆信息作为新的目标车辆信息存储进目标车辆信息存储部形成新的目标车辆信息库，然后重复步骤S1-5；

步骤S1-8，服务侧通信部将车辆轨迹信息发送至监控侧通信部，输入显示部根据监控侧通信部接收到的车辆轨迹信息显示画面存储部中的车辆轨迹画面，然后进入进入步骤S1-9；

步骤S1-9，预谋作案车辆判断设定部根据车辆轨迹信息判断目标车辆是否为预谋作案车辆，并将该目标车辆判定为预谋作案车辆，在预谋作案车辆判断设定部将目标车辆设定为预谋作案车辆时，进入步骤S1-10，在预谋作案车辆判断设定部未将目标车辆设定为预谋作案车辆时，进入步骤S1-11；

步骤S1-10，预谋作案车辆提醒指令生成部就生成预谋作案车辆提醒指令，服务侧通信部将预谋作案车辆提醒指令发送至监控侧通信部，输入显示部根据监控侧通信部接收到的预谋作案车辆提醒指令显示画面存储部中的预谋作案车辆提醒画面，然后进入结束状态；

步骤S1-11，黑名单车辆判断设定部根据目标车辆的车辆信息以及目标车辆信息存储部中预先存储的黑名单车辆信息判断目标车辆是否为黑名单车辆，并在黑名单车辆判断设定部将目标车辆设定为黑名单车辆时，进入步骤S1-12，在黑名单车辆判断设定部未将目标车辆设定为黑名单车辆时，进入步骤S1-13；

步骤S1-12，黑名单车辆预警指令生成部生成黑名单车辆预警指令，服务侧通信部将黑名单车辆预警指令发送至监控侧通信部，输入显示部根据监控侧通信部接收到的黑名单车辆预警指令显示画面存储部中的黑名单车辆预警画面，然后进入结束状态；

步骤S1-13，禁停判断设定部根据车辆轨迹信息中目标车辆位置信息判断目标车辆是否停在禁停区域，并将该目标车辆设定为禁停车辆，在禁停判断设定部将目标车辆设定为禁停车辆时，然后进入步骤S1-14，在禁停判断设定部将目标车辆未设定为禁停车辆时，进入结束状态；

步骤S1-14，禁停查看通知指令生成部生成禁停查看通知指令，服务侧通信部将禁停查看通知指令发送至监控侧通信部，输入显示部根据监控侧通信部接收到的禁停查看通知指令显示画面存储部中的禁停查看通知画面，然后进入结束状态。

图15为本发明实施例的人员监控过程的流程图。

如图15所示，人员监控过程包括如下步骤：

步骤S2-1，监控视频采集部获得区域监控视频，然后进入步骤S2-2；

步骤S2-2，采集侧通信部把区域监控视频发送至服务侧通信部，然后进入步骤S2-3；

步骤S2-3，待测图像获取部从服务侧通信部接收到的区域监控视频中依次获取图片帧作为待测图像，然后进入步骤S2-4；

步骤S2-4，人脸识别部依次对待测图像进行人脸识别从而得到待测人员信息，然后进入步骤S2-5；

步骤S2-5，黑名单人员判断设定部将黑名单人员信息存储部存有的黑名单人员信息与待测人员信息匹配，在有匹配一致的情况下将待测人员设定为黑名单人员，然后进入步骤S2-6，在没有匹配一致的情况下进入结束状态；

步骤S2-6，黑名单人员预警指令生成部生成黑名单人员预警指令，然后进入步骤S2-6；

步骤S2-7，服务侧通信部将黑名单人员预警指令发送至监控侧通信部，然后进入步骤S2-8；

步骤S2-8，输入显示部根据监控侧通信部接收到的黑名单人员预警指令显示画面存储部中的黑名单人员预警画面。

图16为本发明实施例的人群监控过程的流程图。

如图16所示，人群监控过程包括如下步骤：

步骤S3-1，监控视频采集部获得区域监控视频，然后进入步骤S3-2；

步骤S3-2，采集侧通信部把区域监控视频发送至服务侧通信部，然后进入步骤S3-3；

步骤S3-3，待测图像获取部从服务侧通信部接收到的区域监控视频中依次获取图片帧作为待测图像，然后进入步骤S3-4；

步骤S3-4，人群密度检测部依次对待测图像进行人群密度检测从而得到待测人群的人群密度，然后进入步骤S3-5；

步骤S3-5，人群预警判断设定部判断人群密度是否超过人群密度上限，并在判断为超过时将该待测人群设定为密集人群，然后进入步骤S3-6，在判断为未超过时，进入结束状态；

步骤S3-6，人群密度预警指令生成部生成人群密度预警指令，然后进入步骤S3-7；

步骤S3-7，服务侧通信部将人群密度预警指令发送至监控侧通信部，然后进入步骤S3-8；

步骤S3-8，输入显示部根据监控侧通信部接收到的人群密度预警指令显示画面存储部中的人群密度预警画面。

图17为本发明实施例的声音监控过程的流程图。

如图17所示，人群监控过程包括如下步骤：

步骤S4-1，语音采集部获得区域监控音频，然后进入步骤S4-2；

步骤S4-2，采集侧通信部把区域监控音频发送至服务侧通信部，然后进入步骤S4-3；

步骤S4-3，语音识别部依次对区域监控音频进行语音识别从而得到待测音频的声音信息，然后进入步骤S4-4；

步骤S4-4，异常声音判断设定部依次判断待测音频的声音信息是否与异常声音信息存储部中的异常声音信息相一致，并在判断为一致时将该待测音频设定为异常音频，然后进入步骤S4-5，在判断为不一致时，进入结束状态；

步骤S4-5，异常声音预警指令生成部就生成异常声音预警指令，然后进入步骤S4-6；

步骤S4-6，服务侧通信部将异常声音预警指令以及异常音频发送至监控侧通信部，然后进入步骤S4-7以及步骤S4-8；

步骤S4-7，输入显示部根据监控侧通信部接收到的异常声音预警指令显示画面存储部中的异常声音预警画面，异常声音播报部根据监控侧通信部接收到的异常音频播报异常音频，然后进入结束状态。

实施例作用与效果

根据上述实施例提供的面向校园的音视频智能监控系统，因为通过监控服务器的车辆识别部对所有目标车辆进行识别得到目标车辆识别结果，轨迹记录部又根据目标车辆识别结果对目标车辆不同时间下对应的位置信息按照目标车辆被采集终端抓拍到时间先后顺序一一记录，形成车辆轨迹信息，服务侧通信部将记录的所有车辆轨迹信息发送到监控终端显示，安保人员通过查看车辆轨迹，从而实时掌握车辆行驶动态，不需要安保人员对车辆进行人工跟踪，节省人力和时间。当校园安全事故未发生时，安保人员可以根据车辆的轨迹判断该车辆是否准备在学校引发校园安全事故，或者是因为该车辆的行驶轨迹超出校内的车道区域而造成校内交通事故；当因为车辆而引发校园安全事故时，掌握车辆轨迹的安保人员能及时赶往事故发生地，对已造成的损失和伤害采取相应的补救措施，将损失和伤害降到最低。

另外，实施例中，由于监控服务器还有预谋作案车辆判断设定部，该系统还能甄别在校园周围的目标车辆是否可能为预谋作案车辆，如果是预谋作案车辆通知安保人员上前去查看目标车辆情况，预防校园安全事故发生。

另外，实施例中，由于监控服务器还有黑名单车辆判断设定部，该系统还能可以判断校园内外的目标车辆是否是公开的逃逸车辆、存在安全隐患的车辆或者是安保人员设定的禁止入校车辆等各种不能进入校园内的车辆，杜绝因为黑名单车辆而带来的安全隐患。

另外，实施例中，由于监控服务器还有禁停判断设定部，该系统还能判断目标车辆的停车位置是否在禁停区域，如果是该系统提醒安保人员及时前往禁停区域通知车主开车离开，不要影响到其它车辆的通行，不需要大量安保人员在禁停区域长时间巡查。

另外，实施例中，由于监控服务器还有人脸识别模型，该系统还能对校园监控区域内的人进行识别并判断是否为在逃案犯、失信人员、安保人员设定的不允许入校人员等各种不能进入校园内的人员，如果是，安保人员可以及时上前拦截，防止该人员进入校园后引发威胁学生生命安全的校园安全事故。

另外，实施例中，由于监控服务器还有人群密度检测模型，该系统还能对学校的特定区域如地下车库、校园角落等不应该有大量人群出现的场地进行人群检测，如果人群密度超过安保人员设定的上限，该系统会提醒安保人员前往人群密集区域查看是否出现聚众闹事等异常行为或是进行人群疏通等工作，不需要大量安保人员在校园内外进行长时间巡逻检查，省时省力还能及时阻止校园安全事故的发生。

另外，实施例中，由于采集终端还有语音采集部，监控服务器还包括异常声音信息存储部、语音识别部、异常声音判断设定部以及异常声音预警指令生成部，监控终端还包括异常声音播报部，画面存储部还存储有异常声音预警画面，该系统还能对校园内各个监控区域内发出的异常声音进行预警，方便安保人员及时发现诸如爆炸、枪击等突发事件，并对产生异常声音的校园事故进行相应的安保措施。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (8)

1.一种面向校园的音视频智能监控系统，其特征在于，包括：

多个采集终端，分散设置在校园内的各个监控区域；

监控服务器，与所述采集终端分别通信连接；以及

监控终端，与所述监控服务器通信连接，

其中，所述采集终端包括：

监控视频采集部，用于实时对所述监控区域进行视频采集从而获得对应的区域监控视频；以及

采集侧通信部，用于将所述区域监控视频发送至所述监控服务器，

所述监控服务器包括：

服务侧通信部，用于接收所述区域监控视频；

目标车辆信息存储部，存储有各个目标车辆的目标车辆信息；

位置信息存储部，用于存储各个所述采集终端的位置信息；

待测图像获取部，从各个所述区域监控视频中依次获取图片帧作为待测图像；

车辆识别部，用于根据预先训练好的车辆识别模型依次对所述待测图像进行车辆识别从而得到所述待测图像中待测车辆的车辆信息；

目标车辆判断设定部，依次判断所述车辆信息是否与所述目标车辆信息一致，并在判断为一致时判断将该待测车辆设定为目标车辆；以及

轨迹记录部，将含有所述目标车辆的所述待测图像的所述监控视频对应的所述采集终端的所述位置信息作为目标位置信息、将所述目标车辆被所述采集终端采集到的时间作为目标时间信息，根据时间先后顺序依次将各个所述目标车辆的所述目标位置信息以及所述目标时间信息作为对应的车辆轨迹信息进行记录，

一旦所述轨迹记录部输出所述车辆轨迹信息，所述服务侧通信部就把所述车辆轨迹信息发送至所述监控终端，

所述监控终端包括：

画面存储部，存储有车辆轨迹画面；

监控侧通信部，接收所述车辆轨迹信息；以及

输入显示部，显示所述车辆轨迹画面让安保人员对所述目标车辆轨迹进行查看，

所述监控服务器还包括预谋作案车辆判断设定部以及预谋作案车辆提醒指令生成部，

一旦所述目标车辆判断设定部判断为不一致，所述目标车辆信息存储部对所述待测车辆的车辆信息作为新的目标车辆信息进行存储，

所述画面存储部还存储有预谋作案车辆提醒画面，

所述预谋作案车辆判断设定部基于各个所述目标车辆的所述车辆轨迹信息依次判断每个所述目标车辆是否为预谋作案车辆，并在判断为是时将该目标车辆设定为预谋作案车辆，

一旦所述预谋作案车辆判断设定部将所述目标车辆设定为所述预谋作案车辆时所述预谋作案车辆提醒指令生成部就生成预谋作案车辆提醒指令，所述服务侧通信部将所述预谋作案车辆提醒指令发送至所述监控终端，

一旦所述监控侧通信部接收到所述预谋作案车辆提醒指令，所述输入显示部就显示所述预谋作案车辆提醒画面方便安保人员对所述预谋作案车辆采取相应的安保措施。

2.根据权利要求1所述的面向校园的音视频智能监控系统，其特征在于：

其中，所述预谋作案车辆判断设定部包括：

校外车辆位置判断设定单元，根据所述目标车辆的所述车辆轨迹信息判断该目标车辆是否一直位于所述校园周围，并在判断为位于校园周围时将该目标车辆设定为校外车辆；

校外车辆时长统计单元，根据所述校外车辆的时间信息计算各个包含所述校外车辆的所述区域监控视频中所述校外车辆出现的时间总和；以及

预谋作案车辆判断设定单元，判断所述校外车辆的所述时间总和是否超过预定时长，并在判断为超过时将该校外车辆设定为预谋作案车辆。

3.根据权利要求1所述的面向校园的音视频智能监控系统，其特征在于：

所述监控服务器还包括黑名单车辆判断设定部以及黑名单车辆预警指令生成部，

所述画面存储部还存储有黑名单车辆预警画面，

所述目标车辆信息存储部还存储有黑名单车辆信息，

所述黑名单车辆判断设定部依次判断所述目标车辆信息是否与所述黑名单车辆信息一致，并在判断为一致时将该目标车辆设定为黑名单车辆，

一旦所述黑名单车辆判断设定部将所述目标车辆设定为所述黑名单车辆，所述黑名单车辆预警指令生成部生成黑名单车辆预警指令，

所述服务侧通信部将所述黑名单车辆预警指令发送至所述监控终端，

一旦所述监控侧通信部收到所述黑名单车辆预警指令，所述输入显示部就显示所述黑名单车辆预警画面让安保人员对所述黑名单车辆进行相关安保措施。

4.根据权利要求1所述的面向校园的音视频智能监控系统，其特征在于：

所述监控服务器还包括禁停判断设定部以及禁停查看通知指令生成部，

所述画面存储部还存储有禁停查看通知画面，

所述禁停判断设定部依次判断每个所述目标车辆的所述目标位置信息是否与预定的禁停位置信息一致，并在判断一致时将该目标车辆设定为禁停车辆，

一旦所述禁停判断设定部将所述目标车辆设定为所述禁停车辆，所述禁停查看通知指令生成部生成禁停查看通知指令，所述服务侧通信部将所述禁停查看通知指令发送至所述监控终端，

一旦所述监控侧通信部接收到所述禁停查看通知指令，所述输入显示部就显示所述显示所述禁停查看通知画面让安保人员对所述禁停车辆进行相应的安保措施。

5.根据权利要求1所述的面向校园的音视频智能监控系统，其特征在于：

所述监控终端还包括搜索查询指令生成部，

所述监控服务器还包括搜索查询部，

所述画面存储部还存储有车牌信息输入画面以及搜索车辆输出画面，

所述输入显示部显示所述车牌信息输入画面让校内安保人员输入车牌信息，该车牌信息作为车牌检索信息，

所述搜索查询指令生成部根据所述车牌检索信息生成搜索查询指令，

所述监控侧服务器将所述搜索查询指令发送至所述监控服务器，

一旦所述服务侧通信部接收到所述搜索查询指令，所述搜索查询部从各个所述目标车辆的车牌信息中检索出与所述车牌检索信息一致的所述目标车辆轨迹信息，该目标车辆轨迹信息为检索车辆轨迹信息，将该检索车辆轨迹信息的最新目标车辆时间信息的目标车辆位置信息作为检索车辆位置信息，

一旦所述搜索查询部输出所述检索车辆位置信息，所述服务侧通信部将所述检索车辆位置信息发送至监控终端，

一旦所述服务侧通信部接收到所述检索车辆位置信息，所述输入显示部就显示所述搜索车辆输出画面让安保人员查看所述检索车辆位置信息。

6.根据权利要求1所述的面向校园的音视频智能监控系统，其特征在于：

所述监控服务器还包括黑名单人员信息存储部、人脸识别部、黑名单人员判断设定部以及黑名单人员预警指令生成部，

所述画面存储部还存储有黑名单人员预警画面，

所述黑名单人员信息存储部存储有黑名单人员信息，

所述人脸识别部根据预先训练好的人脸识别模型依次对所述待测图像进行人脸识别从而得到所述待测图像中待测人员信息，

所述黑名单人员判断设定部依次判断所述待测人员信息与所述黑名单人员信息是否一致，并在判断为一致时将该待测人员设定为黑名单人员，

一旦所述黑名单人员判断设定部判断为是，所述黑名单人员预警指令生成部生成黑名单人员预警指令，所述服务侧通信部将所述黑名单人员预警指令发送至所述监控终端，

一旦所述监控侧通信部接收到所述黑名单人员预警指令，所述输入显示部就显示所述黑名单人员预警画面让安保人员对所述黑名单人员进行相应安保措施。

7.根据权利要求1所述的面向校园的音视频智能监控系统，其特征在于：

所述监控服务器还包括人群密度检测部、人群预警判断设定部以及人群密度预警指令生成部，

所述画面存储部还存储人群密度预警画面，

所述人群密度检测部根据预先训练好的人群密度检测模型依次对所述待测图像进行人群密度检测从而得到所述图像中待测人群的人群密度，

所述人群预警判断设定部判断所述人群密度是否超过人群密度上限，并在判断为超过时将该待测人群设定为密集人群，

一旦所述人群预警判断设定部将所述待测人群设定为所述密集人群，所述人群密度预警指令生成部生成人群密度预警指令，所述服务侧通信部将所述人群密度预警指令发送至所述监控终端，

一旦所述监控侧通信部接收到所述人群密度预警指令，所述输入显示部就显示所述人群密度预警画面让安保人员对所述密集人群采取相应安保措施。

8.根据权利要求1所述的面向校园的音视频智能监控系统，其特征在于：

其中，所述采集终端还包括语音采集部，该语音采集部用于实时对所述监控区域进行音频采集从而获得对应的区域监控音频，

一旦所述语音采集部采集到所述区域监控音频，所述采集侧通信部就区域监控音频发送至所述监控服务器，

所述监控服务器还包括异常声音信息存储部、语音识别部、异常声音判断设定部以及异常声音预警指令生成部，

所述异常声音信息存储部用于存储所有异常声音信息，

所述语音识别部用于根据预先训练好的语音识别模型依次对所述区域监控音频进行语音识别从而得到所述区域监控音频中待测音频的声音信息，

所述异常声音判断设定部用于依次判断所述待测音频的声音信息是否与所述异常声音信息相一致，并在判断为一致时将该待测音频设定为异常音频，

一旦所述异常声音判断设定部将所述待测音频设定为异常音频，所述异常声音预警指令生成部就生成异常声音预警指令，所述服务侧通信部就将所述异常声音预警指令以及所述异常音频发送至所述监控终端，

所述监控终端还包括异常声音播报部，

所述画面存储部还存储有异常声音预警画面，

一旦所述监控侧通信部接收到所述异常声音预警指令，所述异常声音预警画面就会显示包含所述异常音频的所述采集终端的位置信息，同时，所述异常声音播报部播报所述异常音频，从而提醒安保人员前往所述异常音频的发生地采取相关安保措施。

Images