CN114007049A - 无人机监控系统 - Google Patents

无人机监控系统 Download PDF

Info

Publication number
CN114007049A
CN114007049A CN202111647352.2A CN202111647352A CN114007049A CN 114007049 A CN114007049 A CN 114007049A CN 202111647352 A CN202111647352 A CN 202111647352A CN 114007049 A CN114007049 A CN 114007049A
Authority
CN
China
Prior art keywords
data
unmanned aerial
aerial vehicle
vehicle
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111647352.2A
Other languages
English (en)
Inventor
王滨
杨军
原鑫
聂芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN202111647352.2A priority Critical patent/CN114007049A/zh
Publication of CN114007049A publication Critical patent/CN114007049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及一种无人机监控系统，至少包括采集设备、处理服务器和无人机，采集设备用于采集预设区域内的音频数据和视频数据；处理服务器用于识别视频数据是否存在目标人体、目标物体，以及识别音频数据中是否存在异常声响；若存在所述目标人体、目标物体或音频数据中存在异常声响中的一种或多种，向无人机发送控制指令，以使无人机根据控制指令，在预设区域内进行巡视，获取巡视音频数据和视频数据，并将巡视音频数据和视频数据发送至处理服务器进行分析处理，这样，采用无人机可以采集摄像头无法获取监控数据位置的音频数据和视频数据，并且可以获取到该区域中的目标人体和目标物体，对目标人体和目标物体进行追踪，大量降低监控的人工成本。

Description

无人机监控系统
技术领域
本发明涉及无人机技术领域，尤其涉及一种无人机监控系统。
背景技术
随着科学技术的不断发展，监控设备的应用场景越来越多，尤其是一些特定场所的安全，如：大坝、变电站、监狱、孤岛等，需要使用监控设备24小时不间断严密监控，并且自动形成文本监控记录，以用来备查。但是，在一些地方由于受电力、安全等条件所限，这些区域内部无法安装摄像头，如何在这些区域会寻找目标人或目标物，是目前急需解决的问题。
发明内容
本发明意在提供一种无人机监控系统，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。
本发明实施例提供一种无人机监控系统，所述无人机监控系统至少包括采集设备、处理服务器和无人机，其中：
所述采集设备用于采集预设区域内的音频数据和视频数据；
所述处理服务器用于识别所述视频数据是否存在目标人体、目标物体，以及识别所述音频数据中是否存在异常声响；
若存在所述目标人体、目标物体或所述音频数据中存在异常声响中的一种或多种，向所述无人机发送控制指令，以使所述无人机根据控制指令，在所述预设区域内进行巡视，获取巡视音频数据和视频数据，并将巡视音频数据和视频数据发送至处理服务器进行分析处理。
可选地，所述采集设备至少包括摄像机和音频子设备，其中，所述摄像机用于获取所述视频数据，所述摄像机至少包括普通摄像机和红外摄像机，所述音频子设备用于获取所述音频数据，所述音频子设备至少包括麦克风。
可选地，所述处理服务器至少包括视频处理模块、音频处理模块、无人机控制模块和文本处理模块，
所述视频处理模块用于对所述视频数据中的人体信息进行识别，得到人脸信息、人体动作和携带物品，以及识别所述视频数据中是否存在动物，以及所述视频数据中的车辆信息进行识别，得到车型、车牌以及车载物品；
所述音频处理模块，用于对所述音频数据进行解析，判断所述音频数据中是否存在异常声响；
所述无人机控制模块用于对所述人体信息、车辆信息或异常声响进行判断，若存在所述目标人体、目标物体或所述音频数据中存在异常声响中的一种或多种，向所述无人机发送控制指令；
所述文本处理模块用于存储所述人体信息、车辆信息或异常声响中各自包含的关键词。
可选地，所述视频处理模块用于对所述视频数据中的人体信息进行识别，得到人脸信息、人体动作和携带物品，包括：
所述视频处理模块采用如下方式中的一种或多种对所述视频数据中的人体信息进行识别，具体包括：
将所述视频数据中的视频帧数据输入到预先建立的人脸识别模型中，得到视频帧数据中人脸的特征向量；
将所述视频数据中的视频帧数据输入到预先建立的步态识别模型，得到视频帧数据中的人体的步态特征向量；
将所述视频数据中的视频帧数据输入到预先建立的人体骨架点识别模型，得到视频帧数据中的各个骨架点的特征向量；
将所述视频数据中的视频帧数据输入到预先建立的物品识别模型，得到各个物体的特征向量，并采用SVM算法对所述各个物体的特征向量进行分类，识别出各个物体名称；
将所述视频数据中的视频帧数据输入到预先建立的动作识别模型，得到各个动作的特征向量，并采用SVM算法对所述各个动作的特征向量进行分类，识别出各个动作类型。
可选地，所述视频处理模块用于对所述视频数据中的车辆信息进行识别，得到车型、车牌以及车载物品，包括：
所述视频处理模块采用如下方式中的一种或多种对所述视频数据中的车辆信息进行识别，具体包括：
将所述视频数据中的视频帧数据输入到预先建立的车型识别模型中，得到视频帧数据中的车辆的特征向量，并采用SVM算法对所述车辆的特征向量进行分类，确定车辆的车型；
将所述视频数据中的视频帧数据输入到预先建立的车载物品识别模型中，得到视频帧数据中的车辆物品的特征向量，并采用SVM算法对所述车辆物品的特征向量进行分类，确定车辆的车型；
将所述视频数据中的视频帧数据输入到预先建立的车牌识别模型中，得到视频帧数据中的车牌的特征向量，并采用SVM算法对所述车牌的特征向量进行分类，确定所述车辆的车牌信息。
可选地，所述视频处理模块用于对视频数据中的动物进行检测，具体包括：
将所述视频数据中的视频帧数据输入到预先建立的动物识别模型，得到各个动物的特征向量，并采用SVM算法对特征向量进行分类，识别出动物类别。
可选地，所述音频处理模块，用于对所述音频数据进行解析，判断所述音频数据中是否存在异常声响，具体包括：
将所述音频数据输入到预先建立的音频识别模型，得到音频特征向量，并采用SVM算法对音频特征向量进行分类，识别大于预设阈值的音频特征向量，并将所述大于预设阈值的音频特征向量确定为异常声响。
可选地，所述无人机还包括播放模块，当无人机根据所述控制指令进行巡视时，通过所述播放模块播放预设语音信息。
可选地，所述无人机还包括充电模块，所述充电模块与充电桩相连，通过所述充电模块为所述无人机进行充电。
可选地，所述处理服务器还包括存储模块，所述存储模块用于存储识别时间、人脸信息、人体动作、携带物品，车型、车牌信息、车载物品，动物类别和异响信息中的一种或多种。
本发明实施例包括以下优点：
本发明实施例提供的无人机监控系统，该无人机监控系统至少包括采集设备、处理服务器和无人机，其中：采集设备用于采集预设区域内的音频数据和视频数据；处理服务器用于识别视频数据是否存在目标人体、目标物体，以及识别音频数据中是否存在异常声响；若存在所述目标人体、目标物体或音频数据中存在异常声响中的一种或多种，向无人机发送控制指令，以使无人机根据控制指令，在预设区域内进行巡视，获取巡视音频数据和视频数据，并将巡视音频数据和视频数据发送至处理服务器进行分析处理，这样，采用无人机可以采集摄像头无法获取监控数据位置的音频数据和视频数据，并且可以获取到该区域中的目标人体和目标物体，对目标人体和目标物体进行追踪，大量降低监控的人工成本。
附图说明
图1 为本发明实施例提供的无人机监控系统的结构框图；
图2 为本发明实施例提供的无人机监控的应用场景示意图；
图3 为本发明实施例提供的处理服务器的流程示意图；
图4 为本发明实施例提供的无人机巡视的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
参照图1，示出了本发明实施例提供的无人机监控系统的结构框图，该无人机监控系统至少包括采集设备101、处理服务器102和无人机103，其中：
采集设备用于采集预设区域内的音频数据和视频数据；
处理服务器用于识别视频数据是否存在目标人体、目标物体，以及识别音频数据中是否存在异常声响；
若存在所述目标人体、目标物体或音频数据中存在异常声响中的一种或多种，向无人机发送控制指令，以使无人机根据控制指令，在预设区域内进行巡视，获取巡视音频数据和视频数据，并将巡视音频数据和视频数据发送至处理服务器进行分析处理。
可选地，采集设备至少包括摄像机和音频子设备，其中，摄像机用于获取视频数据，摄像机至少包括普通摄像机和红外摄像机，音频子设备用于获取音频数据，音频子设备至少包括麦克风。
可选地，处理服务器至少包括视频处理模块、音频处理模块、无人机控制模块和文本处理模块，
视频处理模块用于对视频数据中的人体信息进行识别，得到人脸信息、人体动作和携带物品，以及识别视频数据中是否存在动物，以及对视频数据中的车辆信息进行识别，得到车型、车牌以及车载物品；
音频处理模块，用于对音频数据进行解析，判断音频数据中是否存在异常声响；
无人机控制模块用于对人体信息、车辆信息或异常声响进行判断，若存在所述目标人体、目标物体或音频数据中存在异常声响中的一种或多种，向无人机发送控制指令；
文本处理模块用于存储人体信息、车辆信息或异常声响中各自包含的关键词。
具体的，处理服务器可以集成各个不同功能的服务器，也可以是各个不同功能的服务器是独立工作的。
在本发明实施例中，包括如下的硬件设备，至少包括：
摄像头采集节点：服务器n台，普通摄像头、红外摄像头、麦克风；
数据存储节点，服务器n台；
音视频处理节点，服务器n台;
无人机控制节点，服务器n台；
文本处理节点，服务器n台。
如上节点可以是各个功能的服务器，可以是独立的，也可以是集成在一起的，例如处理服务器；
无人机1架，无人机携带摄像头、麦克风等传感器；
无人机无线充电桩一套，可供无人机无线充电。
可选地，视频处理模块用于对视频数据中的人体信息进行识别，得到人脸信息、人体动作和携带物品，包括：
视频处理模块采用如下方式中的一种或多种对视频数据中的人体信息进行识别，具体包括：
将视频数据中的视频帧数据输入到预先建立的人脸识别模型中，得到视频帧数据中人脸的特征向量；
将视频数据中的视频帧数据输入到预先建立的步态识别模型，得到视频帧数据中的人体的步态特征向量；
将视频数据中的视频帧数据输入到预先建立的人体骨架点识别模型，得到视频帧数据中的各个骨架点的特征向量；
将视频数据中的视频帧数据输入到预先建立的物品识别模型，得到各个物体的特征向量，并采用SVM算法对各个物体的特征向量进行分类，识别出各个物体名称；
将视频数据中的视频帧数据输入到预先建立的动作识别模型，得到各个动作的特征向量，并采用SVM算法对各个动作的特征向量进行分类，识别出各个动作类型。
可选地，视频处理模块用于对视频数据中的车辆信息进行识别，得到车型、车牌以及车载物品，包括：
视频处理模块采用如下方式中的一种或多种对视频数据中的车辆信息进行识别，具体包括：
将视频数据中的视频帧数据输入到预先建立的车型识别模型中，得到视频帧数据中的车辆的特征向量，并采用SVM（支持向量机，support vector machines）算法对车辆的特征向量进行分类，确定车辆的车型；
将视频数据中的视频帧数据输入到预先建立的车载物品识别模型中，得到视频帧数据中的车辆物品的特征向量，并采用SVM算法对车辆物品的特征向量进行分类，确定车辆的车型；
将视频数据中的视频帧数据输入到预先建立的车牌识别模型中，得到视频帧数据中的车牌的特征向量，并采用SVM算法对车牌的特征向量进行分类，确定车辆的车牌信息。
可选地，所述视频处理模块用于对视频数据中的动物进行检测，具体包括：
将所述视频数据中的视频帧数据输入到预先建立的动物识别模型，得到各个动物的特征向量，并采用SVM算法对特征向量进行分类，识别出动物类别。
可选地，音频处理模块，用于对音频数据进行解析，判断音频数据中是否存在异常声响，具体包括：
将音频数据输入到预先建立的音频识别模型，得到音频特征向量，并采用SVM算法对音频特征向量进行分类，识别大于预设阈值的音频特征向量，并将大于预设阈值的音频特征向量确定为异常声响。
可选地，无人机还包括播放模块，当无人机根据控制指令进行巡视时，通过播放模块播放预设语音信息。
可选地，无人机还包括充电模块，充电模块与充电桩相连，通过充电模块为无人机进行充电。
可选地，处理服务器还包括存储模块，存储模块用于存储识别时间、人脸信息、人体动作、携带物品，车型、车牌信息、车载物品，动物类别和异响信息中的一种或多种。
如图2所示，为本发明实施例提供的无人机监控的应用场景示意图，具体包括：摄像头采集节点、音视频处理节点、文本处理节点、无人机控制节点、无人机；
1）在摄像头采集节点，通过采集设备如普通摄像头、红外摄像头、麦克风实时获取数据；
2）在音视频处理节点，以时间段为切片，将上述数据存储到数据库中；
3）处理服务器以10秒钟为单位，并发4个进程从数据库读取数据；
4）处理服务器采集的视频数据和音频数据进行分析；具体分析过程如图3所示。
4.1 进程1检测视频中的人体相关信息，
4.1.1 使用10层CNN卷积神经网络模型，提取人脸特征，将每人特征存储为128维的向量。
4.1.2 使用10层CNN卷积神经网络模型，提取人体步态特征，存储为128维的向量。
4.1.3 使用10层CNN卷积神经网络模型，提取人体骨架点特征，存储为128维的向量。
4.1.4使用预先训练好的10层CNN卷积神经网络提取特征，转化为128维的特征向量，使用SVM对特征进行分类，识别出行人所携带的物品，如：箱、包、水壶、工具等。
4.1.5 使用预先训练好的10层三维卷积对3幅连续帧提取特征，转化为128维的特征向量，使用SVM对特征进行分类，识别出人体所做的动作，如：握手、奔跑、行走、坐、站立、吃饭等；
4.1.6 根据人体特征数据库中的人脸、步态、骨架点等特征信息，建立本区域的身份信息数据库。
4.2 进程2检测视频中的车辆信息
4.2.1 使用预先训练好的10层CNN卷积神经网络提取特征，转化为128维的特征向量，使用SVM对特征进行分类，识别出车型；
4.2.2使用预先训练好的10层CNN卷积神经网络提取特征，转化为128维的特征向量，使用支持向量机（support vector machines, SVM）对特征进行分类，识别出车载物品，比如：车顶行李箱、车顶自行车、车内纸巾盒等；
4.2.3使用预先训练好的10层CNN卷积神经网络提取特征，识别车牌信息，记录到车牌数据库；
4.3 进程3检测视频中的是否存在动物，使用预先训练好的10层CNN卷积神经网络提取特征，转化为128维的特征向量，使用SVM对动物的特征向量进行分类，识别出是哪种动物；
4.4 进程4检测音频信息，使用预先训练好的10层CNN卷积神经网络提取音频特征，转化为128维的特征向量，使用SVM对特征进行分类，识别突发的高声音频事件，如爆炸声、尖叫声；
5）在文本处理节点，将以上各个结果作为关键字，填入预先定义的模板中，记录到文本数据库中。例如：x年x月x日，路人：甲，开一台xx品牌，车型：微型卡车，车牌号码:京XX12345；车上载有自行车一辆，随身携带箱包一个，在此地吃饭20分钟后，动物情况无，异常声响无，驾车离开。
6）在无人机控制节点，预先定义的触发无人机起飞条件的事件数据库，如：打架、动物、刀具、异常声响等。如果发生上述异常事件，则无人机立即起飞，按对此区域按圆形路线逆时针绕飞，将采集到的视频和声音，通过网络回传给音视频处理节点进一步分析，同时并起到提醒作用。
7）无人机巡飞一圈后，自动返航降落到无人机充电桩降落，通过无线充电，保持待命状态，如图4所示。
本发明实施例实现一种无人值守的无人机联动监控记录系统，无人机作为补充巡查手段与摄像头联动；无人机携带音响，自动播放“禁止入内”等音频内容，可替代保安，起到提醒犯罪分子、中止危险行为等作用；自动将事件记录到文本数据库中，可以实现对特定区域的7x24小时不间断严密监控，可大量降低监控的人工成本，并进一步自动形成文字记录计入数据库，以便于后续快速查找特定事件，免去了人工翻看视频记录的耗时。
本发明实施例提供的无人机监控系统，该无人机监控系统至少包括采集设备、处理服务器和无人机，其中：采集设备用于采集预设区域内的音频数据和视频数据；处理服务器用于识别视频数据是否存在目标人体、目标物体，以及识别音频数据中是否存在异常声响；若存在所述目标人体、目标物体或音频数据中存在异常声响中的一种或多种，向无人机发送控制指令，以使无人机根据控制指令，在预设区域内进行巡视，获取巡视音频数据和视频数据，并将巡视音频数据和视频数据发送至处理服务器进行分析处理，这样，并且可以获取到该区域中的目标人体和目标物体，对目标人体和目标物体进行追踪，大量降低监控的人工成本。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机监控系统，其特征在于，所述无人机监控系统至少包括采集设备、处理服务器和无人机，其中：
所述采集设备用于采集预设区域内的音频数据和视频数据；
所述处理服务器用于识别所述视频数据是否存在目标人体、目标物体，以及识别所述音频数据中是否存在异常声响；
若存在所述目标人体、目标物体或所述音频数据中存在异常声响中的一种或多种，向所述无人机发送控制指令，以使所述无人机根据控制指令，在所述预设区域内进行巡视，获取巡视音频数据和视频数据，并将巡视音频数据和视频数据发送至处理服务器进行分析处理。
2.根据权利要求1所述的无人机监控系统，其特征在于，所述采集设备至少包括摄像机和音频子设备，其中，所述摄像机用于获取所述视频数据，所述摄像机至少包括普通摄像机和红外摄像机，所述音频子设备用于获取所述音频数据，所述音频子设备至少包括麦克风。
3.根据权利要求1所述的无人机监控系统，其特征在于，所述处理服务器至少包括视频处理模块、音频处理模块、无人机控制模块和文本处理模块，
所述视频处理模块用于对所述视频数据中的人体信息进行识别，得到人脸信息、人体动作和携带物品，以及识别所述视频数据中是否存在动物，以及对所述视频数据中的车辆信息进行识别，得到车型、车牌以及车载物品；
所述音频处理模块，用于对所述音频数据进行解析，判断所述音频数据中是否存在异常声响；
所述无人机控制模块用于对所述人体信息、车辆信息或异常声响进行判断，若存在所述目标人体、目标物体或所述音频数据中存在异常声响中的一种或多种，向所述无人机发送控制指令；
所述文本处理模块用于存储所述人体信息、车辆信息或异常声响中各自包含的关键词。
4.根据权利要求3所述的无人机监控系统，其特征在于，所述视频处理模块用于对所述视频数据中的人体信息进行识别，得到人脸信息、人体动作和携带物品，包括：
所述视频处理模块采用如下方式中的一种或多种对所述视频数据中的人体信息进行识别，具体包括：
将所述视频数据中的视频帧数据输入到预先建立的人脸识别模型中，得到视频帧数据中人脸的特征向量；
将所述视频数据中的视频帧数据输入到预先建立的步态识别模型，得到视频帧数据中的人体的步态特征向量；
将所述视频数据中的视频帧数据输入到预先建立的人体骨架点识别模型，得到视频帧数据中的各个骨架点的特征向量；
将所述视频数据中的视频帧数据输入到预先建立的物品识别模型，得到各个物体的特征向量，并采用SVM算法对所述各个物体的特征向量进行分类，识别出各个物体名称；
将所述视频数据中的视频帧数据输入到预先建立的动作识别模型，得到各个动作的特征向量，并采用SVM算法对所述各个动作的特征向量进行分类，识别出各个动作类型。
5.根据权利要求4所述的无人机监控系统，其特征在于，所述视频处理模块用于对所述视频数据中的车辆信息进行识别，得到车型、车牌以及车载物品，包括：
所述视频处理模块采用如下方式中的一种或多种对所述视频数据中的车辆信息进行识别，具体包括：
将所述视频数据中的视频帧数据输入到预先建立的车型识别模型中，得到视频帧数据中的车辆的特征向量，并采用SVM算法对所述车辆的特征向量进行分类，确定车辆的车型；
将所述视频数据中的视频帧数据输入到预先建立的车载物品识别模型中，得到视频帧数据中的车辆物品的特征向量，并采用SVM算法对所述车辆物品的特征向量进行分类，确定车辆的车型；
将所述视频数据中的视频帧数据输入到预先建立的车牌识别模型中，得到视频帧数据中的车牌的特征向量，并采用SVM算法对所述车牌的特征向量进行分类，确定所述车辆的车牌信息。
6.根据权利要求5所述的无人机监控系统，其特征在于，所述视频处理模块用于对视频数据中的动物进行检测，具体包括：
将所述视频数据中的视频帧数据输入到预先建立的动物识别模型，得到各个动物的特征向量，并采用SVM算法对特征向量进行分类，识别出动物类别。
7.根据权利要求6所述的无人机监控系统，其特征在于，所述音频处理模块，用于对所述音频数据进行解析，判断所述音频数据中是否存在异常声响，具体包括：
将所述音频数据输入到预先建立的音频识别模型，得到音频特征向量，并采用SVM算法对音频特征向量进行分类，识别大于预设阈值的音频特征向量，并将所述大于预设阈值的音频特征向量确定为异常声响。
8.根据权利要求1所述的无人机监控系统，其特征在于，所述无人机还包括播放模块，当无人机根据所述控制指令进行巡视时，通过所述播放模块播放预设语音信息。
9.根据权利要求1所述的无人机监控系统，其特征在于，所述无人机还包括充电模块，所述充电模块与充电桩相连，通过所述充电模块为所述无人机进行充电。
10.根据权利要求3所述的无人机监控系统，其特征在于，所述处理服务器还包括存储模块，所述存储模块用于存储识别时间、人脸信息、人体动作、携带物品，车型、车牌信息、车载物品，动物类别和异响信息中的一种或多种。
CN202111647352.2A 2021-12-31 2021-12-31 无人机监控系统 Pending CN114007049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111647352.2A CN114007049A (zh) 2021-12-31 2021-12-31 无人机监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111647352.2A CN114007049A (zh) 2021-12-31 2021-12-31 无人机监控系统

Publications (1)

Publication Number Publication Date
CN114007049A true CN114007049A (zh) 2022-02-01

Family

ID=79932355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111647352.2A Pending CN114007049A (zh) 2021-12-31 2021-12-31 无人机监控系统

Country Status (1)

Country Link
CN (1) CN114007049A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375640A (zh) * 2016-08-30 2017-02-01 黄爱国 基于多功能智慧灯柱的反恐智能化监控系统及工作方法
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统
CN110503789A (zh) * 2018-05-16 2019-11-26 黄琳 一种电力通信电缆智能防盗系统
CN113014891A (zh) * 2021-03-19 2021-06-22 上海电机学院 一种交通监控辅助摄像的方法
CN214793467U (zh) * 2021-03-15 2021-11-19 安徽锐盈电力科技有限公司 一种可检测声音的高清摄像组件

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375640A (zh) * 2016-08-30 2017-02-01 黄爱国 基于多功能智慧灯柱的反恐智能化监控系统及工作方法
CN110503789A (zh) * 2018-05-16 2019-11-26 黄琳 一种电力通信电缆智能防盗系统
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统
CN214793467U (zh) * 2021-03-15 2021-11-19 安徽锐盈电力科技有限公司 一种可检测声音的高清摄像组件
CN113014891A (zh) * 2021-03-19 2021-06-22 上海电机学院 一种交通监控辅助摄像的方法

Similar Documents

Publication Publication Date Title
US10997430B1 (en) Dangerous driver detection and response system
US11106927B2 (en) Method for monitoring an interior state of an autonomous vehicle
EP3682429B1 (en) System and method for gate monitoring during departure or arrival of an autonomous vehicle
WO2019153193A1 (zh) 一种出租车运营监测方法、设备、存储介质和系统
US10836309B1 (en) Distracted driver detection and alert system
US20200109963A1 (en) Selectively Forgoing Actions Based on Fullness Level of Containers
US8909415B1 (en) Vehicle and personal service monitoring and alerting systems
CN108583592A (zh) 一种地铁乘务作业信息采集智能检测方法
CN111353369B (zh) 一种城市路侧停车高位视频在辅助刑侦中的应用方法及系统
US11200435B1 (en) Property video surveillance from a vehicle
CN112686090A (zh) 一种公交车内异常行为智能监控系统
CN112530116A (zh) 一种基于人脸识别的校园越界自动预警方法
CN105976454B (zh) 一种应用于智慧环卫系统的分离式车载系统
CN112633057A (zh) 一种公交车内异常行为智能监控方法
CN111783530A (zh) 一种在限制区域内监控及鉴别行为的安全系统及方法
CN110341594A (zh) 一种客车乘员安全态势监控系统及方法
US11935297B2 (en) Item monitoring for doorbell cameras
CN110379107A (zh) 一种公交行车安全保障系统及方法
CN110909684A (zh) 基于人体检测的工作状态检查系统及方法
CN111814510A (zh) 一种遗留物主体检测方法及装置
WO2018037355A1 (en) A system and method for automated vehicle and face detection and their classification
CN116416281A (zh) 一种粮库ai视频监管分析方法及系统
CN114007049A (zh) 无人机监控系统
CN113327404A (zh) 空中交通管制员岗位疲劳状态监测告警系统
CN112966572B (zh) 一种基于视频分析的非机动车违停智能检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220201