CN109409309A - 一种基于人体检测的智能报警系统和方法 - Google Patents

一种基于人体检测的智能报警系统和方法 Download PDF

Info

Publication number
CN109409309A
CN109409309A CN201811308433.8A CN201811308433A CN109409309A CN 109409309 A CN109409309 A CN 109409309A CN 201811308433 A CN201811308433 A CN 201811308433A CN 109409309 A CN109409309 A CN 109409309A
Authority
CN
China
Prior art keywords
human testing
alarm system
network
intelligent alarm
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811308433.8A
Other languages
English (en)
Inventor
漆进
史鹏
张通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811308433.8A priority Critical patent/CN109409309A/zh
Publication of CN109409309A publication Critical patent/CN109409309A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习和人体检测的智能报警系统。该方法包括:构建人体检测数据库；训练Yolo‑v3网络；搭建预测程序；摄像头与GPU服务器通信；GPU服务器与GSM通信。本发明的基于深度学习和人体检测的智能报警系统充分考虑了应用场景季节的多样性和人体外形的复杂性，使用基于Darknet的Yolo‑v3网络，因此，既保证了人体检测的速度也提高了人体检测准确度，有很好的实用性。

Description

一种基于人体检测的智能报警系统和方法
技术领域
本发明涉及计算机视觉技术领域，准确的说是一种基于人体检测的智能报警系统和方法。
背景技术
人体检测一直是计算机视觉研究与应用中的热点。人体检测主要解决的问题是：找出图像或者视频中的人，包括位置和大小。这具有很强的映红价值，可以与跟踪等技术相结合应用于无人驾驶汽车、智能机器人、客流量统计、智慧城市等领域。
家庭防盗是安防问题的一个重要问题，在可以查询到的智能报警产品中，目前有基于红外人体检测、蓝牙信号通信等较为传统的产品，它们有一个共同的缺点，准确率低，造成了财产的损失。对于人体检测这一问题，由于人体具有相当的柔性，因此会有各种姿态和形状，同时，其外观受穿着、姿态、视角等影响非常大，另外还面临着遮挡、光照等因素，所以在目前的应用中，准确度并不显著。
最近几年，深度学习技术得到了广泛的应用，产生了一系列检测网路，例如rcnn、fast-rcnn、faster-rcnn和SSD等，但是这些检测技术或由于精度低，或由于检测耗时长并不能很好的应用到商业产品中，基于此，本发明使用Yolo-v3网络来解决人体检测问题，并很好的嵌入到智能报警系统。
发明内容
鉴于以上所述过往技术的缺点，本发明提供一种基于人体检测的智能报警系统和方法，以保护家庭财产安全，
为了实现上述目的，本发明包括以下步骤：
步骤1)获取互联网上的包含人体的图片，并做好人工标注，同时利用Imagenet、coco 等公开数据集，将含有人的图片选出来，因为这部分自带标注文件，可以直接使用，再加入摄像头获取的数据，进行标注，将上面所有的数据按照等比例混合，按照9:1的比例划分为检测模型的训练集和验证集；
步骤2)构造Yolo-v3网络，使用的基础网络为Darknet-53；
步骤3)将上述检测网络使用训练集进行模型训练，并选出在验证集表现最优的模型；
步骤4)基于上述最优模型，在GPU服务器上跑预测程序，配置网络端口；
步骤5)将摄像头安装在住所门口，同时与后台匹配，每隔2秒传输一次图像数据；
步骤6)对图像数据进行人体检测，若包含人，则发送预留报警短信。
上述步骤1)中所述的人工标注是指：将每一张图片中的人都用矩形框框出，对应产生一个xml文件，xml文件中记录下图中每一辆车的坐标，记录格式为[左上角x坐标，左上角 y坐标，宽度w，高度h]，同时删掉图片模糊或者难以标注的图片。
上述步骤2)中所述的Darknet-53网络是指：由53层1*1卷积或者3*3卷积网络构成的全卷积网络，在分类任务中，与resnet152对比，准确率接近，但是速度更快。
上述步骤3)中所述模型训练是指：将步骤1中的训练集，进行左右翻转、HSL变换等数据增强操作，不断调整学习率、batch size、优化方法等超参数来训练Yolo-v3网络。
上述步骤3)中所述的最优模型是：在训练过程，没经过1/3个epoch存储一次模型，并将该模型在训练集和验证集测试，根据人体检测的精度来选出最优的模型。
上述步骤4)中所述的预测程序是：构建网络的前向推断过程，输入参数为图像数据、返回为预测结果，并可以进行一定后处理。
上述步骤4)中所述的配置网络端口是指：将GPU服务器配置一个端口，用来传送图像数据。
上述步骤5)中所述的与后台匹配是指：与GPU服务器建立网络连接，可以顺利传送图片和接受数据。
上述步骤6)中所述的发送预留报警短信是指：将GPU服务器通过串口通信协议与插入手机卡的GSM模块连接，控制发送短信内容。
附图说明
图1为待检测的人体图像
图2为基于深度学习的人体检测结果
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1与图2，本发明的基于深度学习和人体检测的智能报警系统包括人体数据的标定、训练网络、搭建报警系统。
包括以下步骤：
步骤1)获取互联网上的包含人体的图片，并做好人工标注，同时利用Imagenet、coco 等公开数据集，将含有人的图片选出来，因为这部分自带标注文件，可以直接使用，再加入摄像头获取的数据，进行标注，将上面所有的数据按照等比例混合，按照9:1的比例划分为检测模型的训练集和验证集；
步骤2)构造Yolo-v3网络，使用的基础网络为Darknet-53；
步骤3)将上述检测网络使用训练集进行模型训练，并选出在验证集表现最优的模型；
步骤4)基于上述最优模型，在GPU服务器上跑预测程序，配置网络端口；
步骤5)将摄像头安装在住所门口，同时与后台匹配，每隔2秒传输一次图像数据；
步骤6)对图像数据进行人体检测，若包含人，则发送预留报警短信。
上述步骤1)中所述的人工标注是指：将每一张图片中的人都用矩形框框出，对应产生一个xml文件，xml文件中记录下图中每一辆车的坐标，记录格式为[左上角x坐标，左上角 y坐标，宽度w，高度h]，同时删掉图片模糊或者难以标注的图片。
上述步骤2)中所述的Darknet-53网络是指：由53层1*1卷积或者3*3卷积网络构成的全卷积网络，在分类任务中，与resnet152对比，准确率接近，但是速度更快。
上述步骤3)中所述模型训练是指：将步骤1中的训练集，进行左右翻转、HSL变换等数据增强操作，不断调整学习率、batch size、优化方法等超参数来训练Yolo-v3网络。
上述步骤3)中所述的最优模型是：在训练过程，没经过1/3个epoch存储一次模型，并将该模型在训练集和验证集测试，根据人体检测的精度来选出最优的模型。
上述步骤4)中所述的预测程序是：构建网络的前向推断过程，输入参数为图像数据、返回为预测结果，并可以进行一定后处理。
上述步骤4)中所述的配置网络端口是指：将GPU服务器配置一个端口，用来传送图像数据。
上述步骤5)中所述的与后台匹配是指：与GPU服务器建立网络连接，可以顺利传送图片和接受数据。
上述步骤6)中所述的发送预留报警短信是指：将GPU服务器通过串口通信协议与插入手机卡的GSM模块连接，控制发送短信内容。
本发明的基于深度学习和人体检测的智能报警系统充分利用了深度学习的准确度高性质，适应各种外界环境的变化，通过使用Yolo-v3网络，保证了实时性的要求，具有很高的实用性。
以上对本发明所提供的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于深度学习和人体检测的智能报警系统，其特征在于，包括以下步骤：
步骤1)获取互联网上的包含人体的图片，并做好人工标注，同时利用Imagenet、coco等公开数据集，将含有人的图片选出来，因为这部分自带标注文件，可以直接使用，再加入摄像头获取的数据，进行标注，将上面所有的数据按照等比例混合，按照9:1的比例划分为检测模型的训练集和验证集；
步骤2)构造Yolo-v3网络，使用的基础网络为Darknet-53；
步骤3)将上述检测网络使用训练集进行模型训练，并选出在验证集表现最优的模型；
步骤4)基于上述最优模型，在GPU服务器上跑预测程序，配置网络端口；
步骤5)将摄像头安装在住所门口，同时与后台匹配，每隔2秒传输一次图像数据；
步骤6)对图像数据进行人体检测，若包含人，则发送预留报警短信。
2.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤1)中所述的人工标注是指：将每一张图片中的人都用矩形框框出，对应产生一个xml文件，xml文件中记录下图中每一辆车的坐标，记录格式为[左上角x坐标，左上角y坐标，宽度w，高度h]，同时删掉图片模糊或者难以标注的图片。
3.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤2)中所述的Darknet-53网络是指：由53层1*1卷积或者3*3卷积网络构成的全卷积网络，在分类任务中，与resnet152对比，准确率接近，但是速度更快。
4.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤3)中所述模型训练是指：将步骤1中的训练集，进行左右翻转、HSL变换等数据增强操作，不断调整学习率、batch size、优化方法等超参数来训练Yolo-v3网络。
5.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤3)中所述的最优模型是：在训练过程，没经过1/3个epoch存储一次模型，并将该模型在训练集和验证集测试，根据人体检测的精度来选出最优的模型。
6.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤4)中所述的预测程序是：构建网络的前向推断过程，输入参数为图像数据、返回为预测结果，并可以进行一定后处理。
7.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤4)中所述的配置网络端口是指：将GPU服务器配置一个端口，用来传送图像数据。
8.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤5)中所述的与后台匹配是指：与GPU服务器建立网络连接，可以顺利传送图片和接受数据。
9.根据权利要求1所述的一种基于深度学习和人体检测的智能报警系统，其特征是，在步骤6)中所述的发送预留报警短信是指：将GPU服务器通过串口通信协议与插入手机卡的GSM模块连接，控制发送短信内容。
CN201811308433.8A 2018-11-05 2018-11-05 一种基于人体检测的智能报警系统和方法 Pending CN109409309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811308433.8A CN109409309A (zh) 2018-11-05 2018-11-05 一种基于人体检测的智能报警系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811308433.8A CN109409309A (zh) 2018-11-05 2018-11-05 一种基于人体检测的智能报警系统和方法

Publications (1)

Publication Number Publication Date
CN109409309A true CN109409309A (zh) 2019-03-01

Family

ID=65471425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811308433.8A Pending CN109409309A (zh) 2018-11-05 2018-11-05 一种基于人体检测的智能报警系统和方法

Country Status (1)

Country Link
CN (1) CN109409309A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135503A (zh) * 2019-05-19 2019-08-16 重庆理工大学 一种装配机器人零件深度学习识别方法
CN110321809A (zh) * 2019-06-13 2019-10-11 国电南瑞科技股份有限公司 一种基于深度学习的变电站作业现场监测方法及装置
CN111046822A (zh) * 2019-12-19 2020-04-21 山东财经大学 一种基于人工智能视频识别的大型车辆防盗方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760053A (zh) * 2012-06-20 2012-10-31 东南大学 基于cuda并行计算及wcf架构的人体检测方法
CN103106414A (zh) * 2012-12-24 2013-05-15 厦门大学深圳研究院 一种智能视频监控中行人的检测方法
US20130120139A1 (en) * 2011-11-16 2013-05-16 Ardi Technology Corporation Locating system for locating and tracking an object
CN103268680A (zh) * 2013-05-29 2013-08-28 北京航空航天大学 一种家庭智能监控防盗系统
CN103824070A (zh) * 2014-03-24 2014-05-28 重庆邮电大学 一种基于计算机视觉的快速行人检测方法
CN104166861A (zh) * 2014-08-11 2014-11-26 叶茂 一种行人检测方法
CN104691473A (zh) * 2013-12-06 2015-06-10 大连市沙河口区中小微企业服务中心 基于arm的车载行人检测预警系统
CN105139661A (zh) * 2015-07-29 2015-12-09 苏交科集团股份有限公司 一种交通检测预警系统及方法
CN106803083A (zh) * 2017-02-04 2017-06-06 北京旷视科技有限公司 行人检测的方法及装置
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
CN107644519A (zh) * 2017-10-09 2018-01-30 中电科新型智慧城市研究院有限公司 一种基于视频人体行为识别的智能报警方法和系统
CN108229390A (zh) * 2018-01-02 2018-06-29 济南中维世纪科技有限公司 基于深度学习的快速行人检测方法
CN108460336A (zh) * 2018-01-29 2018-08-28 南京邮电大学 一种基于深度学习的行人检测方法
CN108537105A (zh) * 2018-02-05 2018-09-14 中国农业大学 一种家庭环境下的危险行为识别方法
CN108527382A (zh) * 2018-04-09 2018-09-14 上海方立数码科技有限公司 一种巡检机器人
CN108694363A (zh) * 2017-04-12 2018-10-23 日立汽车系统株式会社 对车辆周围的行人进行检测的方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120139A1 (en) * 2011-11-16 2013-05-16 Ardi Technology Corporation Locating system for locating and tracking an object
CN102760053A (zh) * 2012-06-20 2012-10-31 东南大学 基于cuda并行计算及wcf架构的人体检测方法
CN103106414A (zh) * 2012-12-24 2013-05-15 厦门大学深圳研究院 一种智能视频监控中行人的检测方法
CN103268680A (zh) * 2013-05-29 2013-08-28 北京航空航天大学 一种家庭智能监控防盗系统
CN104691473A (zh) * 2013-12-06 2015-06-10 大连市沙河口区中小微企业服务中心 基于arm的车载行人检测预警系统
CN103824070A (zh) * 2014-03-24 2014-05-28 重庆邮电大学 一种基于计算机视觉的快速行人检测方法
CN104166861A (zh) * 2014-08-11 2014-11-26 叶茂 一种行人检测方法
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
CN105139661A (zh) * 2015-07-29 2015-12-09 苏交科集团股份有限公司 一种交通检测预警系统及方法
CN106803083A (zh) * 2017-02-04 2017-06-06 北京旷视科技有限公司 行人检测的方法及装置
CN108694363A (zh) * 2017-04-12 2018-10-23 日立汽车系统株式会社 对车辆周围的行人进行检测的方法和装置
CN107644519A (zh) * 2017-10-09 2018-01-30 中电科新型智慧城市研究院有限公司 一种基于视频人体行为识别的智能报警方法和系统
CN108229390A (zh) * 2018-01-02 2018-06-29 济南中维世纪科技有限公司 基于深度学习的快速行人检测方法
CN108460336A (zh) * 2018-01-29 2018-08-28 南京邮电大学 一种基于深度学习的行人检测方法
CN108537105A (zh) * 2018-02-05 2018-09-14 中国农业大学 一种家庭环境下的危险行为识别方法
CN108527382A (zh) * 2018-04-09 2018-09-14 上海方立数码科技有限公司 一种巡检机器人

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSEPH REDMON等: "YOLOv3: An Incremental Improvement", 《ARXIV:1804.02767V1 [CS.CV]》 *
LIGUIYUAN112: "使用YOLOv3 训练行人检测模型", 《CSDN: HTTPS://BLOG.CSDN.NET/U012505617/ARTICLE/DETAILS/79955140》 *
王殿伟等: "改进的YOLOv3红外视频图像行人检测算法", 《西安邮电大学学报》 *
王莹等: "基于深度学习的交通信号灯检测及分类方法", 《汽车实用技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135503A (zh) * 2019-05-19 2019-08-16 重庆理工大学 一种装配机器人零件深度学习识别方法
CN110135503B (zh) * 2019-05-19 2022-07-12 重庆理工大学 一种装配机器人零件深度学习识别方法
CN110321809A (zh) * 2019-06-13 2019-10-11 国电南瑞科技股份有限公司 一种基于深度学习的变电站作业现场监测方法及装置
CN111046822A (zh) * 2019-12-19 2020-04-21 山东财经大学 一种基于人工智能视频识别的大型车辆防盗方法

Similar Documents

Publication Publication Date Title
US11468636B2 (en) 3D hand shape and pose estimation
CN105912980B (zh) 无人机以及无人机系统
CN108733420A (zh) 智能设备的唤醒方法、装置、智能设备和存储介质
Han et al. Collaborative perception in autonomous driving: Methods, datasets, and challenges
CN110135485A (zh) 单目相机与毫米波雷达融合的物体识别与定位方法和系统
CN109409309A (zh) 一种基于人体检测的智能报警系统和方法
CN107301377B (zh) 一种基于深度相机的人脸与行人感知系统
US10915781B2 (en) Scene reconstructing system, scene reconstructing method and non-transitory computer-readable medium
CN114127805A (zh) 深度网络的训练方法
CN109683699A (zh) 基于深度学习实现增强现实的方法、装置及移动终端
US11810311B2 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN110264495A (zh) 一种目标跟踪方法及装置
Chakravarty et al. GEN-SLAM: Generative modeling for monocular simultaneous localization and mapping
CN111095170B (zh) 虚拟现实场景及其交互方法、终端设备
CN112597885A (zh) 人脸活体检测方法、装置、电子设备及计算机存储介质
Peng et al. Globally-optimal contrast maximisation for event cameras
US11734902B2 (en) Contextual control of digital files built on the blockchain and projected in augmented reality
CN112365604A (zh) 基于语义分割和slam的ar设备景深信息应用方法
CN108628442A (zh) 一种信息提示方法、装置以及电子设备
CN109934165A (zh) 一种关节点检测方法、装置、存储介质及电子设备
EP3992909A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
Zhao et al. Intelligent wireless sensing driven metaverse: A survey
Wang et al. Pedestrian detection based on YOLOv3 multimodal data fusion
CN117115917A (zh) 基于多模态特征融合的教师行为识别方法、设备以及介质
KR20210058638A (ko) 이미지 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301