CN108391092A - 基于深度学习的危险物识别系统 - Google Patents

基于深度学习的危险物识别系统 Download PDF

Info

Publication number
CN108391092A
CN108391092A CN201810235889.XA CN201810235889A CN108391092A CN 108391092 A CN108391092 A CN 108391092A CN 201810235889 A CN201810235889 A CN 201810235889A CN 108391092 A CN108391092 A CN 108391092A
Authority
CN
China
Prior art keywords
danger
video
server
deep learning
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810235889.XA
Other languages
English (en)
Inventor
岑亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Honghe Communication Co Ltd
Original Assignee
Sichuan Honghe Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Honghe Communication Co Ltd filed Critical Sichuan Honghe Communication Co Ltd
Priority to CN201810235889.XA priority Critical patent/CN108391092A/zh
Publication of CN108391092A publication Critical patent/CN108391092A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习危险物识别系统，应用于智能视频技术领域，通过安装在监控区域中不同地点的视频前端设备实时采集流信息，将图像流传送至后台服务器，服务器根据余弦训练的深度学习算法对采集到的图像进行分析，得出是否存在危险物的判断结果；当判断存在危险物，则向终端反馈危险物对应的设备信息；终端提示并预警；本发明通过将智能危险物识别平台布置在视频监控系统的后台，无需对已经建成的视频监控系统进行改造或拆除重建，能够最大化保护的降低危险物识别成本；并且通过本发明的系统可以大量节省人力成本；本发明的图像处理可实现毫秒级的速度，为危险物识别以及预警处理提高了效率。

Description

基于深度学习的危险物识别系统
技术领域
本发明属于智能视频技术领域，特别涉及一种对室内外环境中可疑人携带管制刀具的 视频分析技术。
背景技术
随着我国“平安城市”建设的深入，我国安防市场的需求将进一步提高，成为继美国之 后全球第二大安防市场。
技术方面的突飞猛进也为安防产业的发展提供了强大的动力，60年代视频图像技术、 70年代计算机数字技术、80年代生物识别技术以及90年代国际互联网技术的应用使安防 行业得到快速发展。
近年来，全程数字化、网络化的视频监控系统优势愈发明显，其高度的开放性、集成 性和灵活性，为整个安防产业的发展提供了更加广阔的发展空间，而智能视频监控则是网 络化视频监控领域最前沿的应用模式之一。智能视频监控以数字化、网络化视频监控为基 础，但又有别于一般的网络化视频监控，它是一种更高端的视频监控应用。
视频发展阶段：
第一阶段：七十年代末到九十年代中期。这个阶段以闭路电视监控系统(CCTV)为主， 也就是第一代模拟电视视频监控系统。在2000年左右，已经基本淘汰。
第二阶段：九十年代中期至九十年代末，以基于PC机插卡式的视频监控系统为主，此阶段也被业内人士称为半数字时代。或第二代视频监控系统。
第三阶段：九十年代末至今，以嵌入式技术为依托，以网络、通信技术为平台，以在摄像头中嵌入简单的图像分析算法为特色的网络视频监控系统为主，自此，网络视频监控的发展也进入了数字时代。目前海康，大华，柯达等多数安防厂商提供的都是第三代——网络化视频监视系统，又称为IP监视系统。
第四阶段：二十一世纪初至今，随着用户对智能图像分析的要求越来越高，单纯的在 摄像头中嵌入简单的算法对抓拍的图片进行分析已经远远不能满足用户的需求。用户对于 监控系统的要求已经从事后取证转向事前预防。监控方式也由以人在监控中心值守转变为 电脑智能值守。第四代智能识别监控系统正是应这样的需求而产生的。
传统第三代视频监控系统主要的预警是由人员通过看监控显示大屏实现，需要大量的 人力投入，同时对人员的责任心，专注度要求很高，大多数情况下只能起到事后取证的作 用，而且事后取证的效率极低。
大多数其他厂商将算法集成在摄像头中,由于受摄像头硬件限制，只能构建简单算法， 做基本处理，无法实现真正意义上的智能识别。
发明内容
为了解决现有的危险物识别算法前置，受摄像头硬件限制，只能构建简单算法，做基 本处理，无法实现真正意义上的智能识别的问题，本发明提出了一种基于深度学习的危险 物识别方法，实现对环境中的是否出现管制刀具携带者进行检测，从而在发现上述情况时 及时发出报警信号，通知监控人员采集措施处理。
本发明采用的技术方案为：基于深度学习的危险物识别系统，其特征在于，包括：视 频前端设备、分发服务器、算法分析服务器、资源服务器、数据库、FTP服务器、应用服 务器以及客户端；
所述视频前端设备实时采集视频图像信息；采集的视频图像信息经分发服务器进行中 转，传送至算法分析服务器；
所述算法分析服务器对采集的视频流信息进行分析处理，当检测到存在危险物时，将 危险物对应的经算法分析服务器进行分析处理后的视频流信息存储到FTP服务器，并将存 储在FTP服务器的存储路径保存到数据库，最后客户端通过应用服务器获取危险物所对应 视频流信息存储在存储服务器上的路径，通过访问FTP服务器获取危险物的视频信息并进 行展示。
进一步地，所述视频前端设备包括安装于固定监控区域的摄像设备以及用于监控盲区 的可移动摄像设备。
进一步地，所述算法分析服务器包括：视频解码模块、视频分析模块、发送模块以及 接收模块；所述视频解码模块将视频流信息转码成YVU420格式的视频文件传给视频分析 模块进行分析；当视频分析模块检测到存在危险物时，则将分析结果保存成xml文件、jpg 图片以及avi视频；分析结果保存完毕后视频分析模块调用发送模块将xml文件发送给接 收模块；接收模块对xml文件进行解析，从而获得jpg图片和avi视频在算法分析服务器上的存储地址。
进一步地，所述危险物为管制刀具。
进一步地，所述xml文件包括jpg图片与avi视频在算法分析服务器上的存储路径。
本发明的有益效果：本发明的基于深度学习危险物识别系统，通过安装在监控区域中 不同地点的视频前端设备实时采集视频流信息，将视频流信息传送至后台服务器，服务器 根据余弦训练的深度学习算法对采集到的图像进行分析，得出是否存在危险物的判断结果； 当判断存在危险物，则向终端反馈危险物对应的地点信息以及图像信息；终端提示并预警； 采用本发明的系统能够及时排除危险，保证人生财产安全。
附图说明
图1为本发明实施例提供的系统框图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐 释。
如图1所示为本发明的提供的一种基于深度学习危险物识别系统，包括：视频前端设 备、分发服务器、算法分析服务器、资源服务器、存储服务器、数据库和应用服务器、客户端；
视频前端设备实时采集视频流信息；采集的视频流信息经分发服务器进行中转，传送 至算法分析服务器；
所述算法分析服务器包括：视频解码模块、视频分析模块、发送模块以及接收模块；
启动视频分析模块，便自动向资源服务器发送一条带有视频分析程序ID的请求，资 源服务器根据设备编号返回一条带有视频前端设备编号、视频前端设备对应的分发服务器 IP、分发服务器端口的第一信息给视频分析模块。
视频分析模块得到第一信息后调用视频解码模块，视频解码模块根据分发服务器IP、 分发服务器端口向对应的分发服务器上获取其对应视频前端设备的视频流信息。
视频解码模块将获取到的视频流信息转码成YVU420格式的视频文件传给视频分析模 块进行分析。如果有分析结果就将结果保存成xml文件(xml文件里面存的是图片和视频在 算法分析服务器上的存储路径)、jpg图片(3张事件发生时候的3连拍)、avi视频(事件发生 时候的视频文件)，保存后视频分析模块会调用一个发送模块给对应的接收模块发送xml 文件。
接收模块会把从发送模块发送过来的xml文件进行解析，从而获得图片和视频在视频 分析模块所在的算法分析服务器上的存储地址，接下来接收模块会把图片和视频存在一个 FTP服务器上(因为视频分析模块所在的算法分析服务器上不会长时间存储图片和视频，会 定时删除，所以要把图片和视频存在一个FTP服务器上，FTP服务器上保存的时间相对来 说会更长一些)。将存储在FTP服务器上的路径保存至oracle数据库。
最后录入的数据将会展示在客户端的显示设备上，客户端的显示设备上的预警图片和 视频是通过http的形式访问FTP服务器上的图片、视频存储地址来进行展示。
当前多数厂商的算法采用传统的图像识别算法，具有环境影响较大，准确率较低的问 题。而本系统采用深度学习算法，通过海量数据训练算法，运算速度快，准确率较高。当 前多数智能厂商将智能识别的算法前置，导致在事件发生后的取证困难，而本发明的方法 智能识别平台是在后台部署，能够轻松的分析存储的视频，迅速定位需要取证的数据，为 节约了大量的时间成本。并且本发明通过将智能危险物识别平台布置在视频监控系统的后 台，无需对已经建成的视频监控系统进行改造或拆除重建，能够最大化保护的降低危险物 识别成本；并且通过本发明的方法可以大量节省人力成本；本发明的图像处理可实现毫秒 级的速度，为危险物识别以及预警处理提高了效率。
RetinaNet网络的训练的算法流程及对应公式:
1)前向传播阶段：将训练图片送入主干网络获得金字塔特征图层，再将特征图层送 入位置回归网络和分类网络。位置回归网络负责预测出锚框对应的位置回归变量，并计算 出推荐框。分类网络则预测出推荐框内包含每一种目标的可能性。整个过程训练图片以数 据流的形式流过各卷积层和池化层。对于数据流流过特定l层的卷积核，数学表达式如式 (1)所示。
其中，x′(i,j)是l层滤波器的输出，x′-1(i,j)是上一层的输出，k′(m,n)是l层的滤波器，bl是 l层滤波器对应的偏置量，f(·)是激活函数。
当数据流过l层池化层时，数据表达式(3)所示。
x′＝f(bl+β·down(x′-1)) (2)
其中，x′(i,j)是l层池化层的输出，x′-1(i,j)是上一层的输出，这一层的输入，β是池化层 的权重，f(·)是激活函数，down(·)下采样函数。下采样函数的输入为特征图n×n区域上的 像素。对于最大池化层，down(·)选取n×n像素中的最大值，并输出维度为输入特征图维度 1/n′1/n的特征图。
2)后向传播阶段：采用梯度下降法来修正各层的权重值。首先计算推荐框和其对应 预测分类的与标定数据的总损失，损失函数如式(3)所示。
Ltotal＝Lcls+λ·Lloc (3)
其中，Lcls分类损失函数，即Focal损失函数。Lloc是边框回归损失函数，具体参考文献 [[R.Girshick.Fast R-CNN[c]//CVPR:The IEEE Conference on Computer Visionand Pattern Recognition,New York,IEEE,2015:1440-14478.]。λ参数的作用是平衡分类和边框回归损失 函数。
然后逐层计算出总损失对各权重的梯度，最后用梯度下降法优化权重。对卷积层优化 权重的数学表达式如式(4)，对于池化层，优化权重的数学表达式如式(5)。
其中，w′(i)为特定l层滤波器第i次的权重值，w′(i+1)为第i+1次更新的权重值。α为 学习率。对变量bl、βl优化更新过程和w′一样。
RetinaNet网络的测试：RetinaNet在测试图片时，与训练的前向传播基本一致。只是 最后采用非最大抑制算法[[J.Hosang,R.Benenson,and B.Schiele.Learning non-maximum suppression[EB/OL].[2017-05-09].https://arxiv.org/pdf/1705.02950.pdf.]合并重叠的推荐框。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的 原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的 技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任 何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (5)

1.基于深度学习的危险物识别系统，其特征在于，包括：视频前端设备、分发服务器、算法分析服务器、资源服务器、数据库和FTP服务器、客户端；
所述视频前端设备实时采集视频图像信息；采集的视频图像信息经分发服务器进行中转，传送至算法分析服务器；
所述算法分析服务器对采集的视频流信息进行分析处理，当检测到存在危险物时，将危险物对应的经算法分析服务器进行分析处理后的视频流信息存储到FTP服务器，并将存储在FTP服务器的存储路径保存到数据库，最后客户端通过应用服务器获取危险物所对应视频流信息存储在存储服务器上的路径，通过访问FTP服务器获取危险物的视频信息并进行展示。
2.根据权利要求1所述的基于深度学习的危险物识别系统，其特征在于，所述视频前端设备包括安装于固定监控区域的摄像设备以及用于监控盲区的可移动摄像设备。
3.根据权利要求1所述的基于深度学习的危险物识别系统，其特征在于，所述算法分析服务器包括：视频解码模块、视频分析模块、发送模块以及接收模块；所述视频解码模块将视频流信息转码成YVU420格式的视频文件传给视频分析模块进行分析；当视频分析模块检测到存在危险物时，则将分析结果保存成xml文件、jpg图片以及avi视频；分析结果保存完毕后视频分析模块调用发送模块将xml文件发送给接收模块；接收模块对xml文件进行解析，从而获得jpg图片和avi视频在算法分析服务器上的存储地址。
4.根据权利要求3所述的基于深度学习的危险物识别系统，其特征在于，所述危险物包含各类管制刀具。
5.根据权利要求4所述的基于深度学习的危险物识别系统，其特征在于，所述xml文件包括jpg图片与avi视频在算法分析服务器上的存储路径。
CN201810235889.XA 2018-03-21 2018-03-21 基于深度学习的危险物识别系统 Pending CN108391092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810235889.XA CN108391092A (zh) 2018-03-21 2018-03-21 基于深度学习的危险物识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810235889.XA CN108391092A (zh) 2018-03-21 2018-03-21 基于深度学习的危险物识别系统

Publications (1)

Publication Number Publication Date
CN108391092A true CN108391092A (zh) 2018-08-10

Family

ID=63068363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810235889.XA Pending CN108391092A (zh) 2018-03-21 2018-03-21 基于深度学习的危险物识别系统

Country Status (1)

Country Link
CN (1) CN108391092A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711262A (zh) * 2018-11-28 2019-05-03 大连理工大学 一种基于深度卷积神经网络的智能挖掘机行人检测方法
CN111144495A (zh) * 2019-12-27 2020-05-12 浙江宇视科技有限公司 一种业务分发方法、装置及介质
CN111553277A (zh) * 2020-04-28 2020-08-18 电子科技大学 一种引入一致性约束的中文签名鉴定方法及终端
CN111950414A (zh) * 2020-07-31 2020-11-17 广州微林软件有限公司 一种箱柜食物识别系统及识别方法
CN112839200A (zh) * 2020-12-25 2021-05-25 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN113139738A (zh) * 2021-05-06 2021-07-20 马鞍山钢铁股份有限公司 一种使用机器学习进行环保无组织排放监管的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097346A (zh) * 2016-06-13 2016-11-09 中国科学技术大学 一种自学习的视频火灾探测方法
CN106303469A (zh) * 2016-11-02 2017-01-04 北京弘恒科技有限公司 对室内外环境中火焰的视频分析检测方法及系统
CN106412522A (zh) * 2016-11-02 2017-02-15 北京弘恒科技有限公司 对室内外环境中物体的视频分析检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097346A (zh) * 2016-06-13 2016-11-09 中国科学技术大学 一种自学习的视频火灾探测方法
CN106303469A (zh) * 2016-11-02 2017-01-04 北京弘恒科技有限公司 对室内外环境中火焰的视频分析检测方法及系统
CN106412522A (zh) * 2016-11-02 2017-02-15 北京弘恒科技有限公司 对室内外环境中物体的视频分析检测方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711262A (zh) * 2018-11-28 2019-05-03 大连理工大学 一种基于深度卷积神经网络的智能挖掘机行人检测方法
CN109711262B (zh) * 2018-11-28 2021-12-03 大连理工大学 一种基于深度卷积神经网络的智能挖掘机行人检测方法
CN111144495A (zh) * 2019-12-27 2020-05-12 浙江宇视科技有限公司 一种业务分发方法、装置及介质
CN111144495B (zh) * 2019-12-27 2024-03-22 浙江宇视科技有限公司 一种业务分发方法、装置及介质
CN111553277A (zh) * 2020-04-28 2020-08-18 电子科技大学 一种引入一致性约束的中文签名鉴定方法及终端
CN111553277B (zh) * 2020-04-28 2022-04-26 电子科技大学 一种引入一致性约束的中文签名鉴定方法及终端
CN111950414A (zh) * 2020-07-31 2020-11-17 广州微林软件有限公司 一种箱柜食物识别系统及识别方法
CN112839200A (zh) * 2020-12-25 2021-05-25 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN112839200B (zh) * 2020-12-25 2023-01-24 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、系统和网络服务端
CN113139738A (zh) * 2021-05-06 2021-07-20 马鞍山钢铁股份有限公司 一种使用机器学习进行环保无组织排放监管的方法

Similar Documents

Publication Publication Date Title
CN108647559A (zh) 一种基于深度学习的危险物识别方法
CN108391092A (zh) 基于深度学习的危险物识别系统
CN105100748B (zh) 一种视频监控系统及方法
CN102752574B (zh) 一种视频监控系统及方法
EP2009604B1 (en) A security device and system
WO2012095867A4 (en) An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and /or optimized utilization of various sensory inputs
CN110659391A (zh) 一种视频侦查方法及装置
CN208027742U (zh) 视频浓缩系统
Sun et al. VU: Edge computing-enabled video usefulness detection and its application in large-scale video surveillance systems
CN106993163B (zh) 一种基于动态图像检测的视频监控系统
CN107330414A (zh) 暴力行为监控方法
CN113992893A (zh) 园区巡检方法、装置、存储介质及电子装置
CN114419556A (zh) 一种城市排水管网排口异常排水图像识别方法及系统
CN106683409A (zh) 一种重型卡车摄像识别管理方法及其系统
CN117612060A (zh) 基于人工智能检测的视频预警系统、方法、设备及介质
CN113723184A (zh) 基于智能网关的场景识别系统、方法、装置和智能网关
CN112016380A (zh) 野生动物监测方法及系统
CN113676688B (zh) 周期性存储方法、装置、设备及介质
CN117221391B (zh) 基于视觉语义大模型的智能摄像机推送方法、装置及设备
Noor et al. ibuck: Reliable and secured image processing middleware for openstack swift
US11532158B2 (en) Methods and systems for customized image and video analysis
CN113989931A (zh) 一种便携式异常行为智能分析系统
CN117201733B (zh) 一种实时无人机监控分享系统
CN102726042A (zh) 用于安全的视频分析系统和方法
CN106993164B (zh) 一种基于动态图像检测的视频监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180810