CN111080635B - 一种基于张量流递归神经网络的检测分拨系统及方法 - Google Patents

一种基于张量流递归神经网络的检测分拨系统及方法 Download PDF

Info

Publication number
CN111080635B
CN111080635B CN201911339716.3A CN201911339716A CN111080635B CN 111080635 B CN111080635 B CN 111080635B CN 201911339716 A CN201911339716 A CN 201911339716A CN 111080635 B CN111080635 B CN 111080635B
Authority
CN
China
Prior art keywords
tensor
module
neural network
tensor flow
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911339716.3A
Other languages
English (en)
Other versions
CN111080635A (zh
Inventor
吴玥析
胡金晖
张力元
袁明冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart City Research Institute Of China Electronics Technology Group Corp
Original Assignee
Smart City Research Institute Of China Electronics Technology Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart City Research Institute Of China Electronics Technology Group Corp filed Critical Smart City Research Institute Of China Electronics Technology Group Corp
Priority to CN201911339716.3A priority Critical patent/CN111080635B/zh
Publication of CN111080635A publication Critical patent/CN111080635A/zh
Application granted granted Critical
Publication of CN111080635B publication Critical patent/CN111080635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于张量流递归神经网络的检测分拨系统及方法，包括传感器单元、第一存储单元、第二存储单元、第三存储单元、图像融合单元、张量流递归检测单元和分拨处置单元；传感器单元包括可见光摄像头和红外摄像头，传感器单元用于收集可见光图像和红外图像；张量流递归单元，用于将融合后的图像信息进行数据分析，并判断图中有无城管事件发生，并标记出发生城管事件的类型及图中的位置；张量流递归单元的输入参数为融合图像的张量流，输出参数为城管事件的标签。本发明中，系统既能有效地检测到城管事件发生情况，又能起到将城管事件按照事件类型及发生位置精准地分拨到网格员进行有效处置。

Description

一种基于张量流递归神经网络的检测分拨系统及方法
技术领域
本发明涉及检测分拨系统领域，尤其涉及一种基于张量流递归神经网络的检测分拨系统及方法。
背景技术
现有城管事件检测与人工智能方法的具体结合方式主要有：
1、城管案件空间分布模式研究；
2、基于图像的城市场景垃圾自动检测；
3、基于深度学习及运动一致性的街面秩序事件视频检测方法；
4、基于WSN和GSM的城市垃圾智能监测系统设计；
5、城市管理执法指挥调度平台的设计与实现；
6、基于机器视觉的水面垃圾自动监测算法的研究。
现有城管事件检测方法在算法方面和系统方面均存在较多缺陷，列举如下：
在系统方面：
无法实现夜间城管事件检测：现有的城管事件检测系统主要利用可见光摄像头进行检测，在夜间或光线较差的区域发生的城管事件现有装置/系统检测成功率低。
城管事件检测类别单一：现有的城管事件检测系统主要针对某一类城管事件进行检测，例如垃圾检测，而实际城管事件类型较多，因此现有城管事件检测系统检测类别单一，无法满足实际城市业务的需求。
城管事件检测流程不全：有城管事件检测系统在检测到城管事件之后，尚无一套完整的预警与分拨机制，无法实现城管事件的实时预警与自动分拨，因此现有系统对于城管事件的检测-处置效率较低。
在算法方面：
准确率较低：现有城管事件检测算法主要以某帧图片作检测依据，而城管事件检测是以视频流的形式存在，因此现有方法对城管数据的利用不够充分。此外，现有城管事件检测算法因某些城管事件容易混淆且有时候同时发生，因此现有城管事件检测算法准确率较低。
检测不完备：现有城管事件检测算法主要针对某类城管事件进行检测，城管事件本身种类较多，无法实现各类城管事件的全面检测，此外，某几类城管事件经常同时发生，而现有方法无法将其同时进行检测，因此现有城管事件检测算法缺乏完备性。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于张量流递归神经网络的检测分拨系统及方法，该系统既能有效地检测到城管事件发生情况，又能起到将城管事件按照事件类型及发生位置精准地分拨到网格员进行有效处置。
(二)技术方案
为解决上述问题，本发明提出了一种基于张量流递归神经网络的检测分拨系统及方法，包括传感器单元、第一存储单元、第二存储单元、第三存储单元、图像融合单元、张量流递归检测单元和分拨处置单元；
传感器单元包括可见光摄像头和红外摄像头，传感器单元用于收集可见光图像和红外图像；
第一存储单元，用于存储可见光摄像头及红外摄像头拍摄到的图像数据；
第二存储单元，用于存储摄像头的编号及位置信息；
第三存储单元，用于存储网格员的编号、姓名、管理区域和联系方式信息；
图像融合单元，用于将可见光图像与神经网络图像进行融合；
张量流递归单元，用于将融合后的图像信息进行数据分析，并判断图中有无城管事件发生，并标记出发生城管事件的类型及图中的位置；张量流递归单元的输入参数为融合图像的张量流，输出参数为城管事件的标签；
分拨处置单元，用于将发生的城管事件按照摄像头位置以及网格员分管区域将发生的城管事件分拨给附近的网格员进行处置。
优选的，图像融合单元采用多层神经网络模型，其输入参数为可见光图像与红外图像，其输出参数为两者进行图像融合之后的RGB图像，RGB图像在可见光图像基础上突出红外信息。
优选的，张量流递归单元，包括CMS模块、RES模块、RESn模块和FC模块；CMS模块，用于张量流的关键特征提取；CMS模块，包含CONV操作、MaxP操作和SoftP操作，其中，CONV操作为深层卷积操作，MaxP为极大值池化操作，SoftP为软加和操作；RES模块和RESn模块用于对张量流的递归操作；RES模块包含两个CMS模块和一个递归累加操作；RESn模块包含零填充操作、CMS模块和n个RES模块；FC模块，即，全连接层，用于对提取特征进行合成，以城管事件的检测结果。
优选的，还提出关于上述基于张量流递归神经网络的检测分拨系统的使用方法，包括以下步骤：S1：收集传感器单元的数据，数据包含可见光图像数据和红外图像数据以及摄像头所在的位置信息；S2：将图像数据存入第一存储单元，将传感器位置信息存入第二存储单元；收集网格员信息存入第三存储单元；S3：将收集的两类图像数据利用图像融合单元进行图像融合；S4：将图像融合的结果输入训练好的张量流递归单元，对融合后的图像进行城管事件检测；S5：将张量流递归单元的检测结果输入分拨处置单元，分拨处置单元根据第二存储单元中的摄像头位置信息，结合第三存储单元中的网格员信息，将城管事件分拨给适宜的网格员进行处置。
优选的，张量流递归单元进行模型框架的设计，其模型的训练和模型的验证包括以下步骤：S51：设计基于张量流递归神经网络的城管事件检测方法的网络架构；S52：制作城管事件张量流数据集及对应标签，并将其划分为训练数据集、验证数据集和测试数据集；S53：利用城管事件训练数据集对设计好的基于张量流递归神经网络的城管事件检测方法的网络架构进行训练；S54：利用城管事件验证数据集，验证训练好的基于张量流递归神经网络的检测精度，若精度低于预期值，则调整神经网络模型的各类超参数；S55：利用城管事件测试数据集，对超参数调整完毕的基于张量流递归神经网络进行测试，若泛化误差高于预期值，则调整神经网络结构并重新进行训练和验证，直至泛化误差低于预期值为止。
优选的，输入张量流数据。的帧数为n，则输入的t时刻的张量流TensorX(t)为各张量X1 (t)：Xn (t)的集合；输入的张量流TensorX(t)首先被CMS模块处理；CMS模块包含三个子模块：C子模块、M子模块和，其中，C子模块为卷积模块，M子模块为最大池化模块，S子模块为软加和模块；对张量的第i个分量进行CMS计算的结果为CMS(Xi (t))；计算过程包括张量的卷积运算和最大池化操作所得，并将结果再做一次软加和操作；经过CMS模块处理之后，输入数据将被RES模块处理，输入为张量X，将CMS模块对张量的处理定义为CMS(.)函数，则RES模块的处理结果量化为符号/>代表张量的求和；张量流递归经过第n步结果为：Recurn(TensorX(t))＝RES(Recurn-1(TensorX(t))+CMS(Xn (t)))；在对张量流进行递归模块运算之后，需要对张量流进行若干次RESN模块操作，其中包含一次零填充操作，一次CMS操作以及N次RES操作，后续若干模块如附图所示主要包括了FC模块。
优选的，将特征集定义为N个张量流，构造成的张量流特征标签包含的内容如下所示：Pc(t)代表t时刻的张量是否包含某一类城管事件，若包含则为1，否则为0；{Bx (t)，By (t)，Bw (t)，Bh (t)}分别代表边界框的中心坐标以及宽度和高度；{C1 (t)，C2 (t)，C3 (t)，C4 (t)}分别代表占道经营、违规撑伞、垃圾打包和建筑垃圾四类城管事件是否发生，若发生某类事件，则为1，否则为0；将张量流划分成S×S个网格，假设设置了3个边界框，那么张量流特征标签的维数为S×S×(5×3+4)；将制作好的N个张量流对应的标签进行组合，得到标签集LabelSet和张量流数据集DataSer；将张量流数据集按照一定比例划分成训练集、验证集和测试集。
优选的，在S54中，利用张量流验证数据集，对训练好的张量流递归神经网络结构进行验证，然后计算验证误差；若验证误差高于预期值，则需要对神经网络中的超参数进行调整，利用Grid Search方法寻找最优超参数；若验证误差达到预期值，则进入S55。
优选的，利用张量流测试数据集，对验证好的张量流递归神经网络进行测试，并计算测试误差；若测试误差高于预期值，则需要调整张量流数据集；若调整数据集无效，需要重新对张量流递归神经网络结构进行设计，然后重新进行张量流递归神经网络的训练、验证和测试步骤；若测试误差达到预期值，则封装此模型，完成城管事件检测。
本发明中，系统既能有效地检测到城管事件发生情况，又能起到将城管事件按照事件类型及发生位置精准地分拨到网格员进行有效处置。
附图说明
图1为本发明提出的基于张量流递归神经网络的检测分拨系统及方法的结构框图。
图2为本发明提出的基于张量流递归神经网络的检测分拨系统及方法中中张量流递归检测单元的网络架构。
图3为本发明提出的基于张量流递归神经网络的检测分拨系统及方法中CMS模块、RES模块和RESn模块的组成图。
图4为本发明提出的基于张量流递归神经网络的检测分拨系统及方法中张量流递归检测模块的模型设计-训练-检测流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1-4所示，本发明提出的一种基于张量流递归神经网络的检测分拨系统及方法，包括传感器单元、第一存储单元、第二存储单元、第三存储单元、图像融合单元、张量流递归检测单元和分拨处置单元；
传感器单元包括可见光摄像头和红外摄像头，传感器单元用于收集可见光图像和红外图像；
第一存储单元，用于存储可见光摄像头及红外摄像头拍摄到的图像数据；
第二存储单元，用于存储摄像头的编号及位置信息；
第三存储单元，用于存储网格员的编号、姓名、管理区域和联系方式信息；
图像融合单元，用于将可见光图像与神经网络图像进行融合；
张量流递归单元，用于将融合后的图像信息进行数据分析，并判断图中有无城管事件发生，并标记出发生城管事件的类型及图中的位置；张量流递归单元的输入参数为融合图像的张量流，输出参数为城管事件的标签；
分拨处置单元，用于将发生的城管事件按照摄像头位置以及网格员分管区域将发生的城管事件分拨给附近的网格员进行处置。
在一个可选的实施例中，图像融合单元采用多层神经网络模型，其输入参数为可见光图像与红外图像，其输出参数为两者进行图像融合之后的RGB图像，RGB图像在可见光图像基础上突出红外信息。
在一个可选的实施例中，张量流递归单元，包括CMS模块、RES模块、RESn模块和FC模块；
CMS模块，用于张量流的关键特征提取；CMS模块，包含CONV操作、MaxP操作和SoftP操作，其中，CONV操作为深层卷积操作，MaxP为极大值池化操作，SoftP为软加和操作；
RES模块和RESn模块用于对张量流的递归操作；RES模块包含两个CMS模块和一个递归累加操作；RESn模块包含零填充操作、CMS模块和n个RES模块；
FC模块，即，全连接层，用于对提取特征进行合成，以城管事件的检测结果。
本发明，基于张量流递归神经网络的检测分拨系统还提出关于上述基于张量流递归神经网络的检测分拨系统的使用方法，包括以下步骤：
S1：收集传感器单元的数据，数据包含可见光图像数据和红外图像数据以及摄像头所在的位置信息；
S2：将图像数据存入第一存储单元，将传感器位置信息存入第二存储单元；收集网格员信息存入第三存储单元；
S3：将收集的两类图像数据利用图像融合单元进行图像融合；
S4：将图像融合的结果输入训练好的张量流递归单元，对融合后的图像进行城管事件检测；
S5：将张量流递归单元的检测结果输入分拨处置单元，分拨处置单元根据第二存储单元中的摄像头位置信息，结合第三存储单元中的网格员信息，将城管事件分拨给适宜的网格员进行处置。
本发明，可实现夜间城管事件检测；传统的城管事件检测系统在光线较差的情况下，城管事件检测效率低甚至无法检测，而本系统中使用的传感器单元包含红外摄像头，经过图像融合操作，结合张量流递归检测模块，可实现城管事件的夜间检测。
本发明，实现城管事件的检测-分拨-处置的一体化流程；现有城管事件检测系统在检测到城管事件之后，尚无一套完整的预警与分拨处置机制，本系统中引入图像融合单元，张量流递归检测单元以及分拨处置单元，既能有效地检测到城管事件发生情况，又能起到将城管事件按照事件类型及发生位置精准地分拨到网格员进行有效处置。
本发明，可同时检测多类城管事件；现有的城管事件检测系统主要针对某一类城管事件进行检测，本系统中使用的基于张量流递归的神经网络模型，通过在训练标签中合理设置城管事件类别数量，并引入bounding-box等技巧，改进了传统检测方法的缺陷。
本发明，提升了城管事件检测精度；现有城管事件检测算法因某些城管事件容易混淆且有时候同时发生，加之对城管事件数据利用不充分，导致现有城管事件检测算法准确率较低。本系统中通过在张量流递归模块中改善优化算法，可显著提高城管事件的检测精度。
同时，本发明在以下的城管事件检测场景下具有一定程度的不可替代性：
1、检测夜间发生的城管事件：即在实际应用中，若城管事件在夜间或光线较差的地方发生，而现有文献中提及的多类城管事件同时检测方法往往无法对其进行检测，因此本发明在此类场景下具有一定的不可替代性；
2、同时检测多类城管事件：即在实际应用中，若产生了多类城管事件同时检测的需求，而现有文献中提及的多类城管事件同时检测方法相对不足，因此本发明在此类场景下具有一定的不可替代性；
3、对检测精度要求较高：即在实际应用中，若检测地区城管事件频繁而城管力量又相对不足，而现有方法由于面对复杂城管事件检测精度又相对较低，因此本发明在此类场景下具有一定的不可替代的作用。
在一个可选的实施例中，张量流递归单元进行模型框架的设计，其模型的训练和模型的验证包括以下步骤：
S51：设计基于张量流递归神经网络的城管事件检测方法的网络架构；
S52：制作城管事件张量流数据集及对应标签，并将其划分为训练数据集、验证数据集和测试数据集；
S53：利用城管事件训练数据集对设计好的基于张量流递归神经网络的城管事件检测方法的网络架构进行训练；
S54：利用城管事件验证数据集，验证训练好的基于张量流递归神经网络的检测精度，若精度低于预期值，则调整神经网络模型的各类超参数；
S55：利用城管事件测试数据集，对超参数调整完毕的基于张量流递归神经网络进行测试，若泛化误差高于预期值，则调整神经网络结构并重新进行训练和验证，直至泛化误差低于预期值为止。
在一个可选的实施例中，输入张量流数据。的帧数为n，则输入的t时刻的张量流TensorX(t)为各张量X1 (t)：Xn (t)的集合；
输入的张量流TensorX(t)首先被CMS模块处理；CMS模块包含三个子模块：C子模块、M子模块和，其中，C子模块为卷积模块，M子模块为最大池化模块，S子模块为软加和模块；
对张量的第i个分量进行CMS计算的结果为CMS(Xi (t))；计算过程包括张量的卷积运算和最大池化操作所得，并将结果再做一次软加和操作；
经过CMS模块处理之后，输入数据将被RES模块处理，输入为张量X，将CMS模块对张量的处理定义为CMS(.)函数，则RES模块的处理结果量化为 符号/>代表张量的求和；
张量流递归经过第n步结果为：
Recurn(TensorX(t))＝RES(Recurn-1(TensorX(t))+CMS(Xn (t)))；
在对张量流进行递归模块运算之后，需要对张量流进行若干次RESN模块操作，其中包含一次零填充操作，一次CMS操作以及N次RES操作，后续若干模块如附图所示主要包括了FC模块。
在一个可选的实施例中，将特征集定义为N个张量流，构造成的张量流特征标签包含的内容如下所示：
Pc(t)代表t时刻的张量是否包含某一类城管事件，若包含则为1，否则为0；
{Bx (t)，By (t)，Bw (t)，Bh (t)}分别代表边界框的中心坐标以及宽度和高度；
{C1 (t)，C2 (t)，C3 (t)，C4 (t)}分别代表占道经营、违规撑伞、垃圾打包和建筑垃圾四类城管事件是否发生，若发生某类事件，则为1，否则为0；
将张量流划分成S×S个网格，假设设置了3个边界框，那么张量流特征标签的维数为S×S×(5×3+4)；
将制作好的N个张量流对应的标签进行组合，得到标签集LabelSet和张量流数据集DataSer；将张量流数据集按照一定比例划分成训练集、验证集和测试集。
在一个可选的实施例中，在S54中，利用张量流验证数据集，对训练好的张量流递归神经网络结构进行验证，然后计算验证误差；若验证误差高于预期值，则需要对神经网络中的超参数进行调整，利用Grid Search方法寻找最优超参数；若验证误差达到预期值，则进入S55。
在一个可选的实施例中，利用张量流测试数据集，对验证好的张量流递归神经网络进行测试，并计算测试误差；
若测试误差高于预期值，则需要调整张量流数据集；
若调整数据集无效，需要重新对张量流递归神经网络结构进行设计，然后重新进行张量流递归神经网络的训练、验证和测试步骤；
若测试误差达到预期值，则封装此模型，完成城管事件检测。
需要说明的是，本发明总共对占道经营、违规撑伞、垃圾打包、建筑垃圾等四类城管事件进行检测，作为实施例，检测的事件类型及位置均用Bounding Box进行标注。
本发明中，要对设计好的基于张量流递归神经网络进行训练；
首先，设置网络中CMS、RES及FC模块的数目，从图2中可以看到，网络中一个设置了n+20个CMS，n个RES模块，1个RES8模块，1个RES4模块，2个UPS模块，2个CONCAT模块，3个FC模块，n的具体数值可视为超参数进行调节；
其次，设置CMS、RES和FC模块的规模，CMS和RES模块的规模包括设置卷积核的维数、数目和步长、Maxpooling的维数和步长，FC模块的规模是指全连接网络的层数以及每层的节点数。
然后，依照不对称性准则，初始化神经网络的卷积核、全连接层的权值和偏差；再将输入的张量流和标签输入网络，利用前向传递确定输出张量，通过张量流递归模块，得到张量流输入的结果Recurn(TensorX(t))，对其进行RESn模块操作；其中，RESn模块包含零填充模块，CMS模块和n和RES模块，零填充模块是对张量进行补零。
根据对张量流的操作，对Recurn(TensorX(t))进行1次RES8、1次RES4，两次CMS，一次全连接层网络之后，得到输出Y1，与输出Y1不同的是，输出Y2和输出Y3需要用到UPS模块和CONCAT模块，其中UPS模块是指上采样模块(Upsampling)，是对输入的张量流的规模进行缩小，CONCAT模块是对两个张量流进行连接，拼接成一个规模更大的张量流。
如图2所示，对Recurn(TensorX(t))进行UPS、CONCAT等模块进行操作后，假设CONCAT之前的变量为CC1和CC2；同样的，根据图2网络结构，可得到CC2。
利用CC1、CC2以及CONCAT模块操作，可得到输出Y2；其中CMS5(.)是指对张量流进行5次CMS操作。
同样的，为了得到输出Y3，需要进行UPS操作和CONCAT操作，假设CONCAT之前的变量为CS1和CS2；同样的，根据图2的网络结构，可得到CS2，利用CS1和CS2，可得到输出Y3。
如此，就完成了张量流递归神经网络的前向传递过程。在完成前向传递之后，需要利用Backpropagation算法更新各个卷积核、权值和偏差。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种基于张量流递归神经网络的检测分拨系统，其特征在于，包括传感器单元、第一存储单元、第二存储单元、第三存储单元、图像融合单元、张量流递归检测单元和分拨处置单元；
传感器单元包括可见光摄像头和红外摄像头，传感器单元用于收集可见光图像和红外图像；
第一存储单元，用于存储可见光摄像头及红外摄像头拍摄到的图像数据；
第二存储单元，用于存储摄像头的编号及位置信息；
第三存储单元，用于存储网格员的编号、姓名、管理区域和联系方式信息；
图像融合单元，用于将可见光图像与神经网络图像进行融合；
张量流递归单元，用于将融合后的图像信息进行数据分析，并判断图中有无城管事件发生，并标记出发生城管事件的类型及图中的位置；张量流递归单元的输入参数为融合图像的张量流，输出参数为城管事件的标签；所述张量流递归单元，包括CMS模块、RES模块、RESn模块和FC模块；CMS模块，用于张量流的关键特征提取；CMS模块，包含CONV操作、MaxP操作和SoftP操作，其中，CONV操作为深层卷积操作，MaxP为极大值池化操作，SoftP为软加和操作；RES模块和RESn模块用于对张量流的递归操作；RES模块包含两个CMS模块和一个递归累加操作；RESn模块包含零填充操作、CMS模块和n个RES模块；FC模块，即，全连接层，用于对提取特征进行合成，以城管事件的检测结果；
分拨处置单元，用于将发生的城管事件按照摄像头位置以及网格员分管区域将发生的城管事件分拨给附近的网格员进行处置。
2.根据权利要求1所述的基于张量流递归神经网络的检测分拨系统，其特征在于，图像融合单元采用多层神经网络模型，其输入参数为可见光图像与红外图像，其输出参数为两者进行图像融合之后的RGB图像，RGB图像在可见光图像基础上突出红外信息。
3.根据权利要求1-2任一项所述的基于张量流递归神经网络的检测分拨系统还提出关于上述基于张量流递归神经网络的检测分拨系统的使用方法，其特征在于，包括以下步骤：
S1：收集传感器单元的数据，数据包含可见光图像数据和红外图像数据以及摄像头所在的位置信息；
S2：将图像数据存入第一存储单元，将传感器位置信息存入第二存储单元；收集网格员信息存入第三存储单元；
S3：将收集的两类图像数据利用图像融合单元进行图像融合；
S4：将图像融合的结果输入训练好的张量流递归单元，对融合后的图像进行城管事件检测；
S5：将张量流递归单元的检测结果输入分拨处置单元，分拨处置单元根据第二存储单元中的摄像头位置信息，结合第三存储单元中的网格员信息，将城管事件分拨给适宜的网格员进行处置。
4.根据权利要求1所述的基于张量流递归神经网络的检测分拨系统及方法，其特征在于，张量流递归单元进行模型框架的设计，其模型的训练和模型的验证包括以下步骤：
S51：设计基于张量流递归神经网络的城管事件检测方法的网络架构；
S52：制作城管事件张量流数据集及对应标签，并将其划分为训练数据集、验证数据集和测试数据集；
S53：利用城管事件训练数据集对设计好的基于张量流递归神经网络的城管事件检测方法的网络架构进行训练；
S54：利用城管事件验证数据集，验证训练好的基于张量流递归神经网络的检测精度，若精度低于预期值，则调整神经网络模型的各类超参数；
S55：利用城管事件测试数据集，对超参数调整完毕的基于张量流递归神经网络进行测试，若泛化误差高于预期值，则调整神经网络结构并重新进行训练和验证，直至泛化误差低于预期值为止。
5.根据权利要求4所述的基于张量流递归神经网络的检测分拨系统及方法，其特征在于，输入张量流数据的帧数为n，则输入的t时刻的张量流TensorX(t)为各张量X1 (t)：Xn (t)的集合；
输入的张量流TensorX(t)首先被CMS模块处理；CMS模块包含三个子模块：C子模块、M子模块和，其中，C子模块为卷积模块，M子模块为最大池化模块，S子模块为软加和模块；
对张量的第i个分量进行CMS计算的结果为CMS(Xi (t))；计算过程包括张量的卷积运算和最大池化操作所得，并将结果再做一次软加和操作；
经过CMS模块处理之后，输入数据将被RES模块处理，输入为张量X，将CMS模块对张量的处理定义为CMS(.)函数，则RES模块的处理结果量化为RES(X)＝X⊕CMS(CMS(X)),符号⊕代表张量的求和；
张量流递归经过第n步结果为：
Recurn(TensorX(t))＝RES(Recurn-1(TensorX(t))+CMS(Xn (t)))；
在对张量流进行递归模块运算之后，需要对张量流进行若干次RESN模块操作，其中包含一次零填充操作，一次CMS操作以及N次RES操作，后续若干模块如附图所示主要包括了FC模块。
6.根据权利要求4所述的基于张量流递归神经网络的检测分拨系统及方法，其特征在于，将特征集定义为N个张量流，构造成的张量流特征标签包含的内容如下所示：
Pc(t)代表t时刻的张量是否包含某一类城管事件，若包含则为1，否则为0；
{Bx (t)，By (t)，Bw (t)，Bh (t)}分别代表边界框的中心坐标以及宽度和高度；
{C1 (t)，C2 (t)，C3 (t)，C4 (t)}分别代表占道经营、违规撑伞、垃圾打包和建筑垃圾四类城管事件是否发生，若发生某类事件，则为1，否则为0；
将张量流划分成S×S个网格，假设设置了3个边界框，那么张量流特征标签的维数为S×S×(5×3+4)；
将制作好的N个张量流对应的标签进行组合，得到标签集LabelSet和张量流数据集DataSer；将张量流数据集按照一定比例划分成训练集、验证集和测试集。
7.根据权利要求4所述的基于张量流递归神经网络的检测分拨系统及方法，其特征在于，在S54中，利用张量流验证数据集，对训练好的张量流递归神经网络结构进行验证，然后计算验证误差；若验证误差高于预期值，则需要对神经网络中的超参数进行调整，利用GridSearch方法寻找最优超参数；若验证误差达到预期值，则进入S55。
8.根据权利要求4所述的基于张量流递归神经网络的检测分拨系统及方法，其特征在于，利用张量流测试数据集，对验证好的张量流递归神经网络进行测试，并计算测试误差；
若测试误差高于预期值，则需要调整张量流数据集；
若调整数据集无效，需要重新对张量流递归神经网络结构进行设计，然后重新进行张量流递归神经网络的训练、验证和测试步骤；
若测试误差达到预期值，则封装此模型，完成城管事件检测。
CN201911339716.3A 2019-12-23 2019-12-23 一种基于张量流递归神经网络的检测分拨系统及方法 Active CN111080635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911339716.3A CN111080635B (zh) 2019-12-23 2019-12-23 一种基于张量流递归神经网络的检测分拨系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911339716.3A CN111080635B (zh) 2019-12-23 2019-12-23 一种基于张量流递归神经网络的检测分拨系统及方法

Publications (2)

Publication Number Publication Date
CN111080635A CN111080635A (zh) 2020-04-28
CN111080635B true CN111080635B (zh) 2023-10-13

Family

ID=70316873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911339716.3A Active CN111080635B (zh) 2019-12-23 2019-12-23 一种基于张量流递归神经网络的检测分拨系统及方法

Country Status (1)

Country Link
CN (1) CN111080635B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016457A (zh) * 2020-08-27 2020-12-01 青岛慕容信息科技有限公司 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723144B1 (en) * 2016-09-20 2017-08-01 Noble Systems Corporation Utilizing predictive models to improve predictive dialer pacing capabilities
CN107622485A (zh) * 2017-08-15 2018-01-23 中国科学院深圳先进技术研究院 一种融合深度张量神经网络的医学影像数据分析方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017095948A1 (en) * 2015-11-30 2017-06-08 Pilot Ai Labs, Inc. Improved general object detection using neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723144B1 (en) * 2016-09-20 2017-08-01 Noble Systems Corporation Utilizing predictive models to improve predictive dialer pacing capabilities
CN107622485A (zh) * 2017-08-15 2018-01-23 中国科学院深圳先进技术研究院 一种融合深度张量神经网络的医学影像数据分析方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王学微 ; 徐方 ; 贾凯 ; .基于改进长效递归卷积网络的行为识别算法.计算机工程与设计.2018,(07),全文. *

Also Published As

Publication number Publication date
CN111080635A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
EP3690704B1 (en) Distributed and self-validating dense object detection in digital images
Kumar et al. A New Vehicle Tracking System with R-CNN and Random Forest Classifier for Disaster Management Platform to Improve Performance
CN111723786B (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
CN111612002A (zh) 一种基于神经网络的多目标物体运动追踪方法
CN104517125B (zh) 高速物体的图像实时跟踪方法与系统
CN115775085B (zh) 一种基于数字孪生的智慧城市管理方法及系统
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN113688797A (zh) 一种基于骨架提取的异常行为识别方法及系统
Conley et al. Using a deep learning model to quantify trash accumulation for cleaner urban stormwater
Jingying A survey on crowd counting methods and datasets
Xia et al. Automatic concrete sleeper crack detection using a one-stage detector
CN111080635B (zh) 一种基于张量流递归神经网络的检测分拨系统及方法
CN115272895A (zh) 一种基于改进yolov5算法的无人机河道污染物巡检方法及系统
Peyvandi et al. Location-aware hazardous litter management for smart emergency governance in urban eco-cyber-physical systems
CN114554279A (zh) 基于远程分析的触发器响应剪辑提取
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
He et al. Real-time pedestrian warning system on highway using deep learning methods
Zhang et al. Exploring Semantic Information Extraction from Different Data Forms in 3D Point Cloud Semantic Segmentation
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN115830381A (zh) 基于改进YOLOv5的员工未佩戴口罩检测方法及相关组件
Abu-Alsaad CNN-Based Smart Parking System.
CN107274005A (zh) 基于大数据的分形算法的城市雨洪灾害预警方法及系统
Yazici et al. Machine learning based cigarette butt detection using YOLO framework
Jose et al. Vacant parking lot information system using transfer learning and IoT
Dalkic et al. A self-policing smart parking solution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant