CN111611948A - 基于cim与区块链的城市垃圾桶满溢检测方法 - Google Patents
基于cim与区块链的城市垃圾桶满溢检测方法 Download PDFInfo
- Publication number
- CN111611948A CN111611948A CN202010450495.3A CN202010450495A CN111611948A CN 111611948 A CN111611948 A CN 111611948A CN 202010450495 A CN202010450495 A CN 202010450495A CN 111611948 A CN111611948 A CN 111611948A
- Authority
- CN
- China
- Prior art keywords
- garbage
- detection
- reasoning
- overflow
- trash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 235
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013079 data visualisation Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Of Solid Wastes (AREA)
Abstract
本发明公开了一种基于CIM与区块链的城市垃圾桶满溢检测方法。该方法包括：搭建垃圾桶满溢检测深度神经网络，该网络包括垃圾桶检测子网络、垃圾桶满溢状况分级子网络；枪型摄像机对采集的图像进行垃圾桶检测子网络推理，得到垃圾桶位置信息；球型摄像机根据垃圾桶位置进行自动聚焦、调距并采集图像；将垃圾桶满溢检测深度神经网络推理任务拆分为多个推理子任务并分配至球型摄像机端、云端云主机实例，配置动态区块链私链；对球型摄像机采集的图像，执行深度神经网络推理，完成垃圾桶满溢检测。利用本发明，实现了自动化的垃圾桶满溢检测，不仅降低了成本，而且提高了检测精度、实时性、效率，还提高了数据处理传输过程中的安全性。
Description
技术领域
本发明涉及人工智能、智慧城市、CIM、区块链技术领域，具体涉及一种基于CIM与区块链的城市垃圾桶满溢检测方法。
背景技术
当前，全球信息技术呈加速发展趋势，信息技术在国民经济中的地位日益突出，建设智慧城市对于一个国家综合竞争力的全面提高具有重要的战略意义。
智慧城市的产生源自物联网、云计算、移动互联网、人工智能为代表的新一代信息技术与知识社会环境下逐步孕育的开放的城市创新生态。智慧城市强调的是利用新一代信息技术和各类通信终端融合，实现城市智慧式管理和运行。城市建设应抓住技术带来的便利，依托BIM等信息化技术，构建城市专属CIM模型，不断整合资源，找准定位，探索智慧城市建设新路径，提升城市服务水平和服务质量。
目前针对智慧城市垃圾桶满溢检测的方案大多是基于物联网，存在成本高、易损坏、易丢失的问题。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于CIM与区块链的城市垃圾桶满溢检测方法，实现了自动化的城市垃圾桶满溢检测，不仅降低了成本，而且提高了垃圾桶满溢检测的实时性、精度，还保证了数据处理传输过程中的隐私保护。
一种基于CIM与区块链的城市垃圾桶满溢检测方法包括：
(1)搭建垃圾桶满溢检测深度神经网络，该网络包括垃圾桶检测子网络、垃圾桶满溢状况分级子网络；
(2)枪型摄像机端加载训练好的垃圾桶检测子网络，对采集的图像进行垃圾桶检测子网络推理，并将输出的垃圾桶坐标信息透视变换到城市信息模型地面坐标系中；
(3)球型摄像机端根据城市信息模型地面坐标系中垃圾桶位置进行自动聚焦、调距并采集图像；
(4)将垃圾桶满溢检测深度神经网络推理任务拆分为多个推理子任务；
(5)将多个推理子任务随机分配至球型摄像机端、云端云主机实例；
(6)球型摄像机端、云主机实例的推理子任务参数信息作为对应摄像机端、云主机实例的区块主体数据，按照垃圾桶满溢检测深度神经网络推理子任务之间的任务执行顺序，配置动态区块链私链，区块链私链的链序与任务执行顺序一致；
(7)对球型摄像机采集的图像，执行垃圾桶满溢检测深度神经网络推理，完成垃圾桶满溢检测；
(8)将城市垃圾桶满溢检测结果以及采集的图像集成到城市信息模型中，通过调用信息交换模块实时更新城市三维模型，并结合WebGIS技术，在Web进行数据可视化，展示城市垃圾桶满溢状况。
(1)中垃圾桶满溢检测子网络包括：
垃圾桶检测编码器，对摄像头采集的图像进行特征提取，输出垃圾桶特征图；
垃圾桶检测解码器，对垃圾桶特征图进行上采样和特征提取，输出垃圾桶关键点热力图和垃圾桶包围框尺寸；
后处理单元，对垃圾桶关键点热力图进行关键点回归，得到垃圾桶关键点坐标位置，结合垃圾桶包围框尺寸，得到垃圾桶包围框信息。
(1)中垃圾桶满溢状况分级子网络包括：
垃圾桶分割单元，根据垃圾桶关键点热力图中的垃圾桶关键点位置以及垃圾桶包围框尺寸从摄像头采集的原始图像中分割出垃圾桶图像；
垃圾满溢状况分级编码器，对垃圾桶图像进行特征提取，得到垃圾桶满溢情况分级特征图；
全连接层，将垃圾桶满溢情况分级特征图映射到样本标记空间，输出城市垃圾桶满溢等级。
(4)具体为：
将垃圾桶满溢检测深度神经网络推理任务划分为垃圾桶检测编码器推理子任务、垃圾桶检测解码器推理子任务、后处理单元子任务、垃圾桶分割单元子任务、垃圾满溢状况分级编码器推理子任务、全连接层推理子任务。
(5)具体为：
将垃圾桶检测编码器推理子任务、垃圾桶检测解码器推理子任务、后处理单元子任务分配至球型摄像机；
随机选取多个云主机实例，将垃圾桶分割单元推理子任务、垃圾满溢状况分级编码器推理子任务、全连接层推理子任务分配至云主机实例。
(6)包括：
球型摄像机中垃圾桶检测编码器、垃圾桶检测解码器、后处理单元所需参数作为对应球型摄像机的区块主体数据；
云主机实例中垃圾桶分割单元、垃圾桶满溢状况分级编码器、全连接层所需参数作为对应云主机实例的区块主体数据；
按照垃圾桶满溢检测深度神经网络推理子任务之间的任务执行顺序，将各区块连接，得到区块链私链，区块链私链的链序与任务执行顺序一致。
(7)中执行垃圾桶满溢检测深度神经网络推理具体为：
对球型摄像机采集的图像，按照推理子任务的任务执行顺序，区块链私链中的节点对其接收到的来自上一节点的数据进行解密，执行相应的推理子任务，对其要传输至下一节点的数据进行加密；区块链私链中的节点即球型摄像机、云主机实例；
区块链私链的节点对其传输至下一节点的数据进行加密并发送至下一区块节点。
该方法还包括训练垃圾桶检测子网络：
标注样本图像内垃圾桶中心点位置坐标以及垃圾桶包围框的长、宽，并通过高斯核对垃圾桶中心位置进行卷积得到垃圾桶关键点热力图作为标注热力图；将样本图像集、标注热力图、包围框的长、包围框宽作为输入训练垃圾桶检测编码器、垃圾桶检测解码器。
基于如下损失函数训练垃圾桶检测子网络：
Total Loss＝CenterLoss+δ*SizeLoss
其中，δ为权重参数，α和β是超参数，N是图像中垃圾桶的中心点数量，c为类别参数，γxyc为预测的热力图中点(x，y)的值，yxyc为标注热力图中点(x，y)的值，SPk为预测的包围框的长、宽组成的二维向量，sk为真实包围框的长、宽组成的二维向量。
本发明与现有技术相比，具有以下有益效果：
1.本发明采用深度神经网络对城市垃圾桶满溢情况进行检测，其使用大量样本，具有更好的泛化性能，提高了方法的稳定性和检测准确性。
2.本发明利用计算机视觉技术检测垃圾桶是否满溢，不仅实时性强，而且成本低、应用方便。
3.本发明设计了垃圾桶检测子网络检测垃圾桶目标，设计了垃圾桶满溢状况分级子网络检测垃圾桶满溢状况，相比于直接进行垃圾桶满溢检测，能够提高垃圾桶满溢检测精度。
4.本发明根据枪机、球机的特点，使用不同的终端进行图像采集，从一定程度上能够节约成本，同时提高检测精度。
5.本发明结合云端技术，将球机的部分计算任务分布在不同的云主机实例上执行，提高了方法的并行性。
6.本发明结合区块链技术，配置区块链私链，提高了网络参数的安全性能，而且区块链私链是动态配置的，不易被破解。对区块之间传输的数据进行加密，能够防止网络中间结果数据泄露。
附图说明
图1为本发明的神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于CIM与区块链的城市垃圾桶满溢检测方法。首先通过枪型摄像机针对垃圾桶位置进行大致的确定，并将结果图像透视变换到CIM地面中，然后球型摄像机针对垃圾桶坐标依次进行自动调焦、调距以执行垃圾桶满溢检测任务，最终得到垃圾箱满溢状况的等级分类，同时利用区块链技术，对该系统神经网络的推理过程进行数据隐私的保护。图1为本发明的神经网络结构图。下面通过具体实施例来进行说明。
实施例1：
本发明主要针对城市垃圾桶的满溢状况进行检测，从而实现对城市垃圾桶的有效管理。首先搭建垃圾桶满溢检测深度神经网络。下面对垃圾桶满溢检测深度神经网络的结构以及训练方法进行详细说明。
首先对数据进行采集，针对城市道路垃圾桶利用各个视角、视距的球型摄像头进行图像采集，其原因是球型摄像头具备焦距控制、任意角度旋转的功能，这样进行数据采集更有利于提高网络的泛化能力。
其次进行标签的制作，先对图像内的垃圾桶标注其中心点位置坐标(x,y)及包围框Bbox的长宽信息，然后通过高斯核针对垃圾桶中心位置进行卷积，得到垃圾桶中心点Heatmap与长宽。针对Heatmap每个点的位置都有(x,y,w,h)信息，x、y即点的坐标，w、h为包围框的长、宽。具体的细节，如高斯核半径的选取等，实施者可以根据实施情况自行设置调整。
然后对垃圾桶检测子网络进行训练，其训练过程如下：将摄像头采集的图像数据与垃圾桶中心点Heatmap经过归一化处理，即将图片矩阵变为[0,1]之间的浮点数，以便模型更好地收敛。然后将处理后的图像数据与标签数据送到网络中进行训练，以预测城市垃圾桶的位置信息(中心点位置x,y坐标及包围框Bbox的长和宽)。垃圾桶检测编码器是对摄像头采集的RGB图像进行特征提取，输入为归一化的RGB图像数据，输出为垃圾桶Featuremap；垃圾桶检测解码器对垃圾桶检测编码器产生的垃圾桶Feature map进行上采样与特征提取，输入为垃圾桶检测编码器产生的垃圾桶Feature map，输出为两个，一是垃圾桶的中心点Heatmap，二是包围框Bbox的长、宽。损失函数采用中心点预测损失与垃圾桶大小损失的加权和。
中心点损失的数学公式如下：
其中α和β是超参数，通过人为经验设定，N是图像中垃圾桶的中心点数量。c为类别，此系统只有一个类别即垃圾桶。γxyc为预测的Heatmap中(x，y)坐标的值，yxyc为GroundTruth Heatmap中(x，y)坐标的值。
垃圾桶大小损失的数学公式如下：
N是图像中垃圾桶数量,SPk为预测的包围框的长和宽组成的二维向量，sk为GroundTruth包围框的长和宽组成的二维向量。
总的损失函数即：
Total Loss＝CenterLoss+δ*SizeLoss
δ为权重系数，即SizeLoss的权重，优选地，取0.1。
至此，即可得到垃圾桶中心点Heatmap和垃圾桶包围框Bbox的长宽，然后利用后处理单元对其进行后处理，即找峰值点，得到具体的Bbox信息，其处理方法是公知的，这里不在赘述。至此，即可完成对垃圾桶的检测。
然后利用垃圾桶分割单元进行垃圾桶切割操作，即首先通过垃圾桶检测子网络的标签即中心点位置与长宽信息对原图像进行切割，得到垃圾桶图像，该图像可能大于1个，具体因采集的图像而定。
下一步对垃圾桶图像进行满溢状况标注，分为三级：少量、半满、满溢，并分别用数字0、1、2表示。
然后对垃圾桶满溢状况分级子网络进行训练，其训练过程如下：先将垃圾桶图像进行采样，采样到固定大小，然后进行归一化处理，即将图片矩阵变为[0,1]之间的浮点数，以便模型更好地收敛。然后将处理后的图像数据与标签数据(要进行one-hot编码)送到网络中进行训练，以预测城市垃圾桶的满溢情况。满溢情况分级编码器先对垃圾桶图像进行特征提取，输入为归一化的RGB图像数据，输出为垃圾桶满溢状况分级Feature map；全连接起到将特征映射到样本标记空间的作用，输入为满溢情况分级编码器产生的垃圾桶满溢状况分级Feature map进行Flatten操作的结果，即一维向量，输出为城市垃圾桶各个满溢等级的概率。损失函数采用交叉熵。垃圾桶满溢状况分级模块输出的值为概率，然后进行argmax操作，得到具体的等级信息。
网络的模块结构是多样化的，本发明为了兼顾垃圾桶满溢检测的速度与准确率，垃圾桶检测编码器-垃圾桶检测解码器推荐套用ResNet101或Hourglass104预训练网络来提取特征，或者使用ShuffleNet、MobileNet等轻量级网络的block设计。垃圾桶满溢状况分级编码器建议套用EfficientNet图像分类网络来提取特征，具备高效性。至此，即完成了本发明方法整个神经网络的训练。
为了实现本发明，需要构建CIM(城市信息模型)及信息交换模块和城市垃圾桶满溢检测系统的内部关系。CIM(City Information Modeling)是指以城市信息数据为基础，建立起三维城市空间模型和建筑信息的有机综合体，主要以城市道路、建筑、基础设施的GIS数据与BIM数据构成。信息交换模块是一种基于CIM的数据交换平台，主要包含三维城市空间模型和城市信息、地理信息、相机感知信息，会随着智慧城市建设进度的不断推进，实时更新其模型和信息内容。本方案采用CIM技术，可以更好地实现对城市各个道路垃圾桶的满溢检测与数据的可视化。
CIM以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型。通过CIM城市信息模型结合WebGIS技术开发城市垃圾桶满溢检测系统，展现在Web中，该系统可调用信息交换模块以展现最新的城市三维建筑模型和城市信息，并可获取相机感知信息，展示城市各个道路垃圾桶的满溢状况以及数据的可视化。
在本实施例中，CIM技术通过建筑前期建立的三维模型，实现对城市中建筑的数据化、信息化，为后续城市垃圾桶满溢检测提供地理位置信息，并结合DNN技术，实现全天候城市垃圾桶满溢检测，为环保工人提供辅助判断，加强城市环境管理。
本发明考虑到垃圾桶通常摆放在道路旁，道路旁的摄像头其检测任务较多，所以采用枪球联动的方案，从而更合理地调度摄像机的计算资源以进行垃圾桶满溢的检测。摄像头采用枪球联动型摄像机，通过宽视场角的枪机型成被监控区域的全局画面，以枪机的全局画面作为参考，通过联动的方式操控小视场的球机，输出局部细节图像，从而提高垃圾桶满溢检测的准确性。
枪型摄像机端加载训练好的垃圾桶检测子网络，对采集的图像进行垃圾桶检测子网络推理，并将输出的垃圾桶坐标信息投影到城市信息模型坐标系中。本发明中的枪型摄像机包含垃圾桶检测子网络。枪型摄像机中的垃圾桶检测子网络实现对摄像头拍摄的图像内所有垃圾桶的检测，得到Bbox及每个垃圾桶的中心点坐标，并将所有垃圾桶中心点坐标标注在拍摄图像中，然后透视变换到CIM地面上，从而为球型摄像机提供一个粗略的垃圾桶坐标。
透视变换是表示枪型摄像机拍摄的图像到CIM地面的变换关系，可通过4点求解单应性矩阵方法来算出。该求解方法需要4组坐标点，即枪型摄像机拍摄的图像中的4个角点及CIM地面中的4个角点，其求解过程是周知的，其中角点建议人为选择，以便得到更精确的结果。然后球型摄像机就可以根据透视变换到CIM地面粗略的垃圾桶中心坐标自动进行调焦、调距，以进行垃圾桶满溢的检测。
由于垃圾桶满溢检测对实时性要求不高，所以针对枪型摄像机而言，垃圾桶检测任务在设备端进行计算并将结果图像透视变换到CIM地面中，然后向球型摄像机的任务队列发送任务指令。球型摄像机在执行该指令时，根据透视变换到CIM地面粗略的垃圾桶中心坐标依次进行自动调焦、调距，并执行垃圾桶满溢检测的任务。
针对球型摄像头采集的图像采用混合推理方式，即本地+云端计算。又考虑到云端平台对隐私的保护，使用区块链私链的形式，将每一个设备或主机实例作为一个节点，并将深度神经网络作为数据及计算的区块，进行分散的推理，从而实现分布式节点、可加密、高容灾的优秀特性。
将垃圾桶满溢检测深度神经网络推理任务拆分为多个推理子任务。首先需要将本发明的网络进行模块化拆分。具体地，可以根据神经网络各模块作用进行拆分，得到8个模块，模块1为枪型摄像机设备端(采集图像的设备端)，模块2为垃圾桶检测编码器，模块3为垃圾桶检测解码器，模块4为后处理单元，模块5为垃圾桶分割单元，模块6为垃圾桶满溢状况分级编码器，模块7为全连接层，模块8为监控中心端。其中模块2、3、6、7为神经网络计算任务块。
将多个推理子任务随机分配至球型摄像机端、云端云主机实例。随机选取设备端(即球型摄像机)、云主机实例。需要说明的是，无需为模块1、8分配节点。本发明采用混合推理方式，因此，可以将设备端与云主机实例一起编号，随机选取6个节点(节点为球型摄像机、云主机实例)，将节点中推理子任务的参数作为区块主体数据，按照神经网络推理顺序生成区块链私链。
实施者应当知道，为了实现区块链范式，随机选取设备端、云主机实例时，应当拥有足够多的节点。节点的选择是随机化的，此处采用特殊的随机数种子生成机制，首先生成基于时间的UUID，然后将其转换为十进制数据，取后十位数字作为随机数的种子，根据随机数种子生成随机数序列，根据随机数序列的大小索引，选择对应索引的节点。如此可以得到多个随机选取的设备端或云主机实例。每次在新的随机选取的设备端、主机实例上进行链式推理，进一步增加被解密的难度。在此举例说明，如当前生成的UUID为fee5ce407d3911ea9e870221860e9b7e，然后转换为十进制数据-11051059306089101012977814001031，后十位数字即7814001031，将其作为随机数的种子。若后十位为0003813084，则随机数种子取3813084。根据随机数种子基于随机数生成算法生成随机数序列，在此应生成包含N个随机数的随机数序列，N为节点个数。为随机数序列中的随机数分配数值大小索引，即若该随机数在序列中数值大小排第2，则为其分配索引2，如此可以得到随机数序列对应的数值大小索引序列。选取前6个数值大小索引对应的节点，即若随机数数值大小索引序列为6、5、9、8、10、1···，依次选择索引为6、5、9、8、10、1的节点即可，如此可以得到随机选取的6个节点。
球型摄像机端、云主机实例的推理子任务参数信息作为对应摄像机端、云主机实例的区块主体数据，按照垃圾桶满溢检测深度神经网络推理子任务之间的任务执行顺序，配置动态区块链私链，区块链私链的链序与任务执行顺序一致。依次将设备端或云主机实例中对应模块的参数作为区块主体数据，如此可以得到6个区块。按照神经网络推理链序，将该6个区块连接，即可得到对应的区块链私链。该区块链私链在本次神经网络推理过程中一直存在，能够保证该神经网络推理过程中区块主体数据的安全。针对每一个推理请求，随机选取节点，生成区块链私链，因此本发明的区块链私链是动态的，进一步增强了方法的安全性能。
在选取设备端、云主机实例时，本发明提供一种优选地实施方式：将模块1-4置于设备端进行计算，模块5-7置于云主机实例进行计算。为了降低节点选择的复杂度，可以将模块1-4置于一个设备端进行计算，即在采集图像的球型摄像机端进行计算。模块5-7可以为其选择相应的云主机实例进行计算，即为模块5-7按照节点选择方法选择云主机实例即可。
在生成区块链私链后，还需要进行相应的神经网络推理。对球型摄像机采集的图像，执行垃圾桶满溢检测深度神经网络推理，完成垃圾桶满溢检测。具体的推理流程可以按照链式逻辑进行。在链式推理过程中，按照优选的实施方式，模块1-4在设备端球型摄像头端完成，即采集图像与垃圾桶检测，并传送图像数据与结果数据(Bbox)给模块5所在节点。模块5节点根据Bbox信息对图像数据进行切割，得到垃圾桶图像，再以队列的方式将垃圾桶图像传送到模块6所在节点与模块8所在节点。模块6所在节点现对数据进行采样，采样到固定大小后再归一化处理，然后推理得到垃圾桶满溢状况分级的Feature map。模块7所在节点对Feature map进行Flatten操作变为一维特征Tensor，然后进行推理，得到垃圾桶的满溢等级结果，并将结果上传到模块8所在节点。模块8所在节点是指监控中心数据服务器节点，该节点可以为城市垃圾桶满溢系统提供数据可视化及存储功能，并完成数据的传递，即网络输出分级结果后向环保工人客户端传递垃圾箱图像与满溢情况分级结果。基于上述原理，完成推理流程。
进一步地，为了保证节点到节点之间的数据传输的安全，防止数据泄露，节点到节点之间的数据传输是需要使用加密手段的，在此使用AES 128加解密算法，AES算法实现模式有多种，具体使用哪种不在本发明讨论范围。由于接收网络结果数据的节点[8]是可信的，因此节点[8]定期广播128位字节作为密钥，在此举例说明：即假设中间数据的一个字节为0b11001100，该字节称为明文，将其与128位字节密钥输入到AES加密函数中，得到密文(即加密后的数据)，当下一节点接收时，对其解密，即将密文与128位字节密钥输入到AES解密函数中，就得到了0b11001100，即复原了原来的数据。所有节点之间的数据都基于此加密解密算法进行传输。
实施者应当知道，具体何时更新密钥，即128位字节密钥的值为何值，可按情况而定，何时更新、如何更新有多种公知方法，例如定时更新、手动更新。
为了直观地呈现城市垃圾桶满溢情况，本发明结合WebGIS技术，将上述CIM城市信息模型集成到城市垃圾桶满溢检测系统中，通过调用信息交换模块实时更新城市三维模型，并在Web进行数据可视化、展示城市垃圾桶满溢状况。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于CIM与区块链的城市垃圾桶满溢检测方法，其特征在于，该方法包括：
(1)搭建垃圾桶满溢检测深度神经网络，该网络包括垃圾桶检测子网络、垃圾桶满溢状况分级子网络；
(2)枪型摄像机端加载训练好的垃圾桶检测子网络，对采集的图像进行垃圾桶检测子网络推理，并将输出的垃圾桶坐标信息透视变换到城市信息模型地面坐标系中；
(3)球型摄像机端根据城市信息模型地面坐标系中垃圾桶位置进行自动聚焦、调距并采集图像；
(4)将垃圾桶满溢检测深度神经网络推理任务拆分为多个推理子任务；
(5)将多个推理子任务随机分配至球型摄像机端、云端云主机实例；
(6)球型摄像机端、云主机实例的推理子任务参数信息作为对应摄像机端、云主机实例的区块主体数据，按照垃圾桶满溢检测深度神经网络推理子任务之间的任务执行顺序，配置动态区块链私链，区块链私链的链序与任务执行顺序一致；
(7)对球型摄像机采集的图像，执行垃圾桶满溢检测深度神经网络推理，完成垃圾桶满溢检测；
(8)将城市垃圾桶满溢检测结果以及采集的图像集成到城市信息模型中，通过调用信息交换模块实时更新城市三维模型，并结合WebGIS技术，在Web进行数据可视化，展示城市垃圾桶满溢状况。
2.如权利要求1所述的方法，其特征在于，(1)中垃圾桶满溢检测子网络包括：
垃圾桶检测编码器，对摄像头采集的图像进行特征提取，输出垃圾桶特征图；
垃圾桶检测解码器，对垃圾桶特征图进行上采样和特征提取，输出垃圾桶关键点热力图和垃圾桶包围框尺寸；
后处理单元，对垃圾桶关键点热力图进行关键点回归，得到垃圾桶关键点坐标位置，结合垃圾桶包围框尺寸，得到垃圾桶包围框信息。
3.如权利要求2所述的方法，其特征在于，(1)中垃圾桶满溢状况分级子网络包括：
垃圾桶分割单元，根据垃圾桶关键点热力图中的垃圾桶关键点位置以及垃圾桶包围框尺寸从摄像头采集的原始图像中分割出垃圾桶图像；
垃圾满溢状况分级编码器，对垃圾桶图像进行特征提取，得到垃圾桶满溢情况分级特征图；
全连接层，将垃圾桶满溢情况分级特征图映射到样本标记空间，输出城市垃圾桶满溢等级。
4.如权利要求3所述的方法，其特征在于，(4)具体为：
将垃圾桶满溢检测深度神经网络推理任务划分为垃圾桶检测编码器推理子任务、垃圾桶检测解码器推理子任务、后处理单元子任务、垃圾桶分割单元子任务、垃圾满溢状况编码器推理子任务、全连接层推理子任务。
5.如权利要求3所述的方法，其特征在于，(5)具体为：
将垃圾桶检测编码器推理子任务、垃圾桶检测解码器推理子任务、后处理单元子任务分配至球型摄像机；
随机选取多个云主机实例，将垃圾桶分割单元推理子任务、垃圾满溢状况分级编码器推理子任务、全连接层推理子任务分配至云主机实例。
6.如权利要求5所述的方法，其特征在于，(6)包括：
球型摄像机中垃圾桶检测编码器、垃圾桶检测解码器、后处理单元所需参数作为对应球型摄像机的区块主体数据；
云主机实例中垃圾桶分割单元、垃圾桶满溢状况分级编码器、全连接层所需参数作为对应云主机实例的区块主体数据；
按照垃圾桶满溢检测深度神经网络推理子任务之间的任务执行顺序，将各区块连接，得到动态区块链私链，区块链私链的链序与任务执行顺序一致。
7.如权利要求3所述的方法，其特征在于，(7)中执行垃圾桶满溢检测深度神经网络推理具体为：
对球型摄像机采集的图像，按照推理子任务的任务执行顺序，区块链私链中的节点对其接收到的来自上一节点的数据进行解密，执行相应的推理子任务，区块链私链中的节点即球型摄像机、云主机实例；
区块链私链的节点对其传输至下一节点的数据进行加密并发送至下一区块节点。
8.如权利要求1所述的方法，其特征在于，该方法还包括训练垃圾桶检测子网络：
标注样本图像内垃圾桶中心点位置坐标以及垃圾桶包围框的长、宽，并通过高斯核对垃圾桶中心位置进行卷积得到垃圾桶关键点热力图作为标注热力图；将样本图像集、标注热力图、包围框的长、包围框宽作为输入训练垃圾桶检测编码器、垃圾桶检测解码器。
9.如权利要求8所述的方法，其特征在于，基于如下损失函数训练垃圾桶检测子网络：
Total Loss＝CenterLoss+δ*SizeLoss
其中，δ为权重参数，α和β是超参数，N是图像中垃圾桶的中心点数量，c为类别参数，γxyc为预测的热力图中点(x，y)的值，yxyc为标注热力图中点(x，y)的值，SPk为预测的包围框的长、宽组成的二维向量，sk为真实包围框的长、宽组成的二维向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010450495.3A CN111611948A (zh) | 2020-05-25 | 2020-05-25 | 基于cim与区块链的城市垃圾桶满溢检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010450495.3A CN111611948A (zh) | 2020-05-25 | 2020-05-25 | 基于cim与区块链的城市垃圾桶满溢检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111611948A true CN111611948A (zh) | 2020-09-01 |
Family
ID=72202329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010450495.3A Withdrawn CN111611948A (zh) | 2020-05-25 | 2020-05-25 | 基于cim与区块链的城市垃圾桶满溢检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111611948A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883780A (zh) * | 2021-01-11 | 2021-06-01 | 天津大学 | 一种城市垃圾量实时监测方法 |
| CN112883921A (zh) * | 2021-03-22 | 2021-06-01 | 北京易华录信息技术股份有限公司 | 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法 |
| CN113450401A (zh) * | 2021-07-19 | 2021-09-28 | 北京航空航天大学杭州创新研究院 | 垃圾桶满溢度确定方法、装置、设备及垃圾桶 |
| CN113593073A (zh) * | 2021-07-30 | 2021-11-02 | 杭州新视窗信息技术有限公司 | 基于后台管理系统和巡检系统的nfc智能巡检方法 |
| CN113682686A (zh) * | 2021-08-04 | 2021-11-23 | 浙江联运知慧科技有限公司 | 自动破袋分类箱基于ai算法监控满溢报警的识别方法 |
| CN114494884A (zh) * | 2022-02-10 | 2022-05-13 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
| CN114494884B (zh) * | 2022-02-10 | 2024-06-07 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
-
2020
- 2020-05-25 CN CN202010450495.3A patent/CN111611948A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883780A (zh) * | 2021-01-11 | 2021-06-01 | 天津大学 | 一种城市垃圾量实时监测方法 |
| CN112883921A (zh) * | 2021-03-22 | 2021-06-01 | 北京易华录信息技术股份有限公司 | 一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法 |
| CN113450401A (zh) * | 2021-07-19 | 2021-09-28 | 北京航空航天大学杭州创新研究院 | 垃圾桶满溢度确定方法、装置、设备及垃圾桶 |
| CN113593073A (zh) * | 2021-07-30 | 2021-11-02 | 杭州新视窗信息技术有限公司 | 基于后台管理系统和巡检系统的nfc智能巡检方法 |
| CN113593073B (zh) * | 2021-07-30 | 2023-08-15 | 杭州新视窗信息技术有限公司 | 基于后台管理系统和巡检系统的nfc智能巡检方法 |
| CN113682686A (zh) * | 2021-08-04 | 2021-11-23 | 浙江联运知慧科技有限公司 | 自动破袋分类箱基于ai算法监控满溢报警的识别方法 |
| CN113682686B (zh) * | 2021-08-04 | 2022-07-15 | 浙江联运知慧科技有限公司 | 自动破袋分类箱基于ai算法监控满溢报警的识别方法 |
| CN114494884A (zh) * | 2022-02-10 | 2022-05-13 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
| CN114494884B (zh) * | 2022-02-10 | 2024-06-07 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111611948A (zh) | 基于cim与区块链的城市垃圾桶满溢检测方法 | |
| US11869192B2 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
| CN109255743A (zh) | 养护综合管理系统 | |
| CN112115198A (zh) | 一种城市遥感智能服务平台 | |
| US11830103B2 (en) | Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data | |
| CN111611949A (zh) | 基于cim与区块链的智慧城市水域垃圾密度检测方法 | |
| Meng et al. | Automatic classification of rural building characteristics using deep learning methods on oblique photography | |
| CN111563433A (zh) | 基于区块链的智慧工地漫水监测系统 | |
| CN116595121B (zh) | 一种基于遥感技术数据显示监测系统 | |
| CN115375868B (zh) | 地图显示和遥感地图显示方法、计算设备以及存储介质 | |
| CN112528508A (zh) | 电磁可视化方法和装置 | |
| CN111627103A (zh) | 基于行人活动和密度感知的智慧城市cim成像方法 | |
| CN116343103A (zh) | 一种基于三维gis场景与视频融合的自然资源监管方法 | |
| CN116153140A (zh) | 一种流域应急无人机管理方法及平台 | |
| Li et al. | Pillar‐based 3D object detection from point cloud with multiattention mechanism | |
| CN111553269A (zh) | 基于区块链的智慧工地车辆堵塞监测系统 | |
| Krawczyk et al. | Tryton supercomputer capabilities for analysis of massive data streams | |
| CN115713603A (zh) | 基于建筑空间图谱的多类型街区建筑群形态智能生成方法 | |
| Bortoloti et al. | An annotated image database of building facades categorized into land uses for object detection using deep learning: Case study for the city of Vila Velha-ES, Brazil | |
| CN111612894B (zh) | 基于航拍图像与cim的植被模型辅助生成方法与系统 | |
| de Vries et al. | The theory versus the reality of alignment between e-Gov and SDI in Pakistan | |
| CN114419338A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| KR20210076844A (ko) | 하천공간정보를 활용한 친수 및 치수 시설의 증강현실 표출방법 | |
| CN111553270A (zh) | 基于区块链的智慧工地水泥袋堆积监测系统 | |
| CN112954269B (zh) | 一种用于大规模视觉计算系统的节点协同选择方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200901 |
|
| WW01 | Invention patent application withdrawn after publication |