CN112766795B - 一种基于云端处理的管廊智能信息管理方法及系统 - Google Patents
一种基于云端处理的管廊智能信息管理方法及系统 Download PDFInfo
- Publication number
- CN112766795B CN112766795B CN202110130577.4A CN202110130577A CN112766795B CN 112766795 B CN112766795 B CN 112766795B CN 202110130577 A CN202110130577 A CN 202110130577A CN 112766795 B CN112766795 B CN 112766795B
- Authority
- CN
- China
- Prior art keywords
- pipe gallery
- neural network
- network model
- attribute
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000007726 management method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 238000004458 analytical method Methods 0.000 claims abstract description 65
- 238000003062 neural network model Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 32
- 239000000779 smoke Substances 0.000 claims abstract description 19
- 238000012423 maintenance Methods 0.000 claims abstract description 13
- 238000012986 modification Methods 0.000 claims abstract description 8
- 230000004048 modification Effects 0.000 claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims description 44
- 238000012216 screening Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 20
- 230000035807 sensation Effects 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 20
- 238000013403 standard screening design Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012351 Integrated analysis Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000002737 fuel gas Substances 0.000 description 1
- -1 heat supply Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于云端处理的管廊智能信息管理方法及系统,所述方法包括:获取异常检测与属性分析数据集;训练管廊异常检测深度神经网络模型;训练管廊属性分析深度神经网络模型;获取传感器组传来的烟感,温度,视觉,湿度等信息;对视觉信息,使用深度网络分类器对新获取的待识别的图像进行异常检测;对视觉信息,使用深度网络检测器对新获取的待处理的图像进行属性分析;对所有传感信息以及视觉处理信息在三维BIM模型的基础上进行属性集修改。本发明能有效对管廊进行实时监测分析,可以提高管廊维护运营效率,节约人力资源成本。
Description
技术领域
本发明属于计算机数字图像处理与模式识别技术领域,特别涉及一种基于云端处理的管廊智能信息管理方法及系统。
背景技术
综合管廊(也称“共同沟”或“共同管道”)就是地下城市管道综合走廊,即在城市地下建造一个隧道空间,将电力、通信、燃气、供热、给排水等各种工程管线集于一体,设有专门的检修口、吊装口和监测系统,实施统一规划、统一设计、统一建设和管理,是保障城市运行的重要基础设施和“生命线”。管廊的建设意义重大,其在日常的管廊维护养护中,主要依赖于人工巡视或机器人巡视人工观察监控视频分析判断。当城市管廊建设达到一定规模以后,依赖于人工的检查方式从效率、成本上都备受局限。综上,管廊巡检效率提高的需求迫不及待。
目前随着大数据技术的成熟,出现了利用云端数据库来进行业务信息的采集整理与展示的技术,但是这些技术的信息来源几乎都依赖于人工导入,同时欠缺智能化分析,只是单纯作为一个信息管理的平台。
发明内容
本发明的目的在于提供一种基于云端处理的管廊智能信息管理方法及系统,以解决上述存在的一个或多个技术问题。本发明的管廊智能信息管理方法,在机器人巡逻过程中,能够对管廊各传感器组传来的信息进行实时处理并实现大数据管理。
为达到上述目的,本发明采用以下技术方案:
本发明的一种基于云端处理的管廊智能信息管理方法,包括以下步骤:
步骤1,获取管廊正常及异常学习样本集,标注管廊属性学习样本集;
步骤2,使用步骤1获得的管廊正常及异常学习样本集对预构建的第一深度神经网络模型进行训练,获得训练好的管廊异常检测深度神经网络模型;使用步骤1获得的管廊属性学习样本集对预构建的第二深度神经网络模型进行训练,获得训练好的管廊属性分析深度神经网络模型;
步骤3,通过传感器组获取管廊的烟感、温度、视觉、湿度信息;基于获取的视觉信息,使用步骤2训练好的管廊异常检测深度神经网络模型对待识别的图像进行异常检测,获得异常检测结果;基于获取的视觉信息,使用步骤2训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析,获得属性分析结果;
步骤4,基于步骤3获得的信息和结果,在三维BIM模型的基础上进行属性集修改。
本发明的进一步改进在于,步骤1中,所述管廊正常及异常学习样本集包括:正样本和负样本;其中,正样本包括待检测的管廊异常目标,负样本包括管廊正常图像;
所述管廊属性学习样本集包括用labelImg标注的xml后缀标签文件。
本发明的进一步改进在于,步骤2中,所述第一深度神经网络模型为Resnet、Densenet、VGG或Alexnet;所述第二深度神经网络模型为YOLO、Fast-RCNN、Faster-RCNN或SSD。
本发明的进一步改进在于,步骤2中,所述第一深度神经网络模型为Resnet;所述第二深度神经网络模型为SSD。
本发明的进一步改进在于,步骤2中,对第一深度神经网络模型进行训练时包括:对样本进行过采样并增加仿射变换平衡样本类别间频数,对训练图像进行随机平移与旋转变换,模拟摄像头抖动情况;对第二深度神经网络模型进行训练时包括:将学习样本集转化为VOC标准数据集格式。
本发明的进一步改进在于,步骤3中,进行异常检测的步骤包括:
(1)对于输入视觉信息进行画面增强处理,用于减小弱光源情况干扰;
(2)使用训练好的管廊异常检测深度神经网络模型对待识别的图像进异常检测,获得异常检测结果;
(3)使用异常阈值对异常检测结果进行筛选,用于消除模糊样本干扰,获得筛选结果;
(4)对筛选结果进行时域因素限制,用于减小摄像头抖动干扰。
本发明的进一步改进在于,步骤3中,进行属性分析的步骤包括:
1)对于输入视觉信息进行画面增强处理,用于减小弱光源情况干扰;
2)使用训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析检测,获得属性检测结果;
3)使用置信阈值对属性检测结果进行筛选,用于消除模糊目标干扰,获得筛选结果;
4)基于筛选结果,使用支架作为背景地标性物体进行管道定位,获得定位结果;其中,定位分割线能够随着摄像头的移动自适应调整;
5)对定位结果进行时域因素限制,用于减小摄像头抖动干扰,弱化错误检测结果影响。
本发明的进一步改进在于,还包括:步骤5,基于步骤3获得的信息和结果进行大数据统计,用于为日常运维提供参考。
本发明的进一步改进在于,步骤5具体包括:基于步骤3获得的信息和结果进行大数据统计,利用大数据技术保存预定时间段内管廊运行状态数据,根据需要显示管廊运行状态变化;其中,所述管廊运行状态变化包括:预定时间段内管道温度、湿度变化曲线;预定时间段内各层支架上管道数量变化曲线;管廊异常情况出现的位置与类型统计结果。
本发明的一种基于云端处理的管廊智能信息管理系统,包括:
样本获取模块,用于获取管廊正常及异常学习样本集,标注管廊属性学习样本集;
模型获取模块,用于使用获得的管廊正常及异常学习样本集对预构建的第一深度神经网络模型进行训练,获得训练好的管廊异常检测深度神经网络模型;使用获得的管廊属性学习样本集对预构建的第二深度神经网络模型进行训练,获得训练好的管廊属性分析深度神经网络模型;
异常检测和属性分析模块,用于通过传感器组获取管廊的烟感、温度、视觉、湿度信息;基于获取的视觉信息,使用训练好的管廊异常检测深度神经网络模型对待识别的图像进行异常检测,获得异常检测结果;基于获取的视觉信息,使用训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析,获得属性分析结果;
属性集修改模块,用于基于异常检测和属性分析模块获得的信息和结果,在三维BIM模型的基础上进行属性集修改。
与现有技术相比,本发明具有以下有益效果:
本发明提出了一种基于云端处理的管廊智能信息管理方法,通过巡逻机器人在线采集各种类型现场视频,将视频处理成图片,组成管廊异常检测与属性分析样本集;基于样本训练学习生成深度学习网络模型;采用深度神经网络模型对新获取、待识别的图像进行异常情况检测以及属性分析;结合温度、烟感、湿度传感器自动化修改BIM模型属性集并自动保存数据进行大数据分析。本发明能有效对管廊各种信息进行集成分析管理,可快速地进行管廊日常运营维护,加强城市地下空间利用效率。综上,本发明结合AI(人工智能)分析技术以及数据库管理技术,提出一种新的基于云端处理的管廊智能信息管理方法及系统用于管廊各种信息的集成分析,具有的优点包括:1.业务信息实现自动化采集,通过对巡检机器人采集到的管廊视频进行分析,自动采集报警信息以及管线属性信息,不需要人工参与。2.对历史数据自动分析,一般信息管理平台只能展示历史业务数据,我们可以在历史数据的基础上自动分析预测,为运维人员提供决策指导。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面对实施例或现有技术描述中所需要使用的附图做简单的介绍;显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于云端处理的管廊智能信息管理方法的流程示意图;
图2是本发明实施例中,用于深度神经网络异常检测训练的样本集示意图;其中,图2中的(a)为管廊左侧正样本示意图,图2中的(b)为管廊左侧负样本示意图;
图3是本发明实施例中,用于深度神经网络属性分析训练的样本集示意图;其中,图3中的(a)为管廊左上侧样本示意图,图3中的(b)为管廊右侧样本示意图,图3中的(c)为图片及其同名标注文件示意图;
图4是本发明实施例中,管廊图像取景方式示意图;
图5是本发明实施例中,异常检测结果示意图;
图6是本发明实施例中,属性分析结果示意图;
图7是本发明实施例中,三维展示系统示意图;
图8是本发明实施例中,属性分析日志示意图;
图9是本发明实施例中,管道属性变化示意图。
具体实施方式
为使本发明实施例的目的、技术效果及技术方案更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述;显然,所描述的实施例是本发明一部分实施例。基于本发明公开的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例,都应属于本发明保护的范围。
请参阅图1,本发明实施例的一种基于云端处理的管廊智能信息管理方法,包括以下步骤:
步骤1:获取异常检测与属性分析数据集;
步骤2:训练管廊异常检测深度神经网络模型;
步骤3:训练管廊属性分析深度神经网络模型;
步骤4:获取传感器组传来的烟感、温度、视觉、湿度等信息;
步骤5:对步骤4获取的视觉信息,使用步骤2获得的深度网络模型对新获取的待识别的图像进行异常检测;
步骤6:对步骤4获取的视觉信息,使用步骤3获得的深度网络模型对新获取的待处理的图像进行属性分析;
步骤7:对步骤4,步骤5与步骤6的结果在三维BIM模型的基础上进行属性集修改;
步骤8:对步骤4,步骤5与步骤6的结果进行大数据统计,为日常运维提供参考。
本发明实施例中,步骤1中获取异常检测与属性分析数据集包括:
1.1)管廊正常及异常图像学习样本集为resnet神经网络学习样本集:用于训练resnet深度神经网络分类器,包括正样本和负样本;正样本包含待检测的管廊异常目标,负样本为管廊正常图像。
1.2)标注管廊属性学习样本集为SSD神经网络学习样本集:用于训练SSD深度神经网络目标检测器,包括用labelImg标注的xml后缀标签文件。
本发明实施例中,步骤2中采用深度神经网络作为基础网络,可选网络有:Resnet、Densenet、VGG、Alexnet。对样本进行过采样并增加仿射变换平衡样本类别间频数,对训练图像进行随机平移与旋转变换,模拟摄像头抖动情况,增加网络泛化性能。
本发明实施例中,步骤3采用深度神经网络作为基础网络,可选网络有:YOLO,Fast-RCNN,Faster-RCNN,SSD。将学习样本集转化为VOC标准数据集格式,增加样本可推广性,提高模型训练效率。
本发明实施例中,步骤4中获取管廊传感器组传来的各种传感信息,包括烟感,温度,视觉,湿度。其中烟感用于防止火灾;温度指管道红外热力图,避免管道温度过高自燃;视觉信息用于异常检测与属性识别;湿度信息方便进行管道维护,避免老化或渗漏。
本发明实施例中,步骤5采用深度神经网络对视觉信息进行异常检测。步骤如下:
5.1)对于输入视觉信息进行画面增强处理,减小弱光源情况干扰;
5.2)使用训练好的网络模型对新获取的待识别的图像进行异常检测;
5.3)使用异常阈值对异常检测结果进行筛选,消除模糊样本干扰;
5.4)对筛选结果进行时域因素限制,减小摄像头抖动干扰。
本发明实施例中,步骤6采用深度神经网络对新获取的待识别的图像进行属性分析,步骤如下:
6.1)对于输入视觉信息进行画面增强处理,减小弱光源情况干扰;
6.2)使用训练好的网络模型对新获取的待识别的图像进行属性检测;
6.3)使用置信阈值对属性检测结果进行筛选,消除模糊目标干扰;
6.4)使用支架作为背景地标性物体进行管道定位,定位分割线可以随着摄像头的移动自适应调整。
6.5)对定位结果进行时域因素限制,减小摄像头抖动干扰,弱化错误检测结果影响。
本发明实施例中,步骤7采用三维BIM作为基础展示模型,并根据烟感,温度,湿度信息以及视觉处理结果进行属性集修改,实时显示管廊运行状态。
本发明实施例中,步骤8利用大数据技术保存一定时间段内管廊运行状态数据,并能根据需要显示管廊运行状态变化,包括:
8.1)一段时间内管道温度,湿度变化曲线;
8.2)一段时间内各层支架上管道数量变化曲线;
8.3)管廊异常情况出现的位置与类型统计结果。
本发明实施例的方法是一种基于云端处理的管廊智能信息管理方法,通过巡逻机器人在线采集各种类型现场视频,将视频处理成图片,组成管廊异常检测与属性分析样本集;基于样本训练学习生成深度学习网络模型;采用深度神经网络模型对新获取、待识别的图像进行异常情况检测以及属性分析;结合温度,烟感,湿度传感器自动化修改BIM模型属性集并自动保存数据进行大数据分析。本发明能有效对管廊各种信息进行集成分析管理,可快速地进行管廊日常运营维护,加强城市地下空间利用效率。
本发明实施例的一种基于云端处理的管廊智能信息管理系统,包括:
样本获取模块,用于获取管廊正常及异常学习样本集,标注管廊属性学习样本集;
模型获取模块,用于使用获得的管廊正常及异常学习样本集对预构建的第一深度神经网络模型进行训练,获得训练好的管廊异常检测深度神经网络模型;使用获得的管廊属性学习样本集对预构建的第二深度神经网络模型进行训练,获得训练好的管廊属性分析深度神经网络模型;
异常检测和属性分析模块,用于通过传感器组获取管廊的烟感、温度、视觉、湿度信息;基于获取的视觉信息,使用训练好的管廊异常检测深度神经网络模型对待识别的图像进行异常检测,获得异常检测结果;基于获取的视觉信息,使用训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析,获得属性分析结果;
属性集修改模块,用于基于异常检测和属性分析模块获得的信息和结果,在三维BIM模型的基础上进行属性集修改。
具体实施例1
随着技术的发展,现在出现了一种通过机器人巡视+AI(人工智能)分析技术实现综合管廊的自动化监控的模式。通过机器人采集管廊视频,AI算法识别分析,实现对视界内的管廊不规范铺设以及异常状态的检测。结合定位坐标和报警记录,实现管廊维护管廊的高效赋能,在很大程度上解决“人工肉眼识别+个人经验判断”的不及时,不系统化,不全面化及人工易疲劳,易失误等问题。深度神经网络在图像分类领域已经取得很大的进展,本发明可以采用多种深度神经网络进行异常检测,其中有:Resnet、Densenet、VGG、Alexnet。经过多次实验测试,Resnet在速度与准确性之间取得了比较的权衡。本发明在采用Resnet深度神经网络的时候取得了最好的效果,但并不局限于Resnet深度神经网络。深度神经网络在图像目标检测领域也已经取得很大的进展,本发明可以采用多种深度神经网络进行视频分析,其中有:YOLO,Fast-RCNN,Faster-RCNN,SSD。经过多次实验测试,SSD在速度与准确性之间取得了比较的权衡。本发明在采用SSD深度神经网络的时候取得了最好的效果,但并不局限于SSD深度神经网络。建筑信息模型(Building Information Modeling)是以建筑工程项目的各项相关信息数据作为模型的基础,进行建筑模型的建立,通过数字信息仿真模拟建筑物所具有的真实信息。它具有信息完备性、信息关联性、信息一致性、可视化、协调性、模拟性、优化性和可出图性八大特点。本发明在BIM管廊模型的基础上实现属性集修改自动化,可以实现BIM模型的实时修改。
请参阅图1,本发明实施例的一种管廊智能信息管理方法的方法,包括以下步骤:
步骤1,获取异常检测与属性分析数据集:
本发明实例以管廊正负样本集与管廊属性标注样本集为深度神经网络学习分类及检测样本集,用于训练深度神经网络分类器及深度神经网络目标检测器。具体通过安装于管廊顶部跑道上的巡逻机器人采集若干管廊实地视频,形成管廊正常及异常学习样本集与管廊属性标注样本集。
1)深度神经网络学习分类样本集包括正样本和负样本,正样本数据量为11486,负样本为31955,正样本中必须包含待检测的管廊异常目标,负样本中包含各种正常类型,图2是部分深度神经网络学习分类样本集。
2)深度神经网络学习检测样本集包括电缆与光缆目标及位置,样本数据量为1312,图3是部分深度神经网络学习检测样本集。样本中必须包含待检测的管廊目标,以及属性以及坐标位置。
步骤2:训练管廊异常检测深度神经网络模型;;
本发明实例通过深度神经网络学习分类样本集,通过不断减少真实标签与预测标签之间的误差使网络的预测结果与真实结果相近,采用深度学习算法训练一个深度神经网络分类器。步骤是:
1)对数据集进行仿射变换,将所有样本过采样至7000张,解决类别间频次失衡问题,
2)对数据集进行随机平移,模拟摄像头抖动,减小抖动影响,增加网络泛化性。
3)用深度神经网络进行训练10个epoch,生成深度神经网络分类器,在10个epoch中挑选一个性能最好的模型保存下来。
步骤3:训练管廊属性分析深度神经网络模型;
本发明实例通过深度神经网络学习样本集,通过不断减少真实属性与预测属性之间的误差使网络的预测结果与真实结果相近,采用深度学习算法训练一个深度神经网络目标检测器。步骤是:
1)将数据集转化为VOC标准数据集格式,以便计算机进行读取,
2)用深度神经网络进行训练200000次,生成深度神经网络目标检测器,每隔500次进行模型测试挑选一个性能最好的模型保存下来。
步骤4:获取传感器组传来的烟感,温度,视觉,湿度等信息;
本实例通过传感器组获取管廊传感器组传来的各种传感信息,包括烟感,温度,视觉,湿度。其中烟感用于防止火灾;温度指管道红外热力图,避免管道温度过高自燃;视觉信息用于异常检测与属性识别;湿度信息方便进行管道维护,避免管道老化或渗漏。
步骤5:采用训练好的深度神经网络分类器对新获取的待识别的图像进行异常检测;
本实例采用多尺度分析机制对管廊正常与异常情况进行分析,步骤是:
1)对视野内管廊图像进行切割,如图4,分别代表管廊左右以及中间,顶部的情况;每个框都可以由两个点的坐标唯一确定:左上角和右下角。以图像左上角为原点,以水平方向为x轴,以垂直方向为y轴建立坐标系,则四个框的位置可以表示为:
左边矩形框:(80,150),(680,1070),中间矩阵框:(800,700),(1100,1080),右边矩阵框:(1100,150),(1800,950),顶部矩形框:(690,40),(1090,320);
2)对于裁剪图像进行画面增强处理,减小弱光源情况干扰;
3)使用训练好的网络模型对新获取的待识别的图像进行异常检测;
4)使用异常阈值对异常检测结果进行筛选,消除模糊样本干扰;
5)对筛选结果进行时域因素限制,减小摄像头抖动干扰。
步骤6:采用训练好的深度神经网络检测器对新获取的待识别的图像进行属性分析;
本发明实例采用多尺度分析机制对管廊各种属性位置进行检测分析,步骤是:
1)对视野内管廊图像进行切割,如图4,分别代表管廊左右情况;每个框都可以由两个点的坐标唯一确定:左上角和右下角。以图像左上角为原点,以水平方向为x轴,以垂直方向为y轴建立坐标系,则两个框的位置可以表示为:
左边矩形框:(80,150),(680,1070),右边矩阵框:(1100,150),(1800,950);
2)对于裁剪图像进行画面增强处理,减小弱光源情况干扰;
3)使用训练好的网络模型对新获取的待识别的图像进行属性检测;
4)使用置信阈值对属性检测结果进行筛选,消除模糊目标干扰;
5)使用支架作为背景地标性物体进行管道定位,定位分割线可以随着摄像头的移动自适应调整。
6)对定位结果进行时域因素限制,减小摄像头抖动干扰,弱化错误检测结果影响。
步骤7:综合各传感器组信息以及视觉处理结果在三维BIM模型的基础上,如图7,进行属性集修改并进行实时显示;
步骤8:利用大数据技术保存一定时间段内管廊运行状态数据,如图8,并能根据需要显示管廊运行状态变化,包括:
1)一段时间内管道温度,湿度变化曲线;
2)一段时间内各层支架上管道数量变化曲线如图9;
3)管廊异常情况出现的位置与类型统计结果。
请参阅图5和图6,实验结果表明,通过本技术方案,可以对复杂背景下,随机出现的管廊异常情况作出精确的分析,达到大于25帧每秒的检测速度,大于95%的准确率(正确分类数量/总的图像数量);并且可以输出每一层支架上的管道数量以及类别,达到大于20帧每秒的检测速度,大于91%的准确率;同时与其他烟感,温度,湿度传感信息结合,通过三维模型进行展示,并通过大数据技术进行结果分析与统计。相比现有方法,本发明不但具有较高的识别精确率,同时可以对管廊情况实时捕获分析,实现了管廊信息的实时智能化信息管理。
本发明跳出了传统的管廊信息分析管理办法,能够在运行中实时捕获分析管廊情况,提出一种全新的基于深度神经网络模型及大数据分析以及三维建模的实时智能信息管理方法。可以在巡逻机器人行驶过程中实时监测并分析,可以提高管廊维护运营效率,节约人力分析成本。
综上,本发明公开了一种管廊智能信息管理方法,包括:获取异常检测与属性分析数据集;训练管廊异常检测深度神经网络模型;训练管廊属性分析深度神经网络模型;获取传感器组传来的烟感,温度,视觉,湿度等信息;对视觉信息,使用深度网络分类器对新获取的待识别的图像进行异常检测;对视觉信息,使用深度网络检测器对新获取的待处理的图像进行属性分析;对所有传感信息以及视觉处理信息在三维BIM模型的基础上进行属性集修改;对所有传感信息以及视觉处理信息进行大数据统计,为日常运维提供参考建议。本发明能有效对管廊进行实时监测分析,可以提高管廊维护运营效率,节约人力资源成本。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。
Claims (3)
1.一种基于云端处理的管廊智能信息管理方法,其特征在于,包括以下步骤:
步骤1,获取管廊正常及异常学习样本集,标注管廊属性学习样本集;
步骤2,使用步骤1获得的管廊正常及异常学习样本集对预构建的第一深度神经网络模型进行训练,获得训练好的管廊异常检测深度神经网络模型;使用步骤1获得的管廊属性学习样本集对预构建的第二深度神经网络模型进行训练,获得训练好的管廊属性分析深度神经网络模型;
步骤3,通过传感器组获取管廊的烟感、温度、视觉、湿度信息;基于获取的视觉信息,使用步骤2训练好的管廊异常检测深度神经网络模型对待识别的图像进行异常检测,获得异常检测结果;基于获取的视觉信息,使用步骤2训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析,获得属性分析结果;
步骤4,基于步骤3获得的信息和结果,在三维BIM模型的基础上进行属性集修改;
步骤5,基于步骤3获得的信息和结果进行大数据统计,用于为日常运维提供参考;
其中,
步骤1中,所述管廊正常及异常学习样本集包括:正样本和负样本;其中,正样本包括待检测的管廊异常目标,负样本包括管廊正常图像;所述管廊属性学习样本集包括用labelImg标注的xml后缀标签文件;
步骤2中,所述第一深度神经网络模型为Resnet;所述第二深度神经网络模型为SSD;
步骤2中,对第一深度神经网络模型进行训练时包括:对样本进行过采样并增加仿射变换平衡样本类别间频数,对训练图像进行随机平移与旋转变换,模拟摄像头抖动情况;对第二深度神经网络模型进行训练时包括:将学习样本集转化为VOC标准数据集格式;
步骤3中,进行异常检测的步骤包括:
(1)对于输入视觉信息进行画面增强处理,用于减小弱光源情况干扰;
(2)使用训练好的管廊异常检测深度神经网络模型对待识别的图像进异常检测,获得异常检测结果;
(3)使用异常阈值对异常检测结果进行筛选,用于消除模糊样本干扰,获得筛选结果;
(4)对筛选结果进行时域因素限制,用于减小摄像头抖动干扰;
步骤3中,进行属性分析的步骤包括:
1)对于输入视觉信息进行画面增强处理,用于减小弱光源情况干扰;
2)使用训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析检测,获得属性检测结果;
3)使用置信阈值对属性检测结果进行筛选,用于消除模糊目标干扰,获得筛选结果;
4)基于筛选结果,使用支架作为背景地标性物体进行管道定位,获得定位结果;其中,定位分割线能够随着摄像头的移动自适应调整;
5)对定位结果进行时域因素限制,用于减小摄像头抖动干扰,弱化错误检测结果影响。
2.根据权利要求1所述的一种基于云端处理的管廊智能信息管理方法,其特征在于,步骤5具体包括:基于步骤3获得的信息和结果进行大数据统计,利用大数据技术保存预定时间段内管廊运行状态数据,根据需要显示管廊运行状态变化;其中,所述管廊运行状态变化包括:预定时间段内管道温度、湿度变化曲线;预定时间段内各层支架上管道数量变化曲线;管廊异常情况出现的位置与类型统计结果。
3.一种基于云端处理的管廊智能信息管理系统,其特征在于,包括:
样本获取模块,用于获取管廊正常及异常学习样本集,标注管廊属性学习样本集;
模型获取模块,用于使用获得的管廊正常及异常学习样本集对预构建的第一深度神经网络模型进行训练,获得训练好的管廊异常检测深度神经网络模型;使用获得的管廊属性学习样本集对预构建的第二深度神经网络模型进行训练,获得训练好的管廊属性分析深度神经网络模型;
异常检测和属性分析模块,用于通过传感器组获取管廊的烟感、温度、视觉、湿度信息;基于获取的视觉信息,使用训练好的管廊异常检测深度神经网络模型对待识别的图像进行异常检测,获得异常检测结果;基于获取的视觉信息,使用训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析,获得属性分析结果;
属性集修改模块,用于基于异常检测和属性分析模块获得的信息和结果,在三维BIM模型的基础上进行属性集修改;
其中,
所述管廊正常及异常学习样本集包括:正样本和负样本;其中,正样本包括待检测的管廊异常目标,负样本包括管廊正常图像;所述管廊属性学习样本集包括用labelImg标注的xml后缀标签文件;
所述第一深度神经网络模型为Resnet、Densenet、VGG或Alexnet;所述第二深度神经网络模型为YOLO、Fast-RCNN、Faster-RCNN或SSD;
对第一深度神经网络模型进行训练时包括:对样本进行过采样并增加仿射变换平衡样本类别间频数,对训练图像进行随机平移与旋转变换,模拟摄像头抖动情况;对第二深度神经网络模型进行训练时包括:将学习样本集转化为VOC标准数据集格式;
进行异常检测的步骤包括:
(1)对于输入视觉信息进行画面增强处理,用于减小弱光源情况干扰;
(2)使用训练好的管廊异常检测深度神经网络模型对待识别的图像进异常检测,获得异常检测结果;
(3)使用异常阈值对异常检测结果进行筛选,用于消除模糊样本干扰,获得筛选结果;
(4)对筛选结果进行时域因素限制,用于减小摄像头抖动干扰;
进行属性分析的步骤包括:
1)对于输入视觉信息进行画面增强处理,用于减小弱光源情况干扰;
2)使用训练好的管廊属性分析深度神经网络模型对待识别的图像进行属性分析检测,获得属性检测结果;
3)使用置信阈值对属性检测结果进行筛选,用于消除模糊目标干扰,获得筛选结果;
4)基于筛选结果,使用支架作为背景地标性物体进行管道定位,获得定位结果;其中,定位分割线能够随着摄像头的移动自适应调整;
5)对定位结果进行时域因素限制,用于减小摄像头抖动干扰,弱化错误检测结果影响。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130577.4A CN112766795B (zh) | 2021-01-29 | 2021-01-29 | 一种基于云端处理的管廊智能信息管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130577.4A CN112766795B (zh) | 2021-01-29 | 2021-01-29 | 一种基于云端处理的管廊智能信息管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112766795A CN112766795A (zh) | 2021-05-07 |
CN112766795B true CN112766795B (zh) | 2024-05-07 |
Family
ID=75704084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110130577.4A Active CN112766795B (zh) | 2021-01-29 | 2021-01-29 | 一种基于云端处理的管廊智能信息管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112766795B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469937A (zh) * | 2021-05-25 | 2021-10-01 | 长兴云尚科技有限公司 | 基于管廊视频和二维码检测的管廊异常位置定位方法及系统 |
CN113469938B (zh) * | 2021-05-25 | 2024-02-02 | 长兴云尚科技有限公司 | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992349A (zh) * | 2019-12-11 | 2020-04-10 | 南京航空航天大学 | 一种基于深度学习的地下管道异常自动化定位与识别方法 |
CN111127452A (zh) * | 2019-12-27 | 2020-05-08 | 上海箱云物流科技有限公司 | 一种基于云端处理的集装箱智能ocr识别方法 |
CN111160838A (zh) * | 2018-11-07 | 2020-05-15 | 苏州微缔软件股份有限公司 | 一种基于bim技术的3d可视化建筑项目管理系统及方法 |
CN111209434A (zh) * | 2020-01-09 | 2020-05-29 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于多源异构数据融合的变电站设备巡检系统及方法 |
CN111462326A (zh) * | 2020-03-31 | 2020-07-28 | 武汉大学 | 低成本360度全景视频相机城市管道三维重建方法及系统 |
CN111612018A (zh) * | 2020-04-24 | 2020-09-01 | 国网河北省电力有限公司雄安新区供电公司 | 一种基于多源异构数据融合的地下管廊监测方法和系统 |
CN111783613A (zh) * | 2020-06-28 | 2020-10-16 | 北京百度网讯科技有限公司 | 异常检测方法、模型的训练方法、装置、设备及存储介质 |
-
2021
- 2021-01-29 CN CN202110130577.4A patent/CN112766795B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160838A (zh) * | 2018-11-07 | 2020-05-15 | 苏州微缔软件股份有限公司 | 一种基于bim技术的3d可视化建筑项目管理系统及方法 |
CN110992349A (zh) * | 2019-12-11 | 2020-04-10 | 南京航空航天大学 | 一种基于深度学习的地下管道异常自动化定位与识别方法 |
CN111127452A (zh) * | 2019-12-27 | 2020-05-08 | 上海箱云物流科技有限公司 | 一种基于云端处理的集装箱智能ocr识别方法 |
CN111209434A (zh) * | 2020-01-09 | 2020-05-29 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于多源异构数据融合的变电站设备巡检系统及方法 |
CN111462326A (zh) * | 2020-03-31 | 2020-07-28 | 武汉大学 | 低成本360度全景视频相机城市管道三维重建方法及系统 |
CN111612018A (zh) * | 2020-04-24 | 2020-09-01 | 国网河北省电力有限公司雄安新区供电公司 | 一种基于多源异构数据融合的地下管廊监测方法和系统 |
CN111783613A (zh) * | 2020-06-28 | 2020-10-16 | 北京百度网讯科技有限公司 | 异常检测方法、模型的训练方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112766795A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108037133B (zh) | 一种基于无人机巡检图像的电力设备缺陷智能识别方法及其系统 | |
CN115578015B (zh) | 基于物联网的污水处理全过程监管方法、系统及存储介质 | |
CN112766795B (zh) | 一种基于云端处理的管廊智能信息管理方法及系统 | |
US20190139215A1 (en) | Pipe feature identification using pipe inspection data analysis | |
CN116308185A (zh) | 一种建筑工程可视化进度录入及预警方法 | |
CN116703303A (zh) | 基于多层感知机与rbf的仓储可视化监管系统及方法 | |
CN117194919A (zh) | 一种生产数据分析系统 | |
CN113469938B (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
CN117523177A (zh) | 一种基于人工智能混合大模型的燃气管道监测系统和方法 | |
CN116797206A (zh) | 一种基于无人机的光伏电站的智能巡检方法与系统 | |
CN111913619B (zh) | 一种基于bim轻量化的消防数据读取及交互方法 | |
Edwards et al. | Digital twin development through auto-linking to manage legacy assets in nuclear power plants | |
CN115859689B (zh) | 一种全景可视化数字孪生应用的方法 | |
CN117114420A (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
CN112861681B (zh) | 一种基于云端处理的管廊视频智能分析方法及系统 | |
CN112784914B (zh) | 一种基于云端处理的管廊视频智能属性检测方法及系统 | |
CN113036917B (zh) | 一种基于机器学习的配电网监控信息监视系统和方法 | |
CN113158995A (zh) | 一种多目标跟踪检测方法、系统、设备及存储介质 | |
CN113850144A (zh) | 一种基于图像识别的视频可靠性自动巡检系统 | |
Zhang et al. | Research on Big Data Intelligent Analysis Method and Key Technologies for the Management of Main Equipment in Power Grid Transmission and Transformation Based on Digital Twin Technology | |
CN112036355A (zh) | 一种基于cim的秸秆焚烧监测方法、系统及控制设备 | |
CN113901859A (zh) | 基于嵌入式前端处理的管廊视频智能属性检测方法及系统 | |
CN118012977B (zh) | 一种基于ai与gis融合的二三维多模态数据处理方法 | |
CN116704218A (zh) | 一种电力行业目标检测方法及装置 | |
CN117823741B (zh) | 一种结合智能机器人的管网非开挖修复方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |