CN109639762B - 城市物联网信息分级处理系统及方法 - Google Patents
城市物联网信息分级处理系统及方法 Download PDFInfo
- Publication number
- CN109639762B CN109639762B CN201811319097.7A CN201811319097A CN109639762B CN 109639762 B CN109639762 B CN 109639762B CN 201811319097 A CN201811319097 A CN 201811319097A CN 109639762 B CN109639762 B CN 109639762B
- Authority
- CN
- China
- Prior art keywords
- information
- data
- decision
- level information
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0245—Filtering by information in the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于城市物联网的信息分级处理系统及方法,其信息分级处理、预测、决策及自我学习的方法,属于物联网信息处理技术领域。该系统包括感知层、数据传输层、数据过滤层、信息定义层、信息处理层、决策支撑层、网络层和基于自建数据库的决策树自我认知方法;通过数据传输层定时输出实时传感数据;决策支撑层根据信息处理层上传的信息进行分析统计,结合即时与历史信息进行比对,预测出非可由传感器实时取得的未来信息及事件走势、算出事件随主变量在未来时间点发生的机率,制定多个建议决策方案、选择优化方案执行,并搜集过程信息、结果信息,建立决策树模型,历经多次优化后系统自动学习、认知,使决策逐渐由系统自行决定。
Description
技术领域
本发明属于信息处理技术领域,涉及城市物联网信息分级处理系统及方法。
背景技术
建设智能、集约、低碳、绿色、安全的智慧区域及城市,需要实现该区域公共基础设施、专业服务设施的全面接入物联网。智慧区域及城市中的传感设备和接入设备的多样化,是当前及以后发展中物联网相对于互联网的最主要特点。如何高效、便捷地连接物联网中感知层设备,如何把不同种类的传感数据更有效融合,并计算出更准确的价值信息,使得底层采集的数据能够最大限度的满足业务应用的需求,显得尤为重要。随着智慧区域及城市的规模化推广建设,城市基础设施的信息化管理中,亟待解决物联网感知层领域遇到的诸多难点。
区域及城市基础设施的智能化,涉及到多种类型的信息。这些信息可区分为由传感设施能够取得的“可感知信息”以及“非可感知信息”。
可由传感器感知的信息大家很容易知道,如雨量、温度、水流量、水量、pH值、水体重金属含量等等。这些信息的加成、差量、变动速率等的计算信息也属于“可感知信息”。
然而城市智慧化过程,有很多施政措施或设施调控所需要的大量信息是无法单由传感器可取得者。举例而言,在暴雨时,一个区域是否在多久以后会发生内涝,没有一个传感器可以感知后告诉你。再举例说:某个交通节点在多久以后可能发生堵塞;某个公路边坡已经处于滑坡危险,预期何时会开始崩塌;某个雨水下水道出口发现水体被污染,到底在何处有污水渗入;这些信息都无法藉由单一种或少数传感器感知出来。目前的解决方案大多把异源传感器各自以网关设备上传到云端服务器,依据大数据做综合处理、产生判断与决策。其实城市发展越来越快,把所有信息都上传到云端服务器,期望它解决所有问题并不切实际。大城市的云服务器的确可以具有这种功能,但一个云服务器同时监管的城市项目太多,不一定对某小区域的问题可即时产生预测、反馈。同时由于网络带宽有限,高昂的传输成本和较高的响应延时等问题,其后果造成网路延迟越来越严重、成本剧升,且对于发生灾情时瞬息万变情况可能造成预测决策不即时的危险。传统基于云计算模型的集中式数据处理方式已不能有效处理网络边缘设备所产生的海量数据;需要有创新的解决方案。
最好局部的问题能够就地解决,才是智慧化的具体表现。如何落实在局地装设必要传感器、对多个市政设施传感器取得异源初级信息,加以交叉融合,产生异于初级信息的“非可感知信息”,供判断、决策的方法,仍然有待开展。
发明内容
有鉴于此,本发明的目的在于提供一种城市物联网信息分级处理系统及方法。
为达到上述目的,本发明提供如下技术方案:
城市物联网信息分级处理系统,包括感知层、数据传输层、数据过滤层、信息定义层、信息处理层、决策支撑层、网络层以及基于自建数据库的决策树自我认知的子系统;
所述感知层为设置于前端网点的若干传感器,所述传感器相互独立但又相互关联,针对各类设施进行数据采集,通过数据传输层定时输出传感数据或接收指令;
所述数据传输层在数据终端之间提供透明的数据传输,向上层提供数据传输服务,在给定的链路上进行分割与重组数据、按端口号寻址、连接管理、差错控制、流量控制和差错控制;
1)传感层次系统到处理器间的数据传输
设于各传感器的数据传输装置可以用有线及无线传输通讯。
如无线传输其可依数据大小及传输距离选自窄带近程(如LoRa、Zigbee、蓝牙)、窄带远程(如NB-IoT)、宽带远程(如WIFI、WIMAX、3G、4G、4G LTE、5G)以及低功率广域网之一如LoRa,Zigbee,NB-IoT,SigFox等。
该若干异源感知次系统也可以有线传输方式将取得之数据上传到网点系统,且可接收该网点系统的指令运行,亦即开始传送、定义传送速率,或停止传送以节约能源;此有线传输可选自以下之一:以太网路线、RS485及光纤宽带。
设于各传感器的数据传输装置也可以使用可见光通讯器,将感知器取得之原始数据以高频、超高频可见光方式,传输到网点系统的相应接收器。且可依据网点系统指令运行;此一感知次系统之无线传输器传输速度大于1Mbps。
设于各传感器的数据传输装置,在有必要以及条件容许时,也可以使用微波通讯或诸如北斗卫星的卫星下载或上传通讯装置。
2)运算次系统到后端服务器或应用端次系统间的信息传输
若干被本网点系统操控的城市设施驱动器,其可选自但不限于至少两个后述致动器之组合:显示器驱动器、交通信号灯时序控制驱动器、路侧警示系统驱动器、电磁阀门开关驱动器、警告相关部门人员的告警信息、发送警报给管理人员等。该网点系统可用前述之有线传输,或各种可靠无线传输向市政监控后台传输信息。
所述数据过滤层将感知层上传的传感数据过滤,过滤的过程如下:
定义原始数据:来自传感数据,作为数据过滤的输入数据;
定义干净数据:符合数据仓库或上层应用逻辑规格的数据,也是数据过滤过程的结果数据,数据过滤过程从来自各种异构源的数据中产生出干净数据,如果原始数据已经被检查出是干净数据,数据过滤过程将会保留;
定义脏数据:与干净数据相对应,脏数据即为不符合数据仓库或上层应用逻辑规格的数据,数据过滤过程识别出是脏数据后,将会丢弃;
定义清洗检查:检查数据是干净数据还是脏数据的过程,用条件函数定义;
过滤动作:过滤过程进行清洗检查后的操作,包括两种过滤动作:丢弃和保留;从各种原始数据中产生出干净数据的过程;
定义过滤规则:过滤检查后采取的进一步的动作;
所述信息定义层在接收到数据过滤层过滤的数据后,对数据进行编解码,转换成所需信息,此为一级信息;
海量传感器传感的信息种类繁多,例如温度、水流量、流速、时雨量、应力、应变、车流量、人流量、亮度、污染值COD、污染值BOD、…等等成百上千种,需要加以分类,进行初步筛选,将误差合理的有效信息筛选出来,进行分类别整理、计算,例如累加、累差、对时间微分或积分、统计、作图等,如此得到众多经分类的有效实时性二级信息;
将两种以上二级信息加以融合,产生非可由传感器感知之新信息,即为有预测功能的三级信息;预测信息(例如下大雨时局部积水高度预测)必须基于主变量(例如在积水高度预测中,主变数是雨量,雨量在未来有多种可能走势,包括当前雨量上浮20%、50%或80%,当前雨量下降30%);
上述的预测信息随着时间推移,是一个动态过程,因应城市当局决策需要,对于诸多预测信息走向,赋予一个决策阈值,其相对于不同主变数有不同数值,作为决策优化指标,最后取得一个优化的决策信息,此为四级信息;
决策下达后驱动后端的驱动器产生动作(包括继续观察、启动排水泵或启动应急措施等)会有一个结果,此一结果可能符合现况,可能与现况偏离,需要反馈到决策信息修正,因此对于四级决策信息需要评估并动态修正,此为五级信息;
经评估为正确的决策以及其效果成为六级信息,存储到自建数据库,作为机器学习、辅助预测决策的依据。
所述信息处理层包括若干处理器模块及服务器信息模块,向感知层下达数据传输指令,接收信息定义层上传的分级信息,经处理后向决策支撑层上传预测支撑信息;
所述决策支撑层根据信息处理层上传的信息进行分析统计,结合即时信息和历史信息进行比对,预测出未来短期内的信息走势,得到建议决策方案;
所述网络层为本系统提供基础的网络通信、流量均衡和安全服务,包括核心交换机、汇聚交换机、前端路由、数据库服务器、应用服务器、数据库、安全网关、防火墙和负载均衡,核心交换机与汇聚点的汇聚交换机相连,汇聚交换机与前端路由相连,前端路由与传感器通过无线信号连接,核心交换机还分别与数据库服务器、应用服务器负载均衡和防火墙连接,数据库服务器与数据库连接。
进一步,所述传感器相互独立但又相互关联具体为:
传感器采集环境数据,进行模数转换,并对数据进行预处理,然后进行特征提取,再进行融合计算,最后输出结果;
其中,融合计算包括Bayes估计法、神经网络、人工智能学习、卡尔曼滤波跟踪和聚类分析。
用于区域设施监控的传感器种类繁多,诸如风力风速传感器、雨量传感器、温度传感器、微颗粒大小及密度传感器、水流流速流量传感器、水位液面高度传感器、水质传感器、土壤地质物理性能传感器、土壤化学性能传感器、摄像头、激光雷达传感器、照度传感器、红外线传感器、分光光谱传感器、磁性传感器、污染性气体传感器、水体化学传感器、电化学传感器、声学传感器等。每一种传感器还可再细分成若干小类,因此种类繁杂、信号各异。通常以单一传感器负责某一物理量或化学量的侦测,取得数据后以适当网关上传到后端服务器(通常是云服务器),经服务器计算后取得相对于该传感器所感知的物理量,例如雨量多少毫米?水流量每分钟多少立方米?液面高度若干厘米、水体污染种类与程度等,呈现在显示屏或者手机App上。这些单一数据通常足以提供远端操控人员在显示屏上知道某时某刻该物理或化学量的数值。操控人员再根据他的经验去综合研判可能产生故障或灾情的机率或程度。
在目前已发表的物联网城市设施监控系统的先前技术中,鲜少见到将个别取自两种以上多个传感器信息加以融合,更少见的是如何将异源信息融合成具有预测及决策功能新信息的揭露。本发明提出的方法,可以在物联网点系统所在局地,将异源信息交叉融合,就地产生预测、决策以及其他非单由传感器可得到的信息,其可大幅减少人为判断产生的延迟或全将数据上传到云端处理而受网路塞车影响以致延误可能造成的误谬。
个别传感器感知的数据经过滤后以数据传输手段上传到本物联网点系统后,会被解码,产生相对于个别传感器感知的一级信息(各物理量、化学量等)。本发明更进一步揭露能将这些相关联一级信息进行有效性筛选、分类初步计算处理,成为各种有效的实时性二级信息,将两个以上二级信息交叉融合,产生有别于一级、二级信息而具有预测(未来性)、非可由传感器感知诸多的三级信息、在优化得到决策功用(操控性)的四级信息、决策下达后其效果评估是五级信息;反馈到机器学习的回路是六级信息。
(1)若干异构设备的适配和统一管理
本物联网点系统通过无线或有线传输,将相关联若干传感器构建成自己的传感网络,将信息汇聚到局地网点系统内的数据处理系统,首先是数据过滤及译码,产生个别而相关联一级信息;再由处理器将众多相关联一级信息做有效性筛选、分类初步计算,产生实时性有效的二级信息;将复数个二级信息交叉融合,产生具有预测性的三级新信息(非可由传感器感知者),以及优化所得具决策功能的四级信息,加密处理后再通过处理器内的网络传输硬件,与后台服务器或应用端的设施驱动器进行通信。换言之,本发明的处理器起到数据演算、信息融合以及中继器的多种功能。这种架构可将相关联性高的多源传感器组合成高度可信的物联网系统,大幅度降低异构环境的复杂性,使得物联网应用的开发,得以藉着在城市普遍设置的这种局地网点,组成覆盖全区域的网格,作即时信息比对、融合计算、存储、预测及决策,让市政设施运行变得更加容易、精准、无误。
(2)海量物联网设备的接入技术
传统的物联网应用中,中间件(例如网关或远程终端单元:RTU)和上层应用直接连接的方式,会使通信连接压力和业务处理压力都集中在应用系统,随着连接的硬件网关增多,上层应用的负载将逐渐增大,直到不堪负荷而停止服务。这种方式在集群部署时,存在信息丢失等一系列风险,不便于性能的横向扩展。现有技术通过物联网中间件(网关或RTU)来支持云计算模式,拟实现全面虚拟化。个别网关虽也提供信息加密技术,但这整体上仍是“若干传感器+中间件(网关或RTU)+云服务器”的模式;其虽可减轻云服务器负荷,却没有将多各相关传感器所得单一的一级信息筛选过滤,复数个信息融合计算成具有预测与决策功能的三、四级信息的能力。
本发明提出:根据拟产生之“非可感知的信息”方案,将若干相关联传感器组合在一起,利用承载在物理结构的一个数据处理系统,对取得的相关联数据解码,取得相对于个别传感器的数据,过滤译码后得到一级信,诸多一级信息初步处里得到有效的实时性有效二级信息,并融合计算,融合成具有预测功能的新信息,为三级信息(即该非可感知信息);预测路径常有多种,每一种可能路径赋予一个决策阈值,其相对于不同主变数有不同数值,作为决策优化指标,可使用诸如决策树运算法取得决策信息,亦即四级信息;最后加密传输,做成驱动指令,驱动后即时评估,评估信息为五级信息,其结果不如預期則反饋到四級修正决策,直到取得正面效果的六级信息加以存储,作为机器学习(自我学习)的数据基础,如此成为一个完整的解决方案。相对于现有案例有明显的创新性、进步性以及可实施性。
(3)相关联传感器的组合方法
如果只装设雨量计,当然随时可以监测雨量变化,这在本发明中的定义属于一级信息。但是雨量大不等于淹水,目前也没有所谓的“淹水预警仪”;虽有积水传感器,但那是已经水涝积水了才知道积水深度,即使联合雨量计跟积水传感器两者,仍无法预测几小时后积水是否将淹没整个路面或淹到一楼高。这中间起码还差了对各种排水途径进行数据传感收集、尤其从其他高处溢流过来的水量传感器;更需要处理器对未来一段时间内雨量变化做各种算法预判,得到一个诸如“雨量维持不变情况,一小时后积水将淹没路面30毫米”或者“雨量如果增加20%,40分钟后积水将淹没路面50毫米”等这种预测;这中间还有传感数据有误差或者连续不变的无效数据需要过滤筛选,经筛选的复数个有效传感数据经融合以及推估后可以产生预测性的新信息,其非可由单一一种传感器取得者,在本发明中属于三级信息。这种三级信息显然需要雨量计、诸排水系统的流量传感器、各可能溢流径流处所的流量传感器,以及路面积水传感器相互搭配,然后以处理器内建的模式运算融合、再加上对于雨量的多种预测值才能产生预测信息。对于是否积水淹水的预测而言,这些雨量计、诸流量传感器、积水传感器就是相关联传感器。
不同组合的相关联传感器组合可以纳入同一数据处理系统加以处理,并非同一数据处理系统只能容纳一组相关联传感器组合。此外,为了做到预测的准确性,有必要将同一种传感器设置在市内或园区内具有一定空间距离的不同位置,然后以物联网或互连网将数据上传到本物联网点系统处理,这是必要的。因此将相关联传感器布建在本物联网点系统附近只是一个简要描述而非限制。
表一显示几种跟“水”相关的传感器,及其个别能够侦测的一级信息;表二列举将这些传感器做成不同组合后,其所能融合生新信息的例子。
表一 与水相关传感器数据产生一级信息的说明
表二 与水相关联传感器经不同组合后其信息经融合计算后能够产生的三级信息
所述数据过滤规则包括以下方法:
缺失值比率(Missing Values Ratio):基于包含太多缺失值的数据列包含有效信息的可能性较少,将数据列缺失值大于某个阈值的列去掉;阈值越高,降维越少;
低方差滤波(Low Variance Filter):假设数据列变化非常小的列包含的信息量少,所有的数据列方差小的列被移除,方差与数据范围相关,在低方差滤波前需要对数据做归一化处理;
高相关滤波(High Correlation Filter):当两列数据变化趋势相似时,它们包含的信息也相似,使用相似列中的一列就能满足机器学习模型;数值列之间的相似性通过计算相关系数来表示,对于名词类列的相关系数通过计算皮尔逊卡方值来表示;相关系数大于某个阈值的两列只保留一列;同样要注意的是:相关系数对范围敏感,在计算之前需要对数据进行归一化处理;
随机森林/组合树(Random Forests):对目标属性产生若干巨大的树,然后根据对每个属性的统计结果找到信息量最大的特征子集;对随机森林数据属性的统计评分,得到预测能力最好的属性。
所述传感器包括雨量计、水位计、水流流量传感器、土壤含水率传感器、地面积水深度传感器、水质传感器、扭力传感器、流变应力传感器、果实含糖量传感器、图片采集器和照度传感器;
所述一级信息,即传感物理信息,为通过传感器采集到的实时数据经过滤译码后得到的物理信息;包括雨量大小、河湖水位、地下水水位、排水管网水流量、土壤含水率、地面积水深度、水质、扭力、流变应力、果实含糖量、图片和照度;
所述二级信息,即将一级信息经以误差度合理否筛选出有效信息,经初步处理、计算后的实时性信息,所谓的处理、计算可以是累加、累减、并对时间进行微分或积分、统计、作图等;
所述三级信息,即由两种或两种以上不同的二级信息经交叉融合后产生的、非可由传感器取得的新信息,其包括,但不限于:
水涝预期发生时间及未来某时间点的积水深度;
预测雨水管网的污染起点定位;
预测高度污染的排水进入河湖的预期时间;
暴雨时土壤渗水速率即该地区市海绵化程度与纳洪程度;
滑坡土方量、地点及时间;
果实成熟过程、由其含糖量随时间变化关系、预测成熟度;
所述建议决策方案包括,但不限于:
是否启动抢险机制;
撤离居民时间点;
车辆行驶引流导向;
是否启动特定排水电磁阀;
污染源排查;
排水管网排故与检修的建议;
预期采摘时间、顺序及所需人力调配。
物联网信息融合是指利用所组建若干处理器的强大计算能力,对多个传感器获得的监测数据,经过前述的过滤规则筛选、译码后产出有效的一级信息。将众多一级信息分类进行有效性筛选再初步计算得到实时性的分类有效二级信息。复数种二级信息在一定算法下加以自动分析、综合,加以融合,产生三级具有预测功能的新信息(其非可由传感器感知);从诸预测信息中再由决策树算法优化成决策信息,加密以做传输、存储或下达驱动指令,最后评估驱动结果得到五级信息。因此,本发明按照数据及信息融合的程度分为五个层级:相关联的一级信息(个别传感器数据经过滤后译码转换成个别物理量或化学量的信息)、二级信息(众多原始信息经有效性筛选、分类初步处理、计算而得的实时性信息),诸相关联复数种二级信息经一定算法处理后,产生的特征预测信息;这是本物联网点系统一开始设置的目标功能之一),四级信息则是由诸预测信息优化而得的决策信息,其经加密后者分享到特定IP或拒绝来自未知IP地址的访问或攻击,并对所管辖传感器做出操控;五级信息系决策下达以后的结果评估,如无效果或负效果则回馈到四级信息,修正决策,如有正面效果则成为六级信息,进入机器学习的回路。
因此,加密信息只是为了通信安全所设,非必要经过二级信息~六级信息的过程。
1)一级信息处理:由传感器原始数据经过滤后解码取得初级信息
将来自于感知层次系统的各种传感器监控所得数据,经有线、无线或光传输到处理器后,处理器马上依据该原始码做相应的解码,使原始数据转换成相对应的物理或化学信息,此由原始数据所得信息即为一级信息。此多数个相关联的一级信息一则加密上传到后端服务器存查,另则由处理器将各类一级信息进行分类,并进一步初步整理、计算、统计、加密,例如将时雨量的经时累积、温度变化对时间作图、分时间阶段的车流量棒状图、…等等,成为经有效性筛选、分类、计算的实时性二级信息。跟传统物联网系统相比,此经过滤处理的一级信息以及经计算的二级信息相比于直接上传的原始数据,其上传数据量可减少60~90%,甚至更高,其存储量也大幅减少,减轻后台海量数据存储压力;且二级信息经加密后才传送,大幅提升信息安全。
本发明内的多个二级信息是根据本物联网设置目的而相关联的,可就地在该物联网的局地网点系统内彼此交叉产生新信息。这与传统技艺中的若干传感器取得多个初级数据后,藉着在中继器或网关内转换成一级信息,然后上传到云服务器,再由云服务器做各种处理有根本区别。
2)二级信息处理:一级(原始)信息种类繁多,须先分类并进一步做有效性筛选、初步整理、计算、统计、加密,成为分类的实时性二级信息。
3)三级信息处理:诸多相关联的二级信息经交叉融合后产生新信息
根据本物联网设置目的组合之相关联传感器,其数据由运算次系统解码产生相关联的一级信息,经整理计算产生二级信息,并依设定的各种情境条件及相应的算法,产生目的新信息;特别是根据局部即时感测值,对于事件发生机率的预测,这是城市物联网数据的最有价值运用。
4)四级信息处理:根据诸多可能的预测条件(主变量,例如温度、雨量等)做出多种可能的事件(因变量,例如积水、水涝、交通流量、水体被污染的时间点、…等等)走向,赋予一个决策阈值,其相对于不同主变数有不同数值,作为决策优化指标,以决策树法做出优化的决策性四级信息,其可操控远端致动器的决策指令。这些三~四级信息无法由单一传感器取得,那怕是将数种不相关联的传感器取得之数据做简单匹配,也拼凑不出。因此三~四级信息跟一~二级信息完全不同;也是设置时已经预设的能力,是本发明重要创新点之一。
5)五级信息处理:决策下达以后的结果评估信息,评估结果如无效果或负效果,则回馈到四级信息,修正决策,一直到有正面效果为止,则成为六级信息。
6)六级信息处理:将决策产生正面效果的信息储存到对应该预测情境的存储区,进入机器学习的回路。
传统城市物联网鲜少揭露在传感层附近利用设置一个局地的小网点系统,取得一级信息后将之分类、做有效性筛选、初步计算得到实时性二级信息,再将多种二级信息融合计算,产生具有预测功能的诸预测性三级信息,最后优化出有决策功能的四级信息者。这是本发明最重要的特色与技术点。如何由一级、二级信息交叉推估得到三级、四级信息的目标,须依据拟取得三、四级信息种类而异,将于实施例中揭露其技术要点。熟悉这门技术的人很容易利用本发明揭露的网点系统技术,在诸传感层次系统近处设置一个网点,搭配必要的远端传感器,取得相关联的原始数据及一、二级信息,就能处理原需上传到远端云服务器才能加以处理的预测与决策之三、四级信息,这才是城市智慧化的具体表现。熟悉本行业人士能够轻易由实施例了解如何进行相关联传感器的甄别、如何由一级信息整理计算二级实时性信息,将多种二级信息交叉融合出诸预测功能的三级信息、最后优化出有决策功能的四级信息,并推演出其他相类似的信息交叉以及决策方法,其尽皆涵盖在本发明权利范围。
所述加密信息是将预测支撑信息进行加密,加密方法包括,但不限于:
对称加密:加密数据与解密数据使用相同的密钥;
非对称加密:加密数据与解密数据使用不相同的密钥,公钥公开给所有人,私钥自己保存,使用公钥加密的数据只有自己的私钥能够解开;
单项散列:又为hash算法,把任意长度的数据、字符加密后得到一个固定长度的特征码;
首先通过TCP三次握手进行连接,然后客户端发送hello包到服务端,服务端回应一个hello包,如果客户端需要再次发送数字证书,则发送数字证书到客户端;
客户端得到服务器的证书后通过CA服务验证真伪、验证证书的主体与访问的主体是否一致,验证证书是否在吊销证书列表中;如果全部通过验证则与服务器端进行加密算法的协商;
然后是用证书中服务器的公钥加密“对称密钥“发送给服务器端,“对称密钥”只能用服务器的私钥进行解密,当服务器通过私钥解密“对称密钥”后,使用对称密钥将客户端请求的数据发送到客户端,客户端在用对称密钥进行解密,从而得到想要的数据;
每一次数据的传输都使用不同的对称密钥。
所述结合历史信息进行比对,预测出未来短期内的信息走势具体为:
采用预测算法结合实时传感数据与历史信息以及赋予主变量多个走势,即可预测事件发生的机率,所述预测算法包括数据量较少时使用的决策树方法、支持矢量机、正则化方法、卡尔曼滤波预测算法和贝叶斯预测算法,数据量较多时使用的几何平均法、算术平均法、加权平均法、移动平均法、加权移动平均法、指数平滑法和线性回归法。
决策算法是一个动态过程,对于每个主变数赋予一个决策阈值,其相对于不同主变数有不同数值,作为决策优化指标,经诸如决策树的算法以及随著时间推移而明确化的主变数走向,得到决策信息和方案。
所述建议决策方案包括,但不限于下述例子:
(1)水涝好发地区的水涝预警例
在内涝好发区,一般都是排水设施不足或堵塞,以致径排水量不足,在大雨时很快就达到径排水的最大值,在这一个常见情况下,当地是否积水就单纯看净来水量,其中时雨量最重要,常可以当成一个积水深度(因变数)的主变数。当某地区未来某时间点的积水深度小于设定的最低阈值,则为低风险;当未来某时间点的积水深度达到一个设定的中等阈值,则为中等风险,系统开始密集关注计算;当未来某时间点的积水深度大于设定的一个高阈值,则为高风险;当某地的低洼区域设置能预测水涝发生机率的城市物联网节点,经其信息分级处理,做出预测未来某时间点的积水深度小于一个设定的最低阈值(例如时雨量小于10mm、阈值为20mm;时雨量50mm、阈值为10mm),此为低风险;当未来某时间点的积水深度为一个设定的中阈值(例如时雨量小于10mm、阈值为30mm;时雨量50mm、阈值为20mm),此为中等风险;当未来某时间点的积水深度大于一个高阈值(例如在时雨量小于10mm、阈值为50mm;时雨量50mm、阈值为40mm),此为高风险;
当预测到某地区水涝为低风险时,系统持续观察,不通知管理单位;
当预测到某地区水涝为中等风险时,通知管理单位、制定排水措施;
当预测到某地区水涝为高风险时,则提前在该时间前的特定时间点(例如时雨量50mm时10分钟;时雨量20mm此时间点定为半小时)发出预警信息并启动抢险准备;
(2)地下管网监管例
在装设有信息分级处理的下水道管网监控物联网节点者,根据预测的预测雨水管网的污染起点定位,制定排水管网排故与检修的建议,再结合周边雨水管网情况,预测高度污染的排水进入河湖的预期时间,制定防污预警机制;
(3)地下水监管例
在装设有信息分级处理的地下水监控物联网节点者,根据暴雨时土壤渗水速率即该地区市海绵化程度与纳洪程度,预计滑坡时间,提前该时间点半小时发出预警信息,制定人员和车辆的疏散路线;
(4)大型果园远端果实生长监控例
在装设有信息分级处理的大型果园果实生长监控物联网节点者,根据果实甜度及成熟度,预测果实的含糖量(例如10度)达到采收的预期时间,分区采收顺序的优化,以及所需人力的调配,使用人效率最佳化。
如此的例子当然无法一一列举,但这个行业的人士可由上述例子引申到其他各种应用。
进一步,所述系统还包括集中式电源供应器和分布式电源供应器;集中式电源供应器与若干个分布式电源供应器相连;
其中,集中式电源供应器功率为50~150瓦,输入端为市电,输出端的电源模式包括电压3~48V的直流电源、交流电源或脉冲式电源;
分布式电源供应器功率为15~50瓦,输入端为分布网点的新能源发电或可充电式蓄电池;其输出端有多种电源模式,包括电压3~48V之直流电,交流电或脉冲式电源输出。
进一步,所述传感器设置于市政设施上,包括灯杆、井盖、排水口、河、湖、道路沿线、桥隧、地下管网、地下水井、交通信号杆、医疗院所、居民小区、大楼和通信线杆;
所述传感器还与驱动器相连,所述驱动器用于控制显示输出、音频输出、时序输出和阀门开启闭合。
进一步,所述传感器还包括水密性电器柜,用于保护传感器;所述水密性电器柜耐候性等级在IP 54以上,材质选自但不限于下述材料之一:轻金属合金、不锈钢、塑钢或其组合。
进一步,本发明更提出一个机器学习的方法,系对第四级决策指令下达、致动器采取动作后,对于所产生决策效果进行评估,此评估信息为第五级信息,经评估为无效甚至是负效果者,动态实时回馈决策模块,修改决策指令;评估效果为正面者,成为第六级信息,进入自建数据库,成为机器学习的回路。
所述六级信息为机器学习信息;该机器学习信息的获得途径包括但不限于回归算法、基于实例的算法、正则化算法、决策树算法、贝叶斯算法、聚合算法、关联规则学习算法和人工神经网络算法。机器学习基于过去该系统所有预测、决策、评估的数据库,此数据库至少包括分类和检测数据库、分类数据库、检测数据库和分割数据库。
本发明的有益效果在于:本发明提供一种城市物联网信息分级处理系统级方法,可普遍且局地的设置于城市各区域(行政区、园区、景区、小区、校园、…等处);该系统建立在“能产生非可感知信息所需要的相关联传感器”的选用及布建,以及能够撷取相关联传感器数据,过滤译码所得一级级信息、经筛选分类计算整理出实时性的二级信息;再由多种有效信息交叉融合算出非可感知信息的运算系统,就地融合两种以上二级信息,以预测算法计算、取得预测功能的三级信息,以及具决策功能四级信息;决策后加以评估得到五级信息,最后进入机其学习的六级信息,这是一个完整的解决方案。对于城市物联网数据的有效处理、提出预测、决策路径,最后加以评估,始系统产生机器学习,自我认知的能力,可使预测决策自主化。对于城市运行的智慧化、对于危害情况产生预测,提高居住安全,产生莫大效益。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明系统架构图;
图2为本发明网络层结构示意图;
图3为本发明多传感器融合计算示意图;
图4为缺失值比率方法示意图;
图5为低方差滤波方法示意图;
图6为高相关滤波方法示意图;
图7为随机森林/组合树方法示意图;
图8为三级信息加密过程示意图;
图9为信息分级处理及机器学习路径示意图;
图10为数据库数据机器学习示意图;
图11为信息分级处理流程、数据库机器学习回路与时间迭代示意图;
图12为本发明实施例应用架构图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
如图1所示,城市物联网信息分级处理系统包括感知层、数据传输层、数据过滤层、信息定义层、信息处理层、决策支撑层和网络层;
所述感知层为设置于前端网点的若干传感器,所述传感器相互独立但又相互关联,针对各类设施进行数据采集,通过数据传输层定时输出传感数据或接收指令;
所述数据传输层在数据终端之间提供透明的数据传输,向上层提供数据传输服务,在给定的链路上进行分割与重组数据、按端口号寻址、连接管理、差错控制、流量控制和差错控制;
所述数据过滤层将感知层上传的传感数据过滤,过滤的过程如下:
定义原始数据:来自传感数据,作为数据过滤的输入数据;
定义干净数据:符合数据仓库或上层应用逻辑规格的数据,也是数据过滤过程的结果数据,数据过滤过程从来自各种异构源的数据中产生出干净数据,如果原始数据已经被检查出是干净数据,数据过滤过程将会保留;
定义脏数据:与干净数据相对应,脏数据即为不符合数据仓库或上层应用逻辑规格的数据,数据过滤过程识别出是脏数据后,将会丢弃;
定义清洗检查:检查数据是干净数据还是脏数据的过程,用条件函数定义;
过滤动作:过滤过程进行清洗检查后的操作,包括两种过滤动作:丢弃和保留;从各种原始数据中产生出干净数据的过程;
定义过滤规则:过滤检查后采取的进一步的动作;
所述信息定义层在接收到数据过滤层过滤后的数据后,对数据进行编解码,转换成所需信息,并将转换后筛选的信息分为一级信息和二级信息;所述一级信息为量值数据,所述二级信息为一级信息揪有效性筛选,再分类做初步计算的有效信息;两种以上二级信息经融合处理后,得到可预测的三级信息、可决策的四级信息;
所述信息处理层包括若干处理器模块及服务器信息模块,向感知层下达数据传输指令,接收信息定义层上传的分级信息,经处理后向决策支撑层上传预测支撑信息;
所述决策支撑层根据信息处理层上传的信息进行分析统计,结合历史信息进行比对,预测出未来短期内的信息走势,得到建议决策方案;
如图2所示,所述网络层为本系统提供基础的网络通信、流量均衡和安全服务,包括核心交换机、汇聚交换机、前端路由、数据库服务器、应用服务器、数据库、安全网关、防火墙和负载均衡,核心交换机与汇聚点的汇聚交换机相连,汇聚交换机与前端路由相连,前端路由与传感器通过无线信号连接,核心交换机还分别与数据库服务器、应用服务器负载均衡和防火墙连接,数据库服务器与数据库连接。
如图3所示,所述传感器相互独立但又相互关联具体为:
传感器采集环境数据,进行模数转换,并对数据进行预处理,然后进行特征提取,再进行融合计算,最后输出结果;
其中,融合计算包括Bayes估计法、神经网络、卡尔曼滤波跟踪和聚类分析。
所述过滤规则包括以下方法:
缺失值比率(Missing Values Ratio):基于包含太多缺失值的数据列包含有效信息的可能性较少,将数据列缺失值大于某个阈值的列去掉;阈值越高,降维越少,如图4所示。
低方差滤波(Low Variance Filter):假设数据列变化非常小的列包含的信息量少,所有的数据列方差小的列被移除,方差与数据范围相关,在低方差滤波前需要对数据做归一化处理,如图5所示。
高相关滤波(High Correlation Filter):当两列数据变化趋势相似时,它们包含的信息也相似,使用相似列中的一列就能满足机器学习模型;数值列之间的相似性通过计算相关系数来表示,对于名词类列的相关系数通过计算皮尔逊卡方值来表示;相关系数大于某个阈值的两列只保留一列;同样要注意的是:相关系数对范围敏感,在计算之前需要对数据进行归一化处理,如图6所示。
随机森林/组合树(Random Forests):对目标属性产生若干巨大的树,然后根据对每个属性的统计结果找到信息量最大的特征子集;对随机森林数据属性的统计评分,得到预测能力最好的属性,如图7所示。
所述一级信息,即量值数据包括雨量大小、河湖水位、地下水水位、排水管网水流量、土壤含水率、地面积水深度、水质、扭力、流变应力、果实含糖量、图片和照度;
所述二级信息,为一级信息经有效性筛选,再分类做初步计算的有效信息,两种以上二级信息经融合处理后,得到具有可预测的非可感知之三级信息,包括但不限于:
水涝预期发生时间及未来某时间点的积水深度之预测;
预测雨水管网的污染起点定位;
预测高度污染的排水进入河湖的预期时间;
暴雨时土壤渗水速率即该地区市海绵化程度与纳洪程度;
滑坡土方量、地点及时间之预测;
果实甜度及成熟度之预测;
所述建议决策之四及信息,亦即决策方案,包括但不限于:
是否启动抢险机制;
撤离居民时间点;
车辆行驶引流导向;
是否启动特定排水电磁阀;
污染源排查;
排水管网排故与检修的建议;
果实品质、含糖量、成熟度、采摘时间及所需人力。
决策信息下达给致动器,启动一个动作,其导致的效果需加以评估,此评估信息为五级信息。如评估后发现效果不彰甚至于负效果,需立刻回馈给四级信息、修正决策;如评估为正面效果,则成为六级信息,储存到自建数据库;整个回路一再实践,成为机器学习的基础。
再如图8所示,所述信息定义层转换后的信息加密;
所述加密信息是将预测支撑信息进行加密,加密方法包括:
对称加密:加密数据与解密数据使用相同的密钥;
非对称加密:加密数据与解密数据使用不相同的密钥,公钥公开给所有人,私钥自己保存,使用公钥加密的数据只有自己的私钥能够解开;
单项散列:又为hash算法,把任意长度的数据、字符加密后得到一个固定长度的特征码;
首先通过TCP三次握手进行连接,然后客户端发送hello包到服务端,服务端回应一个hello包,如果客户端需要再次发送数字证书,则发送数字证书到客户端;
客户端得到服务器的证书后通过CA服务验证真伪、验证证书的主体与访问的主体是否一致,验证证书是否在吊销证书列表中;如果全部通过验证则与服务器端进行加密算法的协商;
然后是用证书中服务器的公钥加密“对称密钥“发送给服务器端,“对称密钥”只能用服务器的私钥进行解密,当服务器通过私钥解密“对称密钥”后,使用对称密钥将客户端请求的数据发送到客户端,客户端在用对称密钥进行解密,从而得到想要的数据;
每一次数据的传输都使用不同的对称密钥。
所述结合历史信息进行比对,预测出未来短期内的信息走势具体为:
采用预测算法对历史信息进行走势预测,所述预测算法包括数据量较少时使用的决策树方法、支持矢量机、正则化方法、卡尔曼滤波预测算法和贝叶斯预测算法,数据量较多时使用的几何平均法、算术平均法、加权平均法、移动平均法、加权移动平均法、指数平滑法和线性回归法。
所述建议决策方案包括,但不限于:
(1)当某地的低洼区域设置能预测水涝发生机率的城市物联网节点,经其信息分级处理,做出预测未来某时间点的积水深度小于一个设定的最低阈值(例如在时雨量小于10mm、阈值为20mm;时雨量50mm、阈值为10mm),则为低风险;当未来某时间点的积水深度为一个设定的中阈值(例如时雨量小于10mm阈值为30mm;时雨量50mm、阈值为20mm),则为中等风险;当未来某时间点的积水深度大于一个高阈值(例如在时雨量小于10mm、阈值为50mm;时雨量50mm、阈值为40mm),则为高风险;
当预测到某地区水涝为中等风险时,通知管理单位、制定排水措施;
当预测到某地区水涝为高风险时,则提前在该时间前的特定时间点(例如时雨量50mm、10分钟;时雨量20mm、半小时)发出预警信息并启动抢险准备;
(2)根据预测的预测雨水管网的污染起点定位,制定排水管网排故与检修的建议,再结合周边雨水管网情况,预测高度污染的排水进入河湖的预期时间,制定防污预警机制;
(3)根据暴雨时土壤渗水速率即该地区市海绵化程度与纳洪程度,预计滑坡时间,提前该时间点一小时发出预警信息,制定人员和车辆的疏散路线;
(4)根据果实甜度及成熟度,显示果实的品质、含糖量,以及采摘时间及所需人力。
所述系统还包括集中式电源供应器和分布式电源供应器;集中式电源供应器与若干个分布式电源供应器相连;
其中,集中式电源供应器功率为50~150瓦,输入端为市电,输出端的电源模式包括电压3~48V的直流电源、交流电源或脉冲式电源;
分布式电源供应器功率为15~50瓦,输入端为分布网点的新能源发电或可充电式蓄电池;其输出端有多种电源模式,包括电压3~48V之直流电,交流电或脉冲式电源输出。
所述传感器设置于市政设施上,包括灯杆、井盖、排水口和通信线杆;
所述传感器还与驱动器相连,所述驱动器用于控制显示输出、音频输出、时序输出和阀门开启闭合。
所述传感器还包括水密性电器柜,用于保护传感器;所述水密性电器柜耐候性等级在IP54以上,材质选自但不限于下述材料之一:轻金属合金、不锈钢、塑钢或其组合。
水密性电器柜可以是单个,也可以是组合的多个。
水密性电器柜可用支架牢固在路边建筑物外缘高处、灯柱、路面指示牌下方、摄像头柱、道路门架上;也可放置在具有气密与水密性且装设通信天线的地面下空间。
信息定义层转换后的信息还分为六级信息,所述六级信息为机器学习信息;所述机器学习信息的获得途径包括但不限于回归算法、基于实例的算法、正则化算法、决策树算法、贝叶斯算法、聚合算法、关联规则学习算法和人工神经网络算法;数据库为机器学习数据库,包括分类和检测数据库、分类数据库、检测数据库和分割数据库。
机器学习具体为:
定义训练集(training set/data)用来进行训练,产生模型或者算法的数据集;
定义测试集(testing set/data):用来专门进行测试已经学习好的模型或算法的数据集;
定义特征矢量(features/feature vector):属性的集合,用矢量表示,附属于一个实例;
定义标记(label):c(x),实例类别的标记;
定义正例(positive example)和反例(negative example);
定义分类(classification):目标标记为类别型数据(category);
定义回归(regression):目标标记为连续性数值(continuous numeric value);
把数据拆分为训练集和测试集;
用训练集和训练集的特征矢量来训练算法;
用学习来的算法运用在测试集上来评估算法,用验证集(validation set)调整参数(parameter tuning);
所述分类和检测数据库为ImageNet;
所述分类数据库包括MNIST、CIFAR和YFCC100;
所述检测数据库包括PASCAL VOC 2007/2012、COCO和KITTI;
所述分割数据库为CityScapes Dataset。
对比预测决策的水涝水位判断与后续观测实际的水位,计算两者的误差,误差越小,则表明预测信息越准确;结合准确度,完成系统自我学习以及优化,不断调节系统内部的计算参数和规则,以达到误差最小。
图9~图11为机器学习的原理导向示意部分,就信息分级、数据库智能学习和循环过程进行了分别描述,为本发明智能化处理和准确预测的关键要点。
图9为信息分级处理级机器学习路径示意图;其中对于四级、五级间有回馈分析,并将六级信息储存到自建数据库的对应Schema作为认知学习的依据。
图9中,Schema是以XML编码模式建立的情境管理码,在本发明中情境之意义与建立方式如下表所示,可依此编写XML码:
按照相应的参数对历史事件数据的存档,即Schema参数化,表达为情境R、S、P、…等。例如表述一个人:可以参数化为身高、国籍、年龄等。而且当前任何存档的数据,肯定是参数化的。t1时间的决策经驱动动作后,经效果评估不佳,马上回馈到四级信息,修改决策指令于t2时间下达新的动作,…直到ti时间后确认决策有效性;其结果才成为六级信息,回馈到Schema,成为完整机器学习的回路。
采集到新的数据,与历史数据进行比对,寻找近似。其实就是将新数据的参数化情境(R、S、P等)于历史数据的参数化情境进行检索比对。
如图10所示,一组事件储存在数据库中,是以信息分级的形式进行存储;每个相同半径的圆环为一组事件,分别二级信息、三级信息、四级信息、驱动指令和五级信息,为一组历史案例数据i;下一组事件存储为历史案例数据i+1;数据库里的数据可以分为若干个圆环,每发生一组新事件,系统会通过机器学习,与历史案例数据进行比对,根据近似结果进行参数调整;若发生的事件近似为历史案例数据中的一种或几种,且案例数据显示事件的预测与决策的事后评估较准确,系统会直接借鉴这些结果数据,通过算法融合,如不同权重因子叠加等,作为本次预测的参考,直接体现为对预测和决策的反馈调节。
如图11所示,信息分级处理循环过程为:在时间ti时,开始启动程序,当时间推进到ti+△t≥tend时,结束进程;若时间推进到ti+△t<tend时,进行二级信息计算,系统基于历史数据进行机器学习,通过产生的三级信息和四级信息进行反馈调节,并储存在数据库中,形成历史数据,同时,产生的驱动指令和五级信息也储存在数据库中。最后,根据五级信息进行评估反馈,回到时间ti时的数据循环状态。整个机器学习回路如图11的虚线框内所示,其中Schema的定义已如前述。
如图12所示,为本发明实施例的应用结构示意图,城市的水管理中暴雨内涝预测与排洪疏导决策;
城市建设中“水管理”是最为重要的重点之一;其涵盖饮水安全、河湖管理、地下水监控、雨水排水系统、污水排水与整治、暴雨内涝防治。本实施例揭露于持续暴雨期间、某低洼区域(城镇)将于几小时之后发生内涝淹水的预测。
首先根据历史上本区域(城镇)内涝位置标志,最佳为根据大数据以取得诸如某年某月某日雨量累积达多少毫米、时雨量数据、内涝发生区域、积水深度的分布、排洪途径等;如无可用的大数据仍可搜寻新闻报导或政府施政记录。根据这些数据及记录可初步选择将物联网点系统设置于何处。
其次,根据地理资讯系统(GIS)确认以下已有的信息:(1)找寻本低洼区域的等高线,即标识雨水汇流路线及投影面积,以在该雨水汇流路线装设水流速率传感器;(2)各处雨水排水设施,包括所有排水明沟其尺寸、走向及入水口,雨水排水管网其尺寸、走向及入水口;(3)邻近海拔较高区域可能让雨水溢流进来本区域的途径;(4)邻近海拔较低的区域可能让本区雨水溢流过去的途径。根据GIS信息判定最佳装设水流流速传感器(取得流速数据)、水位传感器(由水位高度及管道或路径宽度取得截面积)根据上述述(1)~(4)的一个到数个点位。水流量概以流速乘以截面积计算。
物联网点系统设置地点尚可由上述由GIS信息确认的各传感器位置的中心微调。
本实施例所需传感器包括:雨量计、管道或沟渠内的水流流速传感器及水位传感器、地表溢流通道的水流流速传感器及水位传感器,以及地面积水深度传感器。
本实施例的算法,分别计算由各传感器取得、单位时间总来水流量及总排水流量,一般情况以每小时米立方表示(m3/h),特大雨情况可用每分钟米立方表示(m3/min);当总来水量逼近总排水量就进入警戒,超过时就会发生水涝。过去的警报方式大多使用最简单的方式,即以地面积水传感器感知是否开始积水以及积水速度,没有预知几小时候会开始积水的功能。本实施例揭露利用处理器的强大运算能力,利用某个时间点(设为t1)之前侦测得到的一级信息,分别绘制成总来水量与总排水量;设定t1之后时间点的各种来水、排水总量变化;预知量者交叉的未来时间。在本实施例中,地面积水传感器感作为一个辅助验证工具,作为验证模型准确性,并据以调整传感器摆设位置或者模型。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (9)
1.一种城市物联网信息分级处理系统,其特征在于:该系统包括但不限于感知层、数据传输层、数据过滤层、信息定义层、信息处理层、决策支撑层、网络层以及基于自建数据库的决策树自我认知的子系统;
所述感知层为设置于前端网点的若干传感器,所述传感器相互独立但又相互关联,针对各类设施及环境进行数据采集,通过数据传输层定时输出传感数据或接收指令;
所述数据传输层在数据终端之间提供透明的数据传输,向上层提供数据传输服务,在给定的链路上进行分割与重组数据、按端口号寻址、连接管理、流量控制和差错控制;
所述数据过滤层将感知层上传的传感数据过滤,过滤的过程如下:
定义原始数据:来自传感数据,作为数据过滤的输入数据;
定义干净数据:符合数据仓库或上层应用逻辑规格的数据,也是数据过滤过程的结果数据,数据过滤过程从来自各种异构源的数据中产生出干净数据,如果原始数据已经被检查出是干净数据,数据过滤过程将会保留;
定义脏数据:与干净数据相对应,脏数据即为不符合数据仓库或上层应用逻辑规格的数据,数据过滤过程识别出是脏数据后,将会丢弃;
定义清洗检查:检查数据是干净数据还是脏数据的过程,用条件函数定义;
过滤动作:过滤过程进行清洗检查后的操作,包括两种过滤动作:丢弃和保留;从各种原始数据中产生出干净数据的过程;
定义过滤规则:过滤检查后采取的进一步的动作;
所述信息定义层在接收到数据过滤层过滤的数据后,对数据进行编解码,转换成所需物理信息,此为一级信息,再将之做二级到五级处理:二级信息为筛选、分类及初步计算信息,三级信息为异源信息融合计算后的多路径预测,四级信息为多路径信息的优化处理得到决策信息,五级信息为决策指令下达后对于决策结果的评估所得;
所述信息定义层转换后的信息还分出第六级信息,所述六级信息为五级信息中评估为有效的存储信息,其为机器学习信息;所述机器学习信息的获得途径包括但不限于回归算法、基于实例的算法、正则化算法、决策树算法、贝叶斯算法、聚合算法、关联规则学习算法和人工神经网络算法;
所述信息处理层包括但不限于若干处理器模块及服务器信息模块,向感知层下达数据传输指令,接收信息定义层上传的分级信息,经处理后向决策支撑层上传预测支撑信息;
所述决策支撑层根据信息处理层上传的信息进行分析统计,以即时信息结合历史信息进行比对,设定因主变数可能的波动预测出未来短期内的信息各种走势,优化之得到建议决策方案;
所述网络层为本系统提供基础的网络通信、流量均衡和安全服务;
所述数据库为机器学习数据库,包括分类和检测数据库、分类数据库、检测数据库和分割数据库;
所述基于自建数据库的决策树自我认知的子系统具体为:
由二级信息定义Schema,系管理情境的XML编码;
由自建数据库搜索情境近似的Schema,若无近似者则立刻产生新的Schema;
按照既定预测算法进行三级信息预测,旧Schema对照历史性预测资讯,加速现行预测计算;
预测信息经优化成决策信息,即四级信息驱动致动器产生动作,动作结果予以即时评估,得到五级信息;五级信息动态回馈以修正决策信息,最后最佳结果即为六级信息;
六级信息存入自建数据库相对应的Schema,构成机器学习的完整回路。
2.根据权利要求1所述的城市物联网信息分级处理系统,其特征在于:所述传感器相互独立但又相互关联具体为:
传感器采集环境数据,进行模数转换,并对数据进行过滤处理,然后进行解码提取物理信息,再将异源信息进行融合计算,得到预测、决策信息,最后输出结果;
其中,融合计算包括但不限于Bayes估计法、神经网络、卡尔曼滤波跟踪和聚类分析。
3.根据权利要求1所述的城市物联网信息分级处理系统,其特征在于:所述一级信息为传感物理信息,二级信息为筛选、分类及初步计算信息,三级信息为预测支撑信息,四级信息为决策信息,五级信息为预测评估信息,六级信息是评估有效而存储的机器学习信息;
所述一级信息,即传感物理信息,为通过传感器采集到的实时数据经过滤解码后的物理信息;
所述二级信息,即一级信息进行筛选出有效信息、按物理量类别分节进行初步计算,包括但不限于:增量分析、差量分析、对时间进行微分或积分分析、统计、作图、加密处理;
所述三级信息,即预测支撑信息,是基于异类二级信息中的主变量加以多种预估,以预测算法对事件未来走势预测,得到多种预测信息;
所述四级信息,即决策信息,是基于多种三级信息加以优化做出的最佳决策方案;
所述五级信息,即根据决策下达致动指令后的结果进行评估信息,是对四级决策信息的准确性的评估,通过误差算法计算四级信息与实际情况的误差,误差越小,准确性越高,并即时回馈、修正决策指令;
所述六级信息,即评估结果为正面效果以后,将此效果对应预测即决策路径进入储存的机器学习信息。
4.根据权利要求1所述的城市物联网信息分级处理系统,其特征在于:所述即时信息结合历史信息进行比对,设定因主变数可能的波动预测出未来短期内的信息走势具体为:
采用预测算法对实时取得的二级信息和历史信息进行走势预测,设定多种主变数的未来可能变化,以预测算法计算因变数不同走向路径;
所述预测算法包括但不限于数据量较少时使用的决策树方法、支持矢量机、正则化方法、卡尔曼滤波预测算法和贝叶斯预测算法,数据量较多时使用的几何平均法、算术平均法、加权平均法、移动平均法、加权移动平均法、指数平滑法和线性回归法。
5.根据权利要求1所述的城市物联网信息分级处理系统,其特征在于:所述建议决策方案包括但不限于:
根据预测算法由多种主变数未来可能变化计算出多种预测路径,在各路径上赋予一个决策阈值,其相对于不同主变数有不同数值,作为决策优化指标;
随着时间推进,因变量路径确认后,即可根据相对应决策阈值进行决策,下达致动指令。
6.根据权利要求5所述的城市物联网信息分级处理系统,其特征在于:所述建议决策方案包括但不限于:
(1)当预测某地区未来某时间点的积水深度小于设定的最低阈值,则为低风险;当预测未来某时间点的积水深度达到一个设定的中等阈值,则为中等风险,系统开始密集关注计算;当预测未来某时间点的积水深度大于设定的一个高阈值,则为高风险;
当预测到某地区水涝为中等风险时,制定排水措施,发出警告给相关单位;
当预测到某地区水涝为高风险时,则提前该时间点的一定时间内发出预警信息,包括抢险工作;
(2)根据预测的雨水管网的污染起点定位,制定排水管网排故与检修的建议,再结合周边雨水管网情况,预测高度污染的排水进入河湖的预期时间,制定防污预警机制;
(3)根据暴雨时土壤渗水速率测算相应地区海绵化程度与纳洪程度;
(4)把预测的滑坡机率大于70%的时间作为一个时间点,提前该时间点的一定时间内发出预警信息,制定人员和车辆的疏散路线;
(5)根据果实甜度及成熟度,显示果实的品质、含糖量,以及采摘时间及所需人力。
7.根据权利要求1所述的城市物联网信息分级处理系统,其特征在于:所述系统还包括集中式电源供应器和分布式电源供应器;集中式电源供应器与若干个分布式电源供应器相连;
其中,集中式电源供应器功率为50~150瓦,输入端为市电,输出端的电源模式包括电压3~48V的直流电源、交流电源或脉冲式电源;
分布式电源供应器功率为15~50瓦,输入端为分布网点的新能源发电或可充电式蓄电池;其输出端有多种电源模式,包括电压3~48V之直流电,交流电或脉冲式电源输出。
8.根据权利要求1所述的城市物联网信息分级处理系统,其特征在于:所述传感器设置于城市设施上,包括但不限于灯柱、井盖、排水口、河、湖、道路沿线、桥隧、地下设施、地下水井、交通信号杆、学校、景区、医疗院所、居民小区、大楼和通信线杆;
所述处理系统还与驱动器相联,所述驱动器用于控制但不限于以下警告装置:显示输出、音频输出、交通信号灯的时序输出,启动但不限于手机警告和排水泵之阀门开启闭合;
所述传感器及处理系统设置在水密性电器柜内,用于保护传感器及处理系统;所述水密性电器柜耐候性等级在IP 54以上,材质选自但不限于下述材料之一:轻金属合金、不锈钢、塑钢或其组合。
9.基于权利要求1~8中任一项所述系统的处理方法,其特征在于:该方法包括以下步骤:
S1:感知层获取传感器经过滤数据,解码成为物理信息,即一级信息;
S2:对撷取的各类一级信息进行筛选出有效信息、分类预处理、加密,得到二级信息;
S3:基于不同二级信息融合计算对未来事件做出发生机率预测,得到基于主变量可能的变动而预测的诸多因变量之三级信息;
S4:基于三级信息进一步优化出最佳决策方案,得到四级信息,发出驱动指令,
S5:对决策指令驱动动作造成的结果进行评估,得到五级信息,能够回馈到S4即时纠正产生纠正决策,再修正驱动指令,使最后结果是正面走向;
S6:根据五级信息中纠正决策所产生的正面结果得到六级信息,其回授建立基于决策树的自我认知数据库,再将此反馈到预测、决策、评估的过程,达到机器学习的目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811319097.7A CN109639762B (zh) | 2018-11-07 | 2018-11-07 | 城市物联网信息分级处理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811319097.7A CN109639762B (zh) | 2018-11-07 | 2018-11-07 | 城市物联网信息分级处理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109639762A CN109639762A (zh) | 2019-04-16 |
CN109639762B true CN109639762B (zh) | 2021-02-09 |
Family
ID=66067445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811319097.7A Active CN109639762B (zh) | 2018-11-07 | 2018-11-07 | 城市物联网信息分级处理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109639762B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11349903B2 (en) * | 2018-10-30 | 2022-05-31 | Toyota Motor North America, Inc. | Vehicle data offloading systems and methods |
US11550908B2 (en) * | 2019-03-15 | 2023-01-10 | Paul J Long | Method and apparatus for producing a machine learning system for malware prediction in low complexity sensor networks |
CN110533890B (zh) * | 2019-09-11 | 2021-06-04 | 苏州千层茧农业科技有限公司 | 简易下水道堵塞应急预警发布系统 |
CN111310317B (zh) * | 2020-02-03 | 2023-02-14 | 安徽大学 | 基于大数据与插值预测的粮仓空时温度场预测方法及装置 |
CN111367917B (zh) * | 2020-03-05 | 2024-02-27 | 扬州大学 | 一种用于水泵机组状态评价的数据存储方法 |
US11676051B2 (en) * | 2020-07-23 | 2023-06-13 | International Business Machines Corporation | Predict solutions for potential hazards of stored energy |
CN112200541A (zh) * | 2020-10-19 | 2021-01-08 | 中建水务环保有限公司 | 水务企业信息化运营管理系统 |
CN112770284A (zh) * | 2020-12-25 | 2021-05-07 | 深圳市豪恩安全科技有限公司 | 一种蓝牙Mesh网络节点状态监测装置、方法及系统 |
CN112611795B (zh) * | 2020-12-28 | 2023-05-26 | 北京首创大气环境科技股份有限公司 | 一种基于tvoc监测仪的tvoc监测方法 |
TWI768812B (zh) * | 2021-04-07 | 2022-06-21 | 聚騰科技股份有限公司 | 網路頻寬的偵測方法 |
CN113359645B (zh) * | 2021-06-30 | 2023-04-21 | 四川交达预应力工程检测科技有限公司 | 基于工程物联网的预应力施工监测预警系统及方法 |
CN114549259A (zh) * | 2022-02-23 | 2022-05-27 | 中科海慧(北京)科技有限公司 | 一种基于多源数据融合的智慧城市优化管理方法 |
CN114858214B (zh) * | 2022-04-27 | 2023-08-25 | 中徽建技术有限公司 | 一种城市道路性能监测系统 |
CN115190155B (zh) * | 2022-09-09 | 2023-01-17 | 国网浙江省电力有限公司宁波供电公司 | 一种基于配电物联网的信息物理控制系统及方法 |
CN116471307B (zh) * | 2023-06-20 | 2023-08-22 | 北京中科朗易科技有限责任公司 | 物联网异构数据级联传输方法、装置、设备及介质 |
CN116680459B (zh) * | 2023-07-31 | 2023-10-13 | 长沙紫喇叭电子商务有限公司 | 基于ai技术的外贸内容数据处理系统 |
CN118014185A (zh) * | 2023-12-22 | 2024-05-10 | 绍兴市麦芒智能科技有限公司 | 一种基于大数据的市政管网健康度在线监测系统 |
CN118211840B (zh) * | 2024-05-22 | 2024-08-23 | 中电科大数据研究院有限公司 | 一种智慧管网的区域管网安全评估方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103064974A (zh) * | 2013-01-10 | 2013-04-24 | 东南大学 | 基于时空分析的交通流数据清洗方法 |
CN107944596A (zh) * | 2017-10-20 | 2018-04-20 | 上海交通大学 | 一种基于物联网的甜瓜生长管理专家系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2996302B1 (fr) * | 2012-10-01 | 2014-10-17 | Snecma | Procede et systeme de mesure a capteurs multiples |
-
2018
- 2018-11-07 CN CN201811319097.7A patent/CN109639762B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103064974A (zh) * | 2013-01-10 | 2013-04-24 | 东南大学 | 基于时空分析的交通流数据清洗方法 |
CN107944596A (zh) * | 2017-10-20 | 2018-04-20 | 上海交通大学 | 一种基于物联网的甜瓜生长管理专家系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109639762A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109639762B (zh) | 城市物联网信息分级处理系统及方法 | |
CN109284619B (zh) | 异源城市物联网的区域定置式边缘计算系统及方法 | |
CN110533885B (zh) | 城市内涝监测预警系统及预警方法 | |
CN109617947A (zh) | 依管理类别设置的城市异源物联网边缘计算系统及方法 | |
CN103543706B (zh) | 一种排水物联网系统 | |
CN106373070B (zh) | 一种应对城市暴雨内涝的四预方法 | |
CN107331132B (zh) | 一种城市火灾隐患动态预测监控的方法及系统 | |
KR101381192B1 (ko) | 실시간 제어 기반의 지능형 우수관리 시스템 및 방법 | |
BR102019003180A2 (pt) | processo e sistema de análise e gestão hidrológica para bacias | |
KR20170005553A (ko) | 지능형 정보제공을 위한 홍수, 가뭄정보의 평가 및 예측 기법 개발 | |
KR101017746B1 (ko) | 지능형 물관리 자동화시스템 | |
CN109361755A (zh) | 基于基站的城市物联网边缘计算网点的设置与管理方法 | |
CN104270773A (zh) | 基于遗传算法多目标优化的流域传感器覆盖网优化方法 | |
CN114021766A (zh) | 一种基于物联网和大数据的城市水安全预测方法 | |
CN210865032U (zh) | 城市内涝监测预警系统 | |
CN117591890A (zh) | 基于大数据的污水处理评估系统及方法 | |
Persello et al. | Towards uncovering socio-economic inequalities using VHR satellite images and deep learning | |
CN116227362A (zh) | 一种基于图与深度学习的市政排水管网状态预测方法 | |
CN107563096A (zh) | 一种基于fcm的内涝建模分析方法 | |
CN117113038B (zh) | 城市水土流失黄泥水事件溯源方法及系统 | |
Rahman et al. | Future city of bangladesh: Iot based autonomous smart sewerage and hazard condition sharing system | |
KR102143039B1 (ko) | 다중 경로식 원격감시제어장치 | |
CN115752480B (zh) | 一种基于物联网的采样装置管理系统及方法 | |
KR101659310B1 (ko) | 하수관 관리를 위한 시스템 및 방법 | |
CN116434506A (zh) | 一种基于物联网数据融合的城市内涝监测警报系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |